JP2011095862A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 複数種類の物体検出・認識機能を有する画像処理装置において、共通化された被写体登録操作方法を提供することにより、ユーザビリティを向上させることを目的とする。
【解決手段】 登録すべき被写体画像を指定する指定部と、指定された被写体画像から第１物体を検出する第１検出部と、第１物体が検出されなかった場合に、指定された被写体画像から第２物体を検出する第２検出部と、第１物体を識別するための第１特徴量を抽出する第１抽出部と、第２物体を識別するための第２特徴量を抽出する第２抽出部と、第１特徴量を記憶する第１記憶部と、第２特徴量を記憶する第２記憶部と、を備え、第１検出部により第１物体が検出された場合には、第１記憶部に第１特徴量を記憶し、第１検出部により第１物体が検出されなかった場合には、第２記憶部に第２特徴量を記憶することを特徴とする。
【選択図】 図２

Description

本発明は、画像中より所定の物体を検出してその属性を識別する画像処理装置、画像処理方法、及びプログラムに関する。

画像中より人物の顔を検出し、その位置や大きさを特定する顔検出処理技術（例えば非特許文献１）は、デジタルカメラ等の撮像装置や写真印刷を行うプリンタ等に広く用いられている。例えば、AE/AF制御あるいは美肌処理等を行う優先ターゲットの判別等に利用されている。

また検出された顔が誰であるかを判別する顔画像による個人認識処理技術（例えば非特許文献２）も精度が徐々に向上してきており、デジタルカメラ等の製品に搭載される例も増えてきている。さらには、笑顔であるか目を瞑っていないか等の表情や顔の向き等の顔属性を識別する技術も発達してきており、シャッターチャンスの判別等に用いられている。

これらの人物の顔に関する被写体検出機能に加えて、ユーザの所望する任意の物体を被写体として指定する機能（ユーザ登録物体検出機能）に対する要求も高まってきている。例えば、パナソニック社のデジタルカメラLumix DMC FX-550（商標）では、顔検出、個人認識機能に加えて、動体追尾機能（非特許文献３参照）を備えてこの要求に答えている。この動体追尾機能は、タッチパネルで指定した被写体を追尾して、AE/AFのターゲットとするものである。また、同社の別機種のデジタルカメラでは、タッチパネルを用いずに所定の枠内に所望の物体を収めてシャッターを半押しすることにより、被写体として指定して追尾するものもある。またシャープ社のカメラ機能を備えた携帯電話SH-06A（商標）等も、同様の被写体追跡機能を持っている。この他、タッチパネルで簡単に所望の被写体を指定する方法としては、例えば特許文献１に示す技術が開示されている。

所望の物体を登録して入力画像から検出する方法としては、例えば当該物体を含む所定サイズの画像をテンプレートとして登録し、非特許文献４に開示される方法を用いて、続く各撮像フレーム内における対応位置を高速に検出する方法が知られている。また、所定サイズの登録被写体画像から、例えば非特許文献５に開示されるHoGと呼ばれる特徴量を抽出して登録データとすることも可能である。この場合、検出処理時には、登録被写体画像と同サイズのサブウィンドウで入力画像をスキャンし、サブウィンドウ単位で切り出した画像に対し登録データと同じHoG特徴抽出を行う。そして抽出した特徴を、例えばSVM（Support Vector Machine）等の判別器を用いて、登録データとの一致・不一致を判定する。一致した場合には、当該サブウィンドウ位置に登録物体が存在することになる。また、非特許文献１のような方法を用いて、ユーザが検出対象として指定した複数枚の被写体画像をポジティブデータとし予め保持しておく等した、背景などのネガティブデータを組み合わせて、機器内で検出パラメータを学習させることも可能である。

特開２００６−１０１１８６号公報

P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp.511-518, December 2001. "Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition", A. B. Ashraf, S. Lucey, T. Chen, Carnegie Mellon University, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June, 2008. デジタルカメラDMC FX-550（商標）取扱説明書（パナソニック株式会社） B. Lucas and T. Kanade. "An iterative image registration technique with an application to stereo vision.", Proceedings of Imaging understanding workshop, page 121-120. N.Dalal，B.Triggs, "Histograms of oriented gradients for human detection", CV PR2005.

前述の個人認証機能を用いる場合、ユーザは装置に予め所望の個人の被写体画像（顔画像等）を登録するという操作を行う必要がある。また、前述のユーザ登録物体検出機能を使用する場合にも、所望の被写体画像を選んで登録する必要がある。すなわち、いずれの機能を使用する場合も、ユーザは選択した被写体画像を登録する操作を行う必要がある。

しかしながら、従来この登録操作は、使用する機能に応じて異なった操作を行う必要があった。例えば、前述のデジタルカメラでは、個人認識機能を使用する場合には、まず撮影メニューから「個人認証」を選ぶ。そして、さらに「登録」を選択した上で、LCD中央部に表示されるガイドに合わせて登録したい人物の顔を撮影し、次に名前等の名称コードを入力することによって登録完了となる。或いは、「自動登録」の設定をオンにした上で人物の顔を何枚か撮影すると、撮影頻度の多い人物の顔の登録を促す画面が自動的に現れ、以後同様の手順で登録を行うことができる。登録後の撮影では、登録した個人の被写体画像（例えば、登録した個人の顔に近い顔）を見つけて優先的にAE/AFを行うようになる。また同カメラで、動体追尾機能を用いる場合には、LCDに表示されている被写体をタッチパネルで指定することにより、被写体を登録したことになり、以後被写体の動きに合わせて連続的にAE/AFを行う。なお、動体追尾機能と個人認証機能は、排他的にどちらか一方しか使用することができない。

このように従来の装置で、登録操作を必要とする優先被写体特定のための物体検出・認識機能が複数種類搭載されている場合、機能毎にそれぞれ異なった登録操作を選択して行う必要があり、ユーザの負担となっていた。

上記の課題に鑑み、本発明は、複数種類の物体検出・認識機能を有する画像処理装置において、共通化された被写体登録操作方法を提供することにより、ユーザビリティを向上させることを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
登録すべき被写体画像を指定する指定手段と、
指定された前記被写体画像から第１物体を検出する第１検出手段と、
前記第１物体が検出されなかった場合に、指定された前記被写体画像から第２物体を検出する第２検出手段と、
前記第１物体を識別するための第１特徴量を抽出する第１抽出手段と、
前記第２物体を識別するための第２特徴量を抽出する第２抽出手段と、
前記第１特徴量を記憶する第１記憶手段と、
前記第２特徴量を記憶する第２記憶手段と、を備え、
前記第１検出手段により前記第１物体が検出された場合には、前記第１記憶手段に前記第１特徴量を記憶し、
前記第１検出手段により前記第１物体が検出されなかった場合には、前記第２記憶手段に前記第２特徴量を記憶することを特徴とする。

本発明によれば、登録操作時に指定された被写体画像に対し、機器が備える複数種類の物体検出・認識機能のいずれかに適合する登録処理が自動的に選択されるようになるため、ユーザは常に単一の登録操作のみを行えばよく、ユーザビリティが向上する。

本発明に係る画像処理装置の構成の一例を示すブロック図。 第１実施形態に係る画像処理装置の被写体画像登録処理時の動作を示すフローチャート。 第２実施形態に係る画像処理装置の被写体画像登録処理時の動作を示すフローチャート。 登録処理時にユーザに入力を促すメッセージを表示する画面の一例を示す図。 登録被写体画像指定のためのユーザ・インターフェースの一例を示す図。 登録被写体画像指定のためのユーザ・インターフェースの他の例を示す図。 入力画像に対する検出・認識処理時の動作を示すフローチャート。 （ａ）は検出・認識処理時のサブウィンドウのスキャンについて説明する図、（ｂ）は、第１実施形態に係る画像処理装置の検出・認識処理結果を表示する画像の一例を示す図。

（第１実施形態）
＜画像処理装置の構成図＞
図１を参照して、本発明に係る画像処理装置の画像認識処理部に関連する構成を示すブロック図について説明する。ユーザ・インターフェース部１０１は、LCDディスプレイ等の表示装置及び、キー、タッチパネル等の入力装置より構成される。ユーザ・インターフェース部１０１は、不図示のCPUによって制御され、ユーザへ画像やメッセージを表示すると共に、使用場面に応じてユーザからの指令を受け付ける。ユーザ・インターフェース部１０１は、本発明において、登録の対象とする物体の画像を指定する登録被写体画像指定手段としても機能し、ユーザは所望の物体の画像を指定して登録する作業を行うことができる。

画像入力部１０２は、検出・認識処理を行う画像を装置内に取り込む。画像入力部１０２は不図示の撮像カメラ装置を備えており、光学的映像をCCD等の撮像素子によりデジタルの電気信号に変換して装置内に取り込む。さらに画像入力部１０２は、入力された画像から所定サイズに切り出し、あるいは所定サイズに変倍した画像を生成して、各処理部へそれぞれ所定サイズの画像データを送信する。

第１検出手段として機能する顔検出処理部１０３は、画像入力部１０２から送られてくる切り出し画像が人物の顔（第１物体）であるか否かを判定する。この顔検出処理アルゴリズムには、例えば非特許文献１に開示される技術を用いることができる。顔検出処理部１０３で用いる検出のためのパラメータは、顔検出パラメータ記憶部１０４に記憶されている。顔検出パラメータ記憶部１０４は、画像処理装置外の汎用コンピュータにより、予め多数のサンプル画像および背景画像を用意してこれを機械的に学習することにより生成されたパラメータを記憶している。

顔検出処理部１０３において、切り出し画像が人物の顔（第１物体）であると判定された場合、個人認識処理部１０５において、同顔画像に対する個人認識処理が行われる。ここで個人特徴データ記憶部１０６は、RAM等で構成される物体特徴記憶装置である。個人認識処理部１０５は、第１記憶手段として機能する個人特徴データ記憶部１０６に記憶されている個人特徴データ（第１特徴量）と顔画像から抽出した特徴データとが一致するか否かを調べる。そして、登録されている何れの人物であるか、或いは登録されていない人物であるかを判別する。個人認識処理部１０５に投入された画像について、例えば目幅や顔の大きさに基づいて正規化され、例えば非特許文献２に開示される手法を用いて、登録個人に該当するか否かが判別される。ここで用いられる個人特徴データ（第１特徴量）は、後述する顔画像の登録処理により、第１抽出手段として機能する顔画像登録処理部１０９で特徴抽出されたデータである。第１識別手段として機能する個人認識処理部１０５では、入力された切り出し画像に対して同様の特徴抽出処理を行い、個人特徴データ記憶部１０６に記憶されている登録特徴データとの類似度を計算して、個人の特定を行う。

また、画像入力部１０２より投入される切り出し画像は、第２識別手段として機能するユーザ登録物体検出処理部１０７にも送られる。そして、第２記憶手段として機能する登録物体特徴データ記憶部１０８に予め登録されている特徴データ（第２特徴量）に基づいて、ユーザが指定した物体（第２物体）であるか否かを判別する。登録物体特徴データ記憶部１０８は、RAM等で構成される物体特徴記憶装置である。

ここで、第２検出手段としても機能するユーザ登録物体検出処理部１０７が検出対象とする物体（第２物体）は、顔検出処理部１０３で検出される人物の顔（第１物体）を除外した他のなんらかの物体である。例としては犬等の動物あるいは花などの植物、乗り物等がある。登録物体特徴データ記憶部１０８に記憶されている登録物体特徴データ（第２特徴量）は後述する登録処理により第２抽出手段として機能するユーザ指定物体登録処理部１１０にて登録被写体画像から抽出された、個人特徴データとは異なる物体特徴データである。この登録物体特徴データ（第２特徴量）は、例えば、非特許文献５に開示されるHoG特徴量とすることができる。

この場合、ユーザ登録物体検出処理部１０７における検出処理は、入力画像のサブウィンドウ内切り出し画像から同特徴量（第２特徴量）を抽出して、その比較により一致不一致を判断する。例えば、入力特徴量と登録特徴量とをベクトル化してこれらの相関を類似度として計算したり、ヒストグラムの重ね合わせに基づいて類似度を計算したりして、計算された類似度に基づいて一致不一致を判定する。或いは予め学習させてあるSVM（Support Vector Machine）のような判別器を用いるようにしても良い。また、登録する登録物体特徴データに所定サイズの切り出し画像をそのまま用い（テンプレート）、非特許文献４に開示する方法を用いて、より大きな入力画像より対応する位置を計算することも可能である。

本実施形態においては、説明を容易にするため、各検出・認識処理部に入力する切り出し画像のサイズは、全て同じとしている。なお、詳細は省くが、画像入力部１０２では、同一の入力画像に対して複数サイズの変倍処理（ピラミッド画像生成）を行ってから検出・認識処理を行う。そのため、元の入力画像上では切り出しサイズよりも大きな、或いは小さな対象物体であっても検出・識別可能である。このようにすることにより、同一の検出・識別パラメータを用いて、様々な大きさの対象物体に対応した検出・認識処理を行うことができる。
＜登録処理フロー＞
図２を参照して、本実施形態に係る登録処理の流れを説明する。被写体画像登録モードでの処理が開始すると、まずステップＳ２０１において、ユーザに対して所望の被写体画像を指定する操作を促す。この登録被写体画像指定方法の一例を図５に示す。画面５０１は、登録したい物体を指定するための枠が表示された撮像装置のLCD画面を示す。同画面上のメッセージは、枠内に登録したい物体を入れた状態になるように指示している。LCD画面には、撮像画像が表示されるので、ユーザは、例えば画面５０２や画面５０３に示すように、登録したい被写体がなるべく枠内一杯となるように映して、シャッターボタンを押すことにより、登録被写体画像を指定することができる。

登録すべき被写体画像が指定されたら、ステップＳ２０２において、画像入力部１０２により所定サイズの被写体画像を切り出して装置内に取り込む。このとき先の枠内ほぼ一杯の画像が取り込まれ（図５参照）、これが所定サイズとなるように必要に応じて変倍される。

そして、続くステップＳ２０３において、登録しようとしている被写体画像に対して、顔検出処理部１０３による顔検出処理を行う。
ステップＳ２０４においては、被写体画像から顔検出されたか否かを判別し、顔検出された場合にはステップＳ２０５へと進み、顔検出されなかった場合にはＳ２０９へと進む。

顔検出された場合は、顔画像登録を行うため、まずステップＳ２０５において個人を表す名称コードの入力を促す画面（入力画面）を表示する。この入力画面は、例えば図４（ａ）に示すようなものとなる。そしてステップＳ２０６において、同画面でユーザは登録しようとしている顔画像に対応する名称コード（＝名前やあだ名等、図２中では個人IDとする）を入力する。

ステップＳ２０６において名称コードが入力されると、ステップＳ２０７において顔画像から個人識別特徴（第１特徴量）を抽出する。この抽出処理は顔画像登録処理部１０９により行われ、非特許文献２に示されたような個人を識別するのに適した特徴量が抽出される。抽出された特徴量は、ステップＳ２０８において、個人特徴データ（第１特徴量）としてとして個人特徴データ記憶部１０６に記憶される。

また、顔検出されなかった場合、登録しようとしている被写体画像は人物の顔でないと判断されたことになり、ステップＳ２０９において、ユーザ登録物体検出処理用の特徴抽出処理を行う。このとき、図４（ｂ）に示すように、本当に登録するかどうかを確認するメッセージを表示するようにしても良い。また、人物の顔画像を登録する場合と同様に、対象物体の名称を入力させるようにすることも可能である。ステップＳ２０９において抽出される特徴量は、例えば非特許文献５に示されるもので、続くステップＳ２１０において、登録物体特徴データ（第２特徴量）として登録物体特徴データ記憶部１０８に記憶される。

なお、登録処理フローにおけるステップＳ２０７においてで抽出される特徴量（第１特徴量）は、人物の顔という良く似た画像を区別するためのものである。これに対し、ステップＳ２１０で抽出される特徴量（第２特徴量）は、背景と様々な形状の対象物体を区別するのに適した特徴量である。各々識別すべき対象が異なるため、通常は異なった特徴量が用いられるが、ユーザが特に意識する必要はない。
＜検出・認識処理フロー＞
図７を参照して、本実施形態の画像処理装置の入力画像に対する検出・認識処理の流れを示すフローチャートについて説明する。なお、本実施形態に係る検出・認識処理は、図１に示す画像処理装置を用いて、撮像時にシャッターを押すまでの間に定期的に取り込まれるプレビュー画像に対して行われる。この結果に基づいて優先被写体と判別された物体に対し、自動的にフォーカス或いは露出が合致するよう、後段の処理での制御を行う。また、同時にユーザに対しては検出した物体が存在する画像中の位置や認識した属性（名称コード）を示す。

まず、ステップＳ７０１において撮像装置より送られてきた画像を取り込む。この画像は、例えば図８（ａ）の入力画像８００に示すような所定サイズ（例えばVGAサイズ）の入力画像である。なお、以下では簡単化のため、単一サイズの入力画像に対する処理の流れを説明するが、実際には先に説明したとおり、ピラミッド画像に対する処理を行っているため、様々な大きさの対象物体を検出可能である。

検出処理の目的は、画像中に対象物体が含まれるか否か判別すること、及び含まれる場合はその位置を特定することであり、その処理は所定サイズのサブウィンドウ単位で切り出した画像に対して行われる。図８（ａ）のサブウィンドウ８０１はサブウィンドウの初期位置を示しており、この位置での検出処理が完了したら、右に１画素（或いは所定の数画素）サブウィンドウをずらして検出処理を行う。以後動揺の検出処理を繰り返して、右端に達したら１行（或いは所定の数行）下にずらして同様の処理を行う。これを画像前面に対して行う（スキャン）ことにより、いずれのサブウィンドウの位置に対象物体が存在しているかを特定できる。ステップＳ７０２において、このサブウィンドウの位置を初期値とすべくリセットする処理を行う。

ステップＳ７０３において、サブウィンドウ位置の画像を切り出す。そして、切り出した画像に対し、続くステップＳ７０４において顔検出処理、及びステップＳ７１０においてユーザ登録物体検出処理を実行する。

なお、本実施形態においては、上記の２つの検出処理の双方共に、同サイズのサブウィンドウ画像に対する検出処理を行うようにしているため、共通のサブウィンドウを用いることが可能であるが、異なったサイズとしても良い。この場合は、複数種類のサブウィンドウを設定してそれぞれ専用の切り出し処理を行えばよい。

また、本実施形態では、図１に示したブロック図の構成を取っており、顔検出処理部１０３とユーザ登録物体検出処理部１０７とは異なったハードウェアで実行されるため、２つの検出処理を並列に行うことが可能である。もちろん実際の構成や諸条件に応じて、これらの検出処理をシーケンシャルに実行するようにしても良い。

まず、ステップＳ７０４からステップＳ７０９に示す顔検出処理のフローについて説明する。ステップＳ７０４において、顔検出パラメータ記憶部１０４を参照して顔検出処理を行う。ステップＳ７０４における顔検出処理が完了すると、ステップＳ７０５において、入力サブウィンドウから顔検出されたかどうかを判別する。そして顔検出された場合は、ステップＳ７０６に進み、処理したサブウィンドウ位置を記憶し、さらにステップＳ７０７へ進んで個人認識処理を行う。この個人認識処理は、図１における個人認識処理部１０５において、サブウィンドウの顔から抽出した特徴を、先に説明した登録処理により登録された個人特徴データ記憶部１０６に記憶された個人特徴データ（第１特徴量）と照合することにより行われる。複数の個人が登録されている場合には、複数回の照合処理を行う。そして、ステップＳ７０８において、登録してある個人が認識された場合には、ステップＳ７０９においてその名称コードと処理したサブウィンドウ位置とを記憶してステップＳ７１３へ進む。

一方、ステップＳ７０５において、顔検出がされなかった場合は、直接ステップＳ７１３へと進む。さらに、ステップＳ７０８において、登録してある個人が認識されなかった場合にも、ステップＳ７１３へ進む。

次に、ステップＳ７１０からステップＳ７１２に示すユーザ登録物体検出処理フローについて説明する。ステップＳ７１０において、登録物体特徴データ記憶部１０８に記憶された登録物体特徴データ（第２特徴量）に基づいて、ユーザ登録物体検出処理部１０７により、物体検出処理を行う。複数種類の物体が登録されている場合には、物体検出処理を繰り返して何れかの物体が含まれるか否かを判別する。そして、ステップＳ７１１において、登録物体が検出されたと判断されれば、ステップＳ７１２において、処理中のサブウィンドウ位置を検出された物体情報と共に記憶する。そして、ステップＳ７１３へ進む。顔検出処理、顔認識処理（個人認識処理）、及び物体検出処理が完了すると、ステップＳ７１３において、サブウィンドウの位置を先に説明したように次の位置へと移動させる（図８参照）。この位置が最後の位置すなわち入力画像の右下位置を越えた場合には、スキャン完了となりステップＳ７１５へと進むが、スキャンが完了していない場合はステップＳ７０３へ戻り、次のサブウィンドウに対する検出、認識処理を行う。

ステップＳ７１５において、スキャンにより検出された顔、個人、登録物体の位置情報を統合する処理を行う。この処理は、例えば、数画素程度の近傍に同種の物体が存在する場合は一つの物体とする処理や、顔と登録物体がほぼ同一位置に検出された場合は、予め定めた優先順位もしくは検出時の信頼度に応じてどちらか一方の結果のみを残す処理を行う。また、個人認識により同一人物が１枚の画像から複数個所認識された場合は、信頼度の高い方を残し、残りは非登録者とする。サイズや角度別の検出が行われる場合も、ここで統合処理を行う。

そして、ステップＳ７１６において、検出された画像中の複数の被写体に対し優先順位を付けて、オートフォーカスや自動露出等を行う他の処理部へ、優先する被写体の位置情報を通知する。ここで優先順位は、例えば顔の場合は、非登録者よりも個人認識された登録者の方が優先度を高くし、登録者間では、予め定めた優先順位に従うか、もしくは顔のサイズの大きい方を優先とする。非登録者および顔以外の物体しか検出されなかった場合は、それらのサイズや中央部からの距離の近さに基づいて決定する。もちろんユーザが優先順位を予め指定できるようにすることも可能である。

最後に、ステップＳ７１７において、検出した対象物体の位置をLCD画面に枠で示すと共に、対象物体が顔であり、かつ個人認識ができた場合は、その顔の位置へ個人IDを表示する。図８（ｂ）は入力画像８００に対する検出処理結果を表示した画面の例である。枠８５１から枠８５３は顔検出された位置を示している。このうち枠８５３は、枠８５１又は枠８５２において検出された顔のサイズとは異なる、小さなサイズの顔が検出された例を示している。また枠８５２では、検出された顔が登録されていた個人（IDが「Mr.A」）であった場合を示している。枠８５４はユーザ登録物体として登録されていた「猫」が検出されたことを示す枠である。

以上説明したように、第１実施形態によれば、ユーザは、個人を識別するための特徴データ（第１特徴量）の登録処理と、ユーザの所望する物体を検出するための特徴データ（第２特徴量）の登録処理との違いを意識する必要が無くなる。すなわち共通化された登録操作インターフェースを用いて、単に登録したい物体を指定するのみで、後は機器のガイドに従って、容易に作業を完了することが可能となる。
（第２実施形態）
第１実施形態では、登録指定された被写体画像に対し、個人識別用の登録処理、もしくはユーザ登録物体検出用の登録処理を、自動的に選択する方法について述べた。第２実施形態においては、これに加えて、登録指定された被写体画像が、既に登録済みの特徴データと合致するか否かを判別する処理を行う。なお、第２実施形態に係る撮像装置の画像処理部は、図１で説明したブロック図と同様の構成となっている。

図３を参照して、第２実施形態に係る登録処理の流れを説明する。図３に示されるフローチャートにおいて、ステップＳ３０１からステップＳ３１０までの処理は、それぞれ図２のステップＳ２０１からＳ２１０で説明した処理と同等であるため、詳細な説明は省略する。

ステップＳ３０４において、登録被写体画像は顔であると判別された場合、本実施形態ではステップＳ３１１へと進み、個人認識処理を行う。この個人認識処理は第１実施形態の検出・認識処理フロー内で説明した処理と同等であり、個人認識処理部１０５において実行される。すなわち、既に個人特徴データ記憶部１０６に登録済みの個人特徴データ（第１特徴量）と、登録被写体画像の顔から抽出された特徴データとの照合処理を実行する。

ステップＳ３１２において、登録被写体画像の顔が既に登録されている人物に一致すると判定された場合、名称コード（個人ID）が特定される。そしてステップＳ３１３において、特定され名称コードを表示するとともに、当該コードの追加データとして、今回の登録被写体画像の特徴データを登録するか否かを確認するメッセージを表示する。なお、登録領域の容量や認識処理速度の制限がある場合には、追加登録ではなく、既に登録されている特徴データ（第１特徴量）と入れ替えるかどうかの確認画面としてもよい。

そして、ステップＳ３１４において、ユーザにYesまたはNoの回答を入力させ、ステップＳ３１５において、ユーザの回答が「追加（または入れ替え）する。」であると判断した場合には、ステップＳ３０７へと進み、個人識別用特徴の抽出処理を行う。

また、ステップＳ３１２において、既に登録してある人物ではないと判別された場合には、第１実施形態と同様に、ステップＳ３０５からステップＳ３０８までの処理を行い、新たな個人特徴データを名称コードと共に登録する。

なお、本実施形態においては、ステップＳ３１１において既に個人特徴データの抽出を行っているため、これを記憶しておけば、ステップＳ３０７において再度同様の処理を行う必要はない。よって、ステップＳ３０７における処理をスキップして、ステップＳ３０８において登録する処理のみを行うようにすることもできる。

また、本実施形態においては、ステップＳ３０４において、登録被写体画像から顔検出がされなかった場合、ステップＳ３１６においてユーザ登録物体検出処理を行う。この処理も第１実施形態に係る検出・認識処理フローで説明した処理と同等であり、登録被写体画像が登録物体特徴データ記憶部１０８に特徴データ（第２特徴量）が既に登録されている物体であるか否かを判別する。

そしてステップＳ３１７において、登録済みの物体であると判別された場合、ステップＳ３１８へ進み、指定の物体は登録済みであるメッセージを表示し、追加登録するか（或いは登録されているデータと入れ替えるか）を確認する。ステップＳ３１９において、ユーザからの回答を入力させ、ステップＳ３２０において、ユーザの回答がYesであればステップＳ３０９のユーザ物体検出用特徴抽出処理を行う。個人認識用特徴データの場合と同様に、ステップＳ３１６において既に抽出されている物体検出用特徴データをそのまま用いて、ステップＳ３１０において登録するようにすることも可能である。

以上説明したように、本実施形態によれば、ユーザは、登録しようとしている物体が既に登録済みであるかどうかを容易に知ることが可能となり、無駄な登録を行って記憶領域を圧迫する、或いは、処理速度を低下させることを回避することが可能となる。
（第３実施形態）
第１実施形態では、図５に示したように所定の枠内に被写体を写すことにより、登録被写体画像を指定する方法について説明した。この方法は、登録のための特別なハードウェアを必要とせず、低コストで実現できる反面、多少なりとも煩雑な操作を必要とする。第３実施形態においては、より容易に登録被写体を指定することを可能とする。

図６を参照して、本実施形態の画像処理装置に係る登録被写体画像指定ユーザ・インターフェースについて説明する。撮像装置６００のユーザ・インターフェースは、LCDパネル６０１、及び複数のハード・キー類６０２を備える。LCDパネル６０１にはタッチパネルが被せてあり、ユーザが指で押さえた座標を検知できるようになっている。

ハード・キー類６０２を操作して、ユーザが機器を登録モードに遷移させると、タッチパネルが有効となる。そして、ユーザは登録したい被写体が写っている位置、例えば枠６０３の位置を指で押すことにより、登録したい物体であることを機器に示す。撮像装置６００は、指で押された画像上の座標を特定し、所定のサイズの範囲を登録被写体画像として切り出す。或いは、背景差分やオプティカルフロー等を用いて、指で押された位置の画素と同一視できる隣接画素群を含む範囲を、登録被写体画像として切り出すようにしてもよい。また、特に事前の操作によって登録モードに移行するのではなく、撮像中にタッチパネルの押下を検出したら、自動的に登録処理モードへと移行するようにしても良い。以後の登録処理では、第１実施形態及び第２実施形態で説明した処理と同等の処理を行う。

なお、本実施形態では、タッチパネルにて被写体の位置を指定する例を示したが、例えばマウスやカーソルキーによるポインタ・カーソルの移動等によって、被写体の位置を指定するようにしても良い。

本実施形態によれは、ユーザはより直感的に登録物体を指定することが可能となる。また、登録したい被写体を画面中央部に持ってくる必要がなくなるため、固定されたカメラにおける被写体登録時や、撮影済みの画像を表示して被写体登録する場合にも登録を行うことが可能となる。
（第４実施形態）
第１乃至第３実施形態においては、デジタルカメラに代表される撮像装置に適用される画像処理装置として説明したが、本発明の適用はこれに限定するものではない。例えば、プリンタのような画像形成装置において、画像データ中に含まれる特定の物体に優先的に所望の画像処理を行ってから印刷したいような場合にも、適用することが可能である。

また、第１乃至第３実施形態においては、機器外で事前に検出パラメータを学習しておく検出処理部を人物の顔の検出処理部として説明したが、本発明の適用はこれに限定するものではない。例えば、図１の顔検出処理部１０３に相当する検出部を人物の全身画像を検出する人体検出処理部とし、個人認識処理部１０５は顔特徴ではなく全身の特徴に基づいた個人認識処理部としても良い。或いは、個人認識処理部１０５に相当する認識処理で判別する属性は個体の識別に限る必要はなく、他の物体属性認識処理部、例えば特定の表情であるか否かを判別する属性認識処理部や、人物の年齢推定処理を行う属性認識処理部であっても良い。この場合の顔画像登録処理部１０９に相当する登録処理部は、特定の表情画像や特定の年齢といった属性の人物画像を入力して特徴抽出を行うものとなる。

或いは、顔検出処理部１０３に相当する検出処理部を他の物体、例えば汎用的な犬検出処理部としても良い。そして、個人認識処理部１０５に相当する認識処理部を特定の犬種であるか否か、或いは自分のペットの犬であるか否かを属性として認識する認識処理部としても本発明を適用可能である。

また、顔検出処理部１０３に相当する検出処理部を、事前に学習した検出パラメータによるものではなく、機器内で学習した検出パラメータを用いるものとしても良い。この場合、検出処理部はユーザ登録物体検出処理部１０７と同一とすることもでき、ある特定の登録物体特徴データ記憶部１０８に記憶された登録物体特徴データに対してのみ、後段の認識処理部に相当する個体や属性識別処理を行っても良い。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 登録すべき被写体画像を指定する指定手段と、
   指定された前記被写体画像から第１物体を検出する第１検出手段と、
   前記第１物体が検出されなかった場合に、指定された前記被写体画像から第２物体を検出する第２検出手段と、
   前記第１物体を識別するための第１特徴量を抽出する第１抽出手段と、
   前記第２物体を識別するための第２特徴量を抽出する第２抽出手段と、
   前記第１特徴量を記憶する第１記憶手段と、
   前記第２特徴量を記憶する第２記憶手段と、を備え、
   前記第１検出手段により前記第１物体が検出された場合には、前記第１記憶手段に前記第１特徴量を記憶し、
   前記第１検出手段により前記第１物体が検出されなかった場合には、前記第２記憶手段に前記第２特徴量を記憶することを特徴とする画像処理装置。
2. 撮像した画像に対して、
   前記第１記憶手段に記憶された前記第１特徴量と一致する特徴量が前記画像中に存在するか否かを識別する第１識別手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 撮像した画像に対して、
   前記第２記憶手段に記憶された前記第２特徴量と一致する特徴量が前記画像中に存在するか否かを識別する第２識別手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記指定手段により指定された前記被写体画像から、前記第２検出手段により前記第２物体が検出された場合には、前記第２記憶手段に前記第２特徴量を記憶するか否かをユーザに確認してから記憶することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１記憶手段に前記第１特徴量を記憶する際に、前記第１物体の前記第１特徴量を示す名称をユーザに入力させる入力手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記第１識別手段により、前記第１記憶手段に記憶された前記第１特徴量と一致する特徴量が前記画像中に存在しないと識別された場合に、前記第１特徴量と一致しない特徴量を第１記憶手段に記憶することを特徴とする請求項２に記載の画像処理装置。
7. 前記第１識別手段により、前記第１記憶手段に記憶された前記第１特徴量と一致する特徴量が前記画像中に存在すると識別された場合に、前記第１特徴量と一致する特徴量をさらに前記第１記憶手段に記憶するか否かをユーザに確認することを特徴とする請求項２に記載の画像処理装置
8. 前記指定手段は、予め定める枠内に登録すべき被写体が納められた状態で前記被写体画像を指定することを特徴とする請求項１に記載の画像処理装置。
9. 指定手段が、登録すべき被写体画像を指定する指定工程と、
   第１検出手段が、指定された前記被写体画像から第１物体を検出する第１検出工程と、
   第２検出手段が、前記第１物体が検出されなかった場合に、指定された前記被写体画像から第２物体を検出する第２検出工程と、
   第１抽出手段が、前記第１物体を識別するための第１特徴量を抽出する第１抽出工程と、
   第２抽出手段が、前記第２物体を識別するための第２特徴量を抽出する第２抽出工程と、
   第１記憶手段が、前記第１特徴量を記憶する第１記憶工程と、
   第２記憶手段が、前記第２特徴量を記憶する第２記憶工程と、を備え、
   前記第１検出工程により前記第１物体が検出された場合には、前記第１記憶工程で前記第１特徴量を記憶し、
   前記第１検出工程により前記第１物体が検出されなかった場合には、前記第２記憶工程で前記第２特徴量を記憶することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images