JP2012157016A - 撮像装置、顔認識方法及びそのプログラム - Google Patents
撮像装置、顔認識方法及びそのプログラム Download PDFInfo
- Publication number
- JP2012157016A JP2012157016A JP2012045142A JP2012045142A JP2012157016A JP 2012157016 A JP2012157016 A JP 2012157016A JP 2012045142 A JP2012045142 A JP 2012045142A JP 2012045142 A JP2012045142 A JP 2012045142A JP 2012157016 A JP2012157016 A JP 2012157016A
- Authority
- JP
- Japan
- Prior art keywords
- face
- face recognition
- image data
- dimensional
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 人用の顔検出モードが設定されているか判断し(S31)、人用の顔検出モードが設定されていると判断すると、2次元の顔検出処理により人の顔を検出する処理を行う(S32)。そして、該2次元の顔検出処理により人の顔がないと判断すると、3次元の顔検出処理により人の顔を検出する処理を行う(S35、S36)。一方、動物用の顔検出モードが設定されている場合は、3次元の顔検出処理により該設定されている検出モードの動物の種類の顔を検出する処理を行う(S36)。
【選択図】 図5
Description
被写体の顔を認識する顔認識モードを複数種類備え、該複数種類の顔認識モードの中から何れかの種類の顔認識モードを設定する顔認識モード設定手段と、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある顔を認識する顔認識手段と、
を備えたことを特徴とする。
前記顔認識手段は、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある該顔認識モード設定手段により設定された顔認識モードの種類の顔を認識するようにしてもよい。
2次元的に顔を認識する2次元顔認識処理と、3次元的に顔を認識する3次元顔認識処理を含むようにしてもよい。
ユーザによって選択された種類の顔認識モードを設定するようにしてもよい。
自動的にある種類の顔認識モードを設定するようにしてもよい。
人の顔を認識する人用の顔認識モードと、人以外の種類の被写体の顔を認識する人以外の種類用の顔認識モードを含むようにしてもよい。
2次元顔認識モードと、3次元顔認識モードを含むようにしてもよい。
人用の顔認識モードに設定し、前記顔認識手段により、人の顔が認識されなかった場合は、人以外の種類用の顔認識モードに切り替えて設定するようにしてもよい。
2次元顔認識モードに設定し、前記顔認識手段により、顔が認識されなかった場合は、3次元顔認識モードに切り替えて設定するようにしてもよい。
前記顔認識モード設定手段により人用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、2次元顔認識処理を実行して、該撮像された画像データ内にある人の顔を認識し、前記顔認識モード設定手段により人以外の種類用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある前記顔認識モード設定手段により設定された顔認識モードの種類の顔を認識するようにしてもよい。
前記顔認識手段は、
前記顔認識モード設定手段により人用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、2次元顔認識処理を実行して、該撮像された画像データ内にある人の顔を認識し、前記顔認識モード設定手段により人以外の種類用の顔認識モードが設定された場合は、該設定された種類の顔検出モードに応じて、実行させる顔認識処理を、2次元顔認識処理と3次元顔認識処理とに切り替えることにより、前記撮像手段により撮像された画像データ内にある前記顔認識モード設定手段により設定された顔認識モードの種類の顔を認識するようにしてもよい。
2次元顔認識処理の実行により顔を認識することができなかった場合は、前記撮像手段により撮像された画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある顔を認識するようにしてもよい。
前記撮像手段により撮像された画像データの全領域、又は、画像データの画角の中央領域、又は、ユーザによって指定された領域の画像データに基づいて、顔認識処理を実行して、該撮像された画像データ内にある顔を認識するようにしてもよい。
2次元顔認識処理の実行により、顔を認識することができなかったが、顔らしきものが認識できた場合は、前記撮像手段により撮像された画像データの該顔らしきものがあると認識された領域の画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある顔を認識するようにしてもよい。
前記撮像手段により撮像された画像データ内にある顔を検出するようにしてもよい。
前記撮像手段により撮像された画像データ内にある顔が何であるかを具体的に識別するようにしてもよい。
前記顔認識手段は、
前記2次元顔検出手段により顔が検出された場合は、前記撮像手段により撮像された画像データの前記2次元顔検出手段により検出された顔領域の画像データに基づいて、3次元顔認識処理を実行することにより、該撮像された画像データ内にある顔を識別するようにしてもよい。
前記顔認識手段により顔が認識されると、前記撮像手段により撮像された画像データに基づいて、前記顔認識手段により認識された顔が画像データ内のどこにあるかを2次元的に検出していくことにより、該認識された顔に対して追従していく追従顔認識モードに切り替えて設定するようにしてもよい。
前記顔認識手段による追従顔認識モードに応じた顔認識処理により人の顔が認識されなくなった場合は、前記追従顔認識モードが設定される前に設定されていた顔認識モードを再設定するようにしてもよい。
被写体の顔を認識する顔認識モードを複数種類備え、該複数種類の顔認識モードの中から何れかの種類の顔認識モードを設定する顔認識モード設定手段と、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある顔を認識する顔認識手段と、
として機能させることを特徴とする。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮影レンズ2、レンズ駆動ブロック3、絞り4、CCD5、ドライバ6、TG(timing generator)7、ユニット回路8、画像生成部9、CPU10、キー入力部11、メモリ12、DRAM13、フラッシュメモリ14、画像表示部15、バス16を備えている。
絞り4とは、撮影レンズ2から入ってくる光の量を制御する機構のことをいう。
この顔検出モード設定部101は、設定する顔検出モードの種類を記憶する記憶領域を備え、最新に設定された顔検出モードのみが記憶される。
また、この顔認識部102は、2次元のデータのみを用いて顔を認識する機能(2次元の顔認識処理)と、3次元のデータを用いて顔を認識する機能(3次元の顔認識処理)とを有する。また、この顔認識とは、画像データ内にある顔を検出したり、画像データ内にある顔が誰なのか?何であるか?を具体的に識別したりすることをいう。つまり、顔検出、顔識別を総称して顔認識という。
図2を見ると分かるように、被写体の種類を大まかに人と動物に分け、更に、動物は、犬、猫、馬・・・、というように種類毎に分かれている。そして、各被写体の種類毎に顔データが記録されている。また、顔データは、2次元(平面)と3次元(立体)と2種類有り、該被写体の種類毎に、2次元、又は/及び3次元の顔データが設定されている。ここでは、人の顔データは、2次元と3次元ともに設定されており、動物の顔データは3次元のみである。つまり、動物の場合は2次元の顔データが設定されていない。動物の顔は見る角度によって極端に変わり、立体的であるためである。
フラッシュメモリ14は、圧縮された画像データを保存する記録媒体である。
第1の実施の形態におけるデジタルカメラ1の動作を図3及び図4のフローチャートに従って説明する。
ユーザのモード切替キーの操作により、顔検出静止画撮影モードに設定されると、ステップS1で、CPU10は、複数種類の顔検出モードを画像表示部15に一覧表示させる。
このとき、ユーザは十字キーを操作することにより、選択したい種類の顔検出モードにカーソルを合わせることができ、該カーソルが合わさっている種類の顔検出モードでOKと思う場合はSETキーの操作を行なう。
ステップS2で、顔検出モードが選択されたと判断すると、ステップS3に進み、CPU10の顔検出モード設定部101は、該SETキーの操作が行なわれたときにカーソルが合わさっている種類の顔検出モードに設定する。
ステップS5で、被写体追従キーの操作が行われたと判断すると、ステップS6に進み、CPU10は、現在の被写体追従モードがOnであるか否かを判断する。
一方、ステップS6で、現在の被写体追従モードがOnであると判断すると、ステップS8に進み、CPU10は、被写体追従モードをOnからOffに切り替えて、ステップS9に進む。
また、ステップS5で、被写体追従On/Offキーの操作が行なわれていないと判断すると、そのままステップS9に進む。
このとき、ユーザは、撮影したい被写体(メイン被写体)を画角内に収めて構図を決めてから撮影の準備を指示するためシャッタボタンを半押し操作する。
ステップS11で、被写体追従モードがOnでない、つまり、Offであると判断すると、ステップS12に進み、CPU10は、ステップS10の顔検出処理により顔を検出することができたか否かを判断する。
なお、ステップS13、ステップS14では、コントラスト検出方式によるAF処理を行うようにしたが、他の方式(例えば、位相差方式)によってAF処理を行うようにしてもよい。要は、ピントを合わせたい領域に対してAF処理を行うことができればよい。
ステップS15で、シャッタボタンが全押しされていないと判断すると、シャッタボタンが全押しされるまでステップS15に留まり、シャッタボタンが全押しされたと判断すると、ステップS16に進み、CPU10は、静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ14に記録する処理を行う。
一方、ステップS21で、顔を検出することができないと判断すると、そのままステップS23に進む。
ステップS23で、シャッタボタンが全押しされていないと判断すると、ステップS24に進み、CPU10は、該追従している顔を見失ったか否かを判断する。つまり、ステップS22の2次元的に顔を検出する処理により顔を検出することができなくなったか否かを判断する。なお、ステップS21で顔が検出できないと判断された場合、つまり、図3のステップS10の顔検出処理により追従元となる顔がそもそも検出できないと判断された場合も顔を見失ったと判断する。
次いで、ステップS26で、CPU10は、静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ14に記録する処理を行う。
次に、設定された顔検出モードの種類に応じた顔検出処理の動作を図5のフローチャートにしたがって説明する。
図3のステップS10に進むと、図5のステップS31に進み、CPU10の顔認識部102は、現在、人用の顔検出モードが設定されているか否かを判断する。
ここでの、2次元の顔検出処理は、直近に撮像されたフレーム画像データから全被写体の特徴データ(2次元の特徴データ)を算出し、該算出した被写体の特徴データと、図2に示す顔データテーブルに設定されている人の2次元の顔データとを比較照合することにより、人の顔がどこにあるかを検出する。
また、全被写体の特徴データとは、例えば、撮影された全被写体が建物とその前に立っている人の場合は、建物及び人の特徴点を複数抽出し、該抽出した特徴点の座標位置や相対位置関係等を数値化したデータのことをいう。この特徴点の抽出により、目、鼻、口、顔の輪郭等から顔の特徴点も複数抽出される。つまり、全被写体の特徴データは、顔だけではなく撮像された全ての被写体の特徴点に基づいて数値化されたデータである。
また、この比較照合は、生成した全被写体の特徴データの中に顔データと一致する部分かあるか否かを判断するためのものである。したがって、この比較照合は、生成された全被写体の特徴データの各部と顔データとを比較照合していく(サーチしていく)ことにより、各部との一致度を得る。
ステップS33で、人の顔があると判断すると、ステップS38に進み、CPU10の顔認識部102は、顔を検出することができたと判断する。
一方、ステップS31で、人用の顔検出モードが設定されていないと判断した場合、又は、ステップS34で、顔らしきものがないと判断した場合は、ステップS36に進み、CPU10の顔認識部102は、フレーム画像データの全領域に基づいて3次元の顔検出処理により、現在設定されている顔検出モードの種類の顔を検出する処理を行って、ステップS37に進む。この3次元の顔検出処理については後で説明する。ここで、ステップS34で顔らしきものがないと判断されることによりステップS36に進んだ場合は、ステップS36において、フレーム画像データの全領域に基づいて3次元の顔検出処理により人の顔を検出する処理が行われることになる。
ステップS37で、画像内に顔があると判断すると、ステップS38に進み、顔認識部102は、顔を検出することができたと判断し、ステップS37で、顔がないと判断すると、ステップS39に進み、CPU10の顔認識部102は、顔を検出することができないと判断する。
次に、3次元の顔検出処理の動作を説明する。2次元の顔検出処理は、2次元的に顔を検出するが、つまり、撮像されたフレーム画像データに基づく2次元の被写体の特徴データと2次元の顔データとを比較照合することにより、該フレーム画像データ内にある顔を検出していたが、3次元の顔検出処理は、3次元のデータを用いて顔を検出するというものである。
ここでは、3次元のデータを用いて顔を検出する動作を2つ紹介するが、これに限られるものではなく、要は、3次元データを用いて被写体の顔を検出するものであればよい。
まず、3次元の顔検出処理の動作を図6のフローチャートにしたがって説明する。
図5のステップS35及びステップS36で、3次元の顔検出処理を行うことにより顔を検出する場合は、図6のステップS51に進み、CPU10の顔認識部102は、異なる撮影角度でメイン被写体の撮影を促す表示を行なう。例えば、「撮影したい被写体を異なる角度から撮影してください。」というような表示を行う。これにしたがって、ユーザは撮影角度を変えてメイン被写体を撮像することになる。なお、このときユーザは、メイン被写体となる顔の画像内での位置を変えずに撮影角度を変えることが好ましい。
このとき、図5のステップS36での3次元の顔検出処理の場合は、撮像されたフレーム画像データの全領域に基づいて被写体の特徴データ(全被写体の特徴データ)を算出する。
また、図5のステップS35での3次元の顔検出処理の場合は、撮像された各フレーム画像データのうち、顔らしきものがあると判断された領域の画像データに基づいて被写体の特徴データ(顔らしき被写体の特徴データ)を算出する。
また、顔らしき被写体の特徴データとは、顔らしきものがあると判断された領域内で撮像されている全ての被写体の特徴データに基づいて数値化されたデータのことである。
この3次元モデルの生成は、既に周知技術なので詳しく説明しないが、ある画像の特徴点と、該特徴点に対応する他の画像の特徴点とに基づいて、三角測量演算によって被写体の3次元モデルを生成する(モデリング処理)。
なお、サーフェスモデルでなく、ワイヤーフレームモデルやソリッドモデル等他の方法によって表すようにしてもよい。
例えば、図5のステップS35の場合は、該生成した被写体の3次元モデルと、図2に示す顔データテーブルに設定されている人の立体顔データとを比較照合し、図5のステップS36の場合は、たとえば、犬用の顔検出モードが設定されている場合は、該生成した被写体の3次元モデルと、図2に示す顔データテーブルに設定されている犬の立体顔データとを比較照合する。
このステップS57で顔領域を検出すると、図5のステップS38で顔を検出することができたと判断し、図3のステップS12、図4のステップS21で顔を検出できたと判断する。また、ステップS58で顔がないと判断すると、図5のステップS39で顔を検出することができないと判断し、図3のステップS12、図4のステップS21で顔を検出できないと判断する。
例えば、被写体の顔が横を向いていたり、サングラスを装着している場合であっても検出することができる。
また、立体顔データと生成した3次元モデルとを比較照合するので、人の顔に限らず、犬や猫等の動物の顔等も検出することができる。例えば、馬など動物の顔は、見る角度が違うと極端に顔の形が変わってしまうが、3次元とすることにより、精度よく顔を検出することができる。
次に、2つ目の3次元の顔検出処理の動作を図8のフローチャートにしたがって説明する。
図5のステップS35及びステップS36で、3次元の顔検出処理を行うことにより顔を検出する場合は、図8のステップS61に進み、CPU10の顔認識部102は、顔の向きを正面と設定する。
このとき、図5のステップS36での3次元の顔検出処理の場合は、撮像されたフレーム画像データの全領域に基づいて被写体の特徴データ(全被写体の特徴データ)を算出する。
また、図5のステップS35での3次元の顔検出処理の場合は、撮像されたフレーム画像データのうち、顔らしきものがあると判断された領域の画像データに基づいて被写体の特徴データ(顔らしき被写体の特徴データ)を算出する。
ステップS68で、設定されている向きが最後の向きでないと判断すると、ステップS69に進み、CPU10の顔認識部102は、次の向きに設定してステップS62に戻る。この「次の向き」とは、たとえば、現在設定されている向きから5度、右方向又は左方向に回転させた向きである。ここで、左、右とは、頭の天辺を上とし、顎や喉を下としたときを基準とする。なお、ここでは左右の方向に向きを回転させたが上下方向にも回転させるようにしてもよいし、左右方向と上下方向ともに回転させるようにしてもよい。
このステップS67で顔領域を検出すると、図5のステップS38で顔を検出することができたと判断し、図3のステップS12、図4のステップS21で顔を検出できたと判断する。また、ステップS70で顔がないと判断すると、図5のステップS39で顔を検出することができないと判断し、図3のステップS12、図4のステップS21で顔を検出できないと判断する。
例えば、被写体が犬や猫等の動物であったり、被写体が横を向いている場合であっても検出することができる。
また、1つ目の3次元の顔検出処理のように、撮像された複数のフレーム画像データから被写体の3次元モデルを生成する必要は無いので処理負担を軽減させることができる。
さらに、第1の実施の形態においては、ユーザによって設定された顔検出モードの種類に応じて、2次元の顔検出処理を行ったり、3次元の顔検出処理を行うようにしたので、処理負担の大きい3次元の顔検出処理を不必要に行うことがなく、また顔検出の精度を向上させることができる。たとえば、人の顔は平面的なので2次元の顔検出処理を行い、犬等の動物は一般的に立体的な顔なので2次元の顔検出処理では顔を検出することは難しいが、3次元の顔検出を行うことにより、動物の顔も検出することができる。
また、ユーザが顔検出モードを設定するので、検出したい種類の被写体の顔のみを検出することができる。
次に第2の実施の形態について説明する。
第1の実施の形態においては、ユーザによって選択された顔検出モードの種類に設定するようにしたが、第2の実施の形態においては、自動的に顔検出モードの種類を設定するというものである。
第2の実施の形態も、図1に示したものと同様の構成を有するデジタルカメラ1を用いることにより本発明の撮像装置を実現する。
ユーザのモード切替キーの操作により、顔検出静止画撮影モードに設定されると、ステップS101で、CPU10の顔検出モード設定部101は、人用の顔検出モードに設定する。
次いで、ステップS102で、CPU10は、CCD5による撮像を開始して、スルー画像表示を開始させる。
次いで、ステップS103で、CPU10は、被写体追従On/Offキーの操作が行なわれたか否かを判断する。
ステップS104で、現在の被写体追従モードがOnでない、つまり、Offであると判断すると、ステップS105に進み、CPU10は、被写体追従モードをOffからOnに切り替えて、ステップS107に進む。
また、ステップS103で、被写体追従On/Offキーの操作が行なわれていないと判断すると、そのままステップS107に進む。
ステップS107で、シャッタボタンが半押しされていないと判断するとステップS103に戻る。
このステップS108の動作は、上記第1の実施の形態で説明した、図3のステップS10の動作、つまり、図5に示す動作と同様の動作を行なう。この顔検出処理により設定された顔検出モードの種類の顔が検出されることになる。ここで、ステップS101で人用の顔検出モードが設定されているので、顔検出処理により人の顔が検出されることになる。
ステップS109で、顔を検出することができなかったと判断すると、ステップS110に進み、CPU10は、顔検出モード設定部101により未だ設定されていない顔検出モードがあるか否かを判断する。
ここでは、まだ人用の顔検出モードしか設定されていないので、動物用の顔検出モード(犬用の顔検出モード、猫用の顔検出モード等のうち何れかの動物用の顔検出モード)が設定されることになる。
ステップS112で、被写体追従モードがOnでない、つまり、Offであると判断すると、ステップS113に進み、CPU10は、該検出した顔に対してコントラスト検出方式によるAF処理を行って、ステップS115に進む。
一方、ステップS110で、設定されていない顔検出モードがないと判断すると、ステップS114に進み、CPU10は、所定の領域に対してコントラスト検出方式によるAF処理を行って、ステップS115に進む。
ステップS115で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップS115に留まり、シャッタボタンが全押しされたと判断すると、ステップS116に進み、CPU10は、静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ14に記録する処理を行う。
ステップS122で、シャッタボタンが全押しされていないと判断すると、ステップS123に進み、CPU10は、該追従している顔を見失ったか否かを判断する。つまり、ステップS121の2次元的に顔を検出する処理により顔を検出することができなくなったか否かを判断する。
次いで、ステップS125で、CPU10は、静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ14に記録する処理を行う。
また、設定された顔検出モードの種類に応じて、2次元の顔検出処理を行ったり、3次元の顔検出処理を行うようにしたので、処理負担の大きい3次元の顔検出処理を不必要に行うことがなく、また顔検出の精度を向上させることができる。たとえば、人の顔は平面的なので2次元の顔検出処理を行い、犬等の動物は一般的に立体的な顔なので2次元の顔検出処理では顔を検出することは難しいが、3次元の顔検出を行うことにより、動物の顔も検出することができる。
また、最初はユーザが任意の種類の顔検出モードを設定し、該設定した顔検出モードの種類の顔が検出されない場合に、自動的に設定されていない種類の顔検出モードに設定するようにしてもよい。
次に第3の実施の形態について説明する。
上記第1、2の実施の形態においては、単に顔を検出するというものであったが、第3の実施の形態においては、顔検出を、撮影された顔が誰であるか?何であるか具体的に識別する顔識別の場合に適用するというものである。
顔検出処理では、たとえば、人の顔であっても具体的に誰の顔であるかを識別することはできず、また、動物、たとえば、猫の顔であっても、ペルシャ猫、三毛猫等、猫の種類は様々であり、また、同じ種類の猫であっても猫毎に微妙に顔が異なる場合もある。したがって、顔検出では、自分の友達や子供のみ、自分が飼っているペットのみを検出して欲しいのに(たとえば、フォーカス対象としたいのに)、他の人や動物の顔まで検出されてしまうからである。
この人物や動物の顔は、登録モード等においてユーザが任意の人物、任意の種類の動物の顔を登録することができる。立体顔データ(3次元の顔データ)を登録する場合は、登録したい顔を異なる角度から複数撮影し、該撮影された複数のフレーム画像データから3次元モデルを生成して登録する。また、2次元の顔データを登録する場合は、登録したい顔を撮影し、該撮影されたフレーム画像データから該顔の特徴データ(顔特徴データ)を算出して登録する。
まず、ここでは、顔検出モードに代えて顔識別モードを備え、この顔識別モードも顔検出モードと同様に、被写体の種類毎にある。たとえば、人用の顔識別モード、犬用の顔識別モード、猫用の顔識別モードといった具合である。
F−1.図3及び図4に示す顔検出静止画撮影モードの動作を、顔識別静止画撮影モードに適用したときの動作について
このときの顔識別静止画撮影モードの動作を、図3及び図4を引用し、異なる部分だけを説明する。
このときの顔識別静止画撮影モードの動作を、図9及び図10を引用し、異なる部分だけを説明する。
G−1.図5に示す設定されている顔検出モードに応じた顔検出処理の動作を、設定されている顔識別モードに応じた顔識別処理に適用したときの動作について
このときの顔識別処理の動作を、図5を引用し、異なる部分だけを説明する。
まず、図5のステップS31は、人用の顔識別モードが設定されているか否かを判断し、人用の顔識別モードが設定されていると判断すると、ステップS32に進み、2次元の顔識別処理により人の顔を検出する。この2次元の顔識別処理は、撮像されたフレーム画像データから2次元の全被写体の特徴データを算出し、該算出した被写体の特徴データと、顔識別用の顔データテーブルに登録されている人の2次元の顔データとを比較照合することにより、撮像されたフレーム画像データ内に登録されている人物の顔があるか顔識別する。
このステップS38で顔識別できたと判断すると、図3のステップS12、図4のステップS21、図9のステップS109で顔識別できたと判断し、ステップS39で顔識別することができないと判断するとステップS12、ステップS21、ステップS109で顔識別することができないと判断する。
このときは、図5のステップS34、ステップS35は不要ということになる。
このときの顔識別処理の動作を、図11のフローチャートにしたがって説明する。なお、この場合は、顔識別用の顔データテーブルの他に、顔検出用の人の2次元の顔データがメモリ12に記録されている。
図3のステップS10、図9のステップS108に進むと、図11のステップS151に進み、CPU10の顔認識部102は、現在人用の顔識別モードが設定されている否かを判断する。
ここでの、2次元の顔検出処理は、撮像されたフレーム画像データから被写体の2次元の特徴データ(全被写体の2次元の特徴データ)を算出し、該算出した被写体の特徴データと、メモリ12に記録されている顔検出用の人の2次元の顔データとを比較照合することにより、画像内にある人の顔を検出する。ここで、記録されている顔検出用の顔特徴データは、人の顔であることが検出できれば十分なので、具体的に誰の顔であるかを識別できる程度の情報量は必要ない。また、算出される全被写体の特徴データも同様に、人の顔を検出するのに必要な情報量でよい。
この検出された顔領域に基いて2次元の顔識別処理を行うので、処理負担を軽減させることができるとともに、顔識別の精度を向上させることができる。
ステップS155で、登録された顔があると判断すると、ステップS161に進み、CPU10の顔認識部102は、顔を識別することができたと判断する。
一方、ステップS155で、登録された顔がないと判断すると、ステップS156に進み、顔認識部102は、該検出された顔領域に基づいて、3次元の顔識別処理により人の顔を識別する処理を行って、ステップS160に進む。この3次元の顔識別処理は後で説明する。
この検出された顔領域に基いて3次元の顔識別処理を行うので、処理負担を軽減させることができるとともに、顔識別の精度を向上させることができる。
一方、ステップS157で、顔らしきものがないと判断した場合、ステップS151で人用の顔識別モードが設定されていないと判断した場合は、ステップS159に進み、フレーム画像データの全領域に基づいて3次元の顔識別処理により現在設定されている顔識別モードの種類の顔を識別する処理を行って、ステップS160に進む。この3次元の顔識別処理については後で説明する。
ステップS160で、登録された顔があると判断すると、ステップS161で、顔を識別することができたと判断し、ステップS160で、登録された顔がないと判断すると、ステップS162で、顔を識別することができないと判断する。
このステップS161で顔識別できたと判断すると図3のステップS12、図4のステップS21、図9のステップS109で顔識別できたと判断し、ステップS162で顔識別することができないと判断するとステップS12、ステップS21、ステップS109で顔識別することができないと判断する。
なお、3次元の顔識別処理による顔検出は後で説明する。
H−1.図6に示す3次元の顔検出処理の動作を、3次元の顔識別処理に適用したときの動作について
このときの3次元の顔識別処理の動作を、図6を引用し、異なる部分だけを説明する。
まず、ステップS53では、撮像された複数枚のフレーム画像データから被写体の特徴データをそれぞれ算出する。このときに算出される被写体の特徴データは、人や犬、猫等の種類の顔であることが大まかに識別できる程度の情報量ではなく、誰であるか等具体的に識別できる程度の情報量を有している。
また、図11のステップS156の3次元の顔識別処理の場合は、撮像された各フレーム画像データの検出された顔領域の画像データから被写体の2次元の特徴データ(2次元の顔特徴データ)を算出する。ここで顔特徴データとは、検出された顔領域内で撮像されている全ての被写体の特徴データに基づいて数値化されたデータである。
また、図11のステップS158の3次元の顔識別処理の場合は、撮像された各フレーム画像データの顔らしきものがあると判断された領域の画像データから被写体の2次元の特徴データ(顔らしき被写体の2次元の特徴データ)を算出する。
そして、ステップS56で、所定値以上で一致する部分があるか否かを判断し、所定値以上で一致する部分がある場合は、ステップS57で、該所定値以上で一致する部分に登録された顔があると判断し、顔領域を検出する。一方、ステップS56で、所定値以上で一致する部分がないと判断すると、ステップS58に進み、登録されている顔がないと判断する。
このときの3次元の顔識別処理の動作を、図8を引用し、異なる部分だけを説明する。
そして、ステップS64では、直近に撮像されたフレーム画像データに基づいて被写体の2次元の特徴データを算出する。このとき、算出される被写体の特徴データは、人や犬、猫等の種類の顔であることが大まかに識別できる程度の情報量ではなく、誰であるか等具体的に識別できる程度の情報量を有している。
また、図11のステップS156の3次元の顔識別処理の場合は、撮像された各フレーム画像データの検出された顔領域の画像データから2次元の被写体の特徴データ(2次元の顔特徴データ)を算出する。
また、図11のステップS158の3次元の顔識別処理の場合は、撮像された各フレーム画像データの顔らしきものがあると判断された領域の画像データから2次元の被写体の特徴データ(2次元の顔らしき被写体の特徴データ)を算出する。
まず、1つ目の他の方法による3次元の顔識別処理の動作は、上記「H−2」で説明した動作とほぼ同様であるが、上記「H−2」では、立体顔データから異なる向きの平面画像データを生成するようにしたが、ここでは、立体顔データから異なる表情(笑い、怒り、嫌悪等の異なる表情)の平面画像データを生成するというものである。このときは、立体顔データを正面から見たときの平面画像データを生成する。
まず、ステップS61では、顔の表情を無表情に設定し、ステップS62では、現在設定されている顔識別モードの種類の立体顔データの顔の表情を認識し、該立体顔データから該設定された表情の立体顔データを生成する。そして、該生成した立体顔データに基づいて正面から見た顔の平面画像データを生成する。
これにより、顔識別の精度を向上させることができる。例えば、被写体が笑っていたり、怒っている場合等であっても、顔を識別することができる。
また、3次元の顔識別処理について説明したが、3次元の顔検出処理にも適用することも可能である。また、この3次元の顔識別処理により顔を検出することができるようにすることも可能である。
まず、図6のステップS51、ステップS52の動作後、撮像された撮影角度の異なる複数毎のフレーム画像データ毎に被写体の特徴データを算出し(ステップS53)、該算出された各フレーム画像データ毎の被写体の特徴データから被写体の3次元モデルを生成する(ステップS54)。
なお、3次元の顔識別処理について説明したが、3次元の顔検出処理にも適用することも可能である。また、この3次元の顔識別処理により顔を検出することができるようにすることも可能である。
さらに、第3の実施の形態においては、設定された顔識別モードの種類に応じて、2次元の顔識別処理を行ったり、3次元の顔識別処理を行うようにしたので、処理負担の大きい3次元の顔識別処理を不必要に行うことがなく、また顔識別の精度を向上させることができる。たとえば、人の顔は平面的なので2次元の顔識別処理を行い、犬等の動物は一般的に立体的な顔なので2次元の顔識別処理では顔を識別することは難しいが、3次元の顔識別を行うことにより、動物の顔も識別することができる。
また、ユーザが顔識別モードを設定する場合は、識別したい種類の被写体の顔のみを識別することができる。
自動的に顔識別モードを設定する場合は、ユーザの手間が省け、また、撮影したい被写体の種類が具体的にわからない場合(例えば、猫なのか狐なのかわからない場合)であっても、該被写体の顔を識別することができ、顔識別の精度を向上させることができる。
I.上記実施の形態は以下のような変形例も可能である。
この場合は、図2に示すような顔データテーブルには、動物の種類毎に、2次元の顔データや3次元の顔データを設定しておく。
これにより、顔認識の精度を向上させることができる。
また、複数枚の画像データに基づいて被写体の3次元モデルを生成するようにしたが、1枚の画像データから被写体の3次元モデルを生成するようにしてもよい。
たとえば、顔認識モードを、2次元の顔認識処理により認識する2次元顔認識モード、3次元の顔認識処理により認識する3次元顔認識モードというように、顔認識処理の次元毎に設けてもよい。この場合は、人の顔を認識する場合は、まず、2次元顔認識モードに設定して顔認識処理を行い、顔が認識されない場合は3次元顔認識モードに設定するようにしてもよい。
また、動物の顔を認識する場合は、最初から3次元顔認識モードに設定するようにしてもよいし、動物の種類に応じて2次元顔認識モードに設定したり、3次元顔認識モードに設定したりするようにしてもよい。この場合、2次元顔認識モードに設定した場合であって、該2次元顔認識モードにより顔が認識できなかった場合は3次元顔認識モードに設定するようにしてもよい。
たとえば、上記各実施の形態においては、人用の顔認識モードの中に、2次元の顔認識処理、3次元の顔認識処理が含まれるが、2次元の顔認識により人の顔を認識する人用の2次元顔認識モード、3次元の顔認識処理により人の顔を認識する人用の3次元顔認識モードというように、被写体の種類と顔認識の次元との組み合わせ毎に顔認識モードを備えるようにしてもよい。
たとえば、人用の2次元顔認識モードが設定された場合は、該設定された人用の2次元顔認識モードに対応する顔認識処理を行い、顔が検出されない場合は、人用の3次元顔認識モードに自動的に切り換え設定して顔認識処理を行うようにしてもよい。また、人の顔を認識する場合は、まず、人用の2次元顔認識モードを設定するようにしてもよい。
また、同じ種類の動物(たとえば、猫)の顔を認識するモードが、2次元顔認識モードと、3次元顔認識モードと2つある場合は、最初に2次元顔認識モードに設定して顔認識処理を行い、顔が認識されない場合に初めて、3次元顔認識モードに設定して顔認識処理を行うようにしてもよい。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
2 撮影レンズ
3 レンズ駆動ブロック
4 絞り
5 CCD
6 ドライバ
7 TG
8 ユニット回路
9 画像生成部
10 CPU
11 キー入力部
12 メモリ
13 DRAM
14 フラッシュメモリ
15 画像表示部
16 バス
上記目的達成のため、請求項21記載の発明によるプログラムは、撮像手段を備えたコンピュータを、被写体の顔を認識する際に実行する顔認識処理の内容が各々異なる複数の顔認識モードを備え、該複数の顔認識モードの中から何れかの顔認識モードを設定する顔認識モード設定手段、前記撮像手段により撮像された画像データに対して、前記顔認識モード設定手段により設定された顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある顔を認識する顔認識手段、として機能させ、前記顔認識モード設定手段は、設定可能な顔認識モードとして、認識対象となる被写体の種類の違いと、被写体の種類以外の条件の違いとの組み合わせに応じた複数の顔認識モードを含み、前記顔認識手段は、前記撮像手段により撮像される画像データに基づいて自動的に前記被写体の種類の違いと前記被写体の種類以外の条件の違いとを識別して実行する顔認識処理を選択することを特徴とする。
Claims (20)
- 被写体を撮像する撮像手段と、
被写体の顔を認識する顔認識モードを複数種類備え、該複数種類の顔認識モードの中から何れかの種類の顔認識モードを設定する顔認識モード設定手段と、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある顔を認識する顔認識手段と、
を備えたことを特徴とする撮像装置。 - 前記複数種類の顔認識モードは、被写体の種類毎にあり、
前記顔認識手段は、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある該顔認識モード設定手段により設定された顔認識モードの種類の顔を認識することを特徴とする請求項1記載の撮像装置。 - 前記顔認識処理は、
2次元的に顔を認識する2次元顔認識処理と、3次元的に顔を認識する3次元顔認識処理を含むことを特徴とする請求項1又は2記載の撮像装置。 - 前記顔認識モード設定手段は、
ユーザによって選択された種類の顔認識モードを設定することを特徴とする請求項1乃至3の何れかに記載の撮像装置。 - 前記顔認識モード設定手段は、
自動的にある種類の顔認識モードを設定することを特徴とする請求項1乃至4の何れかに記載の撮像装置。 - 前記複数種類の顔認識モードは、
人の顔を認識する人用の顔認識モードと、人以外の種類の被写体の顔を認識する人以外の種類用の顔認識モードを含むことを特徴とする請求項1乃至5の何れかに記載の撮像装置。 - 前記複数種類の顔認識モードは、
2次元顔認識モードと、3次元顔認識モードを含むことを特徴とする請求項1乃至6の何れかに記載の撮像装置。 - 前記顔認識モード設定手段は、
人用の顔認識モードに設定し、前記顔認識手段により、人の顔が認識されなかった場合は、人以外の種類用の顔認識モードに切り替えて設定することを特徴とする5記載の撮像装置。 - 前記顔認識モード設定手段は、
2次元顔認識モードに設定し、前記顔認識手段により、顔が認識されなかった場合は、3次元顔認識モードに切り替えて設定することを特徴とする5記載の撮像装置。 - 前記顔認識手段は、
前記顔認識モード設定手段により人用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、2次元顔認識処理を実行して、該撮像された画像データ内にある人の顔を認識し、前記顔認識モード設定手段により人以外の種類用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある前記顔認識モード設定手段により設定された顔認識モードの種類の顔を認識することを特徴とする請求項1乃至9の何れかに記載の撮像装置。 - 前記人以外用の種類の顔認識モードは、複数あり、
前記顔認識手段は、
前記顔認識モード設定手段により人用の顔認識モードが設定された場合は、前記撮像手段により撮像された画像データに基づいて、2次元顔認識処理を実行して、該撮像された画像データ内にある人の顔を認識し、前記顔認識モード設定手段により人以外の種類用の顔認識モードが設定された場合は、該設定された種類の顔検出モードに応じて、実行させる顔認識処理を、2次元顔認識処理と3次元顔認識処理とに切り替えることにより、前記撮像手段により撮像された画像データ内にある前記顔認識モード設定手段により設定された顔認識モードの種類の顔を認識することを特徴とする請求項1乃至9の何れかに記載の撮像装置。 - 前記顔認識手段は、
2次元顔認識処理の実行により顔を認識することができなかった場合は、前記撮像手段により撮像された画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある顔を認識することを特徴とする請求項10又は11記載の撮像装置。 - 前記顔認識手段は、
前記撮像手段により撮像された画像データの全領域、又は、画像データの画角の中央領域、又は、ユーザによって指定された領域の画像データに基づいて、顔認識処理を実行して、該撮像された画像データ内にある顔を認識することを特徴とする請求項1乃至12の何れかに記載の撮像装置。 - 前記顔認識手段は、
2次元顔認識処理の実行により、顔を認識することができなかったが、顔らしきものが認識できた場合は、前記撮像手段により撮像された画像データの該顔らしきものがあると認識された領域の画像データに基づいて、3次元顔認識処理を実行して、該撮像された画像データ内にある顔を認識することを特徴とする請求項12記載の撮像装置。 - 前記顔認識手段は、
前記撮像手段により撮像された画像データ内にある顔を検出することを特徴とする請求項1乃至14の何れかに記載の撮像装置。 - 前記顔認識手段は、
前記撮像手段により撮像された画像データ内にある顔が何であるかを具体的に識別することを特徴とする請求項1乃至14の何れかに記載の撮像装置。 - 前記撮像手段により撮像された画像データ内にある顔を検出する2次元顔検出手段を備え、
前記顔認識手段は、
前記2次元顔検出手段により顔が検出された場合は、前記撮像手段により撮像された画像データの前記2次元顔検出手段により検出された顔領域の画像データに基づいて、3次元顔認識処理を実行することにより、該撮像された画像データ内にある顔を識別することを特徴とする請求項16記載の撮像装置。 - 前記顔認識モード設定手段は、
前記顔認識手段により顔が認識されると、前記撮像手段により撮像された画像データに基づいて、前記顔認識手段により認識された顔が画像データ内のどこにあるかを2次元的に検出していくことにより、該認識された顔に対して追従していく追従顔認識モードに切り替えて設定することを特徴とする請求項1乃至17の何れかに記載の撮像装置。 - 前記顔認識モード設定手段は、
前記顔認識手段による追従顔認識モードに応じた顔認識処理により人の顔が認識されなくなった場合は、前記追従顔認識モードが設定される前に設定されていた顔認識モードを再設定することを特徴とする請求項18記載の撮像装置。 - 撮像手段を備えたコンピュータを、
被写体の顔を認識する顔認識モードを複数種類備え、該複数種類の顔認識モードの中から何れかの種類の顔認識モードを設定する顔認識モード設定手段と、
前記撮像手段により撮像された画像データに基づいて、前記顔認識モード設定手段により設定された種類の顔認識モードに応じた顔認識処理を実行することにより、該撮像された画像データ内にある顔を認識する顔認識手段と、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012045142A JP5267695B2 (ja) | 2012-03-01 | 2012-03-01 | 撮像装置、顔認識方法及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012045142A JP5267695B2 (ja) | 2012-03-01 | 2012-03-01 | 撮像装置、顔認識方法及びそのプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007225922A Division JP5099488B2 (ja) | 2007-08-31 | 2007-08-31 | 撮像装置、顔認識方法およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012157016A true JP2012157016A (ja) | 2012-08-16 |
JP5267695B2 JP5267695B2 (ja) | 2013-08-21 |
Family
ID=46838202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012045142A Expired - Fee Related JP5267695B2 (ja) | 2012-03-01 | 2012-03-01 | 撮像装置、顔認識方法及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5267695B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069968A (zh) * | 2018-01-22 | 2019-07-30 | 耐能有限公司 | 脸部辨识系统及脸部辨识方法 |
CN110119663A (zh) * | 2018-02-06 | 2019-08-13 | 耐能有限公司 | 低功率消耗的脸部辨识方法及低功率消耗的脸部辨识系统 |
CN111723709A (zh) * | 2020-06-09 | 2020-09-29 | 大连海事大学 | 一种基于深度卷积神经网络的蝇类面部识别方法 |
CN112805720A (zh) * | 2018-10-10 | 2021-05-14 | 利拉伐控股有限公司 | 使用视觉技术的动物标识 |
CN112805720B (zh) * | 2018-10-10 | 2024-05-31 | 利拉伐控股有限公司 | 使用视觉技术的动物标识 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011970A (ja) * | 2005-07-04 | 2007-01-18 | Fujifilm Holdings Corp | 画像処理装置および画像処理方法ならびにプログラム |
JP2007241782A (ja) * | 2006-03-10 | 2007-09-20 | Fujifilm Corp | 対象画像検出装置の制御方法 |
-
2012
- 2012-03-01 JP JP2012045142A patent/JP5267695B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011970A (ja) * | 2005-07-04 | 2007-01-18 | Fujifilm Holdings Corp | 画像処理装置および画像処理方法ならびにプログラム |
JP2007241782A (ja) * | 2006-03-10 | 2007-09-20 | Fujifilm Corp | 対象画像検出装置の制御方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069968A (zh) * | 2018-01-22 | 2019-07-30 | 耐能有限公司 | 脸部辨识系统及脸部辨识方法 |
CN110119663A (zh) * | 2018-02-06 | 2019-08-13 | 耐能有限公司 | 低功率消耗的脸部辨识方法及低功率消耗的脸部辨识系统 |
CN110119663B (zh) * | 2018-02-06 | 2022-12-30 | 耐能有限公司 | 低功率消耗的脸部辨识方法及低功率消耗的脸部辨识系统 |
CN112805720A (zh) * | 2018-10-10 | 2021-05-14 | 利拉伐控股有限公司 | 使用视觉技术的动物标识 |
CN112805720B (zh) * | 2018-10-10 | 2024-05-31 | 利拉伐控股有限公司 | 使用视觉技术的动物标识 |
CN111723709A (zh) * | 2020-06-09 | 2020-09-29 | 大连海事大学 | 一种基于深度卷积神经网络的蝇类面部识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5267695B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5099488B2 (ja) | 撮像装置、顔認識方法およびそのプログラム | |
CN104243800B (zh) | 控制装置和存储介质 | |
TWI393434B (zh) | 攝像裝置及程式儲存記憶媒體 | |
CN106575027B (zh) | 摄像装置及其被摄体跟踪方法 | |
US8594390B2 (en) | Composition determination device, composition determination method, and program | |
JP5394296B2 (ja) | 撮像装置及び画像処理方法 | |
JP5251215B2 (ja) | デジタルカメラ | |
JP4577275B2 (ja) | 撮像装置、画像記録方法、および、プログラム | |
JP4552997B2 (ja) | 撮像装置及びプログラム | |
JP2004320286A (ja) | デジタルカメラ | |
JP4780205B2 (ja) | 撮像装置、画角調節方法、及び、プログラム | |
JP2008270896A (ja) | 撮像装置及びそのプログラム | |
JP5030022B2 (ja) | 撮像装置及びそのプログラム | |
JP4853707B2 (ja) | 撮像装置及びそのプログラム | |
JP2008299784A (ja) | 被写体判定装置及びそのプログラム | |
JP4577445B2 (ja) | 撮像装置、画像記録方法、および、プログラム | |
JP5880135B2 (ja) | 検出装置、検出方法及びプログラム | |
KR101665175B1 (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
JP5267695B2 (ja) | 撮像装置、顔認識方法及びそのプログラム | |
JP2008288797A (ja) | 撮像装置 | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
US11575826B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2009252069A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5088612B2 (ja) | 撮像装置、撮像装置の処理実行方法及びそのプログラム | |
JP5126285B2 (ja) | 撮像装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5267695 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |