JP2006031636A - 両目の検出装置及び方法 - Google Patents

Abstract

【課題】 少ない演算処理量で画像の中から顔の両目を高精度に検出する。
【解決手段】 時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求める差分算出手段１〜５，１０と、時系列に沿ってこの差分の累積和を求める累積和算出手段６，７，１０と、累積和算出手段６，７，１０で求められた累積和を画素毎に順次所定の閾値と比較し、最初にこの閾値を超えた画素群を片方の目として検出する第１の検出手段８〜１０と、第１の検出手段８〜１０で検出された画素群から、残りの目を含む画素領域を推定する推定手段１０と、推定手段１０で推定された画素領域内の各画素について累積和算出手段６，７，１０で求められた累積和をこの閾値と比較し、この閾値を超えた画素群を残りの目として検出する第２の検出手段８〜１０とを備える。
【選択図】 図１

Description

本発明は、画像の中から顔の両目を検出する装置及び方法に関し、特に、処理量の軽減や検出精度の向上を図ったものに関する。

画像の中から顔を検出する方法として、従来からテンプレートマッチング方式が一般的に用いられている。

テンプレートマッチング方式は、図１２に示すように、平均的な顔の画像であるテンプレート画像５１を前もって用意しておき、入力画像５２の全領域でこのテンプレート画像５１を走査しながら、入力画像５１とテンプレート画像５２との類似性を評価するものである。

また、顔の特定の部位である両目を検出する方法としては、従来、例えば、動画像データからキャプチャした複数の静止画像のうち、輝度差の総和が最大であった２つの静止画像を、目が開いた状態の画像及びまばたきによって目を閉じた状態の画像であると推測してそれらの差分画像を作成し、その差分画像の全領域を走査して、輝度値が最大の位置、２番目に大きい位置をそれぞれ両目として検出する方法が提案されていた（例えば、特許文献１参照）。
特開２００３−２４８８１５号公報（段落番号００３０〜００３６、図３〜４）

しかし、従来のテンプレートマッチング方式では、入力画像中の顔の大きさとは無関係に常に全領域を走査してテンプレート画像との類似性を評価しなければならないので、演算処理量が膨大になってしまう。

また、上記特許文献１に記載の両目の検出方法は、２つの静止画像についての差分画像のみから検出を行うので、例えばまばたき以外の原因によって輝度差が生じたような場合にまばたきしていない静止画像を選択してしまい、目を誤検出する可能性がある。したがって、高い精度で両目を検出することが困難であると考えられる。

さらに、上記特許文献１に記載の両目の検出方法では、画像中の目の位置とは無関係に常に差分画像の全領域を走査して輝度値を算出しなければならないので、やはり演算処理量が多くなってしまう。

本発明は、上述の点に鑑み、少ない演算処理量で画像の中から顔の両目を高精度に検出できるようにすることを課題としてなされたものである。さらに、本発明は、両目の検出結果に基づき、少ない演算処理量で画像の中から顔を検出できるようにすることを課題としてなされたものである。

この課題を解決するために、本発明に係る両目の検出装置は、時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求める差分算出手段と、時系列に沿ってこの差分の累積和を求める累積和算出手段と、累積和算出手段で求められた累積和を画素毎に順次所定の閾値と比較し、最初にこの閾値を超えた画素群を片方の目として検出する第１の検出手段と、第１の検出手段で検出された画素群から、残りの目を含む画素領域を推定する推定手段と、推定手段で推定された画素領域内の各画素について累積和算出手段で求められた累積和をこの閾値と比較し、この閾値を超えた画素群を残りの目として検出する第２の検出手段とを備えたことを特徴とする。

この検出装置では、時系列に沿って入力する複数の画像データについて、差分算出手段により、２つの画像データの画素毎の差分が求められる。そして、累積和算出手段により、時系列に沿ってこの差分の累積和が求められる。

目の位置の画素では、ほぼ周期的なまばたきによってこの２つの画像データに差が生じるので、この差分によって目を検出することが可能である。そして、時系列に沿ってこの差分の累積和を求めることにより、目の検出精度を高めることができる。

続いて、第１の検出手段により、累積和算出手段で求められた累積和が画素毎に順次所定の閾値と比較され、最初にこの閾値を超えた画素群が片方の目として検出される。このようにして、まず片方の目だけが検出される。

続いて、推定手段により、第１の検出手段で検出された画素群から、残りの目を含む画素領域が推定される。そして、第２の検出手段により、推定手段で推定された画素領域内の各画素について累積和算出手段で求められた累積和がこの閾値と比較され、この閾値を超えた画素群が残りの目として検出される。このようにして、両目の検出が完了する。

この検出装置によれば、前述のように、画素毎の差分を時系列に沿って累積するので、両目を高精度に検出することができる。

そして、減算処理，加算処理，閾値との比較処理といった演算量の少ない処理によって両目を検出することができる。

さらに、まず最初に閾値を超えた画素群を片方の目として検出するので、ほとんどの場合（最後に比較した画素だけが閾値を超えているような極めて例外的な場合を除き）、画像の全領域について比較処理を行う前に、片方の目を検出することができる。そして、その検出結果から推定した画素領域についてのみ残りの目を検出するための比較処理を行う。これにより、画像の全領域について比較処理を行うことなく両目を検出することができるので、一層演算処理量を少なくすることができる。

なお、この検出装置において、一例として、第１の検出手段は、一定未満の大きさの画素群でしか閾値を超えていなかった場合には、片方の目を検出したと判定しないことが好適である。

それにより、例えば数画素のような少数の画素だけで周期的に差分が生じているような位置を目として誤検出することを防止することができるようになる。

また、この検出装置において、一例として、画像の撮影時の照度に応じて閾値を可変設定する閾値設定手段をさらに備えることが好適である。

暗い場所で撮影された画像データと明るい場所で撮影された画像データとでは、まばたきによる２つの画像データの差の度合いが相違するが、このように撮影時の照度に応じて閾値を可変設定することにより、撮影時の照度にかかわらず高精度に両目を検出することができるようになる。

また、この検出装置において、一例として、第１の検出手段は、画面の中央部分の画素から画面の周辺部分の画素に向けて順に閾値と比較していき、推定手段は、第１の検出手段で検出された画素群の両側の２つの画素領域を残りの目を含む領域として推定することが好適である。

人物を撮影した画像では画面の周辺部分よりも中央部分寄りに顔が位置することが多いので、このように画面の中央部分の画素から画面の周辺部分の画素に向けて順に閾値と比較していくことにより、最初の片方の目を迅速に検出することができるとともに、最初の片方の目を検出するための演算処理量を一層少なくすることができるようになる。

あるいは、第１の検出手段は、画面の左側，右側のうちのいずれか一方の側の画素から他方の側の画素に向けて順に前記閾値と比較していき、推定手段は、第１の検出手段で検出された画素群のこの他方の側の１つの画素領域のみを残りの目を含む領域として推定することも好適である。

それにより、第２の検出手段が残りの目を検出するために比較処理を行う画素領域が１つだけになるので、残りの目を迅速に検出することができるとともに、残りの目を検出するための演算処理量を一層少なくすることができるようになる。

また、この検出装置において、一例として、第２の検出手段は、第１の検出手段で検出された画素群の大きさに対して一定以上近い大きさの画素群で閾値を超えていた場合にのみ、残りの目を検出したと判定することが好適である。

片方の目と残りの目とは大きさが近いのが通常であるから、このように片方の目として検出した画素群の大きさと一定以上近い大きさの画素群のみを残りの目として検出することにより、検出した片方の目とは異なる大きさの画素群で周期的に差分が生じているような位置を残りの目として誤検出することを防止することができるようになる。

また、この検出装置において、一例として 第１の検出手段及び第２の検出手段で検出した両目の位置に基づき、顔の大きさを推定して、顔を含む画素領域を切り出す切出し手段をさらに備えることが好適である。

それにより、画像の中から顔を検出しようとする場合には、この切出し手段で切り出された画素領域のみについて顔検出を行えば足りる（例えばテンプレートマッチング方式の場合には、この切り出された画素領域でのみテンプレート画像を走査すれば足りる）ようになる。

このように、画像の全領域ではなく、顔の大きさに応じた画素領域についてのみ顔検出を行えば足りるので、両目の検出結果に基づき、少ない演算処理量で画像の中から顔を検出することができるようになる。

次に、本発明に係る両目の検出方法は、時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求める差分算出ステップと、時系列に沿ってこの差分の累積和を求める累積和算出ステップと、累積和算出ステップで求められた累積和を画素毎に順次所定の閾値と比較し、最初にこの閾値を超えた画素群を片方の目として検出する第１の検出ステップと、第１の検出ステップで検出された画素群から、残りの目を含む画素領域を推定する推定ステップと、推定ステップで推定された画素領域内の各画素について累積和算出ステップで求められた累積和をこの閾値と比較し、この閾値を超えた画素群を残りの目として検出する第２の検出ステップとを有することを特徴とする。

この検出方法では、時系列に沿って入力する複数の画像データについて、差分算出ステップで、２つの画像データの画素毎の差分が求められる。そして、累積和算出ステップで、時系列に沿ってこの差分の累積和が求められる。

目の位置の画素では、ほぼ周期的なまばたきによってこの２つの画像データに差が生じるので、この差分によって目を検出することが可能である。そして、時系列に沿ってこの差分の累積和を求めることにより、目の検出精度を高めることができる。

続いて、第１の検出ステップで、累積和算出ステップで求められた累積和が画素毎に順次所定の閾値と比較され、最初にこの閾値を超えた画素群が片方の目として検出される。このようにして、まず片方の目だけが検出される。

続いて、推定ステップで、第１の検出ステップで検出された画素群から、残りの目を含む画素領域が推定される。そして、第２の検出ステップで、推定ステップで推定された画素領域内の各画素について累積和算出ステップで求められた累積和がこの閾値と比較され、この閾値を超えた画素群が残りの目として検出される。このようにして、両目の検出が完了する。

この検出方法によれば、前述のように、画素毎の差分を時系列に沿って累積するので、両目を高精度に検出することができる。

そして、減算処理，加算処理，閾値との比較処理といった演算量の少ない処理によって両目を検出することができる。

さらに、まず最初に閾値を超えた画素群を片方の目として検出するので、ほとんどの場合（最後に比較した画素だけが閾値を超えているような極めて例外的な場合を除き）、画像の全領域について比較処理を行う前に、片方の目を検出することができる。そして、その検出結果から推定した画素領域についてのみ残りの目を検出するための比較処理を行う。これにより、画像の全領域について比較処理を行うことなく両目を検出することができるので、一層演算処理量を少なくすることができる。

本発明によれば、少ない演算処理量で画像の中から顔の両目を高精度に検出することができるという効果が得られる。

また、例えば数画素のような少数の画素だけで周期的に差分が生じているような位置を目として誤検出することを防止できるという効果も得られる。

また、撮影時の照度にかかわらず高精度に両目を検出できるという効果も得られる。

また、最初の片方の目を迅速に検出することができるとともに、最初の片方の目を検出するための演算処理量を一層少なくすることができるという効果も得られる。

また、残りの目を迅速に検出することができるとともに、残りの目を検出するための演算処理量を一層少なくすることができるという効果も得られる。

また、検出した片方の目とは異なる大きさの画素群で周期的に差分が生じているような位置を残りの目として誤検出することを防止できるという効果も得られる。

また、両目の検出結果に基づき、少ない演算処理量で画像の中から顔を検出できるという効果も得られる。

以下、本発明を図面を用いて具体的に説明する。図１は、本発明に係る両目の検出装置の回路構成例を示すブロック図である。この検出装置は、デジタルスチルカメラに搭載されており、被写体の顔の部分に自動的にフォーカスを合せる前提として、被写体から両目を検出するために用いられるものであり、１入力２出力の切替スイッチ１， フレームメモリ２，３，減算器４，フレームメモリ５，加算器６，フレームメモリ７，比較回路８，閾値設定回路９，マイクロコンピュータ１０，ＣＣＤ撮像素子１１，フォトダイオード１２及びＡ／Ｄ変換器１３で構成されている。

切替スイッチ１には、デジタルスチルカメラのＣＣＤ撮像素子１１から出力された画像データが入力する。切替スイッチ１の一方の出力端子から出力した画像データはフレームメモリ２に格納され、切替スイッチ１の他方の出力端子から出力した画像データはフレームメモリ３に格納されるようになっている。

フレームメモリ２から読み出されたデータとフレームメモリ３から読み出されたデータとは、減算器４で差分を求められて、フレームメモリ５に格納される。

フレームメモリ５から読み出されたデータは、加算器６で、フレームメモリ７から読み出されたデータと加算されて、新たにフレームメモリ７に格納されるようになっている。

比較回路８では、フレームメモリ７から読み出されたデータが、閾値設定回路９からの閾値と比較されるようになっている。

図２〜図３は、マイクロコンピュータ１０が実行する両目検出処理を示すフローチャートである。被写体の撮影時に、ＣＣＤ撮像素子１１から画像データ（例えば毎秒３０フレームの画像データ）が切替スイッチ１に入力し始めると、図２に示すように、１フレーム毎に切替スイッチ１を切り替えて、フレームメモリ２，３に交互に画像データを格納する（ステップＳ１）。

また、３フレーム目以降には、フレームメモリ２，３に格納されている画像データ（例えば３フレーム目では１フレーム目，２フレーム目の画像データ）を同時に読み出して、減算器４で求められたその２つの画像データの画素毎の差分をフレームメモリ５に格納する（ステップＳ２，Ｓ３）。

そして、フレームメモリ５に格納されている差分データとフレームメモリ７に格納されているデータ（最初は空のデータ）とを同時に読み出し、加算器６で求められたその２つのデータの画素毎の和を新たにフレームメモリ７に格納する（ステップＳ４）。

続いて、フレームメモリ７から１画素分ずつデータを読み出して、比較回路８で画素毎に順次閾値設定回路９からの閾値と比較させる（ステップＳ５）。そして、１画素分読み出して比較する毎に、閾値を超える画素がみつかったか否かを判断する（ステップＳ６）。

ノーであれば、フレームメモリ７から全てのデータを読み出して比較し終えたか否かを判断する（ステップＳ７）。ノーであれば、ステップＳ５に戻って画素毎の比較を続ける。他方イエスであれば、ステップＳ１に戻ってステップＳ１〜Ｓ６を繰り返す。

図４，図５は、このステップＳ７までの処理内容を説明する図である。ステップＳ１〜Ｓ３により、図４に示すように、時系列に沿って入力する複数の画像データ（１フレーム目，２フレーム目，３フレーム目，…の画像データ）について、２つの画像データの画素毎の差分が求められる。人物を被写体として撮影するとき、人物や背景はほぼ静止しているとともに、目はほぼ周期的に（例えば１分間に約２０回程度）まばたきする。目の位置の画素では、このまばたきによってこの２つの画像データに差が生じるので、この差分によって目を検出することが可能である。

また、ステップＳ４が繰り返されることにより、図５に示すように、時系列に沿ってこの差分の累積和が求められる。これにより、目の検出精度を高めることができる。

なお、ステップＳ５では、図６に示すように、フレームメモリ７に格納されているデータ（差分の累積和）を、画面の中央部分の画素Ｐから画面の周辺部分の画素に向けて順に読み出していく。

人物を撮影した画像では画面の周辺部分よりも中央部分寄りに顔が位置することが多いので、このように画面の中央部分の画素から画面の周辺部分の画素に向けて順に読み出して閾値と比較していくことにより、最初の片方の目を迅速に検出することができるとともに、最初の片方の目を検出するための演算処理量を一層少なくすることができる。

また、図５の差分の累積和がどの程度の値になれば目を検出したと判定してよいかは、画像の撮影時の周囲の照度によって異なる。周囲が暗ければ、差分の累積和が比較的小さくても目を検出したと判定してよいが、周囲が明るい場合には、目以外の部分でも差分の累積和が大きくなるので、差分の累積和が或る程度以上大きくなければ目を検出したと判定することはできない。

そこで、マイクロコンピュータ１０は、図２〜図３の処理と並行して、デジタルスチルカメラの筐体表面に取り付けられたフォトダイオード１２（図１）からＡ／Ｄ変換器１３（図１）を介して送られる信号に基づいて周囲の照度を測定する。そして、その測定結果に基づいて、マイクロコンピュータ１０内に格納している照度と閾値との関係グラフのデータを参照して、閾値設定回路９の閾値を可変設定する。図7は、この照度と閾値との関係グラフの一例を示しており、数値は相対値である。照度が低いときには閾値が小さく、照度が高くなるにつれて閾値が大きくなるが、照度がある程度以上高くなると、閾値は飽和する。

このように撮影時の照度に応じて閾値を可変設定することにより、撮影時の照度にかかわらず高精度に両目を検出することができる。

図２に示すように、ステップＳ６でイエスになると、閾値を超えていた画素に隣接し且つ累積和が閾値を超える画素群の輪郭線を求める（ステップＳ８）。そして、その輪郭線が一定以上の大きさ（例えば数画素のような少数の画素群の輪郭線の大きさよりも十分な大きさ）であるか否かを判断する（ステップＳ９）。

ノーであれば、ステップＳ７に進む。他方イエスであれば、その画素群を片方の目であると判定して、その片方の目の幅，高さ，大きさ及び傾きを算出する（ステップＳ１０）。

この算出方法としては、ステップＳ６で求めた輪郭線が目のおおまかな形になっていると仮定し、且つ、目の幅が目の高さよりも広いという特徴を利用して、この輪郭線の長軸方向，短軸方向の長さをそれぞれ幅，高さとする。また、その幅×高さを目の大きさとする（目の形を長方形で近似する）。そして、この輪郭線の長軸方向が画面の水平方向に対して成す角度を目の傾きとする。

続いて、ステップＳ１０で算出した片方の目の幅，傾きから、残りの目への距離，方向を推定する（ステップＳ１１）。そして、その推定結果から、残りの目を含む画素領域を推定する（ステップＳ１２）。

図８は、ステップＳ１２で残りの目を含む画素領域として推定する領域を例示する図である。ステップＳ１０で検出された片方の目Ｅの左右両側の領域Ａ１，Ａ２を、残りの目を含む画素領域として推定している。

図３に示すように、ステップＳ１２に続いて、ステップＳ１２で推定した画素領域について、フレームメモリ７から１画素分ずつデータを読み出して、比較回路８で画素毎に順次閾値設定回路９からの閾値と比較させる（ステップＳ１３）。そして、全て読み出して比較した後に、閾値を超える画素があったか否かを判断する（ステップＳ１４）。

ノーであれば、両目を検出できなかったと判定して（ステップＳ２０）、処理を終了する。他方イエスであれば、その画素に隣接し且つ累積和が閾値を超える画素群の輪郭線を求める（ステップＳ１５）。そして、その輪郭線の大きさが、ステップＳ８で求めた片方の目の輪郭線の大きさに一定以上近いか（例えば片方の目の輪郭線の大きさの０．７〜１．３倍程度の範囲内であるか）否かを判断する（ステップＳ１６）。

ノーであれば、ステップＳ２０に進む。他方イエスであれば、その画素群を残りの目であると判定する（ステップＳ１７）。そして、その残りの目と片方の目との間隔を算出し、その間隔及びステップＳ１０で算出した目の幅から、顔の大きさを推定する（ステップＳ１８）。

そして、ＣＣＤ撮像素子１１から入力する画像データの中から、推定した大きさの顔を含む画素領域である顔領域を切り出す（ステップＳ１９）。そして処理を終了する。

図９は、ステップＳ１９で切り出した顔領域の一例を示す。ＣＣＤ撮像素子１１から入力する画像データの中から、顔領域Ａ３が切り出されている。マイクロコンピュータ１０は、このように顔領域Ａ３を切り出した後、図９にも示すように、この顔領域Ａ３でのみテンプレート画像２１を走査するテンプレートマッチングを行うことによって顔全体を検出する。

その後、デジタルスチルカメラ内では、このようにして検出した顔の部分に自動的にフォーカスを合せる処理が、図示しないフォーカス系において行われる。

以上のように、この両目の検出装置では、ＣＣＤ撮像素子１１から時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求め、さらに、時系列に沿ってこの差分の累積和を求めることによって、両目を高精度に検出することができる。

そして、減算器４での減算処理，加算器６での加算処理，比較回路８での閾値との比較処理といった演算量の少ない処理によって両目を検出することができる。

さらに、まず最初に閾値を超えた画素群を片方の目として検出する（図２のステップＳ６〜Ｓ１０）ので、ほとんどの場合（最後に比較した画素だけが閾値を超えているような極めて例外的な場合を除き）、画像の全領域について比較処理を行う前に、片方の目を検出することができる。そして、その検出結果から推定した画素領域についてのみ残りの目を検出するための比較処理を行う（図２のステップＳ１１〜図３のステップＳ１３、図８）。これにより、画像の全領域について比較処理を行うことなく両目を検出することができるので、一層演算処理量を少なくすることができる。

また、最初の片方の目を検出する際に、一定未満の大きさの画素群でしか閾値を超えていなかった場合には片方の目を検出したと判定しない（図２のステップＳ９）ので、例えば数画素のような少数の画素だけで周期的に差分が生じているような位置を目として誤検出することを防止できる。

また、撮影時の照度に応じて閾値設定回路９での閾値を可変設定する（図７）ので、撮影時の照度にかかわらず高精度に両目を検出することができる。

また、人物を撮影した画像では画面の周辺部分よりも中央部分寄りに顔が位置することが多いので、最初の片方の目を検出するためにフレームメモリ７内のデータ（差分の累積和）を閾値と比較する際（図２のステップＳ５）に画面の中央部分の画素から画面の周辺部分の画素に向けて順に比較していく（図６）ことにより、最初の片方の目を迅速に検出することができるとともに、最初の片方の目を検出するための演算処理量を一層少なくすることができる。

また、片方の目を検出した後、残りの目を検出する際には、片方の目として検出された画素群の大きさに対して一定以上近い大きさの画素群で閾値を超えていた場合にのみ残りの目を検出したと判定する（図３のステップＳ１６）ので、検出した片方の目とは異なる大きさの画素群で周期的に差分が生じているような位置を残りの目として誤検出することを防止できる。

また、両目の検出結果に基づき、顔の大きさを推定して、顔を含む画素領域を切り出す（図３のステップＳ１８，Ｓ１９）ので、その後顔全体を検出する際には、この切り出した画素領域でのみテンプレート画像を走査するテンプレートマッチングを行えば足りる（図９）。このように、画像の全領域ではなく、顔の大きさに応じた画素領域についてのみテンプレートマッチングで顔検出を行うことにより、テンプレートマッチングの演算処理量が大幅に減少する（テンプレートマッチングの演算処理の減少量が、両目の検出処理の処理量を大幅に上回る）ので、少ない演算処理量で画像の中から顔を検出することができる。

なお、以上の例では、最初の片方の目を検出するためにフレームメモリ７内のデータ（差分の累積和）を閾値と比較する際（図２のステップＳ５）に、図６に示したように、フレームメモリ７に格納されているデータ（差分の累積和）を画面の中央部分の画素から画面の周辺部分の画素に向けて順に比較している。しかし、別の例として、図１０に示すように画面の左側の画素Ｐから右側の画素に向けて順に比較していったり、あるいは逆に画面の右側の画素から左側の画素に向けて順に比較していくようにしてもよい。

図１０のように画面の左側の画素から右側の画素に向けて順に比較していった場合には、最初に人物の右目が検出されるので、残りの左目は画面上で右側に位置することになる。そこで、図２のステップＳ１２では、図１１に示すように、残りの目を含む画素領域として、検出された片方の目（右目）Ｅの右側の領域Ａのみを、残りの目を含む画素領域として推定すればよい。逆に、画面の右側の画素から左側の画素に向けて順に比較していった場合には、最初に人物の左目が検出されるので、残りの右目は画面上で左側に位置することになる。そこで、図２のステップＳ１２では、残りの目を含む画素領域として、検出された片方の目（左目）の左側の領域のみを、残りの目を含む画素領域として推定すればよい

これにより、残りの目を検出するために比較処理（図３のステップＳ１３）を行う画素領域が１つだけになるので、残りの目を迅速に検出することができるとともに、残りの目を検出するための演算処理量を一層少なくすることができるようになる。

また、以上の例では、顔を含む画素領域を切り出した後、その画素領域からテンプレートマッチング方式で顔を検出している（図９）が、テンプレートマッチング方式以外の顔検出方式（例えばサポートベクターを使用する方式）でその画素領域から顔を検出するようにしてもよい。その場合にも、やはり、その顔検出方式での演算処理量が大幅に減少するので、少ない演算処理量で画像の中から顔を高精度に検出することができるようになる。

あるいはまた、厳密に顔の位置を検出する必要がなく、画像中のおおよその顔の位置を知ればよい場合には、図３のステップＳ１９で切り出した画素領域そのものを顔とみなしてもよい。さらには、図３のステップＳ１８，Ｓ１９を省略して、検出した両目の位置そのものを顔の位置とみなしてもよい。それにより、一層して少ない演算処理量で顔を検出することができるようになる。

また、以上の例では、本発明に係る両目の検出装置をデジタルスチルカメラに搭載している。しかし、本発明に係る両目の検出装置は、ビデオカメラや、入力画像の中から目や顔を検出する処理を行うその他の機器（例えばロボット）にも搭載してよい。

本発明に係る顔の検出装置の回路構成例を示すブロック図である。 図１のマイクロコンピュータが実行する両目検出処理を示すフローチャートである。 図１のマイクロコンピュータが実行する両目検出処理を示すフローチャートである。 図２のステップＳ７までの処理内容を説明する図である。 図２のステップＳ７までの処理内容を説明する図である。 図２のステップＳ５でのフレームメモリ７からの読出し順序を示す図である。 照度と閾値との関係グラフを例示する図である。 図２のステップＳ１２で推定する残りの目の画素領域を例示する図である。 図３のステップＳ１９で切り出した画素領域を例示する図である。 図２のステップＳ５でのフレームメモリ７からの読出し順序の別の例を示す図である。 図１０の読出し順序に対応して図２のステップＳ１２で推定する残りの目の画素領域を例示する図である。 従来のテンプレートマッチング方式を示す図である。

符号の説明

１ 切替スイッチ、 ２，３，５，７ フレームメモリ、 ４ 減算器、 ６ 加算器、 ８ 比較回路、 ９ 閾値設定回路、 １０ マイクロコンピュータ、 １１ ＣＣＤ撮像素子、 １２ フォトダイオード、 １３ Ａ／Ｄ変換器

Claims (14)

1. 時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求める差分算出手段と、
   時系列に沿って前記差分の累積和を求める累積和算出手段と、
   前記累積和算出手段で求められた累積和を画素毎に順次所定の閾値と比較し、最初に前記閾値を超えた画素群を片方の目として検出する第１の検出手段と、
   前記第１の検出手段で検出された画素群から、残りの目を含む画素領域を推定する推定手段と、
   前記推定手段で推定された画素領域内の各画素について前記累積和算出手段で求められた累積和を前記閾値と比較し、前記閾値を超えた画素群を残りの目として検出する第２の検出手段と
   を備えたことを特徴とする両目の検出装置。
2. 請求項１に記載の両目の検出装置において、
   前記第１の検出手段は、一定未満の大きさの画素群でしか前記閾値を超えていなかった場合には、片方の目を検出したと判定しないことを特徴とする両目の検出装置。
3. 請求項１に記載の両目の検出装置において、
   画像の撮影時の照度に応じて前記閾値を可変設定する閾値設定手段
   をさらに備えたことを特徴とする両目の検出装置。
4. 請求項１に記載の両目の検出装置において、
   前記第１の検出手段は、画面の中央部分の画素から画面の周辺部分の画素に向けて順に前記閾値と比較していき、
   前記推定手段は、前記第１の検出手段で検出された画素群の両側の２つの画素領域を残りの目を含む領域として推定する
   ことを特徴とする両目の検出装置。
5. 請求項１に記載の両目の検出装置において、
   前記第１の検出手段は、画面の左側，右側のうちのいずれか一方の側の画素から他方の側の画素に向けて順に前記閾値と比較していき、
   前記推定手段は、前記第１の検出手段で検出された画素群の前記他方の側の１つの画素領域のみを残りの目を含む領域として推定する
   ことを特徴とする両目の検出装置。
6. 請求項１に記載の両目の検出装置において、
   前記第２の検出手段は、前記第１の検出手段で検出された画素群の大きさに対して一定以上近い大きさの画素群で前記閾値を超えていた場合にのみ、残りの目を検出したと判定することを特徴とする両目の検出装置。
7. 請求項１に記載の両目の検出装置において、
   前記第１の検出手段及び前記第２の検出手段で検出した両目に基づき、顔の大きさを推定して、顔を含む画素領域を切り出す切出し手段
   をさらに備えたことを特徴とする両目の検出装置。
8. 時系列に沿って入力する複数の画像データについて、２つの画像データの画素毎の差分を求める差分算出ステップと、
   時系列に沿って前記差分の累積和を求める累積和算出ステップと、
   前記累積和算出ステップで求められた累積和を画素毎に順次所定の閾値と比較し、最初に前記閾値を超えた画素群を片方の目として検出する第１の検出ステップと、
   前記第１の検出ステップで検出された画素群から、残りの目を含む画素領域を推定する推定ステップと、
   前記推定ステップで推定された画素領域内の各画素について前記累積和算出ステップで求められた累積和を前記閾値と比較し、前記閾値を超えた画素群を残りの目として検出する第２の検出ステップと
   を有することを特徴とする両目の検出方法。
9. 請求項８に記載の両目の検出方法において、
   前記第１の検出ステップでは、一定未満の大きさの画素群でしか前記閾値を超えていなかった場合には、片方の目を検出したと判定しないことを特徴とする両目の検出方法。
10. 請求項８に記載の両目の検出方法において、
    照度を測定する測定ステップと、
    前記測定ステップの測定結果に応じて前記閾値を可変設定する閾値設定ステップと
    をさらに備えたことを特徴とする両目の検出方法。
11. 請求項８に記載の両目の検出方法において、
    前記第１の検出ステップでは、画面の中央部分の画素から画面の周辺部分の画素に向けて順に前記閾値と比較していき、
    前記推定ステップでは、前記第１の検出ステップで検出された画素群の両側の２つの画素領域を残りの目を含む領域として推定する
    ことを特徴とする両目の検出方法。
12. 請求項８に記載の両目の検出方法において、
    前記第１の検出ステップでは、画面の左側，右側のうちのいずれか一方の側の画素から他方の側の画素に向けて順に前記閾値と比較していき、
    前記推定ステップでは、前記第１の検出ステップで検出された画素群の前記他方の側の１つの画素領域のみを残りの目を含む領域として推定する
    ことを特徴とする両目の検出方法。
13. 請求項８に記載の両目の検出方法において、
    前記第２の検出ステップでは、前記第１の検出ステップで検出された画素群の大きさに対して一定以上近い大きさの画素群で前記閾値を超えていた場合にのみ、残りの目を検出したと判定することを特徴とする両目の検出方法。
14. 請求項８に記載の両目の検出方法において、
    前記第１の検出ステップ及び前記第２の検出ステップで検出した両目に基づき、顔の大きさを推定して、顔を含む画素領域を切り出す切出しステップ
    をさらに有することを特徴とする両目の検出方法。

Images