JP2009175821A

JP2009175821A - 特定画像の検出方法及び撮影装置

Info

Publication number: JP2009175821A
Application number: JP2008011092A
Authority: JP
Inventors: Yuuri Miura; 祐理三浦
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-01-22
Filing date: 2008-01-22
Publication date: 2009-08-06

Abstract

【課題】順次に得られるフレーム画像中から特定画像を的確かつ迅速に検出し追尾する。
【解決手段】最初の特定画像（顔画像）を検出するまでの間は、一定の経路にしたがってテンプレートを走査する。顔画像が検出された後は、その検出エリアに対応する優先エリアをフレーム画像内に設定する。次フレームでは、設定済みの優先エリアだけで顔画像の検出処理を行ってから、残りのエリアについて顔画像の検出処理を行う。優先エリアが設定されたときの顔画像検出処理には一定の上限時間を設ける。顔画像の検出処理の開始後、上限時間に達した時点でそのフレーム画像に対しては顔画像検出処理を中断する。次のフレーム画像については、優先エリアでの顔画像検出処理の後、先に中断された中断位置以降から顔画像検出を再開する。
【選択図】図５

Description

本発明は、人物の顔画像などのように撮影画面内で主要な被写体となる特定画像をスチル撮影あるいはムービー撮影しようとするときに好適な特定画像の検出方法及び撮影装置に関するものである。

最近のスチル撮影用のデジタルカメラの中には顔画像の認識機能を備えたものがある。ホディ背面の液晶モニタに表示されているスルー画を観察しながらフレーミングを行い、適宜のタイミングでレリーズボタンを半押しすると、スルー画全体のフレーム画像内に人物の顔画像がある場合にはそれが自動的に識別され、スルー画の中に顔画像を囲む枠表示が行われる。引き続きレリーズボタンを全押しすると、枠表示で囲まれた顔画像が主要な被写体であると判断され、その顔画像に対してピント合わせや露出調節が行われた後、本撮影が実行される。

フレーム画像中から顔画像を認識するには、例えば眉、目、鼻、口などによる人物の顔の平均的な濃淡分布データに基づいて顔のテンプレート画像を用意しておき、このテンプレート画像と一致または酷似する画像パターンがフレーム画像の中に存在しているか否かを探索する手法が一般的である（特許文献１，２参照）。
特開２００４−３１８３３１号公報特開２００７−４３１３号公報

上記特許文献にも記載のように、フレーム画像中における顔画像の大きさは必ずしも一定ではない。したがって、フレーム画像内をテンプレート画像で探索する際には、上記特許文献に記載のようにフレーム画像の拡縮処理も必要となり、顔画像の検出処理には多くの時間を要するのが通常である。こうしたな事情から顔画像の検出処理に要する時間を短縮することが課題となっており、特許文献１では、連続的に得られるフレーム画像のいずれかで顔画像が検出された場合には、フレーム画像内における顔画像の位置情報を保存しておき、後続して得られたフレーム画像については保存された位置情報に基づいて顔画像の探索範囲を制限するようにしている。また、特許文献２では、デジタルカメラの撮影姿勢を考慮し、フレーム画像内で顔画像を探索する際にその探索の方向を変更することによって、フレーム画像内における顔画像が縦姿勢，横姿勢位置あるいは斜め姿勢であっても、効率的な探索ができるように工夫されている。

しかし、特許文献１記載の手法は、連続的に得られるフレーム画像内で一旦検出された顔画像を、後続して得られるフレーム画像内で引き続き検出してゆく上では効果的であるが、その顔画像がフレーム画像内から外れて消失したり、その顔画像のほかに新たな顔画像がフレーム画像内に加わったりしたときには効率的な対応が難しく、顔画像の検出処理時間が延長されるおそれがある。また、特許文献２記載の手法もカメラの姿勢に応じて単に探索の方向を変更するだけであるため特許文献１と同様の難点がある。

さらに、従来の顔画像の検出方法では、フレーム画像がどのような画像であるかによって、その検出処理に要する時間が大きく変動しやすいという問題もある。このことは、スチル撮影時にはレリーズ操作のタイミングと実際に撮影が実行されるタイミングとが一定しないことにつながり、またムービー撮影時には撮影のインターバルがまちまちになることを意味し、操作性の点で問題がある。さらに、顔画像の検出処理の後にピント合わせや露出調節などの処理を行う場合、その処理の開始基点を時間管理することができないため、顔画像の検出処理が完了したか否かを監視する手順を要することになり、効率的なシーケンス処理を行う上でも不利である。

本発明は上記問題点を解決するためになされたもので、顔画像に代表されるように、撮影時に主要被写体となる特定画像を継続的に得られる各々のフレーム画像から継続的に検出する場合はもとより、後続するフレーム画像内に新たな特定画像が加わった場合でも的確かつ効率的にこれを識別することができるようにした特定画像の識別方法を提供することを目的とする。さらに、継続的に順次に得られるフレーム画像内で特定画像の識別を継続して行うにあたり、その処理に要する時間を均一化して撮影タイミングが極端に変動することがないようにすることもまた本発明の目的の一つである。

本発明は上記目的を達成するにあたり、先行して得られたフレーム画像内を一定経路で走査して前記特定画像を検出し、検出された特定画像の前記フレーム画像内における位置情報を求める第一処理と、後続して得られたフレーム画像内に、前記第一処理によって得られた特定画像の位置情報に基づいて優先エリアを設定し、この優先エリア内を走査して特定画像を検出する第二処理と、この第二処理の後、前記後続して得られたフレーム画像内の前記優先エリアを除く残りエリアを前記一定経路にしたがって走査して特定画像を検出する第三処理とを有し、前記後続して得られたフレーム画像内に前記第二または第三処理によって特定画像が検出されたときには、その特定画像の位置情報に基づいて引き続き得られたフレーム画像内に優先エリアを設定して前記第二処理と第三処理とを実行し、前記後続して得られたフレーム画像内に前記第二処理または第三処理のいずれでも特定画像が検出されなかったときには、引き続き得られたフレーム画像に対して前記第一処理を実行するようにしたものである。

さらに本発明では、前記第二処理と第三処理とを行うときのトータルの処理時間に上限を設定し、継続して順次に得られる各々のフレーム画像について一定時間内で特定画像の検出処理を終えるようにしている。検出処理に要する時間に上限を設定すると、前記第三処理が前記残りエリアの一部を残して中断される可能性が生じるが、この場合には前記一定経路上での中断位置情報が保存され、引き続き得られたフレーム画像に第三処理を行う際には、前記中断位置情報に基づいて前記一定経路の途中から走査が継続される。

また、任意の時点で得られたフレーム画像内に前記第一〜第三処理によって複数の顔画像が検出されたときには、後続して得られるフレーム画像内に対して前記第二処理を実行するに際し、検出された特定画像ごとに複数の優先エリアが割り当てられることも本発明の特徴の一つである。そして、前記特定画像は、特定画像であることの確からしさを表す信頼度情報とともに検出され、前述のように特定画像ごとに複数の優先エリアが割り当てられているときには、前記信頼度情報が高い特定画像に割り当てられた優先エリアから順に前記第二処理が行われる。さらに、先行して得られたフレーム画像内で特定画像が前記信頼度情報とともに検出され、後続の画像フレーム内に設定した前記優先エリア内で引き続き特定画像がその信頼度情報とともに検出されたときには、信頼度情報を最新のものに逐次に更新することも本発明の目的を達成する上で効果的である。

継続して得られる各フレーム画像から、すでに検出された特定画像を引き続き検出する場合はもとより、新たに現れた特定画像についても効率的に検出することができる。また、各フレーム画像内から特定画像を検出するために要する処理時間が大きく変動することがなく、特定画像検出後に行われる次処理へもスムースに移行させることが可能となる。

本発明を用いたスチル撮影用のデジタルカメラの構成を概略に示す図１において、撮影レンズ２には露出調節用の絞り２ａと、ピント調節用のＡＦレンズ２ｂとが組み込まれ、それぞれモータ３ａ，３ｂによって駆動される。撮影レンズ１の背後にイメージセンサ５が設けられ、撮影レンズ１で得られた１画面分の光学画像を光電変換して撮像信号に変換する。イメージセンサ５にはＣＣＤセンサやＣＭＯＳセンサなどのエリアセンサが用いられる。イメージセンサ５はデジタルカメラの電源がオンされた時点から撮像動作を開始し、例えばフレームレート３０ｆｐｓで一画面分の撮像信号を順次に出力する。

イメージセンサ５から出力される一画面分の撮像信号はオペアンプやＣＤＳ回路などを含むアナログ処理回路６に入力される。アナログ処理回路６に入力された撮像信号は、ゲイン調節処理や相関二重サンプリングによるノイズ抑制処理の後、Ａ／Ｄコンバータ７によりデジタル形式の画像データに変換される。これらの処理は、タイミングジェネレータ８からのクロックパルスに基づき、イメージセンサ５からの撮像信号の読み出しタイミングに同期して行われる。

こうして一画面分ごとに得られる画像データは、システムコントローラ１０の管制下にバスライン１１を通してＤＳＰ(デジタルシグナルプロセッサ）１２に送られ、色補間、ガンマ補正、ホワイトバランス補正、ＹＣ変換などの公知の信号処理の後、内部メモリ１４の所定アドレス領域に用意されたフレームメモリ１５に格納される。フレームメモリ１５では画像データが一画面分の画素配列情報を含む形で順次に保存される。そしてフレームメモリ１５上では、これらの画像データによりフレーム画像が構成される。なお、フレームメモリを例えば二画面分用意しておき、一方のフレームメモリに格納したフレーム画像に基づいて後処理を行っている間に次フレームの画像データが入力されてきた場合には、他方のフレームメモリ上で画像データの更新を行うように、フレームメモリを交互に使い分けてもよい。

ＡＥ処理部１７は、システムコントローラ１０及びモータ３ａと協同して露出制御装置を構成する。ＡＥ処理部１７は、フレームメモリ１５に格納された画像データの輝度信号成分に基づいて被写体輝度が適正範囲に収まっているか否かを判定するが、スルー画の表示期間中はフレームメモリ１５に格納されたフレーム画像を圧縮した画像データにより簡易的な判定を行い、レリーズボタンが半押し操作された以降はフレームメモリ１５に格納されたフレーム画像を用いて精度の高い判定を行う。

ＡＥ処理部１７は、被写体輝度の判定結果に対応した露出制御信号をシステムコントローラ１０に入力する。システムコントローラ１０は露出制御信号に応じてモータ３ａを駆動し、絞り２ａを開閉制御する。なお、露出制御は必ずしも絞り２ａの開閉制御のみに限られない。例えば、イメージセンサ５の前面にメカシャッタが設けられている場合には、露出制御プログラムに応じてメカシャッタの開閉時間と絞り２ａの開口径との組み合わせや、アナログ処理回路６に組み込まれているゲインコントロールアンプのゲイン調節との組み合わせで露出調節を行うこともでき、さらにはＣＣＤ型のイメージセンサ５では電荷蓄積時間の制御（電子シャッタ）を組み合わせることも可能である。

また、被写体輝度を判定する際の測光エリアの広狭や画面内の位置に応じて複数の測光モードが用意され、操作部１９からの操作入力により撮影者が任意に選択することができる。例えば平均測光モードではフレーム画像全体の平均的な被写体輝度が判定され、中央測光モードではフレーム画像の中央部の狭いエリアについてその被写体輝度が判定される。そして本発明のデジタルカメラでは、標準的な設定モード下で顔画像優先の露出制御が行われる。すなわち、後述するようにレリーズボタンの半押しによって顔画像の検出が行われ、フレーム画像中に顔画像が検出された場合には、その顔画像を囲む狭いエリアに含まれる画像データに基づいて被写体輝度の判定が行われ、顔画像エリアについて適正な露光量となるように露出制御が行われる。

ＡＦ処理部１８は、システムコントローラ１０及びモータ３ｂと協同してオートフォーカス装置を構成する。スルー画の表示処理を行っている間は、先のＡＥ処理と同様に、ＡＦ処理部１８はフレームメモリ１５に格納されたフレーム画像を圧縮したフレーム画像を対象とし、そのフレーム画像の中央部に予め設定されたＡＦエリア内の画像データについてコントラストを評価し、その評価値をシステムコントローラ１０に入力する。このコントラストの評価は、フレームメモリ１５に新たなフレーム画像が格納されるごとにＡＦ処理部１８によって行われ、得られた評価値は順次にシステムコントローラ１０に入力される。

システムコントローラ１０は、ＡＦ処理部１８から順次に入力されてくる評価値の増減に基づいてモータ３ｂを駆動し、評価値がピークに達するようにフォーカスレンズ５の位置をフィードバック制御する。なお、スルー画の表示期間中におけるオートフォーカス処理については、撮影レンズ２がパンフォーカス状態になるようにフォーカスレンズ５を位置決めし、コントラストの評価及びフォーカスレンズ５のフィードバック制御を省略することも可能である。

レリーズボタンが半押しされた以降は、より高精度なピント合わせ処理のためにフレームメモリ１５に格納されたフレーム画像の画素データを用いてコントラストの評価が行われる。コントラスト評価の対象エリアは標準的には前述のように画面の中央部分に表示された測距エリアが対象となるが、フレーム画像の中に顔画像が検出された場合には、自動的に顔画像エリアがコントラスト評価の対象エリアに切替えられ、顔画像エリアに優先的にピントが合わせられる。

顔画像検出処理部２０は、フレームメモリ１５に格納されたフレーム画像の中に顔画像が含まれているか否かを識別する。顔画像を検出するために、標準的な顔画像の濃度パターンを画像データ化したテンプレートが顔画像メモリ２１に用意されている。そして、概念的には図２に示すように、フレーム画像２４を構成する画像データ配列の中で、テンプレート２５を矢印で示す一定の経路にしたがい、画像の左上から右下に向かって走査しながらパターンマッチング処理を行い、フレーム画像２４の中にテンプレート２５の顔画像と類似する画像パターンがあるか否かをサーチする。

この顔画像検出処理は、フレーム画像２４の中からテンプレート２５の顔画像と正確に一致する画像パターンを検出するのとは異なり、顔画像らしい画像パターンを探索する処理である。したがって、必ずしもフレームメモリ１５に格納されているフレーム画像そのものを用いなくてもよく、例えば前述したＡＥ処理やＡＦ処理で用いたような、圧縮伸長部２７で適度に圧縮処理を施して得た圧縮後のフレーム画像２４を用いるとよい。また、フレーム画像２４の中に含まれている顔画像の大きさは必ずしも一定ではない。このため、あるサイズのテンプレート２５を用いて走査が終了した後には、テンプレート２５を段階的に縮小あるいは拡大し、これらのテンプレートで順次にフレーム画像２４を走査して顔画像検出が行われる。なお、テンプレート２５を一定サイズにしたまま、フレーム画像２４の方を段階的に伸長または圧縮して走査してもよい。

以上の顔画像検出処理の結果、フレーム画像２４の中に顔画像らしきものが検出されると、その検出エリアに対して識別コードが割り当てられるとともにその位置情報と一致度情報とが内部メモリ１４に保存される。検出エリアの位置情報はフレーム画像２４内のどの位置で顔画像が検出されたかを表す情報で、例えば顔画像が検出された時点でのテンプレート２５の中心がフレーム画像２４を構成する画素配列の座標面上でどこに位置しているかによって決めることができる。また、一致度情報は検出された顔画像がテンプレート２５の標準的な顔画像とどの程度合致しているかを表す情報で、それぞれの濃度パターンの合致の度合を百分比として算出することができる。この一致度情報についてはテンプレート２５によるパターンマッチングにより顔画像らしき画像パターンを検知した後、肌色を基準にした色判別を加味するなどの処理を加えることによってより確度を高めることも可能である。

ＶＲＡＭ２８には、フレームメモリ１５に格納されたフレーム画像を圧縮した表示用の画像データが書き込まれる。そして、Ｄ／Ａコンバータ２９でアナログ画像データに変換の後、カメラボディの背面に組み込まれたＬＣＤ（液晶ディスプレイ）３０に送られ、スルー画の表示に利用される。なお、このＶＲＡＭ２８に書き込まれた画像データは、フレームメモリ１５に格納されたフレーム画像をＬＣＤ３０の表示画素数に応じてリサイズしたものとなっているから、この画像データを簡易的なＡＥ・ＡＦ制御に用い、あるいは顔画像検出用のフレーム画像２４として用いることもできる。

メディア制御部３２はカメラボディに挿脱されるメモリカード３３へのアクセスを制御し、本撮影で得られた画像データをメモリカード３３に書き込み、あるいはメモリカード３３から画像データを読み出してＬＣＤ３０に表示する際に用いられる。ＥＥＰＲＯＭ３５は、このデジタルカメラを使用するときに必要となる各種のパラメータや閾値を初期設定したときのデータ保存エリアとなり、必要に応じてこれらのデータは書き換えることができるようにしてある。

上記デジタルカメラの作用について説明する。電源の投入によりカメラが起動されるとイメージセンサ５が撮影動作を開始し、イメージセンサ５からは順次に一画面分の撮像信号が出力される。撮像信号には各種の処理が施され、デジタル変換の後にフレームメモリ１５上では順次にフレーム画像の更新が行われる。フレーム画像を構成する一画面分の画像データは圧縮伸長部２７でスルー画表示用にリサイズされ、ＬＣＤ３０にスルー画が表示される。

レリーズボタンが半押し操作されると、フレームメモリ１５にフレーム画像を構成する一画面分の画像データが格納されるごとに圧縮したフレーム画像２４が生成され、このフレーム画像２４に対してテンプレート２５を用いた顔画像検出処理が実行される。レリーズボタンの半押し操作が継続している間は、フレーム画像２４の更新ごとに標準走査が行われる。標準走査では、フレーム画像２４の左上端の基準始点から水平にテンプレート２５で走査し、その右端に達したら１〜数画素分だけテンプレート２５を下げて再度左端から右端へと水平に走査を継続し、フレーム画像２４の右下端に達した時点で一回の標準走査が終了する。

上記の標準走査による第一処理が新たなフレーム画像２４ごとに実行され、顔画像が検出されない状態ではそのまま標準走査モードに保たれる。そして、一回の標準走査が終了するごとに実行されるＡＥ処理では、フレームメモリ１５に格納されたフレーム画像全体の平均的な被写体輝度に基づいて露出制御が行われ、またＡＦ処理ではフレーム画像の中央部に予め設定されたＡＦエリア内の画像データを元にしてコントラスト評価が行われ、フォーカスレンズ２ｂの位置調節が行われる。顔画像の検出が行われないままレリーズボタンが全押し走査されると、上記ＡＥ・ＡＦ処理のもとで本撮影が実行される。

標準走査の間に顔画像が検出された場合には、その顔画像に割り当てられた識別コードとともにその検出エリアの位置情報と一致度情報とが内部メモリ１４に保存され、さらに図３に示すように現在のフレーム画像２４の中に顔画像の検出エリア２６に対応して優先エリア４０が割り当てられる。現在のフレーム画像２４に対してはそのまま標準走査が継続され、フレーム画像２４の右下端まで走査が行われた時点で一回の標準走査が完了する。上記のようにして設定された優先エリア４０は、次に得られるフレーム画像２４に対する顔画像優先走査モードでの顔画像検出時に用いられる。

優先エリア４０の大きさと位置は、顔画像を検出したときのテンプレート２５のサイズ及びその中心座標とから決められ、テンプレート２５のサイズが大きいほど広く設定される。その広さは、通常の態様でデジタルカメラを構えた状態のときに、１／１５（秒）の間に顔画像（人物像）がフレーム画像２４の中で動き得る範囲を基準にして決められている。この優先エリア４０は優先的に顔画像をサーチする範囲に相当し、現在のフレーム画像２４ではなく次に得られるフレーム画像２４に対して顔画像の検出処理を行うときに適用される。このように、現在のフレーム画像２４で検出された検出エリア２６の位置情報に基づいてこの優先エリア４０を設定しておけば、ほとんどの場合、次のフレーム画像２４でもこの優先エリア４０内で顔画像を検出することができるから、その繰り返しにより顔画像を追尾してゆくことが可能となる。

フレーム画像２４の全エリアに対して標準走査が完了すると、フレーム画像２４内で特定された検出エリア２６に含まれる画像データに基づいてＡＥ・ＡＦ処理が行われ、次フレームの撮影準備が完了する。レリーズボタンが半押しされたままであるときには同様に上述の処理が繰り返されるが、次のフレーム画像の取り込みが行われる以前にレリーズボタンの全押し操作が行われたときには、顔画像に基づく最新のＡＥ・ＡＦ処理の後に本撮影が行われる。

顔画像優先走査モードに切り替えられた後、レリーズボタンが半押し状態で維持されると、順次に得られるフレーム画像２４に対して図５に示す検出処理が繰り返される。顔画像優先走査モードで顔画像検出が行われるときには、まずＴ_Ｆタイマーがオンして上限時間Ｔ_Ｆの計時が開始される。この上限時間Ｔ_Ｆは、顔画像優先走査モード下で一のフレーム画像２４に対してテンプレート２５で走査する際の許容時間の上限となり、走査の途中で上限時間Ｔ_Ｆに達した場合にはその時点で走査は打ち切られる。

この上限時間Ｔ_Ｆは、スルー画表示が３０ｆｐｓのフレームレートで行われるときには、その２倍の周期に相当する２／３０（秒）程度に決められ、フレーム画像２４の中に複数の優先エリアが設定された場合であっても優先エリアについては顔画像の検出処理が完了できる長さとなっている。また、フレームメモリ１５には遅くとも略１５ｆｐｓでフレーム画像が更新されるから、任意のタイミングでレリーズボタンの全押し操作が行われても本撮影に際して大きなタイムラグが生じることはない。なお、この上限時間Ｔ_Ｆの長さは標準的には上記のように２／３０（秒）程度が好ましいが、必ずしも一定時間に固定しておかなくてもよい。例えば、被写体輝度やその画像パターンなどの被写体条件によってはテンプレートの顔画像とのパターンマッチング処理に要する時間が変動するので、上限時間Ｔ_Ｆの長さを自動的あるいは撮影者の意図に応じて一定の範囲内で可変できるようにしておいてもよい。

顔画像優先走査モードに移行すると、直前のフレーム画像２４内で設定された優先エリア４０が新たなフレーム画像２４に対して割り当てられ、その優先エリア４０内でテンプレート２５を走査して顔画像のサーチが行われる。優先エリア４０内で顔画像が検出されると、この顔画像は直前のフレーム画像２４で検出された検出エリア２６に含まれていた顔画像とみなすことができるから、その検出エリア２６に付された識別コードに新たな位置情報と一致度情報が追加保存され、新たな位置情報は次のフレーム画像２４に優先エリア４０を設定するときに用いられる。優先エリア４０の走査の後、優先エリア４０を除くフレーム画像２４全体に標準走査が行われる。この標準走査は、基本的にはフレーム画像２４の基準始点から一定の経路にしたがって開始され、フレーム画像２４の右下端まで走査し終わったときに顔画像検出処理が完了する。

このように、顔画像優先走査モードでは優先エリア４０について走査して顔画像検出する第二処理を行った後に、残りのエリアを標準走査と同様に一定の経路にしたがって走査して顔画像検出する第三処理を行う。第二処理とこれに続いて行われる第三処理に要する処理時間はＴ_Ｆタイマーによって制限されているが、そのカウントアップ前にフレーム画像２４の右下端まで走査が行われた場合には、次のフレーム画像２４を待って同様に顔画像優先走査モード下での顔画像検出が行われる。また、この第三処理の間に顔画像が検出されると、その検出エリアに新たな識別コードが付されるととともに新たな位置情報と一致度情報が取り込まれ、内部メモリ１４に保存される。そして、次のフレーム画像２４に対しては新たな優先エリア４０が追加設定される。

優先エリア４０はフレーム画像２４の一部のエリアであり、仮にこの優先エリア４０が複数箇所に設定されていたとしても、優先エリア４０で顔検出処理を行っている間にＴ_Ｆタイマーがカウントアップすることはなく、Ｔ_Ｆタイマーのカウントアップは優先エリア４０の走査を終えた後、フレーム画像２４を一定の経路で走査する第三処理の途中で生じる。こうして第三処理の途中で走査が中断したときには、その中断位置情報が内部メモリ１４の所定のアドレスエリアに保存される。この中断位置情報は、先の優先エリア４０を設定するときと同様、走査が中断されたときのテンプレート２５の中心座標位置として求めることができる。

一般に、顔画像優先走査モードで顔画像の検出処理が行われたときには、１フレーム前に得られたフレーム画像２４で検出された顔画像の近辺、すなわち優先エリア４０の中に再び顔画像が検出されることがほとんどである。しかし、レリーズボタンを半押しにしたままカメラの向きを変えたりすると、優先エリア４０から徐々に顔画像が外れたり、優先エリア４０外に新たな顔画像が入り込んだりすることもある。そこで前述の第三処理が行われる。この第三処理で新たな顔画像が検出されたときには、やはり新たな識別情報とともに顔画像の位置情報と一致度情報とが保存され、これらの情報に基づいて次のフレーム画像２４に優先エリア４０が追加設定される。

前回の第三処理で行われた標準走査がフレーム画像２４の右下端の走査終了位置まで達していない場合には、今回の第三処理では優先エリア４０の走査を終えた後に、先の第三処理における中断位置を途中始点として優先エリア４０を除く残りエリアに対して標準走査が開始される。この標準走査では、フレーム画像２４の右下端まで走査を行った後、フレーム画像左上端の標準始点から走査が再開され、途中始点まで走査が行われる。この第三処理の途中でＴ_Ｆタイマーがカウントアップした場合には、同様にその時点で標準走査が中断し、新たな中断位置が次の第三処理における標準走査の途中始点となる。

図６に、レリーズボタン半押し操作から全押し操作までの間に行われる顔画像検出処理のタイミングチャートを示す。レリーズボタンの半押しが行われると、その時点で読込まれたフレーム画像について顔画像の検出処理が行われる。最初の顔画像検出処理が行われる時点では優先エリアが未設定であるから標準走査のみが行われる。標準走査のみの顔画像検出処理が行われるときにはＴ_Ｆタイマーがオフ状態であり、したがって処理時間Ｔ_１には上限が設定されることなくフレーム画像全体について走査が行われる。

なお、レリーズボタンの押圧前にはスルー画の表示と並行して簡易的ではあるがＡＥ・ＡＦ処理が行われているから、この処理時間Ｔ_１が極端に長くなることはない。しかし、被写体条件によってはこの処理時間Ｔ_１が長くなり、しかも引き続き行われるＡＥ・ＡＦ処理に要する時間も長くなると、次フレームの露光タイミングが遅れてフレームレートが低下することもあり得るが、顔画像が検出される前の標準走査はフレーム画像の基準始点からフレーム画像の右下端まで行われる。このように、最初の顔画像が検出されるまでの間はフレーム画像単位で標準走査を行うことによって、顔画像がどこにあっても確実に検出することができる。なお、このような標準走査を繰り返し行っても顔画像が検出できない場合は被写体が風景や静物であることがほとんどで、処理時間Ｔ_１が多少長くなってフレームレートが低下したとしても、撮影にはあまり影響がないと言える。

最初の標準走査で顔画像が検出されると、次のフレーム画像に対しては顔画像優先走査モードで顔画像の検出が行われる。顔画像優先走査モードで顔画像の検出処理が行われる場合には、優先エリアの走査開始とともにＴ_Ｆタイマーが計時動作する。そして、優先エリアの走査と、残りエリアの標準走査に要した処理時間Ｔ_２が上限時間Ｔ_Ｆ以内であれば、そのフレーム画像については全エリアに対する顔画像検出処理が完了する。

図６の２フレーム目あるいは３フレーム目のフレーム画像に対して顔画像優先操作モードで処理が行われたとき、例えばその標準走査によりさらに顔画像が検出され優先エリアの数が増えたとすると、３フレーム目あるいは４フレーム目のフレーム画像に対して同様に顔画像の検出処理が行われたときに、本来的に必要なその処理時間Ｔ_３，Ｔ_４が上限時間Ｔ_Ｆを超えることがある。この場合、上限時間Ｔ_Ｆが経過した時点で未だ標準走査の途中ではあるが、図示のように上限時間Ｔ_Ｆが経過した時点で標準走査が中断され、標準走査の中断位置情報が保存される。そして、次のフレーム画像についての顔画像検出処理は、優先エリアについて走査を完了した後の残りエリアを標準走査するときに、中断位置情報に対応する途中始点から標準走査が継続される。

このように、前フレームのフレーム画像で検出された顔画像に基づいて優先エリアを設定し、順次に得られるフレーム画像に対して優先エリアを更新しながら顔画像優先走査モードで処理を継続することによって、被写体となっている人物が多少移動し、あるいは撮影者が構えているカメラに軽度のブレが生じたとしても、一旦、画面内で捕捉した顔画像を追尾することができるので、レリーズボタンの全押し操作が行われるまではＡＥ・ＡＦ処理も適切に行うことが可能となる。また、優先エリアの走査の後にはそれ以外のエリアについても継続して標準走査が行われるので、すでに捕捉した顔画像のほかにフレーム画像内に顔画像が加わったとしても、これを確実に検出することができる。

そして、レリーズボタンの全押し操作により、その直前のフレーム画像に基づくＡＥ・ＡＦ処理によって決められた撮影条件のもとで撮影が行われる。レリーズボタンが全押し操作された時点では、撮影を意図した顔画像は必ず優先エリア内に存在していることになる。したがって、上記のように上限時間Ｔ_Ｆにより優先エリア外のエリアについては顔画像の検出処理を省略しても不都合はほとんど生じることはなく、逆に本撮影のための露光タイミングがレリーズ全押し操作から極端に遅れることがなくなり、良好な撮影感覚が得られるようになる。

なお、図６のタイミングチャートでは便宜的にＡＥ・ＡＦ処理の時間を一律に図示してあるが、ＡＥ・ＡＦ処理に要する時間は顔画像の検出処理時間と比較すると短いので、上限時間Ｔ_Ｆにより顔画像の検出処理時間を制限する手法は非常に効果的である。また、次フレームの露光開始は、通常では前フレームのＡＥ・ＡＦ処理の完了をチェックして行われるが、フレームごとのシーケンス処理に最も時間を要する顔画像の検出処理に上限時間Ｔ_Ｆを設けることによって、ＡＥ・ＡＦ処理に要する最大時間αを設定しておけば、例えば顔画像の検出処理が開始されてから「上限時間Ｔ_Ｆ＋α」の時間が経過したことに応答して次フレームの露光開始を行うこともできるようになり、タイマー管理による簡便なシーケンス制御も可能となる。

ところで、レリーズボタンの半押しから全押しまでの間に顔画像が一つだけ検出された場合には、その検出エリア２６内の画像データに基づいてＡＥ・ＡＦ処理を行えばよいので制御も容易である。しかし、レリーズボタンの半押しを継続している間、あるいはレリーズボタンを全押しする直前でフレーム画像から複数の顔画像が検出された場合には、その中のいずれを優先的に選択してＡＥ・ＡＦ制御を行えばよいかについてはいくつかの手法がある。例えば、近距離優先で複数の検出エリアの中から一つを選択することも一つの手法で、そのためには最もサイズが大きい検出エリアを優先させればよい。そのほかには、フレームごとに取得される複数の検出エリアのうち、撮影画面の中心に最も近いもの、顔画像パターンとテンプレートの顔画像との一致度が最も高いもの、さらには顔画像の動きがもっとも小さいものを選択するなどの手法を採ることができる。

図７及び図８はこうした手法を採る場合の一例を概念的に示すもので、図７は例えば５フレーム間にフレーム画像２４の中に三つの検出エリア２６ａ，２６ｂ，２６ｃが設定され、それぞれの検出エリア２６ａ，２６ｂ，２６ｃごとに三つの優先エリア４０ａ，４０ｂ，４０ｃが割り当てられた状態を示している。図８は、内部メモリ１４内の所定のアドレスエリアに準備される検出エリアごとのデータの一例を示している。「識別コード」欄には、顔画像が新たに検出されるごとに割り当てられる識別コードが記録される。なお、例えば識別コードＡが割り当てられた検出エリア２６ａに対して優先エリア４０ａが設定され、次フレームのフレーム画像についても優先エリア４０ａ内で再び顔画像が検出された場合には新たな識別コードが割り当てられることはなく、もとの識別コードＡが継続して用いられ、中心座標、サイズ・・・などの情報が更新される。

識別コードごとに更新して保存される「中心座標」、「サイズ」、「一致度」、「検出履歴」、「ベクトル」、「優先度」の各情報は、次に得られるフレーム画像に対して顔画像検出処理を行うときに参照される。これらの情報は、単独またはそのいくつかを組み合わせることによって、撮影を意図している顔画像であるか否かの確からしさを表す信頼度情報として利用することができる。中心座標情報は顔画像の検出エリア２６ａ，２６ｂ，２６の中心座標に対応し、サイズ情報はそれぞれの検出エリアのデータ量に対応し、一致度情報は上述したように検出された顔画像とテンプレート画像との一致度合に対応している。検出履歴情報は、最新の５フレーム分のフレーム画像について、同じ識別コードが割り当てられた顔画像が何回検出されたかを表し、ベクトル情報は最新の検出エリアの中心座標と前フレームで検出された検出エリアの中心座標との間の移動方向と移動量とを表している。

図８の例は、識別コードＢが割り当てられている検出エリア２６ｂ内の顔画像が５フレームにわたって安定的に検出され一致度も高いこと、そして動きもほとんどないことから、最も高い優先度「１」と判定され、続いて識別コードＡの検出エリア２６ａの顔画像が優先度「２」、識別コードＣの検出エリア２６ｃの顔画像が優先度「３」と評価された結果を示している。したがって、次のフレーム画像２４に対して顔画像の検出処理を行うときには、まず優先エリア４０ｂ、優先エリア４０ａ、優先エリア４０ｃの順に第二処理が行われ、その後に第三処理による顔画像検出が実行されることになる。このように、判定基準の優先順序を「検出履歴情報」−「一致度情報」−「ベクトル情報」の順にしておくことが標準的であるが、この順序を撮影者が任意に設定できるように専用のメニュー画面を用意しておいてもよい。

また、図８の例では識別コードＢが割り当てられた顔画像を特に優先的に扱ってＡＥ・ＡＦ処理を行うようにしているが、識別コードＡ、Ｂ、Ｃの顔画像の各々について、全体的に最も一致度が高くなるようにＡＦ処理を行うようなアルゴリズムを採ることも可能である。例えば、撮影レンズの焦点距離は既知であるから、ＡＦ処理で決められているＡＦレンズ２ｂの位置や、フレーム画像内における顔画像の大きさ（検出エリア２６ａ〜２６ｃの大きさに対応）に基づいてそれぞれの顔画像までの距離を概算的に求めることができる。したがって、ＡＥ処理で決められた絞り２ａの開口径に基づいて撮影レンズ２の被写界深度を考慮し、各々の顔画像の一致度の総和が最も高くなるようにＡＦ処理を行えばよい。

さらに、本発明とともに用いて効果的な顔画像検出のアルゴリズムとしては、優先エリア４０ａ〜４０ｃの顔画像検出処理用の優先エリアタイマーＴ_Ｋを設け、これにより設定された一定のタイマー時間Ｔ_Ｋ（＜Ｔ_Ｆ）が経過する間に優先エリア４０ａ，４０ｂ，４０ｃでの顔画像検出処理を終えるようにするとともに、このタイマー時間Ｔ_Ｋを検出エリア２６ａ，２６ｂ，２６ｃに付された優先順序に対応して例えば５：３：２に配分する手法も効果的である。これにより、優先度が高い優先エリアほど確実な検出処理が行われ、しかも全ての優先エリアについて顔画像検出処理を行うことができ、優先エリアを除く残りエリアに対する顔画像検出のための処理時間「Ｔ_Ｆ−Ｔ_Ｋ」を予め確保しておくことができるから、優先エリア外からの顔画像検出もより的確に行うことができるようになる。

また、優先エリアの個数あるいは優先エリアの広さの総和に応じ、前記優先エリアタイマーＴ_Ｋのタイマー時間Ｔ_Ｋを自動的に調節し、例えば優先エリアの広さの総和が大きいときにはタイマー時間Ｔ_Ｋを長くするようにしてもよい。この場合には優先エリアを除く残りエリアが狭くなっているから、このエリアに対する顔画像検出の処理時間「Ｔ_Ｆ−Ｔ_Ｋ」が短くなってもほとんど不都合はない。なお、優先エリア内に複数の顔画像が含まれることもあるが、このような優先エリアに対しては、いずれかの顔画像が一つ検出された時点で顔画像の検出処理を中止し、次の優先エリアに顔画像検出処理を移行させる手法を採ると、顔画像の検出に要する処理時間を短縮する上で有利である。

以上、図示した実施の形態に基づいて本発明について説明してきたが、本発明はスチル画像の撮影時だけでなく、連写撮影時やムービー撮影時にも適用が可能である。これらの場合には、毎回の撮影フレーム毎に、あるいは所定のフレーム間隔ごとに顔画像の検出処理を行いつつＡＥ・ＡＦ処理を継続すればよい。また、テンプレート上でパターン化できる画像であれば、顔画像に限らず、特定の被写体を複数フレームにわたって継続的に追尾検出する用途にも本発明は等しく用いることができる。

本発明を用いた撮影装置の電気的構成を示すブロック図である。標準走査の態様を表す説明図である。優先エリアが設定されたときの走査の態様を表す説明図である。基本的な顔画像の検出処理を示すフローチャートである。顔画像優先モードでの顔画像の検出処理を示すフローチャートである。Ｔ_Ｆタイマーの処理を示すタイミングチャートである。複数の検出エリアが設定されたときの説明図である。複数の顔画像に優先順序を与える際のデータの一例を示す概念図である。

符号の説明

２撮影レンズ
５イメージセンサ
１４内部メモリ
１５フレームメモリ
１７ＡＥ処理部
１８ＡＦ処理部
２０顔画像検出処理部
２１顔画像メモリ
２４フレーム画像
２５テンプレート
４０優先エリア

Claims

継続して順次に得られるフレーム画像の中から特定画像を検出する方法において、
前記フレーム画像を一定経路で走査して前記特定画像を検出し、検出された特定画像の前記フレーム画像内における位置情報を求める第一処理と、
後続して得られたフレーム画像内に、前記第一処理によって得られた特定画像の位置情報に基づいて優先エリアを設定し、この優先エリア内を走査して特定画像を検出する第二処理と、
この第二処理の後、前記後続して得られたフレーム画像内の前記優先エリアを除く残りエリアを前記一定経路で走査して特定画像を検出する第三処理とを行い、
前記後続して得られたフレーム画像内に前記第二または第三処理によって特定画像が検出されたときには、その特定画像の位置情報に基づいて引き続き得られたフレーム画像内に優先エリアを設定して前記第二処理と第三処理とを行い、前記後続して得られたフレーム画像内に前記第二処理または第三処理のいずれでも特定画像が検出されなかったときには、引き続き得られたフレーム画像に対して前記第一処理を行うことを特徴とする特定画像の検出方法。
前記第二処理と第三処理とのトータルの処理時間に上限を設定したことを特徴とする請求項１記載の特定画像の検出方法。
前記第三処理の走査が前記上限により前記残りエリアの一部を残して中断されたときには、前記一定経路上での中断位置情報が保存され、引き続き得られたフレーム画像に第三処理が行われる際には前記中断位置情報に基づいて前記一定経路の途中から走査が継続されることを特徴とする請求項２記載の特定画像の検出方法。
任意の時点で得られたフレーム画像内に前記第一〜第三処理によって複数の特定画像が検出されたときには、後続して得られるフレーム画像に対して前記第二処理を実行するに際し、検出された前記複数の特定画像ごとにその検出位置に応じて複数の優先エリアが割り当てられることを特徴とする請求項１〜３のいずれか記載の特定画像の検出方法。
前記特定画像は、特定画像であることの確からしさを表す信頼度情報とともに検出され、前記複数の優先エリアが設定されたときには、前記信頼度情報が高い特定画像に割り当てられた優先エリアから順に前記第二処理が行われることを特徴とする請求項４記載の特定画像の検出方法。
先行して得られたフレーム画像内で特定画像が前記信頼度情報とともに検出され、後続のフレーム画像内に設定した前記優先エリア内で引き続き特定画像がその信頼度情報とともに検出されたときには、信頼度情報が更新されることを特徴とする請求項５記載の特定画像の検出方法。
請求項１〜６のいずれか記載の特定画像の検出方法を用いて顔画像を検出することを特徴とする撮影装置。