JP2015012567A - 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】複数動画を合成して動画を生成する場合、動画記録中の被写体やシーンにおいて、顔認識や個人の顔の特定の認識率の低下や、応答性の悪化を防止する。【解決手段】被写体を異なる撮影条件で撮像した複数動画データを処理する画像処理装置は、複数の動画データを処理し、処理された複数動画データを合成して動画を生成し、処理された動画データおよび生成された動画のいずれかに対して、第１の被写体検出処理および第２の被写体検出処理の少なくとも一つを実行させる複数の動作モードを有し、被写体の状態または撮像画像の特徴に従って動作モードを切り替える。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法に関し、特に、動画処理において顔検出機能の実行が可能な画像処理装置、画像処理方法および撮像装置に関する。

従来より、特許文献１に示すように、動画撮影時の顔検出において、逆光などによる顔検出漏れを防ぐため、露出の異なる複数の動画信号のそれぞれから顔検出を行う方法が開示されている。

特開２００９−２７８１５５号公報

しかしながら、露出の異なる複数フレームを読み出し、読み出したフレームを複数合成してダイナミックレンジの広いフレームを記録する動画については、画像合成後に顔検出を行ったほうが検出顏精度が高くなる場合がある。例えば、顔の一部に影がかかっている場合は、広ダイナミックレンジのほうが顔検出精度を高めることができるため、画像合成後のほうが検出精度の面で有利である。さらに、顔検出に加えてさらに顔検出よりも被写体を特定した被写体検出である顔認証を行う場合は、顔検出よりも高い精度の画像が求められる。

そこで、本発明の目的は、画像合成を伴う動画像の処理において、第１の被写体検出処理、及び第１の被写体検出に基づいた第１の被写体検出より被写体が特定された第２の被写体検出処理を実行する場合に、応答性の良い適切な検出処理の制御が実現される撮像装置および画像処理方法の提供にある。

本発明の画像処理装置は、被写体を異なる撮影条件で撮像した複数の画像データを処理する画像処理装置であり、複数の画像データを取得する取得手段と、複数の画像データを合成して合成画像データを生成する画像処理手段と、複数の画像データおよび生成された合成画像データのいずれかに対して、被写体を検出する第１の被写体検出処理、及び第１の被写体検出処理の検出結果に基づいた第１の被写体検出より検出する被写体が特定された第２の被写体検出処理の少なくとも１つを実行させる制御手段とを備え、制御手段は、第１の被写体検出処理および第２の被写体検出処理の少なくとも１つを実行させる複数の動作モードを有し、被写体の状態または撮像画像の特徴に従って動作モードを切り替える。

本発明によれば、画像合成を伴う動画像の処理において、第１の被写体検出処理、及び第１の被写体検出に基づいた第１の被写体検出より被写体が特定された第２の被写体検出処理を実行する場合に、応答性の良い適切な検出処理の制御が実現される。

本発明の実施例に係わる撮像装置を適用した撮像装置のブロック図である。 本発明の実施例に係わる画像処理動作の例を示す図。 本発明の実施例に係わる画像処理動作の例を示す図。 本発明の実施例に係わる画像処理動作の例を示す図。 本発明の実施例に係わる画像処理動作のフローチャートを示す図。 本発明の実施例に係わる画像処理動作の変形例を示す図。

以下、本発明の好適な実施の形態を、添付の図面を参照して詳細に説明する。

［実施例］
図１は、本発明の実施例に係わる撮像装置を、撮影画像の顔検出機能を備える撮像装置に適用した場合の当該撮像装置のブロック構成を示す図である。なお、顔検出機能自体は、撮像装置とは別構成としても、又は撮像装置の構成に顔検出機能を含ませてもよい。いずれの場合も、本実施例の画像処理装置は、画像処理動作中に顔検出機能および顔認識機能を実行させる制御構成を有する。本実施例において、顔検出機能とは、汎用的に顔としての特徴を持つ被写体を検出する機能のことであり、顔認識機能とは顔の中でもさらに特定の特徴を持つ顔を検出する機能であるとする。また、顔の検出方法および顔認識機能自体は本発明の対象ではなく、顔の検出および顔認識の方法としては、いずれの方法であってもよい。また、本実施例では画像の特徴量から被写体を検出する第１の被写体検出処理として顔検出、及び第１の被写体検出処理による処理結果に基づいた第１の被写体検出より被写体が特定された第２の被写体検出処理として顔認証（個人認証）を挙げているが、これに限らず、２つの被写体検出処理の間に上記関係があれば他の被写体検出処理でも適用可能である。

図１において、１００は撮像装置である。１１０は撮影レンズ、１１２は絞り機能を備える機械式シャッター、１１４は光学像を電気信号に変換する撮像素子、１１６は撮像素子１１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１１８は撮像素子１１４、Ａ／Ｄ変換器１１６、Ｄ／Ａ変換器１２６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部１２２及びシステム制御部１５０により制御される。１１２の機械式シャッター以外にも、１１８の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

１２０は画像処理部であり、Ａ／Ｄ変換器１１６からのデータ或いはメモリ制御部１２２からのデータに対して所定の画素補間処理や色変換処理を行う。また１２０の画像処理部によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部１２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１０が露光制御部１４０、測距制御部１４２を制御して、ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式のＡＦ（Ａｕｔｏ Ｗｈｉｔｅ ｂａｌａｎｃｅ）処理、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理、ＥＦ（Ｅｌｅｃｔｒｉｃ Ｆｌａｓｈ）処理を行っている。さらに、画像処理部１２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

１２２はメモリ制御部であり、Ａ／Ｄ変換器１１６、タイミング発生部１１８、画像処理部１２０、画像表示メモリ１２４、Ｄ／Ａ変換器１２６、メモリ１３０、圧縮・伸長部１３２を制御する。Ａ／Ｄ変換器１１６のデータは、画像処理部１２０、メモリ制御部１２２を介して、或いは直接メモリ制御部１２２を介して、画像表示メモリ１２４或いはメモリ１３０に書き込まれる。

１２４は画像表示メモリ、１２６はＤ／Ａ変換器、１２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ１２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１２６を介して画像表示部１２８に表示される。画像表示部１２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１２８は、システム制御部１５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

１３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１３０に対して行うことが可能となる。また、メモリ１３０はシステム制御部１５０の作業領域としても使用することが可能である。

１３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ１３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１３０に書き込む。

１４０は絞り機能を備えるシャッター１１２を制御する露光制御部であり、フラッシュ１４８と連携することによりフラッシュ調光機能も有するものである。１４２は撮影レンズ１１０のフォーカシングを制御する測距制御部、１４４は撮影レンズ１１０のズーミングを制御するズーム制御部、１４６はバリアである保護部１０２の動作を制御するバリア制御部である。

１４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部１４０、測距制御部１４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部１２０によって演算したときの演算結果に基づき、システム制御部１５０が露光制御部１４０、測距制御部１４２を制御して撮影条件の調節を行う。

１５０は撮像装置１００全体を制御するシステム制御部、１５２はシステム制御部１５０の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御部１５０は、メモリ１５２に記憶されているプログラムをロードして実行することで、撮像装置の各部を制御する。なお、顔検出機能は、システム制御部１５０のＣＰＵがプログラムを実行することで、画像処理部の１２０の制御時とともに実現する。

１５４はシステム制御部１５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部１５４は、撮像装置１００の操作部近辺の視認し易い位置に設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部１５４は、その一部の機能が光学ファインダー１０４内に設置されている。

表示部１５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示がある。加えて、フラッシュ表示、赤目緩和表示、マクロ撮影表示などもあり、また、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体１３４及び１３６の着脱状態表示、通信Ｉ／Ｆ動作表示等も可能である。また、表示部１５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

１５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。１６０、１６２、１６４、１６６、１７０、１７２及び１７４は、システム制御部１５０の各種の動作指示を入力するための操作手段である。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段１６０、１６２、１６４、１６６、１７０、１７２及び１７４を具体的に説明する。

１６０はモードダイアルスイッチで、電源オフ、静止画撮影モード、パノラマ撮影モード、動画撮影モード、スナップ動画撮影モード、再生モード、マルチ画面再生、ＰＣ接続モード、テレビ受信モード等の各機能モードを切り替え設定することが出来る。

１６２は第１シャッタースイッチ（ＳＷ１）で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（Ａｕｔｏ ｏｃｕｓ）処理、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理等の撮影準備動作開始を指示する。

１６４は第２シャッタースイッチ（ＳＷ２）で、シャッターボタンの操作完了でＯＮとなる。このＯＮにより、撮像素子１１２から読み出した信号をＡ／Ｄ変換器１１６、メモリ制御部１２２を介してメモリ１３０に画像データを書き込む画像取り込み処理、画像処理部１０やメモリ制御部１２２での演算を用いた現像処理の動作開始が指示される。同時に、メモリ１３０から画像データを読み出し、圧縮・伸長部３２で圧縮処理を行って記録データを生成して記録媒体１３４或いは１３６に書き込む記録処理との動作開始も指示される。このように、第２のシャッタースイッチのＯＮによって、これら３つの一連の処理の動作開始が指示される。

１６６は表示切替スイッチで、画像表示部１２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

１７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等である。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。

１７２はユーザーが撮像画像の倍率変更指示を行うズーム操作部としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ１７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ１７２を用いることにより、ズーム制御部１４４に撮影レンズ１１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部１２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。

１７４は動画再生指示部で、動画撮影後の所定の時間内に操作することにより、撮影した動画の再生を開始することができる。以上が、操作手段の説明である。

１８０は電源制御部で、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

１８２はコネクタ、１８４はコネクタ、１８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。

１９０及び１９４はメモリカードやハードディスク等の記録媒体とのインタフェース、１９２及び１９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

なお、本実施例では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＳＤカードやＣＦカード等の規格に準拠したものを用いて構成しても構わない。

さらに、インタフェース１９０及び１９４、コネクタ１９２及び１９６をＰＣＭＣＩＡカードやＣＦ（Ｃｏｎｐａｃｔ Ｆｌａｓｈ）カード等の規格に準拠したものを用いて構成することも可能である。すなわちＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することが可能である。それにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、撮像装置１００のレンズ１１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダーであり、画像表示部１２８による電子ファインダー機能を使用することなしに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部１５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などのための構成が設けられている。

１７６は通信部でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。１７８は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１３４はメモリカードやハードディスク等の記録媒体である。記録媒体１３４は、半導体メモリや磁気ディスク等から構成される記録部１９５、撮像装置１００とのインタフェース１９４、撮像装置１００と接続を行うコネクタ１９３を備えている。

１３６はメモリカードやハードディスク等の記録媒体である。記録媒体１３６は、半導体メモリや磁気ディスク等から構成される記録部１９９、撮像装置１００とのインタフェース１９７、撮像装置１００と接続を行うコネクタ１９８を備えている。

次に図２乃至４を参照して、本実施例に係る画像処理装置の動作における顔検出機能および顔認識機能の実行例に説明する。図２乃至４は、本実施例に係る画像処理装置が撮像された動画信号（複数の動画フレーム）から動画表示又は記録用のＹＵＶデータを作成するまでの動作における顔検出機能と顔認識機能の実行(起動)タイミングの例を示す。起動タイミングは、どの動画データに対して顔検出又は顔認識を行うかを決定している。

本実施例の画像処理動作で行うＨＤＲ合成では、動画信号を、ダイナミックレンジを広げるために、露出条件の異なるフレームを３フレーム周期で読み出し、それらから動画のフレーム画像を合成する。図２乃至４において、Ｈｉｇｈと表されたフレームは、露出を適正露出より高いオーバー露出にして撮像した動画信号を読み出したフレーム、Ｍｉｄと表されたフレームは、露出を適正露出にして撮像した動画信号を読み出したフレームである。また、Ｌｏｗと表されたフレームは、露出を適正露出より低いアンダー露出にして撮像した動画信号を読み出したフレームであり、この３種類の露出を繰り返しながら動画信号のフレームの読み出しを行う。そして、本実施例の画像処理装置はこれらの３つの読み出し画像を取得し、それぞれＹＵＶ画像データに変換し、３フレームのＹＵＶ画像データを合成しＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成の動画（ＹＵＶ画像）を作成する。合成方法としては様々な手法が考えられ、いずれの方法でも本発明に適用可能である。本実施形態では、適正露出の画素値を基準として、画素値の低い、暗い領域ではオーバー露出の画像を、画素値の高い、明るい領域ではアンダー露出の画像を、中間的な画素値の領域では適正画像をそれぞれ主に用いて合成を行う。また、動きのある被写体領域には固定の合成比率で合成を行うなど、他の諸々の条件によって各領域の合成比率は変更しうる。なお、本実施形態ではＲＧＢベイヤ−配列の画像データをＹＵＶ画像データに変換した後にＨＤＲ合成を行っているが、これに限らず、ＲＧＢベイヤ−配列の状態でＨＤＲ合成を行っても良い。

ここで、本発明の課題である応答性の良い適切な顔検出および顔認証について考えると、以下の３つの動作モードが考えられる。ＨＤＲ合成後に顔検出及び顔認証を行ったほうが、合成前の各画像において顔領域に存在する陰や白飛び部分が合成後の画像で少なくなることが考えられるため、検出および認証の精度が高まる（第１の動作モード）。しかしながらＨＤＲ合成処理を待ってから顔検出、顔認証を順に行うのは応答性があまり良くない。そこで、顔検出が顔認証ほど検出の精度を求められないことを鑑みて、顔検出は合成前の画像データ（動画データ）から行い、顔認証は合成後の画像データ（合成画像データ）から行うとする（第２の動作モード）。すると、顔検出はＨＤＲ合成処理を待たずして合成前の各画像データから行え、かつ顔検出よりも精度を求められる顔認証は合成後の画像データから行うことによって精度を保つことが出来る。しかしながら、被写体が動いていることなどによって、画像合成後の画像が鮮明とならない場合は、却って顔検出結果や顔認証結果の精度が落ちる場合が考えられる。そこで、そのような場合には、合成前の画像データから顔検出および顔認証を行うことが考えられる（第３の動作モード）。
図２に示す動作モードの例(第１の動作モード)は、ＨＤＲ合成後の画像に対して顔検出および個人認識（顔認識）を行う動作例である。本実施例では、顔検出とは、人物の顔を検出することであり、顔のエッジや領域の色などからＹＵＶ画像の中から人物の顔のエリアを特定するものである。また、顔認識とは、顔検出で検出された顔エリアに対して目や鼻、口などといった器官検出を行い、検出した器官とあらかじめ登録しておいた人物の器官情報とをマッチングし、個人の顔を特定しようとすることである。もちろん、上述した検出方法に限らず、顔検出においても記憶された汎用的なパーツ情報を用いて器官検出を行うなどしても良い。これらは、図３および図４の動作例においても同様である。

図３に、他の動作例（第２の動作モード）を示す。図３の動作例は、合成前の３フレームのうちＭｉｄと表された適正の露出で露光して撮像して読み出した動画信号のＹＵＶデータに対して顔検出を行う例である。顔検出と並行して３種類の露光で読み出したデータから作成した３つのＹＵＶ画像データを合成してＨＤＲ合成のＹＵＶ画像を作成する。そして、ＨＤＲ合成後の画像に対して合成前の画像から検出した顔エリアに対して、個人認証を行う。ここで、顔検出を行う画像としては適正露出の画像に限らず、アンダー画像、オーバー画像などでもよい。例えばアンダー画像であれば白飛びの可能性が最も低いため、顔領域が比較的明るい場面でも顔検出が可能となる。さらには、ＨＤＲ合成前の３画像のうちの複数を使って顔検出を行っても良い。この場合、いずれかの露出の画像だけで検出するよりも検出レートや追従性を高めることが可能となる。

さらに、図４に、他の動作例（第３の動作モード）を示す。図４の動作例では、合成前の３フレームのＹＵＶ画像データのうち、Ｍｉｄと表された適正露出で露光して読み出したＹＵＶデータに対して顔検出および個人認証を行う。ここでも、顔検出および個人認証を行う画像としては適正露出の画像に限らず、アンダー画像、オーバー画像などでもよい。例えばアンダー画像であれば白飛びの可能性が最も低いため、顔領域が比較的明るい場面でも顔検出が可能となる。さらには、ＨＤＲ合成前の３画像のうちの複数を使って顔検出を行っても良い。この場合、いずれかの露出の画像だけで検出するよりも検出レートや追従性を高めることが可能となる。

上述した第１の動作モードは、顔検出と顔認証の精度を重視したものであり、顔の一部に影ができた場合など合成前の画像では顔検出が上手くできないようなコントラストの強い場合に有効である。第２の動作は、顔検出をＹＵＶ画像合成前に行うことで第１の動作モードよりも応答性を重視したものである。第３の動作モードは、顔認証および顔検出をＹＵＶ画像合成の前に行うことで３つの動作モードのなかで最も応答性を重視したものである。また、被写体の動きが早い場合や手ぶれ等で位置ずれが大きい場合は、画像合成により合成後の画像が鮮明でなくなってしまう可能性があるので第３の動作モードが有効である。このように、上記３つの動作モードは、適合する被写体や露光から個人が判明するまでの精度と応答性が異なる。そのため、これらの３つの動作モードをジャイロ等の振れ検出手段の振れの大きさや被写体の動きやシーンのタイプなどの条件に応じて使い分けると、シーンの特徴に適した顔検出および顔認証を行うことが可能となる。本実施例では、顔検出の実行後に、顔が検出されたかどうかを判定することで、撮像画像に適した動作モードであるかどうかを判定し、被写体の動きについては顔の動きを判定する。

次に、画像処理動作において、上記３つの動作モードを切り替えて顔検出機能および顔認識機能を実行する例を図５を参照して説明する。図５は、本実施例に係る画像処理動作のフローチャートを示す図である。本動作は、システム制御部１５０のＣＰＵがメモリ１５２に記憶されたプログラムをロードして実行することで実現する。

まずＳ５０１で、システム制御部１５０は、デフォルト設定として第２の動作モードを設定する。次にＳ５０２に進み、システム制御部１５０は、先に示した第２の動作モードに従って顔検出を行い、その結果として顔が検出されたかどうかを判定する。顔が検出されなかった場合は、システム制御部１５０は、処理をＳ５０７に進ませ、第１の動作を設定する。Ｓ５０７において顔検出を実行する。その結果、顔が検出された場合は、システム制御部１５０は、Ｓ５０３において個人認証処理を行う。ここでの個人認証も第２の動作モードのタイミングに従って行う。そしてＳ５０４に進み、システム制御部１５０は、個人認証で行った器官検出の結果、登録されている人物のいずれかとの一致度（信頼度）が基準である所定値以上であるかどうかを判定する。基準値以上でない場合はＳ５０７に進んで第１の動作モードを設定し、基準値以上である場合は、Ｓ５０５に遷移する。

Ｓ５０５では、システム制御部１５０は、ユーザーにより動画記録の停止が指示されたかどうかを判定する。ユーザーにより停止が指示されている場合は、システム制御部１５０は、本動作を終了し、指示されていなかった場合は、Ｓ５０６に遷移する。

Ｓ５０６では、システム制御部１５０は、検出された顔に動きがあるかどうかを判定する。顔に動きがあるかどうかは、例えば、前回の顔検出結果のと座標を比較することで、もしくは検出された顔座標を時系列で保存しておき、検出された顔座標の位置に変化があるかどうかで判定する。ほかにも器官検出の結果などから顔の傾きや横顔かどうかなどの顔の状態を記憶しておき、その状態の変化から顔を動かしているかどうかから判定することも可能である。顔に動きがないと判定した場合は、システム制御部１５０は処理をＳ５０２に進めて第２の動作での顔検出を行う。

Ｓ５０６で顔に動きがあると判定した場合は、システム制御部１５０は、Ｓ５１２で第３の動作モードに切り替えて、Ｓ５１３に処理を進める。Ｓ５１３では、システム制御部１５０は、顔検出の結果、顔を検出したかどうかを判定し、顔を検出していない場合はＳ５０７に遷移して第１の動作モードを設定する。Ｓ５１３で顔を検出している場合は、システム制御部１５０は処理をＳ５１４に進め、個人認証処理を行う。その後、システム制御部１５０は処理をＳ５１５に進め、個人認証で行った器官検出の結果、登録されている人物のいずれかとの一致度（相関値等）が基準値以上であるかどうかを判定する。基準値以上でない場合は、処理をＳ５０７に進めて第の動作モードを設定し、基準値以上である場合は、処理をＳ５１６に進める。

Ｓ５１６では、システム制御部１５０は、動画記録の停止が指示されたかどうかを判定し、指示されている場合は本動作を停止し、指示されていない場合は、処理をＳ５１７に進める。Ｓ５１７では、システム制御部１５０は、顔に動きがあるあるかどうかを判定し、顔に動きがある場合は、第３の動作モードを設定したままＳ５１３に処理を進め、顔に動きがない場合は、処理をＳ５０１に進めて第２の動作を設定する。

Ｓ５０２、Ｓ５０４、Ｓ５１３、Ｓ５１５からＳ５０７に遷移して第１の動作モードを設定した場合は、システム制御部１５０は、Ｓ５０８において顔検出の結果、顔が検出されたかどうかを判定する。その結果、顔が検出されていない場合は、処理をＳ５０１に処理を進めて第２の動作モードを設定する。Ｓ５０８で顔が検出されていたと判定した場合は、システム制御部１５０は処理をＳ５０９に進め、検出した顔に対して個人認証を行う。その後Ｓ５１０に処理を進め、ユーザーにより動画記録の中止の指示があったかどうかを判定し、あれば本動作を中止し、なければＳ５１１に処理を進める。Ｓ５１１では、システム制御部１５０は、顔に動きがあるかどうかを判定し、顔に動きがあればＳ５１２に処理を進めて第３の動作モードに切り替え、顔に動きがない場合は第１の動作モードのままＳ５０８の顔検出を続ける。

このように、顔を検出したかどうかや、検出した顔の器官検出結果が基準以上かどうか、顔に動きがあるどうかの条件から顔検出と検出した顔の個人認証の実行方法を変更することで、状況に応じて適した顔検出と顔認証の実行方式を選択することが可能となる。

なお、上述した図５のフローチャートで示される動作における顔を認証するための器官検出の基準値や顏が検出されたかどうかの判定の基準である所定値は、必要に応じて変更して構わない。また、切り替え方法は図５の例に限るものではなく、他の切り替え構成にしても構わない。さらには、デフォルトから一旦切り替えた後は、切り替えを行わずに、第１乃至第３の動作モードのいずれかを少なくとも所定時間は一貫して行う構成でも構わない。また、上述した３つの動作モードのいずれで動作させるかを、顔検出結果、顔の動きに関わらず手動で設定できる構成にしてもよい。さらには、高いフレームレートやスポーツモードなど高い応答性が求められるシーンでは第２あるいは第３の動作モード、など、どの程度の応答性を求める撮影モードであるかに応じて切り換えても良い。

［変形例］
本変形例は、ＨＤＲ合成画像を、上述のように３つのフレームではなくオーバー露出したフレームとアンダー露出したフレームの２枚から作成する場合の画像処理動作の例である。この場合の画像処理装置の動作における顔検出機能および顔認識機能の動作例（動作モード）を図６に示す。図６に示す動作例は上述の実施例の第３の動作モードに相当する。

図６の場合、被写体に対してオーバーとアンダーに露光した画像から動画を生成するため、適正露出で撮像した動画信号のフレームがない。そこで本変形例では、２フレームごとにオーバー露出して撮像した動画フレームのＹＵＶデータをゲインダウンして適正相当にしたフレームとアンダー露出して撮像した動画フレームをゲインアップして適正相当にしたフレームを交互に使用して顔検出と顔認証をする。

すなわち、画像合成をオーバー露出したフレームとアンダー露出したフレームの２枚から作成する場合において顔検出機能および顔認識機能のいずれかの実行対象となる動画データに対して、図６に示したようなゲインアップとゲインダウンを用いる。これにより、本変形例においても、画像処理動作において上述した第２の動作モードや第３の動作モードで顔検出や顔認識を行うことが可能となる。また、本変形例による動作を、３フレームからＨＤＲ合成画像を作成する場合の画像処理動作と同様に、図５のようなフローに従って本変形例に係る動作を切り替えても構わない。
上記本変形例において、２つのフレームを適正露出で撮像した動画信号のフレームと、アンダー露出で撮像した動画信号のフレームで構成しても良い。この場合、明るさ補正は適正露出相当に合わせ込むアンダー露出のゲインアップのみでよい。適正露出とアンダー露出の２つの撮像条件のみで撮影、合成すると、オーバー露出の画像を合成に用いる場合に比べて黒つぶれの改善効果が少なくなるものの、適正露出に存在する中間輝度の被写体の階調をより細かく再現させられる。
また、さらなる変形例としては、特開２０１１−２４４３０９号公報に開示されているような、１フレーム内で所定のラインごとに異なる露光時間を設定して撮像される、複数の露光条件の画像を合成してＨＤＲ合成画像を生成する場合において適用する例である。上記各実施例に比べて１フレームの撮像で得られる画像からでもＨＤＲ合成画像が生成できるところが特徴であるが、例えば２ラインごとにオーバー露出、アンダー露出を交互に設定して撮像して得られるオーバー露出のフレームとアンダー露出のフレームに対しては、上記各実施例と同様に第２の動作モードや第３の動作モードで顔検出処理や顔認証処理を行うことが可能となる。

上述した本発明によれば、フレームを読み出してから顔認識結果が出るまでの応答性を保ちながら、被写体やシーンに応じて最適な精度で顔認証を行う方法を行うことが可能となる。すなわち、画像合成を伴う動画像の処理において、第１の被写体検出処理、及び第１の被写体検出に基づいた第１の被写体検出より被写体が特定された第２の被写体検出処理を実行する場合に、応答性の良い適切な検出処理の制御が実現される。

上述した実施形態において図５に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御部１５０のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図５に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図５に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (19)

1. 被写体を異なる撮影条件で撮像した複数の画像データを処理する画像処理装置において、
   前記複数の画像データを取得する取得手段と、
   前記複数の画像データを合成して合成画像データを生成する画像処理手段と、
   前記複数の画像データおよび生成された前記合成画像データのいずれかに対して、被写体を検出する第１の被写体検出処理、及び前記第１の被写体検出処理の検出結果に基づいた前記第１の被写体検出より検出する被写体が特定された第２の被写体検出処理の少なくとも１つを実行させる制御手段とを備え、
   前記制御手段は、前記第１の被写体検出処理および第２の被写体検出処理の少なくとも１つを実行させる複数の動作モードを有し、前記被写体の状態または撮像画像の特徴に従って前記動作モードを切り替えることを特徴とする画像処理装置。
2. 前記複数の動作モードは、前記合成画像データに対して第１の被写体検出処理および第２の被写体検出処理を実行する第１の動作モードと、前記複数のフレームの画像データのうちの少なくとも１つのフレームの画像データに対して前記第１の被写体検出処理を実行し、前記合成画像データに対して前記第２の被写体検出処理を実行する第２の動作モードと、前記処理された複数の画像データのうちの１つの画像データに対して、前記第１の被写体検出処理と第２の被写体検出処理を実行する第３の動作モードを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件は露出条件であり、前記撮像された複数の画像データは、オーバー露出で撮像された画像データ、適正露出で撮像された画像データ、およびアンダー露出で撮像された画像データであり、前記第２の動作モードおよび第３の動作モードで、前記第１の被写体検出処理および前記第２の被写体検出処理の少なくとも一つが実行される前記一つの画像データは、前記適正露出で撮像された画像データの処理された画像データであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記第１の被写体検出処理の実行により顔が検出されたかどうかの判定の結果および検出された顔に動きがあるかどうかを判定した結果のいずれかに従って、前記動作モードを切り替えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記制御手段は、前記第２の被写体検出処理を実行したときに、顔認識の結果の信頼度が所定値以上でない場合は、前記動作モードを切り替えることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記制御手段は、前記複数の画像データおよび前記合成画像データのいずれかに対して前記第１の被写体検出処理および前記第２の被写体検出処理の少なくとも一つが実行されるかに従って、前記所定値を変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮影条件は露出条件であり、前記撮像された複数の画像データは、オーバー露出で撮像された画像データおよびアンダー露出で撮像された画像データであり、前記制御手段は、前記複数の画像データの処理された複数の画像データのいずれかに対して、前記第１の被写体検出処理および前記第２の被写体検出処理の少なくとも一つを実行する場合は、実行対象の画像データに、前記露出条件に応じて所定のゲインを適用することを特徴とする請求項１、３、４、５および６のいずれか一項に記載の画像処理装置。
8. 前記制御手段は、前記複数の画像データの処理された複数の画像データのいずれかに対して交互に、前記第１の被写体検出処理および前記第２の被写体検出処理の少なくとも一つを実行することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理手段は、複数の前記合成画像データによってＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）動画を生成し、前記生成した動画の記録データを生成することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記制御手段は、前記第１の被写体検出処理と前記第２の被写体検出処理を行う機能を有することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 被写体を異なる撮影条件で撮像した複数の画像データを処理する画像処理装置において、
    前記複数の画像データを取得する取得手段と、
    前記複数の画像データを合成して合成画像データを生成する画像処理手段と、
    前記複数の画像データに対して被写体を検出する第１の被写体検出処理を行う第１の被写体検出手段と、
    前記合成画像データに対して、前記第１の被写体検出手段による検出結果に基づいて、前記第１の被写体検出処理よりも被写体が特定される第２の被写体検出処理を行う第２の被写体検出手段と、を備えることを特徴とする画像処理装置。
12. 被写体を異なる撮影条件で撮像して複数の動画データを生成する撮像手段と、
    請求項１乃至９のいずれか一項に記載の画像処理装置と、
    前記第１の被写体検出処理と前記第２の被写体検出処理を行う処理手段と、
    前記生成された動画を記録する記録手段と
    を備えることを特徴とする撮像装置。
13. 前記第２の被写体検出処理が使用する前記所定値を設定する手段と前記動画の記録を指示する手段を備えることを特徴とする請求項１２に記載の撮像装置。
14. 前記複数の画像データの撮影条件を調節する調節手段を備え、前記調節手段は、前記複数の画像データにおける各露出条件を異ならせることを特徴とする請求項１２又は１３に記載の撮像装置。
15. 被写体を異なる撮影条件で撮像した複数の動画データを処理する画像処理装置の制御方法において、
    前記複数の動画データを取得する取得ステップと、
    前記複数の動画データを処理し、前記処理された複数の動画データを合成して動画を生成する画像処理ステップと、
    前記処理された動画データおよび生成された動画のいずれかに対して、被写体を検出する第１の被写体検出処理、及び前記第１の被写体検出処理の検出結果に基づいた前記第１の被写体検出より検出する被写体が特定された第２の被写体検出処理の少なくとも一つを実行させる制御ステップとを備え、
    前記制御ステップは、前記第１の被写体検出処理および前記第２の被写体検出処理の少なくとも一つを実行する複数の動作モードを有し、前記被写体の状態または撮像画像の特徴に従って前記動作モードを切り替えることを特徴とする制御方法。
16. 被写体を異なる撮影条件で撮像した複数の動画データを処理する画像処理装置を制御するプログラムであり、
    コンピュータを、
    前記複数の動画データを取得する取得手段、
    前記複数の動画データを処理し、前記処理された複数の動画データを合成して動画を生成する画像処理手段、
    前記処理された動画データおよび生成された動画のいずれかに対して、被写体を検出する第１の被写体検出処理、及び前記第１の被写体検出処理の検出結果に基づいた前記第１の被写体検出より検出する被写体が特定された第２の被写体検出処理の少なくとも一つを実行させる複数の動作モードを有し、前記被写体の状態または撮像画像の特徴に従って前記動作モードを切り替える制御手段として機能させるプログラム。
17. 請求項１６のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
18. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
19. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。

Images