JP2014127999A - 顔検出装置 - Google Patents

Abstract

【課題】所定時間毎にイメージセンサ出力のゲインを変更しながら画像認識を行うことで、画像検出精度を向上させることができる顔検出装置を提供することを目的とする。
【解決手段】実施形態の顔検出装置は、イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部とを具備し、イメージセンサからの撮像画像中の顔部分の明るさを強制的に変化させることで、顔検出部おける顔の検出を可能にする。
【選択図】図１

Description

本発明の実施形態は、顔検出装置に関する。

近年、ディジタル画像処理技術の発達が著しく、高画質化処理だけでなく立体化処理技術の研究も行われている。立体映像を表示する表示装置としては、両眼視差を利用した手法が採用されることが多い。

左右両眼の視点に対応する視差を持った２画像、即ち、右目用の画像と左目用の画像とを生成し、これらの右画像及び左画像を夫々右目又は左目で見ることによって、画像の立体感を得ることができる。右画像及び左画像を、夫々右目又は左目に見せるために、視者に３Ｄ画像用のメガネ型の装置を装着する方法がある。更に、近年、右画像と左画像の表示方向を変化させて、視者の右目に右画像を見せ、左目に左画像を見せる裸眼立体視の技術も開発されている。この技術においては、視者の目の位置を判定するために顔検出装置が採用されることがある。

このように、顔検出機能は、裸眼立体表示装置のフェイストラッキングなど、様々なシーンで利用される。顔検出装置は、イメージセンサからの画像出力を使用して、例えば、表示装置を見る視者の顔を画像認識して顔の位置を判定する。しかしながら、検出する顔が暗い場合等においては、顔認識が不能となることがある。例えば、比較的大型のディスプレイを見る場合には、このディスプレイに取り付けたイメージセンサと視者の顔との間の距離が比較的大きく、暗すぎる画像や明るすぎる画像では顔認識が困難となる。

これに対して、イメージセンサからの画像出力のゲインを変化させることで、顔検出の精度を高める手法が採用されることがある。例えば、ディスプレイに表示された画像の明るさやディスプレイ前面の環境の明るさに応じてゲインを変化させるのである。

しかしながら、イメージセンサからの画像のうち顔部分の明るさが局所的に暗かったり、明るかったりすることがある。この場合には、適切なゲイン調整が行われず、顔検出の精度が低下することがあるという問題があった。

特開平１１−１１３００８号公報。

本発明の実施形態は、所定時間毎にイメージセンサ出力のゲインを変更しながら画像認識を行うことで、画像検出精度を向上させることができる顔検出装置を提供することを目的とする。

実施形態の顔検出装置は、イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部とを具備する。

本発明の第１の実施の形態に係る顔検出装置を示すブロック図。 本実施の形態の顔検出装置を適用したテレビジョン受信機を示すブロック図。 イメージセンサ１１からの撮像画像の例を示す説明図。 第１の実施の形態における動作を説明するためのフローチャート。 第１の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図。 本発明の第２の実施の形態を示すブロック図。 第２の実施の形態における動作を説明するためのフローチャート。 第２の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る顔検出装置を示すブロック図である。また、図２は本実施の形態の顔検出装置を適用したテレビジョン受信機を示すブロック図である。

図２において、テレビジョン受信機１は、裸眼立体視可能に構成されている。テレビジョン受信機１のチューナ及び復調部３には、アンテナ２に誘起したデジタル放送の放送信号が入力される。チューナ及び復調部３は、放送信号の中から所望のチャンネルの放送信号を選局し、選局した信号を各々のデジタル放送の変調方式に対応して復調する。このチューナ及び復調部３によって、例えば、地上デジタル放送信号はＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調処理によって、デジタルの映像信号及び音声信号に復調され、トランスポートストリーム（ＴＳ）形式の復調信号が得られる。

チューナ及び復調部３からのトランスポートストリームは、ＴＳ分離制御部４に供給される。ＴＳ分離制御部４は、トランスポートストリームの分離処理を行い、映像ストリームを映像処理部５に出力する。映像処理部５は、入力された映像ストリームに対して、ＭＰＥＧ（Moving Picture Experts Group）デコード処理を行い、所定のデジタル信号処理を施して映像信号を得る。映像処理部５は、この映像信号を表示パネル２１に出力すると共に、顔検出装置１０にも出力する。

表示パネル２１は、３Ｄ表示用の画素配列を有しており、各画素からの右画像の光及び左画像の光の進行方向を制限することが可能である。これにより、右画像を視聴者の右目に見せ、左画像を視聴者の左目に見せることが可能である。この場合において、表示パネル２１は、顔検出装置１０から視聴者人数や顔の位置を示す顔検出結果が与えられ、この顔検出結果に応じて右画像及び左画像の進行方向を決定するようになっている。

顔検出装置１０は、イメージセンサ１１からの出力及び映像処理部５からの出力に基づいて、視聴者の人数及び顔の位置を検出して検出結果を表示パネル２１に出力する。イメージセンサ１１は、例えば、テレビジョン受信機１の近傍に配置され、表示パネル２１の表示画面を見る視聴者の存在が想定される位置を視野範囲として撮影を行い、撮像画像を顔検出装置１０に出力するようになっている。

図１において、顔検出装置１０は、イメージセンサ１１を制御するイメージセンサ制御部１２を有している。イメージセンサ１１は、イメージセンサ制御部１２に制御されて、撮影を行う。イメージセンサ１１からの撮像画像は顔検出部１３に与えられる。

顔検出部１３は、イメージセンサ１１からの撮像画像に対して、公知の顔認識手法を採用した顔認識処理を行い、撮像画像中の顔の位置を検出する。顔検出部１３は、撮像画像中に検出した顔の数（人物の数）及び検出した顔の位置、特に右目及び左目の位置（座標）の情報を顔検出結果として表示パネル２１に出力する。これにより、表示パネル２１は、映像処理部５からの左右画像を視聴者の左右の目に向けて表示することができる。

また、イメージセンサ１１からの撮像画像及び顔検出部１３からの顔検出結果は、合成部１４にも供給される。合成部１４は、イメージセンサ１１からの撮像画像と顔検出結果とを合成して、表示パネル２１に出力する。これにより、表示パネル２１において、顔検出のために撮影した撮像画像と顔検出結果とを放送信号に基づく画像に重畳させて表示することができる。

イメージセンサ制御部１２には映像処理部５からの映像信号が画像入力として与えられる。イメージセンサ制御部１２は、画像入力に基づいて各画面の明るさを算出し、算出した明るさに応じてイメージセンサ１１に設定するゲイン（以下、基準ゲインという）を求める。イメージセンサ制御部１２はイメージセンサ１１のゲインを制御するためのゲイン情報を生成して、イメージセンサ１１に与える。イメージセンサ１１はゲイン情報に基づいて、撮像画像出力のゲインが設定される。これにより、表示パネル２１に表示される画像の明るさに応じて、イメージセンサ１１からの撮像画像の明るさが制御されて、顔検出部１３における顔認識精度を向上させることができる。

なお、イメージセンサ１１の出力のゲインは、イメージセンサ１１の光電変換時のゲインと、イメージセンサ１１の出力部のゲインとを含むゲインであって、イメージセンサ制御部１２は、これらのゲインを適宜制御するゲイン情報を出力する。

更に、本実施の形態においては、イメージセンサ制御部１２は、設定記憶部１５に記憶されたゲイン制御情報に基づくゲイン情報を生成して、イメージセンサ１１のゲインを所定期間毎に変化させるようになっている。例えば、イメージセンサ制御部１２は、イメージセンサ１１からの撮像画像のフレーム単位でイメージセンサ１１のゲインを変化させる。

設定記憶部１５は、イメージセンサ制御部１２においてイメージセンサ１１のゲインを設定するためのゲイン制御情報を記憶している。ゲイン制御情報としては、ゲインを単位期間当たりに変化させる割合、ゲイン変化の周期等の情報が考えられる。イメージセンサ制御部１２は、ゲイン制御情報に応じて、イメージセンサ１１のゲインを、画面の明るさに基づく基準ゲインから上下させ、所定周期でゲインの変化を繰り返すようになっている。

即ち、イメージセンサ制御部１２は、ゲイン制御情報に基づいて、所定の期間毎に所定の変化幅で基準ゲインよりも大きい最大ゲインと基準ゲインよりも小さい最小ゲインとの間でゲインを変化させて、１調整期間で元の基準ゲインに戻し、以後このゲイン制御を繰り返す。

顔検出部１３における顔検出処理は、例えば、１０ｆｐｓ程度のフレームレートで１フレーム程度の適切な画像があれば、有効であることが多い。そこで、イメージセンサ制御部１２は、イメージセンサ１１からの画像出力のゲイン調整を、１フレーム乃至指定フレーム毎に、画面全体の照度に対して多め／少なめに調整するようにしている。従って、この調整期間内において、イメージセンサ１１からの撮像画像中の顔部分の明るさが変化して、顔部分の明るさが顔検出に適した明るさになるタイミングが発生することになる。これにより、イメージセンサ１１の視野範囲内の顔部分を含む明るさに拘わらず、調整期間内において確実に顔検出をさせることが可能である。

なお、設定記憶部１５のゲイン制御情報は、図示しない入力装置の操作に基づいて、イメージセンサ制御部１２により設定更新することができるようになっている。

次にこのように構成された実施の形態の動作について図３乃至図５を参照して説明する。図３はイメージセンサ１１からの撮像画像の例を示す説明図であり、図４は第１の実施の形態における動作を説明するためのフローチャートであり、図５は第１の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。

放送信号は、チューナ及び復調部３によって選局及び復調され、ＴＳ分離制御部４において映像ストリームが分離されて映像処理部５に供給される。映像処理部５は、入力された映像ストリームをデコードして映像信号を表示パネル２１に出力する。こうして、表示パネル２１の表示画面上において、放送信号に基づく画像が表示される。

映像処理部５の出力は画像入力として顔検出装置１０に供給される。顔検出装置１０は、画像入力に基づく画面の明るさに応じた基準ゲインを、イメージセンサ１１のゲインとして設定する。

いま、テレビジョン受信機１の視聴者が、表示パネル２１の前面に位置するものとする。イメージセンサ１１は、この視聴者を撮像可能な視野範囲で撮影を行っており、イメージセンサ１１からの撮像画像は、顔検出装置１０に入力される。図３（ａ）はイメージセンサ１１のゲインが所定の適正値である場合におけるイメージセンサ１１からの撮像画像を示している。図３（ａ）は視野範囲内に、ランプ３１及び人物の顔３２が撮像されていることを示しており、顔３２の部分を除く撮像範囲の右側の大部分がランプ３１によって極めて明るく撮影されていることを示している。

この状態で、表示パネル２１の画面の明るさや表示パネル２１の前面の周囲環境の明るさによって、イメージセンサ１１のゲインを下げる調整が行われると、イメージセンサ１１からの撮像画像は図３（ｂ）に示すものとなることが考えられる。即ち、図３（ｂ）はイメージセンサ１１の出力のゲインが下げられ、ランプ３１の周辺は適正な明るさになったのに対し、顔３２の部分はゲインの低下によって極めて暗くなったことを示している。このような撮像画像を顔検出装置１０に与えても、顔３２を顔検出することができないことが考えられる。

そこで、本実施の形態においては、イメージセンサ制御部１２は、イメージセンサ１１のゲインを基準ゲインから所定の時間単位で上下させ、所定周期で種々のゲインによる撮像画像をイメージセンサ１１から出力させる。

即ち、イメージセンサ制御部１２は、図４のステップＳ１において、設定記憶部１５からゲイン制御情報を取得する。ゲインをフレーム単位で変化させるものとして、例えば、ゲイン制御情報としては、ゲインを基準ゲインに対して変化させるフレームであるか否を示すゲイン調整フラグ、ゲイン調整フラグがオンの場合においてゲインを上げるか下げるかを示す調整方向フラグ及びゲインの調整幅を示す情報等が考えられる。

イメージセンサ制御部１２は、ステップＳ２において、イメージセンサ１１のゲインを、画像入力に基づく基準ゲインを算出して設定する。次に、イメージセンサ制御部１２は、ゲイン調整フラグがオン（調整を行う）であるかオフ（調整を行わない）かを判定する。イメージセンサ制御部１２は、調整フラグがオンの場合には、ゲイン調整方向フラグの値に基づいてゲイン調整幅の情報に応じてゲインを上又は下に変化させるためのゲイン情報を出力する（ステップＳ４）。

イメージセンサ制御部１２は、ステップＳ５において、次のフレームにおけるゲイン調整フラグ及びゲイン調整調整方向フラグを再設定する。イメージセンサ制御部１２は、設定したゲインをゲイン情報としてイメージセンサ１１に出力してイメージセンサのゲインを制御する。

イメージセンサ１１は、ゲイン情報に基づくゲインで、撮像画像を出力する。これにより、イメージセンサ１１からの撮像画像には、フレーム単位で、基準ゲイン又は基準ゲインから上下に変化したゲインが付与されることになる。

図５（ａ）は所定の初期ゲインによる撮像画像出力を示し、図５（ｂ）は基準ゲインによる撮像画像出力を示し、図５（ｃ）はゲイン情報に応じて変化するゲインによる撮像画像出力を示している。なお、図５（ａ）では撮像画像の明るさが変化しない例を示しているが、初期ゲインが一定であっても、表示パネル２１に表示される画像によって撮像画像の明るさは変化する。また、図５（ｂ）においても撮像画像の明るさが変化しない例を示しているが、表示パネル２１に表示される画像の明るさによって基準ゲインも変化し、この基準ゲインの変化によって画像の明るさは変化する。

しかし、上述したように、撮像画像の全体の明るさが適正となるように、基準ゲイン制御が行われることから、顔の画像部分が局所的に暗かったり明るかったりする場合に、顔の画像部分がゲイン制御によって暗すぎたり明るすぎたりすることが考えられる。

これに対し、本実施の形態においては、図５（ｃ）に示すように、イメージセンサ１１のゲインを基準ゲインから強制的に上下させて撮影しており、撮像画像は、全体的に適正となったり、暗くなったり、明るくなったりする。従って、顔の画像部分が局所的に暗かったり、明るかったりする場合でも、ゲインの１調整期間内において、必ず適正の明るさで顔の画像部分が撮像されるときがある。

イメージセンサ１１からの撮像画像は顔検出部１３に供給される。顔検出部１３は、イメージセンサ１１からの撮像画像に対する顔認識処理によって、撮像画像中から顔を検出し、顔の数及び顔の位置等を顔検出結果として出力する。

イメージセンサ１１からの撮像画像は、ゲインが強制的に上下変化しており、顔か画像中のいずれに位置する場合でも、いずれかのフレームについては、確実に顔の画像部分について顔認識処理が可能である。例えば、撮像画像中において顔が明るい画像である場合でも、顔が暗い画像である場合でも、明るい画像部分に顔が位置する場合でも、暗い画像部分に顔が位置する場合でも、また、複数の顔が相互に明るさが異なる場合や異なる明るさの画像部分に存在する場合でもあって、確実に撮像画像中の全ての顔についての顔検出が可能である。

顔検出部１３からの顔検出結果は、表示パネル２１に供給される。こうして、表示パネル２１において、確実に視聴者の右目及び左目に、右画像又は左画像を見せることができ、裸眼立体視が可能となる。

このように本実施の形態においては、イメージセンサのゲインを強制的に上下させて撮像画像を得ており、いずれかの期間に得られた撮像画像から確実に顔を検出することができる。これにより、裸眼立体視における顔の位置検出に利用した場合でも、確実な顔の位置検出が可能であり、裸眼立体視を可能にすることができる。

（第２の実施の形態）
図６は本発明の第２の実施の形態を示すブロック図である。図６において図１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態における顔検出装置４０は、イメージセンサ制御部１２に代えてイメージセンサ制御部４１を採用した点が図１の顔検出装置１０と異なる。顔検出部１３は、顔検出結果をイメージセンサ制御部４１にも出力するようになっている。

イメージセンサ制御部４１は、イメージセンサ制御部１２と同様に、画像入力に基づく基準ゲインを算出すると共に、設定記憶部１５に記憶されたゲイン制御情報に基づいてゲイン情報を求める。更に、イメージセンサ制御部４１は、顔検出部１３からの顔検出結果によって顔検出が成功したことが示された場合には、イメージセンサ１１のゲインの変更を停止させて、顔検出の成功時のゲインを維持するためのゲイン情報を出力するようになっている。

イメージセンサ制御部４１は、例えば、顔検出が成功している期間中、或いは、調整期間よりも長い所定の期間だけ、ゲインの変動を停止させるようにしてもよい。

次にこのように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は第２の実施の形態における動作を説明するためのフローチャートであり、図８は第２の実施の形態におけるイメージセンサ１１のゲイン制御を説明するための説明図である。

図７のフローは、ステップＳ１１の顔検出結果の判定処理を追加した点が図４のフローと異なる。顔検出装置４０のイメージセンサ制御部４１は、図７のステップＳ２において、例えば映像処理部５（図２参照）からの画像入力に基づく基準ゲインを求める。次に、イメージセンサ制御部４１は、ステップＳ１１において、顔検出が成功したか否かを判定する。顔検出が成功していない場合には、第１の実施の形態と同様に、ステップＳ３〜Ｓ５によってゲインを調整する。

本実施の形態においては、イメージセンサ制御部４１は、顔検出部１３から顔検出が成功したことを示す顔検出結果が与えられると、ステップＳ３〜Ｓ５の処理を省略して、ゲインを固定する。この場合には、イメージセンサ制御部４１は、例えば、顔検出が成功したときにイメージセンサ１１に出力したゲイン情報を以後イメージセンサ１１に出力する。

図８はこの場合の撮像画像出力を説明するためのものであり、図８（ａ）は所定の初期ゲインによる撮像画像出力を示し、図８（ｂ）は基準ゲインによる撮像画像出力を示し、図８（ｃ）はハイレベル（Ｈ）又はローレベル（Ｌ）によって顔検出の成功又は失敗を示し、図８（ｄ）はゲイン情報に応じて変化するゲインによる撮像画像出力を示している。

なお、上述したように、図８（ａ），（ｂ）では図示していないが、実際には、表示パネル２１に表示される画像の明るさや基準ゲインの変化によってイメージセンサ１１からの撮像画像の明るさは変化することがある。

本実施の形態においても、図８（ｃ）に示すように、先ず、イメージセンサ１１のゲインを基準ゲインに対しを強制的に上下させて撮影する。これにより、撮像画像中の顔の画像部分も暗くなったり、明るくなったりして、必ず適正の明るさで顔の画像部分が撮像されるときがある。これにより、顔検出部１３は、イメージセンサ１１からの撮像画像によって顔検出が可能である。顔検出部１３は、顔検出が成功したことを示す顔検出結果をイメージセンサ制御部４１に出力する（図８（ｃ）のＨ期間）。これにより、イメージセンサ制御部４１は、顔検出が成功したときのゲイン情報をイメージセンサ１１に出力する。こうして、図８（ｄ）に示すように、以後イメージセンサ１１は、適正なゲインで撮像される。これにより、以後、顔検出部１３は継続して顔画像の検出が可能となる。

このように本実施の形態においても、第１の実施の形態と同様の効果が得られる。更に、本実施の形態においては、顔検出が成功すると、以後イメージセンサ１１は適正なゲインに固定されるので、継続して顔検出が可能となる。こうして、本実施の形態においては、不要な調整を一定期間抑制することができ、効率的なフェイストラッキングを行うことが可能である。

なお、上記各実施の形態においては、イメージセンサのゲインを変化させる例について説明したが、イメージセンサの色合い等についても周期的に変化させて、顔検出精度を向上させるようにしてもよい。

また、図５及び図８では１乃至数フレーム単位で３種類のゲインに変化させる例について示したが、ゲインを変化させる期間や変化幅、基準ゲインを変化させて再び基準ゲインに戻るまでの期間（１調整期間）や調整期間内におけるゲインの調整数は、適宜設定可能である。

また、上記各実施の形態においては、イメージセンサのゲインを画像入力に基づく基準ゲインの上下に変化させる例について説明したが、予め定められたゲインの範囲でイメージセンサのゲインを変化させるようにしてもよい。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１０…顔検出装置、１１…イメージセンサ、１２…イメージセンサ制御部、１３…顔検出部、１５…設定記憶部、２１…表示パネル。

Claims (5)

1. イメージセンサからの撮像画像を画像処理して前記撮像画像中の顔を検出する顔検出部と、
   前記イメージセンサのゲインを所定期間毎に変化させるイメージセンサ制御部と
   を具備する顔検出装置。
2. 前記イメージセンサは、画像を表示する表示パネルの視者の存在が想定される範囲を視野範囲として設置され、
   前記イメージセンサ制御部は、前記表示パネルに表示される前記画像の明るさに基づく基準ゲインよりも大きい最大ゲインと前記基準ゲインよりも小さい最小ゲインとの間でゲインを変化させる
   請求項１に記載の顔検出装置。
3. 前記イメージセンサ制御部は、前記イメージセンサからの撮像画像のフレーム単位で前記ゲインを変化させる
   請求項１又は２に記載の顔検出装置。
4. 前記イメージセンサ制御部は、前記顔検出部による顔検出が成功すると、前記イメージセンサのゲインの変化を停止させる
   請求項１乃至３のいずれか１つに記載の顔検出装置。
5. 前記イメージセンサ制御部による前記イメージセンサのゲインの変化周期及び変化幅を規定するゲイン制御情報を保持する設定記憶部
   を具備する請求項１乃至４のいずれか１つに記載の顔検出装置。