JP2023160212A - 撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】低消費電力で近赤外光を用いた物体認識を行うことが可能な撮像装置を提供する。【解決手段】撮像装置（１０）は、可視光を用いた撮像を行う第１撮像手段（１０７）と、非可視光を発光する発光手段（１１３）と、発光手段を制御する制御手段（１１２）と、非可視光を用いた撮像を行う第２撮像手段（１１４）と、第２撮像手段から出力される画像データに基づいて物体認識処理を行う物体認識手段（１１６）とを有し、制御手段は、物体認識手段の動作に応じて発光手段の光量を変更する。【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関する。

従来、被写体の個人認証の実行などのため、顔認識（顔検出）、肌認識、器官検出などの物体認識手段（被写体検出手段）を備えた撮像装置が知られている。特許文献１および特許文献２には、人の肌の光（波長）に対する反射率に関し、可視光領域の赤側から近赤外の領域（非可視光領域）において優位であることが開示されている。特許文献３には、近赤外発光ダイオード（ｎｅａｒ ＩｎｆｒａＲｅｄ － Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ：ＩＲ－ＬＥＤ）と、近赤外光を用いて撮像を行うイメージセンサとを備え、発光／発光停止を制御する撮像装置が開示されている。

特開２０２１－１７５０４８号公報 特開２０１４－６４０４７号公報 特開２０１６－４６６３３号公報

特許文献３に開示された撮像装置では、ＩＲ－ＬＥＤを頻繁に発光させるため、ＩＲ－ＬＥＤを有しない撮像装置と比べて、消費電力が大きくなる。また、高レートのライブビュー（ＬＶ）表示を行う撮像装置でＩＲ－ＬＥＤを発光させる際には、更なる省電力化が求められる。

そこで本発明は、低消費電力で近赤外光を用いた物体認識を行うことが可能な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、可視光を用いた撮像を行う第１撮像手段と、非可視光を発光する発光手段と、前記発光手段を制御する制御手段と、非可視光を用いた撮像を行う第２撮像手段と、前記第２撮像手段から出力される画像データに基づいて物体認識処理を行う物体認識手段とを有し、前記制御手段は、前記物体認識手段の動作に応じて前記発光手段の光量を変更する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、低消費電力で近赤外光を用いた物体認識を行うことが可能な撮像装置を提供することができる。

第１実施形態における撮像装置のブロック図である。 第１実施形態におけるタイミング制御手段のブロック図である。 第１実施形態におけるＩＲ発光制御手段およびＩＲ発光手段のブロック図である。 第１実施形態における撮像およびＩＲ発光の制御タイミングチャートである。 第１実施形態におけるダイナミック点灯制御の説明図である。 第１実施形態におけるダイナミック点灯制御の光量調整の説明図である。 第１実施形態における第２撮像手段の分光感度特性である。 第２実施形態におけるＩＲ発光制御手段およびＩＲ発光手段のブロック図である。 第３実施形態におけるＩＲ発光制御手段およびＩＲ発光手段のブロック図である。 各実施形態におけるＣＭＯＳセンサの画素配列の説明図である。 第３実施形態における撮像およびＩＲ発光に係る制御タイミングチャートである。 第１実施形態における撮像装置の全体動作に関するフローチャートである。 第１実施形態における撮像・表示処理に関するフローチャートである。 第１実施形態における撮像・表示・記録処理に関するフローチャートである。 第３実施形態における第１撮像手段の分光感度特性である。 第１実施形態におけるユーザインターフェースの一例である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

なお、以下の各実施形態は、デジタルカメラ（撮像装置）で実施する場合に関して説明するが、これに限定されるものではなく、監視カメラや車載カメラなどの他の撮像装置にも適用可能である。また各実施形態は、ライブビュー（ＬＶ）表示および動画像撮影・記録を行う撮像装置に関して説明するが、静止画記録機能を有する撮像装置にも適用可能である。また各実施形態は、物体認識処理として顔検出処理について説明しているが、これに限定されるものではない。近赤外光と肌の反射率との関係に着目するため、検出対象は人体の肌など顔以外であってもよい。また各実施形態は、任意の被写体の分光反射率が近赤外光に有利であれば、人体以外の被写体にも適用可能である。また各実施形態は、顔検出手段１１６を用いて物体認識処理を行うが、汎用の物体認識手段を用いてもよい。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における撮像装置１０について説明する。図１は、撮像装置１０のブロック図である。ＣＰＵ１００は、撮像装置１０の全体の制御を行うＣＰＵであり、不揮発性メモリであるＲＯＭ１０１に格納されたプログラムを実行する。プログラム自体は、一旦、ＲＯＭ１０１から揮発性メモリであるＲＡＭ１０２に展開してから実行してもよい。操作部材１２３は、撮像装置１０の筐体に配置された釦およびスイッチを含む。操作部材１２３は、例えば、シャッター釦（不図示）を含み、操作状態はＡ／Ｄコンバータ（不図示）などを経て、ＣＰＵ１００に取り込まれる。ＲＡＭ１０２は、記憶制御手段１０３により制御され、画像データ、評価値などの処理データ、およびレジスタ値などの一時管理に用いられる。

タイミング制御手段１０４は、撮像および表示のフレーム走査のタイミングを制御する。信号ｓｉｇ＿２０４は、タイミング制御手段１０４から撮像手段１０７に送信するフレーム同期信号（図４に示される撮像ＶＤ信号）である。以下、フレーム同期に係る信号をＶＤ（Ｖｅｒｔｉｃａｌ Ｄｒｉｖｉｎｇ）信号と記す。

撮像手段（第１撮像手段）１０７は、撮像レンズ（不図示）を含む光学系（撮像光学系）１０５を通過した光のうち可視光領域の光を用いて撮像を行う。撮像手段１０７の前面に、ＩＲカットフィルタ１０６を配置してもよい。撮像手段１０７は、二次元配列の画素アレイを具備し、光電変換部の前面には図１０（ａ）に例示されるようなベイヤー配列のカラーフィルタを配置してもよい。撮像手段１０７および後述の撮像手段１１４はそれぞれ、内部にＡ／Ｄ変換器を備え、デジタルデータを出力する。

補正手段１０８は、撮像手段１０７によるアナログ信号処理などで発生したノイズやシェーディングをデジタルで補正する。現像手段１０９は、撮像手段１０７のベイヤー配列のデータとして補正処理された撮像データから、画素位置毎に各色を同時化して、ホワイトバランスを調整し、ガンマ補正をかけた輝度信号／色信号を生成する。色信号は帯域を落として、例えばＹＵＶ４２２フォーマットとしてもよい。

表示制御手段１１０は、現像済の画像データを表示手段（ＥＶＦ（電子ビューファインダ）１１１またはＬＣＤ（液晶表示素子）１１８）へ転送する。表示制御手段１１０は、ビデオＲＡＭを具備し、アイコンなどのＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）処理や、メニュー表示画像の準備を行う。信号ｓｉｇ＿２０６は、表示のためのフレーム同期信号（図４に示される表示ＶＤ信号）である。

撮像手段（第２撮像手段）１１４は、例えばモノクロのＣＭＯＳセンサを有し、光学系１０５を通過した可視光領域から近赤外光領域の範囲の光を用いて撮像を行う。図７は、撮像手段１１４の分光感度特性である。図７において、横軸は波長、縦軸は量子効率をそれぞれ示す。図７に示されるように、撮像手段１１４は、可視光および近赤外光を含む分光感度特性を有する。図７に示されるような特性のセンサを撮像手段１１４として採用し、ＩＲカットフィルタを設けない構成とすることにより、１０００［ｎｍ］近くまでの近赤外光を用いた撮像が可能となる。

補正手段１１５は、撮像手段１１４によるアナログ信号処理などで発生したノイズやシェーディングをデジタルで補正する。顔検出手段１１６は、物体認識手段であり、顔検出処理に用いられるアルゴリズムは限定されない。例えば、幾何学的に顔の特徴を捉えてもよく、または、画像を数値化して統計的にテンプレートと比較してもよい。後者の方式であれば、顔検出手段１１６自体は、汎用的な深層学習手段として実装してもよい。また、図１に示される構成では、可視光を用いた処理のように現像手段が設けられていないため、補正手段１１５と顔検出手段１１６との間にガンマ補正手段を設けて入力ビット幅を圧縮してもよい。顔検出手段１１６は、検出した顔の位置情報、および信頼度情報を出力してもよい。位置情報は、顔枠として座標を出力してもよく、または別途検出した枠数を添付してもよい。信頼度は１００％（１．０）に対して、９２％（０．９２）などの数値で出力してもよい。結果は、一旦ＣＰＵ１００が読み出し、ＲＡＭ１０２に記憶される。

露光量検出手段１１７は、可視光側の補正手段１０８の出力を代表的な領域に分割したブロック毎の輝度値の積算値を得て画像全体の輝度分布を取得し、輝度が飽和しないように適切な露光量を決定する。露光量決定のプロセスには、ＣＰＵ１００による処理を含んでも構わない。決定した光学系１０５中の絞り（不図示）の絞り値（Ｆ値）は、後述する光学系制御手段１２２を介して光学系１０５に設定される（絞り固定でない場合）。また、露光量検出手段１１７は、顔検出手段１１６により決定された顔枠内での輝度値の積算値を得ることで、顔の露光量を制御する露光量を決定してもよい。

白サーチ手段１２５は、可視光側の補正手段１０８の出力を色差信号（例えば、（ｕ，ｖ）や（ｃｘ，ｃｙ））に変換し、色座標領域をブロック分割したブロック毎の色差値の積分値から、黒体軌跡上の色温度を割り出す。顔検出手段１１６で取得された顔枠情報から、顔枠内の色差情報の積分値を得て、色温度決定の一助としてもよい。

焦点検出手段１１９は、例えば撮像手段１０７が像面位相差ＡＦ用の瞳分割をした画素を持つ場合、補正手段１０８の出力として瞳分割した画像夫々を取得し、デフォーカス量を算出する。焦点検出手段１１９は、焦点検出の処理対象とするＡｕｔｏｆｏｃｕｓ（ＡＦ）枠を設定可能である。顔検出手段１１６の評価結果である顔枠情報を、焦点検出枠に設定してもよい。瞳分割した夫々（右目、左目の）画像は、画素毎の右目・左目画素値を加算して１画素値として、現像手段１０９の入力値とする。

光学系制御手段１２２は、光学系１０５の駆動を制御し、絞り（不図示）とレンズ（不図示）の駆動制御量を光学系１０５に転送する。レンズの駆動制御量（レンズ駆動量）は、算出したデフォーカス量から任意の変換係数および／または関数によって変換することで得てもよいが、変換自体は焦点検出手段１１９および／またはＣＰＵ１００で行ってもよい。なお、これらの点は本実施形態の特徴に直接関係しないため、詳細な説明は省略する。

動画像記録は、現像手段１０９の出力を一旦ＲＡＭ１０２に一時保持して、コーデック１２４で符号化を実行し、結果をＲＡＭ１０２に一時保持する。一時保持した符号化データを、記録再生手段１２０を介して記録媒体１２１に記録する。なお、音声を処理してもよいが、本実施形態の特徴とは直接関係しないため、その処理の説明を省略している。画像／音声データを記録媒体１２１に記録するのではなく、外部Ｉ／Ｆ（不図示）を通して外部機器やネットワークにデータ転送をしてもよい。

ＩＲ発光制御手段（制御手段）１１２は、ＩＲ発光手段（発光手段）１１３の点灯／消灯（光量）を制御する。ＩＲ発光手段１１３の点灯／消灯切り替えは、信号ｓｉｇ＿３１１に同期して行われる。ＩＲ発光手段１１３は、近赤外光を発光するＩＲ－ＬＥＤであり、ＬＥＤチップを複数個実装してもよい。ＩＲ発光手段１１３は、撮像装置１０本体と一体的に構成されていてもよく、または、任意の接続手段（不図示）を通じて撮像装置１０の外部に（着脱可能に）設けられてもよい。

レンズの歪補正処理や、ＥＶＦ１１１、ＬＣＤ１１８などの表示デバイス（表示手段）に特有の補正処理などは、本実施形態の特徴に直接関係しないため、それらの説明を省略する。表示デバイスは、ＬＣＤに限定されるものではなく、有機ＥＬなど、他のデバイスでも構わない。また、表示デバイスに特有のシェーディングがあれば、表示制御手段１１０で補正をしてもよい。

撮像手段１０７、１１４は、例えば、二次元配列のセンサーアレイを持つＣＭＯＳイメージセンサであり、ライン単位に電荷のリセット、電荷の読出し走査を行うローリングシャッター制御を行う。ただし、本実施形態において、センサ構成や駆動方法は前記構成や方法に限定されるものではない。

撮像手段１０７および撮像手段１１４は、夫々独立した単体のセンサーデバイスとして例示している。これらを同一の光軸上に搭載するには、光学系１０５とは別の光学系（ビームスプリッタ（ハーフミラーを含む）など、光束を分割する仕組み）が必要であるが、本実施形態の特徴に直接関係しないため、図示を省略している。また、図１０（ｂ）に示されるようなＲ画素、Ｇ画素、Ｂ画素、およびＩＲ画素が配列されたセンサを用いてもよい。このとき、２つの撮像手段１０７、１１４は、同一のデバイスとして設けられ得る。また、撮像手段と補正手段とを一にして、画素毎に補正パラメータを切り替えるようにして補正した後、必要な画素データを現像手段１０９や顔検出手段１１６の夫々に選択的に転送してもよい。または、補正手段の前でＩＲ画素を分離してもよい（現像手段１０９でのＲＧＢ同時化の際に、ＩＲ画素を用いて近赤外成分の除去をしてもよい）。なお、これも本実施形態の特徴に直接関係しないため、図示を省略する。

次に、図２を参照して、タイミング制御手段１０４について説明する。図２は、タイミング制御手段１０４のブロック図である。タイミング制御手段１０４の入力信号ｓｉｇ＿２０１、ｓｉｇ＿２０２、ｓｉｇ＿２０３は、図１中のバス信号線ｓｉｇ＿１００の構成要素であり、ＣＰＵ１００がレジスタ設定のためにドライブする。例えば、ｓｉｇ＿２０１は複数ｂｉｔから成り、アクセスするレジスタを指定するアドレスステータス線である。ｓｉｇ＿２０２はレジスタ書き込みタイミングを供給するライトイネーブルである。ｓｉｇ＿２０３は複数ｂｉｔから成り、書き込みデータを転送するためのデータ線である。アドレスデコーダ２０１は、書き込みタイミングｓｉｇ＿２０２でアドレスステータス線ｓｉｇ＿２０１からレジスタ夫々の書き込みイベント（ｓｉｇ＿２１１～ｓｉｇ＿２１９）に展開する。

駆動レジスタ２０２は、フレーム同期イベントの駆動レジスタであり、例えば１値の設定で生成、０値の設定で停止するなどの制御を行う。駆動レジスタ２０２がイベント生成指示状態である場合、Ｈカウンタ２０５がカウントを開始する。Ｈカウンタ２０５による１Ｈカウントアップで、Ｖカウンタ２０４がインクリメントされる。Ｈカウンタ２０５、Ｖカウンタ２０４の夫々カウントサイズも、ＣＰＵ１００が別途レジスタ（不図示）に値を設定することで行われる。ＶＤ信号イベント制御部２０６は、イベントレジスタ２０３であるＨカウント（ｓｉｇ＿２２０）、Ｖカウント（ｓｉｇ＿２２１）の位置が、イベントレジスタ２０３の設定値と等しくなった場合、イベントパルス（ｓｉｇ＿２２２）を発生する。イベントパルス（ｓｉｇ＿２２２）は、撮像遅延制御部２１２、発光遅延制御部２２２、および表示遅延制御部２３３に転送されると共に、Ｈカウンタ２０５およびＶカウンタ２０４をリセットする。

撮像ＶＤ遅延量レジスタ２１０は、イベントパルス（ｓｉｇ＿２２２）受信から撮像ＶＤ信号（ｓｉｇ＿２０４）転送までの遅延量を設定する。撮像ＶＤ幅定義レジスタ２１１は、撮像ＶＤ信号のパルスの幅を設置する。撮像遅延制御部２１２は、ｓｉｇ＿２２２のイベントの遅延と、所望のパルス幅のパルス信号（ｓｉｇ＿２０４）の出力を行う。撮像遅延制御部２１２は、イベント遅延のためのカウンタ（不図示）とパルス幅生成のための比較器（不図示）を具備してもよい。カウンタ（不図示）は、他の遅延制御部と共通としてもよいが、夫々リセット条件が異なるので独立して実装した方が遅延設定に制約が付きにくい。また、Ｈカウンタ２０５およびＶカウンタ２０４は、信号ｓｉｇ＿２２２でリセットされるため、本実施形態では共用していない。ＩＲ撮像ＶＤ分周レジスタ２１３は、撮像手段１０７の撮像周期に対して、顔検出不実施のフレームにおけるＶＤ信号を間欠する様数値を設定する。例えば顔検出ＯＦＦであれば０値、全フレーム実施であれば１値、１フレームおきに実施であれば２値などに設定する。後述する図４において、信号ｓｉｇ＿２０７は信号ｓｉｇ＿２０４を分周した関係で例示している。

発光ＶＤ遅延量レジスタ２２０は、イベントパルス（ｓｉｇ＿２２２）受信からタイミング信号としての発光ＶＤ信号（ｓｉｇ＿２０５）転送までの遅延量を設定する。発光ＶＤ幅定義レジスタ２２１は、発光ＶＤ信号のパルスの幅を設置する。発光遅延制御部２２２は、ｓｉｇ＿２２２のイベントの遅延と、所望のパルス幅のパルス信号（ｓｉｇ＿２０５）の出力を行う。発光遅延制御部２２２は、信号ｓｉｇ＿２０７生成時と同様に、ＩＲ撮像ＶＤ分周レジスタ２１３の設定を参照して信号ｓｉｇ＿２２２を分周した信号ｓｉｇ＿２０５を生成する。

表示ＶＤ遅延量レジスタ２３０は、イベントパルス（ｓｉｇ＿２２２）受信から表示ＶＤ信号（ｓｉｇ＿２０６）転送までの遅延量を設定する。表示ＶＤ幅定義レジスタ２３１は、表示ＶＤ信号のパルスの幅を設置する。表示ＶＤ分周レジスタ２３２は、ＶＤ信号イベントに対して表示ＶＤ期間が長い場合などの調整を行うために設けている。例えば、撮像が１２０ｆｐｓであり表示が６０ｆｐｓ、撮像が６０ｆｐｓであり表示が３０ｆｐｓである、などの場合を考慮している。

ＩＲ－ＬＥＤは撮像中に点灯するため、ｓｉｇ＿２０５とｓｉｇ＿２０７とを共通化してもよい（後述する図４でも同じ周期になっている）。なお、図２に示されるタイミング制御は一例であり、本実施形態はこれに限定されるものではない。本実施形態では、信号ｓｉｇ＿２０５とｓｉｇ＿２０７のイベント位置をずらすことができる。

次に、図３を参照して、ＩＲ発光制御手段１１２およびＩＲ発光手段１１３について説明する。図３は、ＩＲ発光制御手段１１２およびＩＲ発光手段１１３のブロック図である。

まず、ＩＲ発光制御手段１１２の構成を説明する。ＩＲ発光制御手段１１２の入力信号ｓｉｇ＿３００、ｓｉｇ＿３０１、ｓｉｇ＿３０２は、図１に示されるバス信号線ｓｉｇ＿１００の構成要素であり、ＣＰＵ１００がレジスタ設定のためにドライブする。図２と同様に、ｓｉｇ＿３００はアドレスステータス、ｓｉｇ＿３０１はライトイネーブル、ｓｉｇ＿３０２はデータ線である。アドレスデコーダ３００は、アドレスステータスｓｉｇ＿３００と書き込みタイミングｓｉｇ＿３０１とから、レジスタ夫々の書き込みイベント（図３中ｓｉｇ＿３０３～ｓｉｇ＿３０６およびｓｉｇ＿３１２）を生成する。ＯＮ／ＯＦＦ制御手段１１２０は、後述するＩＲ－ＬＥＤドライブ用のトランジスタ３１６のＯＮ／ＯＦＦを制御する。

発光許可レジスタ３０２は、例えば１値を設定すればＩＲ－ＬＥＤの発光が許可され、０値ならば禁止とされる。禁止状態では信号ｓｉｇ＿３０７は０値のままとなり、ＩＲ－ＬＥＤ３１８は発光しない。発光期間レジスタ３０１は、ＯＮ期間を設定する。後述する図４にＩＲ－ＬＥＤ駆動期間を示しているが、発光ＶＤの１周期を全点灯するのではなく、撮像手段１１４の電荷の蓄積期間をカバーする期間で点灯すればよいため、その条件に合った期間設定をすればよい。

ＯＮ期間カウンタ３０６は、ＩＲ－ＬＥＤ点灯のためのトランジスタ３１６のＯＮ期間を制御する。ＯＮ期間カウンタ３０６は、発光ＶＤ信号ｓｉｇ＿２０５のイベントで０値からカウントアップを開始する。発光期間レジスタ３０１の指示値で発光停止イベント（不図示）を発生して、カウント動作を停止する。ＯＮ期間カウンタ３０６は、発光許可レジスタ３０２が０値の場合にはリセット状態としてもよい。ＯＮ／ＯＦＦレジスタ３０７は、トランジスタ３１６の駆動状態を保持する。ＯＮ／ＯＦＦレジスタ３０７は、信号ｓｉｇ＿２０５でＯＮ状態に遷移・状態保持し、ＯＮ期間カウンタ３０６からの発光停止イベントでＯＦＦ状態に遷移し状態を保持する。光量調整手段１１２１は、後述するＩＲ－ＬＥＤ３１８のダイナミック点灯における点滅期間を制御する。ダイナミック点灯は、点灯期間中に高速で点灯と消灯とを繰り返す高速の点滅制御である。発光許可レジスタ３０２が０値の時にはリセット状態としてもよい。本実施形態では、点滅制御における点灯時間と消灯時間との比に基づいて光量を変更する。

点灯幅定義レジスタ３０３は、ダイナミック点灯における点滅周期と点灯期間を設定する。ヒステリシス閾値レジスタ３０４は、ヒステリシスレジスタ３０５に対して閾値を設ける。ヒステリシスレジスタ３０５は、顔検出手段１１６の信頼度出力を複数フレーム分遡って記憶しておき、記憶値の平均値（平滑値）を取得可能である。ヒステリシスレジスタ３０５は、顔検出実施毎にＣＰＵ１００によって更新される。顔検出手段１１６の信頼度出力の他に、例えば検出した顔枠数（顔などの物体の数）の増減の履歴を保持してもよい。

選択器３２０は、ヒステリシスレジスタ３０５出力として過去検出分を平滑化したヒステリシス平均値（平滑値）と、ヒステリシス閾値レジスタ３０４の設定値と、を入力として得る。ヒステリシス閾値レジスタ３０４の設定値は、ヒステリシスレジスタ３０５の値のレベル判定をするように複数の閾値が設定される。選択器３２０は、そのレベル判定結果に基づいて、セレクタ３２１の選択状態を切り替える。

状態カウンタ３０９は、信号ｓｉｇ＿３０７のイベント（イベント生成の微分回路は不図示）で０値からカウントアップを開始する。そして、セレクタ３２１の選択した点灯幅定義レジスタ３０３設定値毎にイベントを発生して、カウンタを０値に戻してカウントアップを継続する。点灯幅定義レジスタ３０３は、点灯幅と消灯幅とを設定しておく。状態カウンタは、その設定値を交互に適用して、点灯期間開始と終了（消灯期間開始）の繰り返しイベント（信号ｓｉｇ＿３０８）を発生する。トグルレジスタ３０８は、イベントｓｉｇ＿３０８受信毎にトグルする信号ｓｉｇ＿３０９を生成し出力する。トグルレジスタ３０８および状態カウンタ３０９の信号取り込みのタイミングは、信号ｓｉｇ＿３０７の立ち上がりタイミングでも良い（微分回路は不図示）。また、該信号ｓｉｇ＿３０７が０値で夫々をリセット状態として、信号ｓｉｇ＿３０９を０値に保持してもよい。

ＡＮＤ素子３１０は、信号ｓｉｇ＿３０７とｓｉｇ＿３０９の論理積を出力する。バッファ３１１は、例えば、ＩＲ発光制御手段１１２がＣＭＯＳロジックの界面であれば、外部へのＩ／Ｏ端子の処理に相当する。

次に、ＩＲ発光手段１１３の構成を説明する。ただし、ＩＲ発光手段１１３の回路自体は本実施形態の特徴に直接関係しておらず、一般的なＬＥＤ駆動回路であるため、簡単な説明とする。信号ｓｉｇ＿３１１はＣＭＯＳ出力なので、トランジスタを通した方がＬＥＤ点灯のドライブ能力を得られる。本実施形態では、トランジスタ３１６を介して図面上４つのＬＥＤを点灯しているが、個数を限定するものではない。

トランジスタ３１４は、ＣＭＯＳ電源（図３中ＶＤＤ）とバイポーラ側の電源（図３中ＶＣＣ）との間のレベル変換用である。図３では、ＶＣＣがＶＤＤよりも高い状態で回路を例示している。電源ＯＮ時にバッファ３１１がハイインピーダンス状態であれば、トランジスタ３１４のベース電位は（短時間ではあるが）不明であり、ここには容量性の負荷が存在するので不用意にＯＮ状態にならない様に、抵抗３１３でプルダウンしておく。抵抗３１２はバッファ３１１のドライブ電流とＶＤＤ値から値の決まるドライブ抵抗である。

トランジスタ３１４がＯＮ状態で、抵抗３１５を介してトランジスタ３１６がＯＮ状態になり抵抗３１７を介して電流がＩＲ－ＬＥＤ３１８に流れる。トランジスタ３１４はｎｐｎ型であるため、トランジスタ３１４がＯＮ状態時は、トランジスタ３１６には反転状態で信号が現れる。そのため、トランジスタ３１６はｐｎｐ型として、最終的にＩＲ－ＬＥＤ３１８は、信号ｓｉｇ＿３１０と同じＯＮ状態で電流が流れる（点灯する）。

次に、図４を参照して、本実施形態における撮像およびＩＲ発光の制御について説明する。図４は、撮像およびＩＲ発光の制御タイミングチャートである。

撮像ＶＤ信号ｓｉｇ＿２０４は、前述のように、撮像手段１０７にフレーム同期の駆動タイミング（可視光撮像４０１）を与える。可視光側（撮像手段１０７）の撮像は、例えば時刻ｔｂで先頭ラインの電荷蓄積を開始して、時刻ｔｃで読み出しを開始する。補正手段１０８の補正処理（図４中４０２）も時刻ｔｃで読出しラインから開始し（実際には、転送レイテンシーが存在する）、現像手段１０９の現像処理４０３も補正処理完了のデータから処理を開始する（例えば時刻ｔｄ）。レンズの歪補正処理４０４を行う場合、処理に時間がかかるため現像処理後に実施する。例えば時刻ｔｅから開始しても処理マージンを見込めば表示ＶＤ信号（ｓｉｇ＿２０６）は、歪補正処理開始から遅延をおいてイベント発行する（例えば時刻ｔｆ）。そして、時刻ｔｇで次の撮像ＶＤが発生する。時刻ｔａと時刻ｔｇとの間隔は、図２に示されるイベントレジスタ２０３に設定したイベント間隔であり、周期Ｔｐｅｒである。

歪補正処理自体は、本実施形態の特徴に直接関係しないため、図１に示していないが、撮像ＶＤ（信号ｓｉｇ＿２０４）と表示ＶＤ（信号ｓｉｇ＿２０６）との遅延を例示するために記載している。また、可視光撮像４０１の最下位ラインの読出し完了と歪補正処理４０４の開始との時刻が時刻ｔｅで重なっているが、処理制約ではない。ＥＶＦ１１１の表示（ＥＶＦ４０５）は、表示ＶＤ信号ｓｉｇ＿２０６に同期して更新される。ＥＶＦ処理（ＥＶＦ４０５）は、表示期間（白部）とＶブランク期間（黒部）で例示している。

発光ＶＤ（ｓｉｇ＿２０５、時刻ｔ１）は、撮像ＶＤと一緒でも構わない（ただし、回路遅延は生ずる）。発光ＶＤ信号ｓｉｇ＿２０５のイベントを受けて、信号ｓｉｇ＿３０７がｈｉｇｈ状態となる。信号ｓｉｇ＿３０７がｈｉｇｈ期間は、ＩＲ－ＬＥＤ駆動期間である。信号ｓｉｇ＿３１１は、ＬＥＤのダイナミック点灯駆動の例示であり、ＬＥＤがＯＮ期間では前記信号ｓｉｇ＿３０９による高速点滅の駆動信号が出力されている。

ＩＲ撮像ＶＤ（ｓｉｇ＿２０７）のイベントを受けて（時刻ｔ１と同時刻で例示）、撮像手段１１４（非可視光撮像４０６の期間）の先頭ラインの電荷蓄積を開始する（時刻ｔ２）。撮像手段１１４の走査は、時刻ｔ３で最下位ラインに到達する。本実施形態では、撮像手段１０７および撮像手段１１４共にローリングシャッター制御を例示している。時刻ｔ４で、撮像手段１１４の先頭ラインの読出しを開始すると共に、補正手段１１５での補正処理４０７を開始する（データ転送のレイテンシーは無視している）。補正手段１１５の出力を受けて、時刻ｔ５から顔検出手段１１６の顔検出処理（顔検出４０８）を開始する（ｔ４～ｔ５間は、補正手段１１５の処理レイテンシー）。

顔検出処理の演算量によっては、前述のようにフレーム同期期間を跨ぐので撮像フレーム毎の顔検出はできない。本実施形態では、時刻ｔ６（時刻ｔｇと等価）で顔検出処理が終了していないように例示（時刻ｔ７で終了）している。このため、撮像手段１１４による非可視光領域を含む撮像は行われず、可視光撮像だけが行われる（ＩＲ－ＬＥＤは発光ＯＦＦである）。時刻ｔ８のＩＲ撮像ＶＤで再び撮像手段１１４による非可視光領域を含む撮像が行われるため、再びＩＲ－ＬＥＤは発光ＯＮとなる。

次に、図５を参照して、ダイナミック点灯制御について説明する。図５は、ダイナミック点灯制御の説明図である。発光ＶＤ信号ｓｉｇ＿２０５のイベントで、発光許可状態（ｈｉｇｈ状態＝１値で、点灯許可）を示す信号ｓｉｇ＿３０７は１値となり、前述のようにＯＮ期間カウンタ３０６の発光停止指示で０値となる。その状態はＯＮ／ＯＦＦレジスタ３０７に保持され、ｓｉｇ＿３０７はその保持状態値である。信号ｓｉｇ＿３１０は、点滅状態を示すトグルレジスタ３０８出力の信号ｓｉｇ＿３０９と、上記信号ｓｉｇ＿３０７との論理積出力であり、ダイナミック点灯制御の点滅状態を示す。ＩＲ－ＬＥＤ３１８は、このトグル信号ｓｉｇ＿３１０で点滅（ダイナミック点灯）駆動される。本実施形態でのＬＥＤの応答速度は数１０～１００［ｎｓ］、遮断周波数（例えば、正弦波入力時の発光量が半減する周波数）は数１０［ＭＨｚ］程度を想定している。本実施形態において、近赤外領域における発光波長を限定はしていない（センサの分光感度特性を考慮すること）。本実施形態では、ＬＥＤの発光スペクトルの温度特性は考慮していない。

次に、図６を参照して、ダイナミック点灯制御における光量調整について説明する。図６は、ダイナミック点灯制御の光量調整の説明図である。本実施形態において、ＩＲ－ＬＥＤのダイナミック点灯制御における光量調整は、点灯幅定義レジスタ３０３に設定した点灯幅をセレクタ３２１で選択切替して調整するものである。図６では、信号ｓｉｇ＿３０９の制御状態として７５％点灯、５０％点灯、２５％点灯、消灯を例示しているが、実際の制御では、１６段階や３２段階等、分解能を細かく持ってもよい。分解能が粗いと、信頼度が安定しているとして光量を低減したときに、その結果信頼度が低下して発光要求が発生するなど、制御状態が安定しないで光量の増減を繰り返す可能性がある。図３に示される点灯幅定義レジスタ３０３とセレクタ３２１との設定選択肢の矢印も３本しか描いていないが、本実施形態において、その本数（点灯幅定義数）を限定するものではない。図３において、点灯幅定義レジスタ３０３、選択器３２０、およびセレクタ３２１による調整に限定されるものではない。選択器３２０内にカウンタを持って、ヒステリシスレジスタ３０５値の変化量が例えば事前に設定した許容値の範囲に指定したカウント数の期間存在する場合、事前に設定した数値を現点灯幅から差分（または加算）していくなどの方式でもよい。本実施形態において、光量調整の手段は限定されるものではない。

本実施形態によるダイナミック点灯制御の光量調整では、顔検出の評価値（信頼度等）が連続して高ければ点滅頻度は減る。ただし、評価値がヒステリシス閾値レジスタ３０４に設定した高精度以上で安定する場合、最終的には選択器３２０、セレクタ３２１を介して消灯が選択される。すなわちＩＲ発光制御手段１１２は、信頼度が所定の条件を満足する場合（信頼度が良好または安定していると判定された場合）、ＩＲ発光手段１１３の光量をゼロにする。

次に、図１２を参照して、本実施形態における撮像装置１０の全体動作について説明する。図１２は、撮像装置１０の全体動作に関するフローチャートである。図１２のフローは、ユーザが操作して動画像記録を得る撮像装置の動作を例示するが、本実施形態はこれに限定されるものではない。

ユーザの操作により撮像装置１０の電源がＯＮになると、ステップＳ１２００において、ＣＰＵ１００は起動処理を実行する。ＣＰＵ１００は、前述のように、ＲＯＭ１０１に格納されたプログラムを読出し、起動シーケンスを実行する。起動シーケンスでは、電源制御、クロック供給、リセット発行、およびパラメータ設定などを行う。撮像装置１０の制御モード設定などは、デフォルト設定および／または前回撮影時の設定を再現して、部材状態確認の処理ルーチン（不図示）を開始する。そして、図１２の処理ループ（ステップＳ１２０１～Ｓ１２１１のフローと、ステップＳ１２１１からステップＳ１２０１へのジャンプ）を実行する。

ステップＳ１２０１において、ＣＰＵ１００は、ユーザのメニュー処理要求（メニュー釦押下状態の検知など。不図示）があるか否かを確認する。メニュー処理要求が無い場合、ステップＳ１２０２に進み、ＣＰＵ１００は顔検出設定確認処理を行う。一方、メニュー処理要求がある場合、ステップＳ１２１３に進み、ＣＰＵ１００はメニュー処理を実行する。図１６（ａ）、（ｂ）はユーザインターフェースの一例である。図１６（ａ）は、メニュー処理において本実施形態に関るモード設定のメニュー表示の一例を示す。図１６（ｂ）は、本実施形態に関るモード選択時のユーザ報知の一例を示す。それ以外のメニュー関連の説明は、本実施形態の特徴に直接関係しないため省略する。

ステップＳ１２０２にて顔検出がＯＮ状態にある場合、ステップＳ１２０３に進み、ＣＰＵ１００はＩＲ発光モード確認処理を行う。ステップＳ１２０３にてＩＲ発光モードがＯＮ状態である場合、ステップＳ１２０４に進み、ＣＰＵ１００はＩＲ発光制御設定を行う。ＩＲ発光制御設定では、ＣＰＵ１００は各レジスタ（３０１～３０４）の設定を更新する。一方、ステップＳ１２０３にてＩＲ発光モードがＯＦＦ状態である場合、ステップＳ１２０５に進み、ＣＰＵ１００はＩＲ発光を禁止設定にする。この制御では、ＣＰＵ１００は発光許可レジスタ３０２を０値に設定する。

ステップＳ１２０２にて顔検出ＯＦＦである場合、または、ステップＳ１２０４、Ｓ１２０５の処理が完了した後、ステップＳ１２０６に進む。ステップＳ１２０６において、ＣＰＵ１００は記録処理を行う（動画像記録モードに設定されている）か否かを判定する。ＬＶ表示のみの制御である場合、ステップＳ１２０７に進む。一方、動画像記録モードである場合、ステップＳ１２０８に進む。このサブルーチンは、図１３および図１４を参照して後述する。ステップＳ１２０７、Ｓ１２０８の処理が完了した後、ステップＳ１２０９に進む。

ステップＳ１２０９にて顔検出がＯＮ状態である場合、ステップＳ１２１０に進み、ＣＰＵ１００は、顔検出手段１１６から取得された信頼度を図３に示されるヒステリシスレジスタ３０５に書き込む。ヒステリシスレジスタ３０５は、前述のように、複数の履歴値と更新値から新たな移動平均値を算出して選択器３２０に出力し、ステップＳ１２１１に進む。一方、ステップＳ１２０９にて顔検出がＯＦＦ状態である場合、ステップＳ１２１１に進む。

ステップＳ１２１１において、ＣＰＵ１００は撮像装置１０の撮影停止要求（シャットダウン要求）があるか否かを判定する。撮像装置１０の撮影停止要求がある場合、ステップＳ１２１２に進む。一方、撮影停止要求がなく、処理を継続する場合、ステップＳ１２０１に進む。撮像装置１０の撮影停止要求は、割り込み処理で設定されているイベントフラグをこのタイミングで拾って停止処理に遷移してもよい。そのときのイベントは、ユーザの部材操作（Ｐｏｗｅｒスイッチ押下など）や、撮像装置１０の筐体内の温度上昇や、バッテリー不足や記録媒体の容量不足を検知したものでもよい。ステップＳ１２１２は、撮像装置１０の全体の停止処理であり、電源ＯＦＦの処理である。停止処理は、デバイスのＩ／Ｏ状態を考慮した電源ＯＦＦ処理が主であるが、本実施形態の特徴に直接関係しないため、詳細は省略する。

次に、図１３を参照して、本実施形態における撮像・表示処理について説明する。図１３は、撮像・表示処理に関するフローチャートである。まずステップＳ１３００において、ＣＰＵ１００は撮像ＶＤ制御を行う。ＣＰＵ１００は、タイミング制御手段１０４の設定更新を行い、信号ｓｉｇ＿２０４、ｓｉｇ＿２０７の出力を得る。ＣＰＵ１００は、ステップＳ１３０１の可視光領域の撮像と、ステップＳ１３３０の可視光領域から近赤外領域を含む撮像とを並行して撮像処理を行う。

まず、可視光領域の撮像について説明する。ステップＳ１３０１において、ＣＰＵ１００は、撮像手段１０７により可視光領域を用いた撮像を実行する。本実施形態では、図１０（ａ）に例示するようなベイヤー配列の画像を得る。続いてステップＳ１３０２において、ＣＰＵ１００は、補正手段１０８を用いて、撮像手段１０７に起因する画質低下要因をデジタルで補正する。補正結果画像は、ＥＶＦ１１１への表示処理フローと、焦点検出処理フローとに転送され、夫々並列に処理が遂行される。また補正結果画像は、後述するステップＳ１３３４でも利用するため、記憶制御手段１０３を介してＲＡＭ１０２に一時格納される。

まず、ＥＶＦ１１１へのＬＶ表示処理について説明する。ステップＳ１３１０において、ＣＰＵ１００は、現像手段１０９を用いて、ベイヤー配列の補正結果画像を、前述のようにＹＵＶの画像データに現像処理する。ＣＰＵ１００は、この画像データを、ステップＳ１３１１の表示制御処理にて表示制御手段１１０のビデオＲＡＭ（不図示）上に展開して、ＥＶＦ１１１のＩ／Ｆに合わせてデータ転送を行う。例えば、ＥＶＦ１１１がマルス表示対応である場合、表示制御手段１１０で対応してもよい。また、撮像画像サイズからＥＶＦ１１１の表示サイズへの変換（縮小処理など）も、ここで対応してもよい。ステップＳ１３１２において、ＥＶＦ１１１は、表示制御手段１１０から表示画像データを受信して、表示走査を行うことで、ユーザにＬＶ画像を提供する。

次に、合焦制御について説明する。ステップＳ１３２０において、焦点検出手段１１９は、補正手段１０８の出力画像に基づいて、各ＡＦ枠のデフォーカス量を推定／算出する。補正手段１０８の出力画像はベイヤー画像であるため、夫々格子状のＲ／Ｇｒ，Ｇｂ／Ｂ（Ｇ画素は図１０（ａ）に示されるように、Ｒ画素ラインのＧｒとＢ画素ラインのＧｂとで区別してもよい）の４画素からＹ画素を生成し、以降その画素を単位に処理を実行する。前述のように、撮像手段１０７が瞳分割をした画素を持てば、像面位相差方式のＡＦが可能である。例えば、右目／左目に瞳分割した画素で夫々構成されるＹ画像から像ずれ量を推定して、ステップＳ１３２１に進む。ステップＳ１３２１において、ＣＰＵ１００は、光学系制御手段１２２を用いて、像ずれ量をレンズ（不図示）駆動量に換算して、駆動対象のレンズを含む光学系１０５へ転送する。これにより、光学系１０５はレンズを合焦位置へ駆動する。

次に、近赤外領域を含む領域の撮像について説明する。ステップＳ１３３０において、ＣＰＵ１００は、撮像手段１１４による撮像を実行する。本実施形態では、前述のように、図７に例示のような近赤外までの分光感度を持つモノクロＣＭＯＳセンサを用いて顔検出用の画像を取得する。続いてステップＳ１３３１において、ＣＰＵ１００は、補正手段１１５を用いて、撮像手段１１４に起因する画質低下要因をデジタルで補正する。

ステップＳ１３３２において、ＣＰＵ１００は、ＯＮ／ＯＦＦレジスタ３０７の状態が顔検出ＯＮ選択状態（１値）であるか否かを判定する。顔検出ＯＮ選択状態である場合、ステップＳ１３３３に進む。一方、顔検出ＯＦＦ選択状態（０値）である場合、ステップＳ１３３４に進む。ステップＳ１３３３において、ＣＰＵ１００は、顔検出手段１１６を用いて検出処理を実行する。顔評価結果は、一旦、ＣＰＵ１００が読み出しＲＡＭ１０２などに保持される。ＣＰＵ１００は、その結果を処理に用いる手段（露光量検出手段１１７、白サーチ手段１２５、または焦点検出手段１１９など）にレジスタ（不図示）書き込みなどを通して設定する。またＣＰＵ１００は、ＩＲ発光制御手段１１２のヒステリシスレジスタ３０５に、新たに取得した信頼度評価値を更新する。

続いてステップＳ１３３４において、ＣＰＵ１００は、露光量検出手段１１７を用いて、検出処理を実行する。露光量検出手段１１７の入力は、ステップＳ１３０２にて取得された補正処理後の可視光画像である。顔検出枠を利用するものとして、この位置での処理としている。ここでは、ＲＡＭ１０２に格納されている可視光画像データを、記憶制御手段１０３を介して取得する。

続いてステップＳ１３３５において、ＣＰＵ１００は、光学系制御手段１２２を用いて、露光量調整制御を実行する。露光量調整は、絞り値（不図示）や、例えば光路上にＮＤフィルタが挿入されていればその制御（挿抜・減光段数などの制御）を実行してもよい。ＩＳＯ感度などのゲイン値の変更であれば、次のフレーム走査のステップＳ１３０１（アナログゲイン、デジタルゲイン）、ステップＳ１３０２（デジタルゲイン）で反映されるように、次の撮像前までに夫々のレジスタ（不図示）の値を更新する。

次に、図１４を参照して、本実施形態における撮像・表示・記録処理について説明する。図１４は、撮像・表示・記録処理に関するフローチャートである。なお、図１４のステップＳ１４００～Ｓ１４１２は、図３のステップＳ１３００～Ｓ１３１２と同様である（ただし、ＬＶ用と記録用で撮像制御の一部レジスタ設定値に相違はある）ため、それらの説明を省略する。

ステップＳ１４１０における現像手段１０９の現像処理の後、ステップＳ１４１３に進み、ＣＰＵ１００は、映像データをコーデック１２４で符号化する。映像および音声データ（不図示）の符号化処理は、本実施形態の特徴に直接関係しないため、説明は省略する。続いてステップＳ１４１４において、ＣＰＵ１００は、符号化した映像データに対して、記録再生手段１２０を用いて記録処理を実行する。記録データは、記録再生手段１２０を介して記録媒体１２１に記録される。なお、図１４のステップＳ１４２０、Ｓ１４２１は、図１３のステップＳ１３２０、Ｓ１３２１とそれぞれ同様の処理であるため、説明は省略する。また、図１４のステップＳ１４３０～Ｓ１４３５は、図１３のステップＳ１３３０～Ｓ１３３５とそれぞれ同様の処理であるため、説明は省略する。

図１６（ａ）、（ｂ）は、本実施形態におけるユーザインターフェースの例示である。図１６（ａ）は、表示手段としての背面モニター（ＬＣＤ１１８）などでのメニュー画面におけるＩＲ－ＬＥＤ発光を用いた顔検出実行モードの選択メニューの例示である。図１６（ａ）において、１６００は、ＩＲ－ＬＥＤ発光を伴う顔検出モードを「ＩＲ顔検出モード」と例示してメニュー表示している。ただし本実施形態は、モードの名称や、メニュー表示のテキストを限定するものではない。図１６（ｂ）は、ＥＶＦ１１１へのＩＲ－ＬＥＤ発光時のユーザ報知の一例である。ＩＲ顔検出モード時に、アイコン１６０１のように表示してもよい。

（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、ダイナミック点灯制御でＩＲ－ＬＥＤ発光をする撮像装置を説明した。一方、本実施形態では、ＩＲ－ＬＥＤ点灯制御を個数制御とダイナミック点灯制御との両方の制御を行う撮像装置として、複数のＩＲ－ＬＥＤチップをダイナミック点灯制御と、夫々のＯＮ／ＯＦＦ制御とを実行して光量調整する撮像装置を説明する。図１において、本実施形態の撮像装置と第１実施形態の撮像装置との相違点は、ＩＲ発光制御手段１１２およびＩＲ発光手段１１３である。

図８は、本実施形態におけるＩＲ発光制御手段１１２およびＩＲ発光手段１１３のブロック図である。図８において、図３と等価機能の部品の符号は同一とし、その説明は省略する。

アドレスレコーダ８００は、アドレスステータスｓｉｇ＿８００と書き込みタイミングｓｉｇ＿８０１とから、レジスタ夫々の書き込みイベント（ｓｉｇ＿８０３～ｓｉｇ＿８０７およびｓｉｇ＿８１６）を生成する。各レジスタ（３０１～３０５）は、図３と等価であるため、説明は省略する。点灯数レジスタ８０１は、ヒステリシス評価状態によってＩＲ－ＬＥＤの点灯数を設定する。すなわち点灯数レジスタ８０１は、ヒステリシスレジスタ３０５の示す評価値の増減によって光量調整するためのＬＥＤ点灯数を設定する。

光量調整手段８１６において、第１実施形態の光量調整手段１１２１と等価の構成要素は同一の符号とし、説明を省略する。選択器８０４は、選択器３２０と同様の選択器である。顔評価結果の信頼度と選択点灯数との関係は、ヒステリシス閾値レジスタ３０４にレベル判定値として設定する。制御対象は、セレクタ３２１とセレクタ８０５である。セレクタ８０５は、点灯数レジスタ値を選択するものであり、状態レジスタ８０６でその選択状態を保持する。保持タイミングは、信号ｓｉｇ＿３０７の立ち上がりタイミングでもよい（微分回路は不図示）。ＬＥＤ点灯状態は、発光許可レジスタ３０２が０値であれば、消灯となるように（０値にリセットするなどで）状態を保つ。

信号ｓｉｇ＿８０８～ｓｉｇ＿８１１は、点灯ＬＥＤ選択信号であり、０値で消灯、１値で点灯制御となる。信号ｓｉｇ＿３０９は、ダイナミック点灯駆動用の高速点滅信号である。信号ｓｉｇ＿３０７は、図３と同様であり、ＡＮＤ素子８０７～８１０は、信号ｓｉｇ＿３０７と信号ｓｉｇ＿３０９と信号ｓｉｇ＿８０８～ｓｉｇ＿８１１それぞれとの論理積の結果信号ｓｉｇ＿８１２～ｓｉｇ＿８１５を出力する。信号ｓｉｇ＿８１２～ｓｉｇ＿８１５はそれぞれ、出力バッファ８１１～８１４を介して、ＩＲ発光手段１１３へ出力される。

ＩＲ発光手段１１３側のＬＥＤ駆動回路は、本実施形態の特徴に直接関係しないため、汎用的なＬＥＤ駆動回路なので詳細な説明はしない。抵抗８２０、８３０、８４０、８５０は、図３に示される抵抗３１２と同様である。抵抗８２１、８３１、８４１、８５１は、図３に示される抵抗３１３と同様である。図３ではバッファ３１１側の電源ＶＤＤと駆動回路側電源ＶＣＣとの電圧差を考慮した例示をしたが、図８では電圧値は等価として例示している。

（第３実施形態）
次に、本発明の第３実施形態について説明する。第１実施形態では、顔検出手段１１６による検出処理が実行されない可視光撮像期間はＩＲ－ＬＥＤの発光をＯＦＦにする制御を説明した。しかしながら、ＩＲカットフィルタ１０６が存在しない撮像装置においては、可視光撮像側の撮像手段（第１撮像手段）１０７でも近赤外光を用いた撮像を行う。

本実施形態において、撮像手段（第１撮像手段）１０７はＣＭＯＳイメージセンサを有する。図１５は、本実施形態における撮像手段１０７の分光感度特性の例示である。図１５において、横軸は波長、縦軸は量子効率をそれぞれ示す。受光画素部にカラーフィルター（不図示）を具備して、図１０（ａ）のようなベイヤー配列を実現したとしても、各色の画素は波長７８０［ｎｍ］程から１０００［ｎｍ］付近まで感度がある。動画像現像をする途中でデジタルゲインアップをしたときに、近赤外光の影響が生じる。

６０ｆｐｓでＬＶ表示の撮像中に、間欠で顔検出処理を実行したとすると、ＩＲ－ＬＥＤは３０Ｈｚで点滅していることになる。人間の視覚の臨界融合周波数（ちらつきが感じられない最低周波数）は数１０Ｈｚ程度なので、この点滅はフリッカーとして見えてしまう。本実施形態では、ＩＲ－ＬＥＤ発光が撮像手段１０７の画素の感度に影響し、ＬＶ表示画像において発生するフリッカーを、第１実施形態でのＩＲ－ＬＥＤ発光のＯＮ／ＯＦＦ期間でのコントラスト差を小さくすることで低減する方法を説明する。

図９は、フリッカー低減を考慮したＩＲ発光制御手段（制御手段）９６およびＩＲ発光手段（発光手段）１１３のブロック図である。なお図９において、図３と等価機能の部品の符号は同一とし、その説明は省略する。図１１は、撮像およびＩＲ発光に係る制御タイミングチャートである。可視光撮像４０１、非可視光撮像４０６、補正処理４０７、および顔検出４０８の関係は、図４と同様であるため、その説明は省略する。

アドレスデコーダ９００は、アドレスステータスｓｉｇ＿９００と書き込みタイミングｓｉｇ＿９０１とから、レジスタ夫々の書き込みイベント（ｓｉｇ＿９３０～ｓｉｇ＿９３７）を生成する。図９に示されるレジスタ３０１～３０５は、図３と等価であるため、その説明は省略する。

フリッカー対策許可レジスタ９０１は、例えば０値設定でフリッカー低減処理をＯＦＦにし、１値でＯＮにする。フリッカー対策許可レジスタ９０１が０値であれば、信号ｓｉｇ＿９１０、ｓｉｇ＿９１１は０値固定となり、フリッカー低減処理をＯＦＦにする。９０２はフリッカー対策有効範囲設定レジスタ、９０３はフリッカー低減処理時のＩＲ－ＬＥＤ点灯幅定義レジスタである。ＯＮ／ＯＦＦ制御手段１１２０は、図３に示されるＯＮ／ＯＦＦ制御手段１１２０と等価であるため、説明を省略する。

光量調整手段９６０は、セレクタ９０５を有する点で、図３に示される光量調整手段１１２１と異なる。セレクタ９０５は、ダイナミック点灯の点滅間隔設定を撮像手段１１４の撮像中はセレクタ３２１出力を選択し、それ以外の期間に後述するセレクタ９０９出力を選択して、状態カウンタ３０９に出力する。信号ｓｉｇ＿３０９は、セレクタ９０５の出力によって点滅状態が切り替えられたＩＲ－ＬＥＤ駆動信号を出力する。

光量周期切替手段９６１は、フリッカー低減制御のために用いられ、ＩＲ－ＬＥＤ発光ＯＦＦの期間にも光量を下げてダイナミック点灯をするための制御処理部である。微分回路９０６は、ＩＲ－ＬＥＤの本来の発光期間とフリッカー対策期間との切り替えイベントを生成し、信号ｓｉｇ＿３０７（図１１参照）の立ち上がりイベント（時刻ｔｎ）や立ち下がりイベント（時刻ｔｏ）を検出する。図９に示される信号ｓｉｇ＿９０９（図１１参照）は、両方のイベント含む信号である。

遅延回路９１１は、信号ｓｉｇ＿９０９を後述する信号ｓｉｇ＿９１１（図１１参照）の変化点後に来るように遅延する。遅延回路９１１の出力信号ｓｉｇ＿９１０は、トグルレジスタ３０８のリセットと状態カウンタ３０９への信号ｓｉｇ＿９１７（図１１参照）の取り込みタイミングを与える。状態カウンタ３０９には、時刻ｔｍで信号ｓｉｇ＿９１５選択値（図１１参照、フレームｎへの出力値ｓｏ（ｎ）とする）が、時刻ｔｐで信号ｓｉｇ＿９１６選択値（図１１参照、フレームｎへの出力値ｆｏ（ｎ）とする）が取り込まれる。出力値ｓｏ（ｎ）、ｆｏ（ｎ）はそれぞれ、後述する信号ｓｉｇ＿３１１の粗密が切替わる（図１１参照）ように、点灯幅定義レジスタ３０３、９０３に設定された値が出現する。

信号ｓｉｇ＿９１２は、ヒステリシスレジスタ３０５の出力であり、評価値（信頼度など）の複数回分の履歴を平滑化した値である（図１１参照、フレームｎへの出力値ｘ（ｎ）とする）。顔検出実行時のＩＲ－ＬＥＤ発光量調整およびＯＮ／ＯＦＦの決定は、図９に示される選択器３２０で、信号ｓｉｇ＿９１２のｘ（ｎ）値と、ヒステリシス閾値レジスタ値との関係に基づいて行われる。その決定は、信号ｓｉｇ＿９０５（図１１参照、フレームｎへの出力値ｓ（ｎ）とする）としてセレクタ３２１および選択器９０８へ転送する。選択器９０８は、信号ｓｉｇ＿９０５の値とレジスタ９０２値とを比較して、信号ｓｉｇ＿９０７（図１１参照）をフリッカー対策範囲外であれば０値に、対策範囲内であれば１値として出力する。また、対策範囲内におけるフリッカー対策期間中のダイナミック点灯の点滅設定を選択する信号ｓｉｇ＿９０８（図１１参照、フレームｎへの出力値ｆ（ｎ）とする）を出力する。出力値ｓ（ｎ）は、点灯幅定義レジスタ３０３の設定をセレクタ３２１で選択する選択値であり、ｆ（ｎ）はフリッカー低減対策用の点灯幅定義レジスタ９０３の設定をセレクタ９０９で選択する選択値である。ｓ（ｎ）値（信号ｓｉｇ＿９０５）は、前述のように、選択器９０８でも使用される。選択値ｓ（ｎ）によりｓｏ（ｎ）値が選択され、選択値ｆ（ｎ）により選択値ｆｏ（ｎ）が選択される。

判定器９０７は、フリッカー対策ＯＮ／ＯＦＦを判定する判定器である。発光許可レジスタ３０２、フリッカー対策許可レジスタ９０１が許可状態（１値）であり、信号ｓｉｇ＿９０７が１値であれば、フリッカー対策用のＩＲ－ＬＥＤ発光が実行される。判定器９０７は、フリッカー対策において信号ｓｉｇ＿９１８（図１１参照）のイベントで信号ｓｉｇ＿９１１を０値に、信号ｓｉｇ＿９１９（図１１参照）のイベントで１値にトグルする。また、図１１では、フレーム（ｍ）の顔検出結果を反映して、フレーム（ｍ＋１）でフリッカー低減用のＩＲ－ＬＥＤ発光を停止するように、信号ｓｉｇ＿９０７を０値としている。判定器９０７は、次の信号ｓｉｇ＿９１８イベント以降で信号ｓｉｇ＿９１１を０値保持（フリッカー低減用のＩＲ－ＬＥＤ発光無し）とするように例示している。

ＯＲ素子９１０は、信号ｓｉｇ＿３０７とｓｉｇ＿９１１との論理和をとり、信号ｓｉｇ＿９１３（図１１参照）を出力する。信号ｓｉｇ＿９１３は、フリッカー対策中において１値であり、フリッカー対策許可状態であってもフリッカー対策切状態ではｓｉｇ＿９１９のタイミングで０値となる（図１１においてｓｉｇ＿９１１との関係を示す）。ＡＮＤ素子３１０は図３と同様であり、ＡＮＤ素子３１０出力は、バッファ３１１を介して信号ｓｉｇ＿３１１（図１１参照）としてＩＲ発光手段１１３を駆動する。なお本実施形態のＩＲ発光手段１１３は、図３のＩＲ発光手段１１３と等価であるため、その説明を省略する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、低消費電力で近赤外光を用いた物体認識を行うことが可能な撮像装置、撮像装置の制御方法、およびプログラムを提供することができる。また各実施形態によれば、ＩＲ－ＬＥＤの発光による顔検出等物体認識の信頼度や検出数等評価結果の精度や安定性の向上と、ＩＲ－ＬＥＤの発光に対する省電対策の両立が出来る。また各実施形態によれば、ＩＲ－ＬＥＤの発光による可視光撮像結果画像へのフリッカー発生を低減することができる。

各実施形態の開示は、以下の構成および方法を含む。
（構成１）
可視光を用いた撮像を行う第１撮像手段と、
非可視光を発光する発光手段と、
前記発光手段を制御する制御手段と、
非可視光を用いた撮像を行う第２撮像手段と、
前記第２撮像手段から出力される画像データに基づいて物体認識処理を行う物体認識手段と、を有し、
前記制御手段は、前記物体認識手段の動作に応じて前記発光手段の光量を変更することを特徴とする撮像装置。
（構成２）
前記制御手段は、
前記物体認識手段が前記物体認識処理を実行している場合、前記発光手段を発光させ、
前記物体認識手段が前記物体認識処理を実行していない場合、前記発光手段を発光させないことを特徴とする構成１に記載の撮像装置。
（構成３）
前記制御手段は、
前記物体認識手段が前記物体認識処理を実行している場合、前記発光手段を第１光量で発光させ、
前記物体認識手段が前記物体認識処理を実行していない場合、前記発光手段を前記第１光量よりも少ない第２光量で発光させることを特徴とする構成１に記載の撮像装置。
（構成４）
前記制御手段は、前記物体認識処理の評価結果に基づいて、前記物体認識処理の実行中における前記発光手段の前記光量を変更することを特徴とする構成１乃至３のいずれかに記載の撮像装置。
（構成５）
前記評価結果は、前記物体認識処理の信頼度であることを特徴とする構成４に記載の撮像装置。
（構成６）
前記制御手段は、前記信頼度が所定の条件を満足する場合、前記発光手段の前記光量をゼロにすることを特徴とする構成５に記載の撮像装置。
（構成７）
前記評価結果は、前記物体認識処理により取得される物体の数であることを特徴とする構成４に記載の撮像装置。
（構成８）
前記評価結果は、前記物体認識処理により複数のタイミングで取得された複数の評価値を用いて算出された平均値であることを特徴とする構成４乃至７のいずれかに記載の撮像装置。
（構成９）
前記制御手段は、前記第２撮像手段への同期信号と同じ周期で制御を更新することを特徴とする構成１乃至８のいずれか一項に記載の撮像装置。
（構成１０）
前記第１撮像手段と前記第２撮像手段と前記制御手段との駆動タイミングを制御するタイミング制御手段を更に有し、
前記タイミング制御手段は、前記制御手段へのタイミング信号を生成し、
前記制御手段は、前記タイミング信号に基づいて前記発光手段の制御を更新することを特徴とする構成１乃至９のいずれかに記載の撮像装置。
（構成１１）
前記制御手段は、
前記発光手段の点滅制御を行い、
前記点滅制御における点灯時間と消灯時間との比に基づいて、前記光量を変更することを特徴とする構成１乃至１０のいずれかに記載の撮像装置。
（構成１２）
前記制御手段は、前記発光手段の前記光量を離散的に制御することを特徴とする構成１乃至１１のいずれかに記載の撮像装置。
（構成１３）
前記発光手段の発光許可状態をユーザが設定可能なユーザインターフェースを更に有することを特徴とする構成１乃至１２のいずれかに記載の撮像装置。
（構成１４）
前記ユーザインターフェースは、表示手段であり、
前記表示手段は、前記発光手段が発光許可中であることを示す情報を表示することを報知することを特徴とする構成１３に記載の撮像装置。
（構成１５）
前記物体認識処理は、人体の肌または顔の検出処理を含むことを特徴とする構成１乃至１４のいずれかに記載の撮像装置。
（構成１６）
前記発光手段は、近赤外光を発光することを特徴とする構成１乃至１５のいずれかに記載の撮像装置。
（構成１７）
前記第２撮像手段は、可視光および近赤外光を含む分光感度特性を有することを特徴とする構成１乃至１６のいずれかに記載の撮像装置。
（構成１８）
前記第１撮像手段および前記第２撮像手段は、同一のデバイスとして設けられ、
前記デバイスは、Ｒ画素、Ｇ画素、Ｂ画素、およびＩＲ画素を有し、
前記物体認識手段は、少なくとも前記ＩＲ画素から出力される前記画像データに基づいて前記物体認識処理を行うことを特徴とする構成１乃至１７のいずれかに記載の撮像装置。
（構成１９）
前記撮像装置は、前記第１撮像手段から出力される画像データに基づいて、ライブビュー表示または動画像記録の少なくとも一方を行うことを特徴とする構成１乃至１８のいずれかに記載の撮像装置。
（方法１）
第１撮像手段により、可視光を用いた撮像を行う第１撮像ステップと、
発光手段により、非可視光を発光する発光ステップと、
第２撮像手段により、非可視光を用いた撮像を行う第２撮像ステップと、
物体認識手段により、前記第２撮像手段から出力される画像データに基づいて物体認識処理を行う処理ステップと、を有し、
前記発光ステップにおいて、前記物体認識手段の動作に応じて前記発光手段の光量を変更することを特徴とする撮像装置の制御方法。
（構成２０）
方法１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像装置
９６、１１２ ＩＲ発光制御手段（制御手段）
１０７ 撮像手段（第１撮像手段）
１１３ ＩＲ発光手段（発光手段）
１１４ 撮像手段（第２撮像手段）
１１６ 顔検出手段（物体認識手段）

Claims (21)

1. 可視光を用いた撮像を行う第１撮像手段と、
   非可視光を発光する発光手段と、
   前記発光手段を制御する制御手段と、
   非可視光を用いた撮像を行う第２撮像手段と、
   前記第２撮像手段から出力される画像データに基づいて物体認識処理を行う物体認識手段と、を有し、
   前記制御手段は、前記物体認識手段の動作に応じて前記発光手段の光量を変更することを特徴とする撮像装置。
2. 前記制御手段は、
   前記物体認識手段が前記物体認識処理を実行している場合、前記発光手段を発光させ、
   前記物体認識手段が前記物体認識処理を実行していない場合、前記発光手段を発光させないことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記物体認識手段が前記物体認識処理を実行している場合、前記発光手段を第１光量で発光させ、
   前記物体認識手段が前記物体認識処理を実行していない場合、前記発光手段を前記第１光量よりも少ない第２光量で発光させることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記物体認識処理の評価結果に基づいて、前記物体認識処理の実行中における前記発光手段の前記光量を変更することを特徴とする請求項１に記載の撮像装置。
5. 前記評価結果は、前記物体認識処理の信頼度であることを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記信頼度が所定の条件を満足する場合、前記発光手段の前記光量をゼロにすることを特徴とする請求項５に記載の撮像装置。
7. 前記評価結果は、前記物体認識処理により取得される物体の数であることを特徴とする請求項４に記載の撮像装置。
8. 前記評価結果は、前記物体認識処理により複数のタイミングで取得された複数の評価値を用いて算出された平均値であることを特徴とする請求項４に記載の撮像装置。
9. 前記制御手段は、前記第２撮像手段への同期信号と同じ周期で制御を更新することを特徴とする請求項１に記載の撮像装置。
10. 前記第１撮像手段と前記第２撮像手段と前記制御手段との駆動タイミングを制御するタイミング制御手段を更に有し、
    前記タイミング制御手段は、前記制御手段へのタイミング信号を生成し、
    前記制御手段は、前記タイミング信号に基づいて前記発光手段の制御を更新することを特徴とする請求項１に記載の撮像装置。
11. 前記制御手段は、
    前記発光手段の点滅制御を行い、
    前記点滅制御における点灯時間と消灯時間との比に基づいて、前記光量を変更することを特徴とする請求項１に記載の撮像装置。
12. 前記制御手段は、前記発光手段の前記光量を離散的に制御することを特徴とする請求項１に記載の撮像装置。
13. 前記発光手段の発光許可状態をユーザが設定可能なユーザインターフェースを更に有することを特徴とする請求項１に記載の撮像装置。
14. 前記ユーザインターフェースは、表示手段であり、
    前記表示手段は、前記発光手段が発光許可中であることを示す情報を表示することを報知することを特徴とする請求項１３に記載の撮像装置。
15. 前記物体認識処理は、人体の肌または顔の検出処理を含むことを特徴とする請求項１に記載の撮像装置。
16. 前記発光手段は、近赤外光を発光することを特徴とする請求項１乃至１５のいずれか一項に記載の撮像装置。
17. 前記第２撮像手段は、可視光および近赤外光を含む分光感度特性を有することを特徴とする請求項１に記載の撮像装置。
18. 前記第１撮像手段および前記第２撮像手段は、同一のデバイスとして設けられ、
    前記デバイスは、Ｒ画素、Ｇ画素、Ｂ画素、およびＩＲ画素を有し、
    前記物体認識手段は、少なくとも前記ＩＲ画素から出力される前記画像データに基づいて前記物体認識処理を行うことを特徴とする請求項１に記載の撮像装置。
19. 前記撮像装置は、前記第１撮像手段から出力される画像データに基づいて、ライブビュー表示または動画像記録の少なくとも一方を行うことを特徴とする請求項１に記載の撮像装置。
20. 第１撮像手段により、可視光を用いた撮像を行う第１撮像ステップと、
    発光手段により、非可視光を発光する発光ステップと、
    第２撮像手段により、非可視光を用いた撮像を行う第２撮像ステップと、
    物体認識手段により、前記第２撮像手段から出力される画像データに基づいて物体認識処理を行う処理ステップと、を有し、
    前記発光ステップにおいて、前記物体認識手段の動作に応じて前記発光手段の光量を変更することを特徴とする撮像装置の制御方法。
21. 請求項２０に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。