JP2010136223A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】画質を劣化させることなく、容易に小型化でき、信頼性の高い生体顔認識を実現することが可能な撮像装置及び撮像方法を提供すること。
【解決手段】被写体からの可視光成分を光電変換して第１の画像データを生成する第１の光電変換素子１０２と、被写体からの赤外線成分を光電変換して第２の画像データを生成する第２の光電変換素子１０３とを有する撮像部１２０、１２１と、可視光成分を除去して赤外線成分を透過させる、第２の光電変換素子の被写体側かつ被写体からの光軸上に設けられたフィルタ１２３と、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定する被写体像位置特定部１３２と、第２の画像データにおいて被写体からの赤外線強度を検出する赤外線強度検出部１３４と、画面内における所定の被写体像の位置と、当該位置の赤外線強度に基づいて、生体を検出する生体検出部１３４とを有する。
【選択図】図２

Description

本発明は、撮像装置及び撮像方法に関する。

近年、デジタルカメラやビデオカメラ等の撮像装置において、撮影して得られた画像データから、人物の顔の特徴を抽出して、被写体内に人物の顔があるか否かを認識する顔認識技術が用いられている。顔認識技術において、可視光画像を用いる方法は信頼性が高いが、可視光画像は、ポスターや写真等の印刷物に印刷された人物も、実際の人物と差異がないため、両者を区別することができず、顔を誤認識する。

図１４は、従来の撮像装置の構成の一部を示すブロック図である。従来の撮像装置におけるレンズ１８と固体撮像素子２と赤外線カットフィルタ２２を中心として構成される撮像部２０と、顔位置特定部１２を、説明の都合のため抜き出したものである。顔位置特定部１２に入力される可視光画像は、図１４に示すように撮像部２０から直接入力されたり、画像処理部（図示さず。）で処理されてから入力されたり、各種処理後にメモリ（図示せず。）に保持されてから入力されたりする。

なお、人物等の生体は、赤外線を輻射していることが一般に知られており、生体検出に関して、赤外線を検出することが可能な赤外線カメラを用いた技術がある。特許文献１及び特許文献２では、被写体のうち人物の顔を認識しながら、ポスター等に描かれた人物と区別して実際の人物（生体）を認識する技術が開示されている。

特開平５−２９７１５２号公報 特開２００５−１９７９１４号公報

しかし、特許文献１による技術は、放射温度計と、放射温度計を測温方向に向ける制御装置が必要であるため、生体を認識する装置及びその装置を備えた撮像装置の小型化やコストの低減を図ることが困難であった。

また、赤外線カメラを使用する技術では、得られる画像データは温度に応じた輝度データで表される。そのため、個人の顔パターンを検出（顔画像認識）するには十分な情報量がないため、信頼性が低いという問題があった。即ち、赤外線画像によって顔パターンを検出する技術は、誤判定が多いため顔を検出できず、被写体に顔が含まれるにもかかわらず取りこぼしが生じることが多かった。取りこぼしが生じないように判定基準を低下させると、多くの画素領域を顔画像認識させなければならないため、時間短縮という観点でメリットがない。

また、特許文献２で用いられる撮像素子のように、１つの撮像素子の中に赤外線用の受光画素が設けられると可視光用の受光画素の数が減るため、全ての画素が可視光用の受光画素である従来の撮像素子に比べて画質が悪化するという問題があった。

また、特許文献２では、被写体からの光を１つの分光器（プリズム）で可視光と赤外線とに分光した後、可視光用撮像素子と赤外線用撮像素子がそれぞれ可視光又は赤外線を受光する技術を開示している。しかし、光学プリズム又はダイクロイックプリズム等を用いた場合、光路確保のため装置の小型化が困難になり、サイズが大きくなるという問題があった。更に、プリズムを使用した場合、撮像装置に用いる撮像レンズはプリズムに対応している必要がある。また、ダイクロイックプリズムの製造には、貼り合わせ等において緻密な取り付け精度が必要であり、製造に高度な技術が必要であるため、製造コストが非常に高価になるという問題があった。逆に、光学系を安価に製造しようとすると、各光学部品の質の低下が生じ、精度がなくなるため、画質の劣化を起こしてしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画質を劣化させることなく、容易に小型化でき、信頼性の高い生体顔認識を実現することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体からの可視光成分を光電変換して第１の画像データを生成する第１の光電変換素子と、被写体からの赤外線成分を光電変換して第２の画像データを生成する第２の光電変換素子とを有する撮像部と、可視光成分を除去して赤外線成分を透過させる、第２の光電変換素子の被写体側かつ被写体からの光軸上に設けられたフィルタと、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定する被写体像位置特定部と、第２の画像データにおいて被写体からの赤外線強度を検出する赤外線強度検出部と、画面内における所定の被写体像の位置と、当該位置の赤外線強度に基づいて、生体を検出する生体検出部とを有する撮像装置が提供される。

上記生体検出部は、画面内における所定の被写体像の位置に対応して、第２の画像データに対して生体検出領域を割り当て、生体検出領域内の検出された赤外線強度に基づいて、生体を検出してもよい。

上記生体検出部は、同一タイミングで取得された第１の画像データと第２の画像データに基づいて生体を検出してもよい。

上記フィルタは被写体からの光軸上に設けられたり、光軸上から外れたりすることができる可動部材であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１のモードで被写体からの可視光成分を光電変換して第１の画像データを生成し、第２のモードで被写体からの赤外線成分を光電変換して第２の画像データを生成する１つの撮像素子を有する撮像部と、第１のモードで被写体から撮像素子までの光軸上から外れており、第２のモードで撮像素子の被写体側かつ光軸上に設けられるように移動して切り替わる、可視光成分を除去して赤外線成分を透過させるフィルタと、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定する被写体像位置特定部と、第２の画像データにおいて被写体からの赤外線強度を検出する赤外線強度検出部と、画面内における所定の被写体像の位置と、当該位置の赤外線強度に基づいて、生体を検出する生体検出部とを有する撮像装置が提供さされる。

上記撮像部は、時分割で第１の画像データ及び第２の画像データを生成し、生体検出部は、時間軸方向に異なるタイミングで取得された第１の画像データと第２の画像データに基づいて生体を検出してもよい。

上記所定の被写体像は、人物の顔、又は人物の一部若しくは全体であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、被写体からの可視光成分を光電変換して第１の画像データを生成し、被写体からの赤外線成分を光電変換して第２の画像データを生成する撮像部と、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定する被写体像位置特定部と、第２の画像データにおいて被写体からの赤外線強度を検出する赤外線強度検出部と、画面内における所定の被写体像の位置と、当該位置の赤外線強度に基づいて、生体を検出する生体検出部とを有する撮像装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１の光電変換素子が被写体からの可視光成分を光電変換して第１の画像データを生成するステップと、フィルタが、可視光成分を除去して赤外線成分を透過させるステップと、第２の光電変換素子が被写体からの赤外線成分を光電変換して第２の画像データを生成するステップと、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定するステップと、第２の画像データにおいて被写体からの赤外線強度を検出するステップと、同一タイミングで取得された第１の画像データと第２の画像データに基づいて、画面内における所定の被写体像の位置と、当該位置の赤外線強度によって生体を検出するステップとを有する撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、１つの光電変換素子が被写体からの可視光成分を光電変換して第１の画像データを生成するステップと、フィルタが、１つの光電変換素子の被写体側かつ被写体から１つの光電変換素子までの光軸上に配置され、可視光成分を除去して赤外線成分を透過させるステップと、１つの光電変換素子が被写体からの赤外線成分を光電変換して第２の画像データを生成するステップと、第１の画像データにおいて所定の被写体像及び画面内における所定の被写体像の位置を特定するステップと、第２の画像データにおいて被写体からの赤外線強度を検出するステップと、時間軸方向に異なるタイミングで取得された第１の画像データと第２の画像データに基づいて、画面内における所定の被写体像の位置と、当該位置の赤外線強度によって生体を検出するステップとを有する撮像方法が提供される。

本発明によれば、画質を劣化させることなく、容易に小型化でき、信頼性の高い生体顔認識を実現することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は、以下の順序で行う。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態

＜１．第１の実施形態＞
［第１の実施形態の構成］
まず、本発明の第１の実施形態に係る撮像装置１００について説明する。
本実施形態の撮像装置１００は、例えば、撮像レンズ１１８、１１９が交換可能、又は交換不可能なデジタルスチルカメラである。また、撮像装置１００は、ビデオカメラ、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。

また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。以下、本実施形態ではベイヤ配列のＲＡＷデータを採用する場合について説明する。

まず、本実施形態に係る撮像装置１００の構成を説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、撮像部１２０、１２１と、検波部１０４、画像処理部１０５と、圧縮・変換処理部１０６と、記録部１０８と、表示部１１０と、顔認識部１１２と、ＣＰＵ１１４と、メモリ１１６等からなる。

撮像部１２０、１２１は、それぞれ撮像レンズ１１８、１１９と、固体撮像素子１０２（第１の光電変換素子）、固体撮像素子１０３（第２の光電変換素子）等を有する。撮像レンズ１１８、１１９は、被写体からの入射光を集光させ、固体撮像素子１０２、１０３に被写体像を結像させるレンズ群である。撮像レンズ１１８、１１９は、通常複数のレンズから構成される。

固体撮像素子１０２、１０３は、光学系（例えば、撮像レンズ１１８、１１９、赤外線カットフィルタ１２２、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。固体撮像素子１０２、１０３は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、固体撮像素子１０２、１０３として、ＣＣＤ(Charge Coupled Device)を使用してもよい。

また、固体撮像素子１０２、１０３は、例えば、６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。固体撮像素子１０２、１０３は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、固体撮像素子１０２、１０３から撮像データが出力される。

固体撮像素子１０２、１０３には、例えばＣＣＤ（Charge Coupled Device）素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子が用いられるのが一般的である。

固体撮像素子１０２、１０３は、複数の受光部（画素）から構成され、固体撮像素子１０２、１０３の受光部（画素）は、通常Ｒ、Ｇ、Ｂのいずれかに相当する波長を選択的に通過させる画素フィルタで覆われている。ＲＧＢフィルタの配列としてはＢＡＹＥＲ（ベイヤ）配列が一般的である。なお、フィルタはＲＧＢではなくＹＣｙＭｇＧの補色フィルタの場合もある。フィルタを通過して、画素が受光した可視光はＲＧＢ信号に光電変換され、画像信号として出力される。

画素フィルタの特性はブロードであるため、選択的であるとしても、選択したい波長以外の近傍の波長帯もかなり通過させてしまう。したがって、特に赤外線領域に近いＲ画素では、人間の目では感知できない赤外線も光電変換しており、可視光画像に多大な影響を与えている。この影響を低減するため、撮像レンズ１１８と固体撮像素子１０２の間、又は撮像レンズ１１９と固体撮像素子１０３の間に、固体撮像素子の画素フィルタとは別に、赤外線カットフィルタが備えられているのが普通である。

検波部１０４は、固体撮像素子１０２、１０３で得られた画像から各種制御（例えばＡＦ、ＡＥ、ＡＷＢ）のために必要な情報を演算する。検波部１０４は、固体撮像素子１０２、１０３からの画像データだけでなく、他の手段から出力された画像データを検波する場合もある。

画像処理部１０５は、撮像部１２０、１２１からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。

圧縮・変換処理部１０６は、画像処理部１０５から受け取った画像信号を表示部１１０の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示部１１０に出力するとき行う。表示間引きとは、撮像装置１００が高速撮像モードのときに、画像を映し出す表示装置の表示規格で規定されている単位時間当たりのフィールド数（例えば３０ｆｐｓ）に合うように、フィールドを間引くことである。

また、圧縮・変換処理部１０６は、画像処理部１０５からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、記録部１０８から供給された静止画像の符号化データに対して伸張復号化処理を行う。圧縮・変換処理部１０６は、画像処理部１０５から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録部１０８から供給された動画の符号化データに対して伸張復号化処理を行い、表示部１１０に出力する。

記録部１０８は、例えばフラッシュメモリ、ハードディスクドライブ等の記録媒体である。表示部１１０は、表示処理部（図示せず。）によって制御される。表示処理部は、圧縮・変換処理部１０６から受け取った画像信号から、表示部１１０に表示させるための画像信号を生成して、画像信号を表示部１１０に送り、画像を表示させる。表示部１１０は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録部１０８に記録されたデータの画像などを表示する。

ＣＰＵ（Central Processing Unit）１１４は、メモリ１１６などに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。

メモリ１１６はメモリ制御部（図示せず。）によって制御される。メモリ制御部は、メモリ１１６に対する画像データの書き込み及び読み込みを制御する。メモリ１１６は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。

顔認識部１１２は、後述する顔位置特定部１３２、生体認識部１３４などからなる。顔位置特定部１３２は、被写体位置特定部の一例であり、生体認識部１３４は、赤外線強度検出を用いた赤外線強度検出部、生体検出部の一例である。
なお、上述した各機能ブロックの配置は便宜上のものであり、それぞれの場所に限定するものではない。

撮像処理後、顔位置特定部１３２には、撮像部１２０から可視光画像データが送られる。なお、可視光画像データはＲＧＢ３原色画像の場合もあるが、それらを元に変換したＹＣ画像の場合もある。

顔の検出は、一般的なパターン認識技術に基づいて行われる。即ち、顔検出処理は、画像データから一部を切り出し、これを予めデータベース等に用意されている基準パターンと比較してマッチングを行うことによって、顔パターンの有無を検出する。なお、基準パターンとは、画像に各種フィルタをかけ、特徴を抽出し、データベース化したものである。基準パターンは、例えば、輝度エッジに基づいて顔の輪郭、目、鼻、口、耳などの各部をパターン化したものや、人物の肌色等からなっている。

上記の検出によって、顔パターンの存在を認識し、画像内での位置を特定したとき、撮像装置１００の顔位置特定部１３２は、対応する顔画像領域を決定する。顔画像領域は長方形が一般的であるが、楕円等他の形状でもかまわない。

［第１の実施形態の動作］
次に、本実施形態に係る撮像装置１００の動作について説明する。
本実施形態の撮像装置１００は、まず、撮像レンズ１１８、１１９を通して被写体像を固体撮像素子１０２、１０３の撮像面で結像させ、固体撮像素子１０２、１０３で光電変換し、画素毎の画像データを得る。

画像処理部１０５は、ＣＰＵ１１４の指示に基づいて、固体撮像素子１０２、１０３で得られた画像データに対し、ＡＥやＡＷＢの各種補正やノイズリダクションを行ったり、ＹＣデータに現像したり、解像度変換を行うなど、様々な画像処理を行う。顔認識部１１２は、顔認識で顔の領域が分かれば、それを用いて、ＡＥやＡＷＢ等の補正処理に用いることもある。また、顔領域にフォーカスを合わせるようにＡＦ制御を行う場合もある。

現像が終わった画像に対して、圧縮・変換処理部１０６で、ＭＰＥＧやＪＰＥＧなどの圧縮フォーマットに変換される。変換されたデータは、記録部１０８で、不揮発メモリやＨＤＤ、光磁気ディスクなどのメディアに記録する。また同時に、表示部１１０で、撮像装置１００に搭載した液晶パネルに画像を表示したり、ビデオ信号に変換して、外部端子から出力し、家庭用テレビなどに表示したりする場合もある。

［第１の実施形態の詳細な構成］
次に、本発明の第１の実施形態に係る撮像装置１００の詳細な構成について説明する。図２は、本発明の第１の実施形態に係る撮像装置１００の構成の一部を示すブロック図である。

本実施形態の撮像装置１００は、赤外線カットフィルタ１２２を備えた固体撮像素子１０２を有する撮像部Ａ１２０と、可視光カットフィルタ１２３を備えた固体撮像素子１０３を有する撮像部Ｂ１２１を備える。赤外線カットフィルタ１２２は、撮像レンズ１１８と固体撮像素子１０２の間に設けられ、可視光カットフィルタ１２３は、撮像レンズ１１９と固体撮像素子１０３の間に設けられる。

撮像装置１００は、撮像部Ａ１２０で撮影した可視光画像データ（第１の画像データ）と、撮像部Ｂ１２１で撮影した赤外線画像データ（第２画像のデータ）を同時に生成する。そして、顔位置特定部１３２は、可視光画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する。また、生体認識部１３４は、特定されたデータ領域に対応して赤外線画像データ中に割り当てられた顔画像領域内の赤外線出力画素の割合を検出する。生体認識部１３４は、同一タイミングで取得された可視光画像データと赤外線画像データに基づいて生体を検出できる。

なお、本実施形態で搭載される固体撮像素子１０２、１０３の画素数は、可視光入力側と赤外線入力側で同じでもよいし、同じでなくてもよい。固体撮像素子１０２、１０３の両者間の画素数に差がある場合、高画素数の方を可視光画像、低画素数の方を赤外線画像にするのが一般的である。

本実施形態の撮像装置１００は、従来例（図１４で示した例）の構成に加え、もう１系統の撮像部Ｂ１２１を備えている。その撮像部Ｂ１２１は、赤外線出力を光電変換するために、撮像部Ａ１２０の赤外線カットフィルタ１２２の代わりに可視光カットフィルタ１２３を備えている。

固体撮像素子１０３で受光された赤外線は、赤外線の量に対応した信号レベルに光電変換されて出力される。赤外線の量は信号レベルの高低に対応付けられる。特に、赤外線近傍の波長であるＲ画素の光電変換結果に結果が顕著に現れる。可視光画像側の撮像部Ａ１２０では、顔位置特定部１３２が、顔位置特定を行い、画像内の顔位置（顔領域）を特定する。特定される顔画像領域の数は１つでなくてもよい。生体認識部１３４は、撮像部Ｂ１２１から赤外線画像データが送られ、顔位置特定部１３２から顔領域情報が送られる。赤外線は、Ｒ画素が一番顕著に赤外線に反応するので、撮像部Ｂ１２１から送られる赤外線画像として、Ｒ画素のみのデータが送られてきてもよい。これにより、データ量（電力）の削減を図ることができる。

顔領域情報は、撮像部Ａ１２０と撮像部Ｂ１２１の解像度が異なるなど、座標系が異なる場合もあるため、座標の変換が必要な場合もある。座標変換は、例えば、撮像部Ａ１２０、撮像部Ｂ１２１内の回路、又はＣＰＵ１１４（制御部）で行われる。変換後の座標は生体認識部１３４に送られる。

生体の人物であるか否かという判断は、赤外線画像の顔領域の画素数の内、赤外線出力が確認できる画素数の割合を求め、その割合が所定の閾値（例えば５０％等）を越えた場合、人体の顔であると最終判断がされる。赤外線出力の閾値決定方法は、いくつかあるが、例えば、露光時間が長いほど、信号レベルが大きくなるので、露光時間別に統計データをとって、閾値を算出してもよい。そして、露光時間別の閾値をデータベースに持ち、その閾値を越えた場合に赤外線出力があると判断される。なお、上記は赤外線出力有無判定の２値だが、閾値を複数持ち、判定を３値化（赤外線あり、不明（赤外線ありとなしとの境界領域）、赤外線なし）するなど多値化してもよい。

本実施形態は、精度の高い可視光画像による顔認識を最初に行うことによって、誤判定や認識抜けを少なくすることができる。そして、最後に赤外線輻射により、生体かどうかの判断を行うことによって、確実に生体かつ人物であるか否かを認識することができる。

以上のように構成された本実施形態の撮像装置１００による作用を図３及び図４を参照して説明する。図３は、本実施形態に係る撮像装置１００の動作を示すフローチャートである。図４は、本実施形態に係る撮像装置１００が取得する画像の概略を示す説明図である。

まず、被写体が撮像部Ａ１２０、撮像部Ｂ１２１で撮影され、可視光画像データと赤外線画像データとが一度の撮影で取得される（ステップＳ１０１）。図４（Ａ）は、可視光画像データ１８０の一例を簡略して示したものである。説明のため、生体の人間５０と、ポスター７０上の人間を一緒に撮影したと仮定する。このとき、可視光画像による顔認識によって、顔領域の推定が行われる（ステップＳ１０２）。

図４（Ｂ）は、四角形の領域で、顔領域を推定した場合である。可視光領域では、生体５０と、ポスター７０上に印刷された顔との間には、可視光画像データ１８０上に差異がないので、画像内には２個の顔があると推定される。図４（Ｃ）は、赤外線画像１９０で、ある閾値以上の画素を便宜上黒で、閾値に満たない画素を白で表したものである。閾値は、撮影環境にあわせてＣＰＵからの指示で変更することができる。次に、固体撮像素子１０２と固体撮像素子１０３とで解像度が異なる場合など、必要に応じて可視光画像から推定した顔領域を赤外線画像１９０の座標系に変換してもよい（ステップＳ１０３）。図４（Ｃ）では、赤外線画像１９０の座標系に合わせて、推定した顔領域を示している。

次に、赤外線画像１９０における顔領域内で赤外線出力が認められる閾値を超えた画素の数をカウントする（ステップＳ１０４）。そして、顔領域の総画素数と比較し、その割合を求める。顔領域の総画素数のうち、所定の割合（例えば５０％）を越えているかを判断する（ステップＳ１０５）。所定の割合（例えば５０％）を越えていたら、生体の顔であるという判断を行う（ステップＳ１０６）。一方、所定の割合（５０％）を越えない場合、生体でない顔と判断される（ステップＳ１０７）。ポスター７０の顔の方は、赤外線出力が認められず、割合（５０％）を越えないので、生体でない顔と判断される。当該所定の割合も撮影環境にあわせて、ＣＰＵ１１４からの指示で変更することができる。

なお、可視光画像１８０と赤外線画像１９０の画素数や画角が異なる場合でも、可視光画像１８０での顔領域の座標を元に、演算するだけで、赤外線画像１９０での顔領域の座標は簡単に知ることができる。そして、赤外線画像１９０での顔領域内での赤外線出力の割合を判断するので、固体撮像素子１０２と固体撮像素子１０３のセンサーサイズが異なっていたり、画角が異なっていたりしても何ら問題はない。

例えば、図５を参照して、固体撮像素子１０２と固体撮像素子１０３のセンサーサイズが異なっていたり、画角が異なっていたりした場合について説明する。図５は、可視光画像と赤外線画像の解像度の違い又はセンサーサイズの違いを簡略して示した説明図である。

図５（Ａ）は、可視光画像が４０００ｘ３０００画素の１２Ｍの例であり、図５（Ｂ）は、赤外線画像が２０００ｘ１５００画素の３Ｍの例である。図５（Ａ）の例と図５（Ｂ）の例とでは、画角が同じなので、解像度が異なっていても、可視光画像での顔領域の座標を元に演算するだけで、赤外線画像での顔領域の座標は簡単に知ることができる。
図５（Ｃ）は、赤外線画像が２０００ｘ１５００画素の３Ｍの例である。赤外線画像は、可視光画像の一部分に相当する。赤外線画像の切り出し開始位置は固定であり、予め分かっているので、画角が異なっていても、可視光画像での顔領域の座標を元に演算するだけで、赤外線画像での顔領域の座標は簡単に知ることができる。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る撮像装置２００について説明する。図６は、本実施形態に係る撮像装置２００の一部の構成を示すブロック図である。図６（Ａ）は、本撮影前の動作状態を示し、図６（Ｂ）は、本撮影後の動作状態を示す。
上述した第１の実施形態は、複数のセンサー（固体撮像素子１０２、１０３）が予め、赤外線画像用と可視光画像用のそれぞれに固定されていた。本実施形態の撮像装置２００では、赤外線画像用の撮像部Ｂ２２１は、赤外線専用でなくてもかまわない。

本実施形態に係るデジタル一眼レフカメラ等の撮像装置２００においては、被写体確認用の固体撮像素子１０３（小サイズのセンサー）と、記録用の固体撮像素子１０２（大サイズのセンサー）の２系統の撮像部１２０、２２１を有する。そして、固体撮像素子１０３（小センサー）の画像を表示しながら撮影条件を決め、シャッターが切られると、固体撮像素子１０２（大センサー）側を用いて保存用画像を撮像する。この場合、２系統の撮像部１２０、２２１は、両者共に赤外線カットフィルタ１２２、２２３を備え、赤外線カットフィルタ１２２、２２３は可視光画像用として可視光画像を取得するために用いられている。

本実施形態の撮像装置２００は、撮像部Ｂ２２１（記録用に用いられる撮像部Ａ１２０と異なる側である固体撮像素子１０３（小センサー）側）のフィルタ部分が、赤外線カットフィルタ２２３と可視光カットフィルタ２２４とで切り替えられる。フィルタ部分は被写体からの光軸上に設けられたり、光軸上から外れたりすることができる可動部材である。例えば、相互のフィルタが平行移動したり回転移動したりする。

次に、図７を参照して、本実施形態に係る撮像装置２００の動作について説明する。図７は、本実施形態に係る撮像装置２００の動作を示すフローチャートである。
通常時は、図６（Ａ）のように、撮像部Ｂ２２１は赤外線カットフィルタ２２３を使用して可視光画像を出力している（ステップＳ２０１）。撮影条件が決まり、シャッターボタンが押されると（ステップＳ２０２）、図６（Ｂ）のように、撮像部Ｂ２２１のフィルタ部分は、可視光カットフィルタ２２４へ切り替わる（ステップＳ２０３）。撮像部Ａ１２０の可視光画像取得と同時に、撮像部Ｂ２２１では赤外線画像を取得する。

本実施形態の撮像装置２００は、撮像部Ｂ２２１のフィルタ部分が切り替え式になっただけである。従って、可視光カットフィルタ２２４が選択され赤外線画像取得モードになった後は図２で示した第１の実施形態の場合と同じであり、図３のフローチャートのステップＳ１０１〜Ｓ１０７と同様である。

［第２の実施形態の変更例］
次に、図８を参照して、本実施形態の変更例について説明する。図８は、本実施形態に係る撮像装置２００の変更例の動作を示すフローチャートである。
上述した本実施形態の撮像装置２００の動作は、シャッターボタンを押した後に撮像部Ｂ２２１を赤外線画像取得側に切り替える場合である。しかし、シャッターボタンが押された後も何らかの理由で撮像部Ｂ２２１を可視光画像取得側で使用したい場合もありうる。そのためには、シャッターボタンを押す前の撮影条件取得中に赤外線画像を取得しておけばよい。

以下では、シャッターが切られる前は、６０ｆｐｓで撮像部Ｂ２２１から画像が取得されていると仮定する。このとき、例えば、１枚（１フレーム）置きにフィルタ部分を切り替え、可視光画像取得と赤外線画像取得を行う。取得された可視光画像と赤外線画像はメモリに一時的に記録される（ステップＳ３０１〜Ｓ３０４）。可視光画像を用いた液晶パネル等の表示部１１０への画面表示は３０ｆｐｓで行うことができる。

シャッターが切られた場合（ステップＳ３０６）、撮像部Ｂ２２１も可視光画像用に切り替えられる（ステップＳ３０７）。そして、撮像部Ａ１２０及び撮像部Ｂ２２１の両者で可視光画像が取得され（ステップＳ３０８）、撮像処理が行われる。この際に、シャッターが切られる直前の赤外線画像をメモリに保持しておく。メモリに保持された赤外線画像は、上述した図７のステップＳ２０３のように本来は撮影時に同時に取得される赤外線画像の代用として利用される。赤外線画像が取得された後は、図３のフローチャートのステップＳ１０１〜Ｓ１０７と同様である。

なお、この変更例では表示用可視光画像は３０ｆｐｓのレートにしているが、低すぎて問題になる場合は、撮像部Ｂ２２１における画像の出力回数に対する赤外線画像の出力回数の割合を減らし、表示用の可視光画像のフレームレートを上げてもよい。

また、上述した第１の実施形態と第２の実施形態では、シャッター後の記録用画像（可視光画像）で顔検出を行う方法をとっている。一方、撮影条件を決める前に、すなわちシャッター前に顔を検出したい場合もある。その場合は、図８のフローチャートのように、撮像部Ｂ２２１で交互に可視光画像と赤外線画像を取得させて、これらをメモリに保存しておくことで（ステップＳ３０１〜Ｓ３０４）、その２種の画像で生体顔認識処理を行えばよい（図３のフローチャートのステップＳ１０１〜Ｓ１０７参照）。

以上のように、撮像レンズ１１９と固体撮像素子１０３との間のフィルタ部分において、赤外線カットフィルタ２２３と可視光カットフィルタ２２４の切り替え式にすることで、従来の記録、表示機能に加えて、本実施形態の撮像装置２００は、生体顔認識機能が実現できる。本実施形態は、従来の構成にほとんど手を加えないので変更も容易であり、かつ、従来の機能を損なわないため、導入し易く、安価に生体顔認識機能を実現できる。

＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係る撮像装置３００について説明する。図９は、本実施形態に係る撮像装置３００の一部の構成を示すブロック図である。図９（Ａ）は、本撮影前の動作状態を示し、図９（Ｂ）は、本撮影後の動作状態を示す。本実施形態の撮像装置３００の撮像部は、固体撮像素子１０２を有する撮像部３２０の１個だけで構成する。

図９（Ａ）、図９（Ｂ）に示すように、撮像装置３００は、切り替え式の赤外線カットフィルタ３２２と可視光カットフィルタ３２４を備える。単一の撮像部３２０は、複数回撮影することによって、可視光画像データ（第１の画像データ）と赤外線画像データ（第２の画像データ）を生成する。また、撮像装置３００は、撮像した画像を保持するメモリ３１６を備える。本実施形態の顔位置特定部１３２は、メモリ３１６に保持された可視光画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する。生体認識部１３４は、特定されたデータ領域に対応して赤外線画像データ中に割り当てられた顔画像領域から赤外線出力画素の割合を検出する。

次に、本実施形態の撮像装置３００の動作を説明する。
図９（Ａ）のように、まず、撮像部３２０のフィルタ部分は赤外線カットフィルタ３２２側に切り替えられており、シャッターボタンが押されると、通常の撮影処理がなされ、可視光画像データをメモリ３１６に保存する。

次に、図９（Ｂ）のように、フィルタ部分を可視光カットフィルタ３２４側に切り替え、赤外線画像データを取得する。そして、赤外線画像の撮影と同時に、メモリ３１６から可視光画像を生体認識部１３４に送ることによって、２種類の画像の同時化を行うことができる。このように、可視光画像と赤外線画像を連続して撮影することにより、２種類の画像の取得を行う。短時間の間隔で撮影された２種類のデータは、同一条件の画像（同時に取得できた画像）とみなして使用する。撮像部３２０は、時分割で可視光画像（第１の画像データ）及び赤外線画像（第２の画像データ）を生成する。そして、生体認識部１３４は、時間軸方向に異なるタイミングで取得された可視光画像と赤外線画像に基づいて生体を検出することになる。画像の取得が同時でないこと以外は、撮像部が２系統あった場合の第１及び第２の実施形態の説明と同じである。

また、上記の第３の実施形態では、メモリ３１６上の可視光画像を、赤外線画像の撮影と同時にメモリから顔位置特定部１３２に送るようにしている。一方、赤外線画像の撮影前に、すなわち、可視光画像取得完了直後に、メモリからデータを送り、顔位置の特定処理を開始しても何ら問題はない。顔位置の特定処理は時間がかかるので、赤外線画像の撮影処理前に、開始することによって、赤外線画像の露光時間や、画像の転送などの撮像処理のための時間等の間にも、顔位置検出処理ができ、トータルの処理時間の短縮化が可能である。また、赤外線画像取得前に顔位置の特定処理が完了する場合もある。

また、上記の第３の実施系形態では、可視光画像と赤外線画像を同じ画角、同じ解像度で撮像する場合を想定しているが、固体撮像素子１０２（センサー）の撮像モードを切り替え、両者を異なる解像度で撮像することもできる。

可視光画像は、現像された後、記録されることを前提としているため、通常、最大解像度のモードで撮影されるが、赤外線画像の方は、顔位置が生体かどうかを判断できればよいだけである。従って、赤外線画像は、可視光画像と同じ解像度である必要がない。そのため、赤外線画像取得時に、顔画像領域内の赤外線有無の判断が可能な範囲において、センサーの撮像モードを、同じ画角でより小さい解像度を選択して、撮影することで赤外線画像の読み出しの時間を短縮することもできる。

図５（Ａ）は、可視光画像が４０００ｘ３０００画素の１２Ｍの例であり、図５（Ｂ）は、赤外線画像が２０００ｘ１５００画素の３Ｍの例である。赤外線画像は、可視光画像の１／４の画素数しかないので、読み出しにかかる時間も１／４で済むことになる。赤外線画像側の読み出し時間が短縮されれば、連写速度等にメリットが生じる。画角が同じなので、解像度が異なっていても、可視光画像での顔領域の座標を元に演算するだけで、赤外線画像での顔領域の座標は簡単に知ることができる。

上記実施形態では、可視光画像と赤外線画像を同じ画角で撮像する場合を想定しているが、赤外線画像の撮影前に、予め顔位置の特定が完了している場合には、同じ画角ではなく、顔位置の部分を含む領域をセンサーから切り出して読み出してもよい。その結果、可視光画像と同じ解像度を保持したまま、赤外線画像の読み出しの時間を短縮することもできる。

図５（Ｃ）は、赤外線画像が２０００ｘ１５００画素の３Ｍの例である。赤外線画像は、可視光画像の一部分に相当する。赤外線画像は、可視光画像の１／４の画素数しかないので、読み出しにかかる時間も１／４で済むことになる。外線画像の切り出し開始位置は固定であり、予め分かっているので、画角が異なっていても、可視光画像での顔領域の座標を元に、演算するだけで、赤外線画像での顔領域の座標は簡単に知ることができる。
更に、上記例の両者を併用して、低解像度＋切り出しで、さらに赤外線画像の読み出し時間の短縮を図る事もできる。その場合も、可視光画像での顔領域の座標を元に、演算するだけで、赤外線画像での顔領域の座標は簡単に知ることができる。

［第３の実施形態の変更例］
次に、本発明の第３の実施形態に係る撮像装置３００の変更例について説明する。
図１０（Ａ）、図１０（Ｂ）に示す例は、図９（Ａ）、図９（Ｂ）の場合と逆に、赤外線画像を先に撮影する場合の動作例である。図１０は、本実施形態に係る撮像装置３００の変更例の一部の構成を示すブロック図である。図１０（Ａ）のように、まず、撮像部３２０のフィルタ部分は、可視光カットフィルタ３２４側に切り替えられ、赤外線画像データがメモリ３１６に保存される。次に、図１０（Ｂ）のように、撮像部３２０のフィルタ部分は、赤外線カットフィルタ３２２側に切り替え、可視光画像データが取得される。可視光画像の撮影と同時にメモリ３１６から赤外線画像を生体認識部１３４に送ることによって、２種類の画像の同時化を行う。

画像の取得の順番以外は、前説明と同じである。赤外線画像と可視光画像の２種類が揃えばよいのであって、画像を取得する順番は問題ではない。

上記第３の実施形態では、赤外線画像そのものをメモリ３１６に保存するとしたが、赤外線出力の有無を判断した後の２値データ等、赤外線画像そのものでなく、加工したデータを代わりに保存しておいてもよい。例えば、画素ごとの赤外線有無を表す２値化データであれば、データ量が少なく、必要とするワークメモリも少なくて済む。ワークメモリが少なくて済めば、撮像装置３００の処理過程においてメリットが大きい。例えば、画素データが１画素当たり８ｂｉｔで表現されていると仮定すると、加工後は１ｂｉｔのデータで済むので、１／８のワークメモリで済むことになる。

＜４．第４の実施形態＞
次に、本発明の第４の実施形態に係るデジタル一眼レフカメラ４００について説明する。
図１１は、本実施形態に係るデジタル一眼レフカメラ４００を示す断面図である。説明の都合上、アイリス、シャッターなど一部の部品は省略している。

撮影瞬間（シャッター）前は、予め選択されている光学ファインダ１２７又は電子ビューファインダ（例えば液晶パネル１１０）に画像を表示する。

光学ファインダ１２７が選択されている場合、撮像レンズ１１８から入ってきた画像は、中央部分に設けられた上下に可動する反射ミラー１２４で上方に反射される。そして、反射光は、さらにペンタ部内のミラー１２６（又はプリズム（図示せず。））や可動ミラー１２５などで数回、反射され、光学ファインダ１２７に送られる。

電子ビューファインダが選択されている場合は、最終段の可動ミラー１２５の角度が変わり、固体撮像素子１０３へ画像が到達する。固体撮像素子１０３の前にフィルタ４２３（赤外線カットフィルタ）が配置されている。フィルタ４２３を赤外線カットフィルタ／可視光カットフィルタの切り替え式にすることによって、シャッター前に撮固体像素子１０３だけを用いて、時分割でフィルタ４２３を切り替えることによって、赤外線画像と可視光画像を取得できる。その結果、上述したような本実施形態の生体顔認識機能を実現できる。

固体撮像素子１０３で光電変換された可視光画像は、画像処理後、デジタル一眼レフカメラ４００の背面の液晶パネル１１０に表示される。シャッターボタンが押されると、中央部分に設けられた反射ミラー１２４は、上方に移動し、撮影光路から退避する。そして、撮像レンズ１１８から入力された画像は、直接、フィルタ１２２（赤外線カットフィルタ）を通過し、固体撮像素子１０２に到達する。このようなデジタル一眼レフカメラ４００の構成では、固体撮像素子１０２と固体撮像素子１０３の同時撮像はできない構成になっている。

＜５．第５の実施形態＞
次に、本発明の第５の実施形態に係るデジタル一眼レフカメラ５００について説明する。
図１２は、本実施形態に係るデジタル一眼レフカメラ５００を示す断面図である。図１２に示す例は、図１１の中央部分に設けられる反射ミラー１２４をハーフミラー１４４に変更したものである。図１２に示す例では、光量は落ちるが、固体撮像素子１０２と固体撮像素子１０３の両方に同時に画像を到達させることができる。

図１３（Ａ）、図１３（Ｂ）は、本実施形態に係るデジタル一眼レフカメラ５００の一部を示すブロック図である。撮像装置４００は、１個の撮像レンズ１１８と、２系統の撮像部Ａ５２０、撮像部Ｂ５２１と、ハーフミラー１４４を有する。

これは、図１２で、固体撮像素子１０３の前のフィルタ部分は赤外線カットフィルタ５２３／可視光カットフィルタ５２４の切り替え式にしたものである。図６（Ａ）、図６（Ｂ）で示した固体撮像素子１０２、１０３と撮像レンズ１１８、１１９それぞれがペアになっている構成と比べて、レンズが１個になる。そのため、本実施形態は、図６（Ａ）、図６（Ｂ）で示した実施形態と比べて、ハーフミラー１４４で２系統に画像が分離されている点が異なるだけである。撮像部が、撮像部Ａ５２０、撮像部Ｂ５２１の２系統あることは同じであり、具体的動作も一緒なので説明は省略する。

＜６．各実施形態の効果＞
以上、説明したように、これらの生体顔認識が可能な撮像装置１００、２００、３００、４００、５００は、高価で小型化の困難な分光器（プリズム等）を必要とせず、また、画質の劣化を伴う赤外線専用の画素を備えた専用の固体撮像素子も必要ない。そして、撮像装置１００、２００、３００、４００、５００は、従来のデジタルカメラで使用されている安価で小型の撮像部を用いて構成できる。

また、可視光画像で先に顔位置特定を行う事により、誤判定の確率を低減したまま、高い信頼性を伴った生体の顔と非生体の顔をそれぞれ認識することが可能である。

顔認識機能によって得られた、画像内の顔領域情報は、顔領域に合わせた各種カメラ制御、すなわち、撮影前準備であるＡＦ（オートフォーカス）や、ＡＥ（自動露出）に用いられたり、現像処理でのホワイトバランス補正などに利用されたりする。また、検出された顔領域に合わせて表示部に顔枠を表示することもできるし、被写体の動きに合わせて顔枠を追尾させて表示することもできる。

本実施形態によれば、ＡＦでは、主被写体にあわせるために、生体の顔領域のデータを用いることによってＡＦの最適化を図ることができる。また、ホワイトバランスにおいてデータの母数を多くするために（生体＋非生体）双方の顔領域のデータを使用したり、生体、非生体の顔領域を区別したりすることで、区別、非区別の特徴を活かしたデータを使い分けることができる。その結果、より適切な各種処理が実現可能となる。

また、本実施形態は、特許文献１による技術と比べて、放射温度計と側温方向制御装置が必要ないため、小型化が可能で、安価に製造できる。また、従来の技術において、最初に赤外線画像データを用いて顔領域の推定を行う場合は誤判定が多かったが、本実施形態は、精度の高い可視光画像で顔認識を最初に行う。そして、赤外線画像を顔認識で用いないため、誤判定が非常に少ない。

なお、可視光画像による顔認識は精度が高いため、可視光画像だけでは印刷物上での顔も認識してしまうが、赤外線画像を生体検出に使用することによって、生体の顔と非生体の顔を区別でき、信頼性の高い顔画像認識を行うことができる。

本実施形態の撮像装置は、赤外線カットフィルタによって可視光を受光する可視光用撮像系と、可視光カットフィルタにより赤外線を受光する赤外線用撮像系の最低２系統以上の撮像系を備えているので、赤外線画像生成に伴う、可視光画像側での画質の劣化がない。

一方、特許文献２の技術のように、一つの分光器で分光する場合、光路確保のため、装置が巨大化し、また、画質を劣化させない分光器は高価となる。それに対して、本実施形態は、分光器を必要としないので、画質の劣化もなく小型で安価に構成することが可能である。

また、本実施形態の撮像装置は、従来可視光撮像系を複数備えた撮像装置において、１つの撮像系における１つの赤外線カットフィルタを、可視光カットフィルタ／赤外線カットフィルタの切り替え式のフィルタ部分に変更するだけで実現できる。従って、従来の撮像装置の機能を損なうこと無く、容易かつ安価に構成することが可能である。

更に、本実施形態の撮像装置は、複数の分光フィルタを時分割で切り替えて使うことにより、従来の撮像素子１個で構成することも可能であり、さらに小型で安価に構成することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

上述した実施形態では、撮像装置の顔位置特定部が顔画像を可視光画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する場合について説明したが、本発明はかかる例に限定されない。例えば、被写体像位置特定部が、人物の顔ではなく、人物の一部又は全体の画像を可視光画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定するとしてもよい。人物の検出処理は、画像データから一部を切り出し、これを予めデータベース等に用意されている基準パターンと比較してマッチングを行うことによって、人物パターンの有無を検出する。

本発明の第１の実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置の構成の一部を示すブロック図である。 同実施形態に係る撮像装置の動作を示すフローチャートである。 同実施形態に係る撮像装置が取得する画像の概略を示す説明図である。 可視光画像と赤外線画像の解像度の違い又はセンサーサイズの違いを簡略して示した説明図である。 本発明の第２の実施形態に係る撮像装置の一部の構成を示すブロック図である。 同実施形態に係る撮像装置の動作を示すフローチャートである。 同実施形態に係る撮像装置の変更例の動作を示すフローチャートである。 本発明の第３の実施形態に係る撮像装置の一部の構成を示すブロック図である。 同実施形態に係る撮像装置の変更例の一部の構成を示すブロック図である。 本発明の第４の実施形態に係るデジタル一眼レフカメラを示す断面図である。 本発明の第５の実施形態に係るデジタル一眼レフカメラを示す断面図である。 同実施形態に係るデジタル一眼レフカメラの一部を示すブロック図である。 従来の撮像装置の構成の一部を示すブロック図である。

符号の説明

１００、２００、３００ 撮像装置
４００、５００ デジタル一眼レフカメラ
１０２、１０３ 固体撮像素子
１０４ 検波部
１０５ 画像処理部
１０６ 圧縮・変換処理部
１０８ 記録部
１１０ 表示部、液晶パネル
１１２ 顔認識部
１１４ ＣＰＵ
１１６、３１６ メモリ
１１８、１１９ 撮像レンズ
１２０、１２１、３２０ 撮像部
１２０、５２０ 撮像部Ａ
１２１、２２１、５２１ 撮像部Ｂ
１２２、２２３、３２２、５２２、５２３ 赤外線カットフィルタ
１２３、２２４、３２４、５２４ 可視光カットフィルタ
１２４ 反射ミラー
１２５ 可動ミラー
１２６ ミラー
１２７ 光学ファインダ
１３２ 顔位置特定部
１３４ 生体認識部
１４４ ハーフミラー
４２３ フィルタ

Claims (10)

1. 被写体からの可視光成分を光電変換して第１の画像データを生成する第１の光電変換素子と、前記被写体からの赤外線成分を光電変換して第２の画像データを生成する第２の光電変換素子とを有する撮像部と、
   可視光成分を除去して赤外線成分を透過させる、前記第２の光電変換素子の前記被写体側かつ前記被写体からの光軸上に設けられたフィルタと、
   前記第１の画像データにおいて所定の被写体像及び画面内における前記所定の被写体像の位置を特定する被写体像位置特定部と、
   前記第２の画像データにおいて前記被写体からの赤外線強度を検出する赤外線強度検出部と、
   画面内における前記所定の被写体像の位置と、当該位置の前記赤外線強度に基づいて、生体を検出する生体検出部と
   を有する、撮像装置。
2. 前記生体検出部は、
   画面内における前記所定の被写体像の位置に対応して、前記第２の画像データに対して生体検出領域を割り当て、前記生体検出領域内の前記検出された赤外線強度に基づいて、生体を検出する、請求項１に記載の撮像装置。
3. 前記生体検出部は、同一タイミングで取得された前記第１の画像データと前記第２の画像データに基づいて生体を検出する、請求項１又は２に記載の撮像装置。
4. 前記フィルタは前記被写体からの光軸上に設けられたり、前記光軸上から外れたりすることができる可動部材である、請求項１〜３のいずれかに記載の撮像装置。
5. 第１のモードで被写体からの可視光成分を光電変換して第１の画像データを生成し、第２のモードで前記被写体からの赤外線成分を光電変換して第２の画像データを生成する１つの撮像素子を有する撮像部と、
   前記第１のモードで前記被写体から前記撮像素子までの光軸上から外れており、前記第２のモードで前記撮像素子の前記被写体側かつ前記光軸上に設けられるように移動して切り替わる、可視光成分を除去して赤外線成分を透過させるフィルタと、
   前記第１の画像データにおいて所定の被写体像及び画面内における前記所定の被写体像の位置を特定する被写体像位置特定部と、
   前記第２の画像データにおいて前記被写体からの赤外線強度を検出する赤外線強度検出部と、
   画面内における前記所定の被写体像の位置と、当該位置の前記赤外線強度に基づいて、生体を検出する生体検出部と
   を有する、撮像装置。
6. 前記撮像部は、時分割で前記第１の画像データ及び前記第２の画像データを生成し、
   前記生体検出部は、時間軸方向に異なるタイミングで取得された前記第１の画像データと前記第２の画像データに基づいて生体を検出する、請求項５に記載の撮像装置。
7. 前記所定の被写体像は、人物の顔、又は人物の一部若しくは全体である、請求項１〜６のいずれかに記載の撮像装置。
8. 被写体からの可視光成分を光電変換して第１の画像データを生成し、前記被写体からの赤外線成分を光電変換して第２の画像データを生成する撮像部と、
   前記第１の画像データにおいて所定の被写体像及び画面内における前記所定の被写体像の位置を特定する被写体像位置特定部と、
   前記第２の画像データにおいて前記被写体からの赤外線強度を検出する赤外線強度検出部と、
   画面内における前記所定の被写体像の位置と、当該位置の前記赤外線強度に基づいて、生体を検出する生体検出部と
   を有する、撮像装置。
9. 第１の光電変換素子が被写体からの可視光成分を光電変換して第１の画像データを生成するステップと、
   フィルタが、可視光成分を除去して赤外線成分を透過させるステップと、
   第２の光電変換素子が前記被写体からの前記赤外線成分を光電変換して第２の画像データを生成するステップと、
   前記第１の画像データにおいて所定の被写体像及び画面内における前記所定の被写体像の位置を特定するステップと、
   前記第２の画像データにおいて前記被写体からの赤外線強度を検出するステップと、
   同一タイミングで取得された前記第１の画像データと前記第２の画像データに基づいて、画面内における前記所定の被写体像の位置と、当該位置の前記赤外線強度によって生体を検出するステップと
   を有する、撮像方法。
10. １つの光電変換素子が被写体からの可視光成分を光電変換して第１の画像データを生成するステップと、
    フィルタが、前記１つの光電変換素子の前記被写体側かつ前記被写体から前記１つの光電変換素子までの光軸上に配置され、可視光成分を除去して赤外線成分を透過させるステップと、
    前記１つの光電変換素子が前記被写体からの前記赤外線成分を光電変換して第２の画像データを生成するステップと、
    前記第１の画像データにおいて所定の被写体像及び画面内における前記所定の被写体像の位置を特定するステップと、
    前記第２の画像データにおいて前記被写体からの赤外線強度を検出するステップと、
    時間軸方向に異なるタイミングで取得された前記第１の画像データと前記第２の画像データに基づいて、画面内における前記所定の被写体像の位置と、当該位置の前記赤外線強度によって生体を検出するステップと
    を有する、撮像方法。
    
    

Images