JP2022047898A - 信号処理装置、撮像装置、信号処理方法 - Google Patents

Abstract

【課題】特定の被写体の検出に必要な消費電力を削減する。【解決手段】本技術に係る信号処理装置は、特定の被写体の大きさ情報を記憶する記憶部と、被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えるものとした。【選択図】図１５

Description

本技術は、被写体の認識を行う信号処理装置、撮像装置及び信号処理方法についての技術分野に関する。

画像認識処理の精度が向上してきており、それに伴って、画像から顔検出処理を行うシステムが普及してきている。具体的には、コンサート会場に入場する際や、スマートフォンのロックを解除する際などに用いられている。

このような顔検出システムにおいては、例えば、特許文献１に記載されているように、撮像画像の拡大や縮小を行うことにより解像度の異なる複数の画像を生成し、それぞれの画像に対して顔テンプレートとのマッチングを行うことにより、画像内における各種の大きさの顔領域を特定することができる。

特開２００５－２８４４８７号公報

ところが、画像上の顔の大きさの多様性を許容するためには、多数の解像度の画像を生成する必要がある。そして、顔マッチング処理の対象とされた画像が多くなるほど、マッチング処理に必要な演算量が大きくなり、消費電力も増大する。
顔検出処理を行う装置は、高性能のコンピュータ装置に限らずスマートフォンなどの比較的低性能のコンピュータ装置なども含まれてきており、演算量の削減や消費電力の削減が求められている。

そこで、本技術では、特定の被写体の検出に必要な消費電力を削減することを目的とする。

本技術に係る信号処理装置は、特定の被写体の大きさ情報を記憶する記憶部と、被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えたものである。
特定の被写体の大きさ情報と被写体の距離情報を用いることで、第２画像の画角内における特定の被写体の画像領域の大きさを推定することができる。

上記した信号処理装置における前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定してもよい。
対象領域が特定されることで、後段の同定処理は、対象領域のみを対象として同定処理を行えばよい。

上記した信号処理装置における前記決定処理部は、前記特定の被写体の大きさと前記第２画像の被写体の大きさの類似度に基づいて前記処理対象の被写体であるか否かを決定してもよい。
これにより、特定の被写体と異なる大きさの被写体が処理対象の被写体として検出されてしまうことが防止される。

上記した信号処理装置における前記類似度は、二つのボックスフィルタを用いて算出されてもよい。
ボックスフィルタを用いた演算は一定の演算量で行うことができる。

上記した信号処理装置における前記決定処理部は、前記特定の被写体の形状と前記第２画像の被写体の形状が類似している場合に前記第２画像の被写体を前記処理対象の被写体として決定してもよい。
これにより、特定の被写体と大きく異なる形状の被写体が処理対象の被写体として検出されてしまうことが防止される。

上記した信号処理装置における前記決定処理部は、前記第２画像から抽出したエッジ情報に基づいて前記特定の被写体の形状と前記第２画像の被写体の形状が類似しているか否かを判定してもよい。
エッジ情報に基づいて形状が類似しているか否かを判定することにより、特定の被写体と同程度の大きさであり且つ同様の形状をした被写体が処理対象の被写体として判定される。

上記した信号処理装置においては、前記同定処理を行う同定処理部を備えていてもよい。
第２画像に対する各処理を実行した結果同定処理を実行するか否かが判定される。そして、同定処理の実行が決定された場合に同定処理部が同定処理を実行する。

上記した信号処理装置における前記同定処理部は、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であると前記決定処理部が判定した場合に前記同定処理を行ってもよい。
第２画像の画角内に写る被写体が特定の被写体と異なる大きさである場合には、後段の同定処理を実行せずに済む。この点においても処理負担の軽減が図られる。

上記した信号処理装置における前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定し、前記同定処理部は、前記第１画像における領域のうち、前記対象領域に対応する領域を対応領域として特定してもよい。
対応領域を特定することにより、適切な領域を対象として同定処理を実行することができる。

上記した信号処理装置における前記同定処理部は、前記対応領域を対象として前記同定処理を行ってもよい。
対応領域を対象として同定処理を行うことにより、同定処理の演算量が削減される。

上記した信号処理装置において、前記特定の被写体は特定の人物とされ、前記同定処理部は、前記同定処理として、前記第２画像の被写体が前記特定の人物と同一人物であるか否かを判定する処理を行ってもよい。
第２画像の被写体が特定の人物であるか否かを判定する処理は、例えば、顔認証システムに用いることが可能である。

上記した信号処理装置における前記同定処理部は、前記同定処理として、前記第２画像の被写体の種別が前記特定の被写体の種別と同一種別であるか否かを判定する処理を行ってもよい。
第２画像の被写体の種別が特定の被写体の種別と同一であるか否かを判定する処理とは、例えば、犬が含まれる画像を検索する場合や人が含まれる画像を検索する場合などに用いることができる。

本技術に係る撮像装置は、光電変換素子がアレイ状に配置された画素アレイ部と、特定の被写体の大きさ情報を記憶する記憶部と、被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えたものである。

上記した撮像装置における前記画素アレイ部は、前記第２画像を出力してもよい。
第２画像は第１画像よりも低解像度であるため、画素アレイ部における読み出し回数が少なくされる。

上記した撮像装置における前記決定処理部は、前記画素アレイ部から出力される輝度信号に基づいて前記距離画像を補正した補正済み距離画像を用いて前記決定を行ってもよい。
例えば、発光部が赤外光を発光する場合、輝度値が閾値よりも低い画素についてはデプス値が大きいことが考えられる。

上記した撮像装置においては、前記決定処理部が前記画素アレイ部と同一センサチップ内に設けられていてもよい。
同定処理の事前処理として第２画像の被写体が処理対象の被写体であるか否かを決定する処理を行い、その結果処理対象の被写体であると決定された場合に、後段の同定処理が実行される。即ち、処理対象の被写体でないと決定された場合には、処理に用いた第２画像の情報などがセンサチップ外に送信されない。

本技術に係る信号処理方法は、特定の被写体の大きさ情報を記憶し、被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定するものである。

本技術の実施の形態の撮像装置の構成例を示すブロック図である。 ＩＲ受光部の構成例を示すブロック図である。 信号処理部の機能構成例を示す図である。 低解像度の距離画像の一例である。 低解像度の輝度画像の一例である。 低解像度の補正済み距離画像の一例である。 登録されている頭部サイズと略同じ大きさの被写体についての類似度算出の例を示す説明図である。 登録されている頭部サイズよりも小さな被写体についての類似度算出の例を示す説明図である。 登録されている頭部サイズよりも大きな被写体についての類似度算出の例を示す説明図である。 エッジの検出対象となる画素領域の一例である。 エッジ探索範囲の一例である。 エッジ検出処理の適用結果の一例である。 撮像装置制御部の機能構成例を示すブロック図である。 全体の処理の流れを示すフローチャートである。 頭部検出処理の一例を示すフローチャートである。 初期化処理の一例を示すフローチャートである。 画素ごとの検出処理の一例を示すフローチャートである。 高解像度画像準備処理の一例を示すフローチャートである。 撮像装置の別の構成例を示すブロック図である。 同定処理の一例を示すフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．信号処理部の機能構成と処理概要＞
＜３．各種処理＞
＜３－１．全体の処理＞
＜３－２．頭部検出処理＞
＜３－３．高解像度画像準備処理＞
＜３－４．同定処理＞
＜４．変形例＞
＜５．まとめ＞
＜６．本技術＞

＜１．撮像装置の構成＞
本技術の信号処理装置は、撮像装置やＰＣ（Personal Computer）など各種の演算処理装置に適用することが可能である。以下の説明においては、本技術の信号処理装置を撮像装置１に適用した場合を例に挙げて説明する。
なお、撮像装置１は、スチルカメラやビデオカメラなど以外に、カメラ機能を備えたスマートフォンやフィーチャーフォンなどであってもよい。

撮像装置１は、被写体についての撮像を行い、得られた撮像画像に特定の被写体が含まれているか否かを判定する処理を行う。撮像装置１は、このような判定を行うために、簡易検出処理と、詳細検出処理を行う。

以下の説明においては、撮像装置１がスマートフォンとされ、スマートフォンに掛けられたロックを解除するために顔認証を行う例を挙げる。この場合には、特定の被写体とはスマートフォンとしての撮像装置１を所有／使用するユーザの顔ということになる。

簡易検出処理では、人間の頭部を検出する処理を行う。なお、簡易検出処理では、人間の頭部でなくても類似している被写体が検出され得る。簡易検出処理で検出された人間の頭部らしき被写体は、後段の詳細検出処理の処理対象の被写体とされるため、「処理対象の被写体」と記載する。
即ち、簡易検出処理は、処理対象の被写体を検出する処理といえる。

詳細検出処理では、簡易検出処理によって検出された頭部らしき被写体を対象として、特定の被写体（即ち撮像装置１の使用ユーザの顔）と一致するか否かを判定する。

以降の説明においては、簡易検出処理の一例として「頭部検出処理」を例に挙げる。また、詳細検出処理の一例として「同定処理」を例に挙げる。

撮像装置１は、図１に示すように、距離画像を生成する測距モジュール２と輝度画像を生成する輝度画像撮像部３と、被写体に反射した反射光を輝度画像撮像部３へ入射させる第１レンズ系４と、輝度画像撮像部３の制御や撮像装置１の全体的な制御を行う撮像装置制御部５と、を備えている。

輝度画像撮像部３は、例えば、Ｒ（赤）画素、Ｇ（緑）画素、及び、Ｂ（青）画素が所定の配列で配置された受光部と読み出し回路等と各種の信号処理を行う部分を備え、ＲＧＢの画素信号から成る輝度画像を撮像装置制御部５に出力する。

測距モジュール２は、赤外光（ＩＲ光：Infra-Red）を出射するＩＲ発光部６と、赤外光を受光するＴｏＦ（Time of Flight）センサ７と、ＴｏＦセンサ７に反射光を入射させる第２レンズ系８と、測距モジュール制御部９と、記憶部１０と、を備えている。

ＩＲ発光部６は、赤外光を被写体に向けて照射するための光源を備えて構成されている。該光源は、例えばＩＲＬＥＤ（Infra-Red Light Emitting Diode）とされている。

ＴｏＦセンサ７は、直接ＴｏＦ法や間接ＴｏＦ法により距離画像や輝度画像を生成する。ＴｏＦセンサ７は、ＩＲ受光部１１と信号処理部１２を備えている。

ＩＲ受光部１１は、２次元アレイ状に配列された複数の受光素子を有しており、該受光素子は、赤外光についての感度を有するものとされている。
各受光素子は、ＩＲ発光部６から照射され被写体で反射された反射光を受光して光電変換することにより電荷を生成し、読み出し動作に応じて電荷に応じた電気信号を出力する。

なお、ＴｏＦセンサ７において距離画像や輝度画像を取得するためには、ＩＲ発光部６とＩＲ受光部１１を同期させる必要がある。測距モジュール制御部９は、ＩＲ発光部６の発光タイミングとＩＲ受光部１１の受光タイミング（リセットタイミングと読み出しタイミング）を同期させる処理を行う。

ＩＲ受光部１１は、画素ごとの読み出しが可能とされているだけでなく、複数の画素に蓄積された電荷を加算して読み出す加算読み出しが可能とされている。例えば、縦横それぞれ２画素とされた合計４画素分の電荷を一回の読み出し動作で読み出すことや、縦横それぞれ１０画素とされた合計１００画素分の電荷を一回の読み出し動作で読み出すことが可能とされている。
加算読み出しを行うことにより、読み出し動作の消費電力を抑えることが可能となる。

信号処理部１２は、ＩＲ受光部１１から出力された電気信号に基づいて距離画像や輝度画像を生成する。そして、信号処理部１２は、該距離画像や輝度画像を用いて上述の頭部検出処理を行う。即ち、信号処理部１２は、距離画像や輝度画像を用いて頭部らしきもの（処理対象の被写体）を検出する。

信号処理部１２は、頭部検出処理のために、記憶部１０に記憶された頭部サイズ情報を用いる。
記憶部１０には、頭部サイズ情報として、特定の被写体（人物）の頭部の大きさ（サイズ）情報が記憶されている。
頭部サイズ情報は、撮像装置１のユーザに登録操作を実行させることにより予め取得しておく。
信号処理部１２からは、頭部検出処理の検出結果が撮像装置制御部５に出力される。

撮像装置制御部５は、信号処理部１２から出力された頭部検出処理の処理結果に応じて、上述の同定処理の実行可否を決定する。即ち、頭部検出処理において頭部らしきものが検出された場合、撮像装置制御部５は、輝度画像撮像部３に撮像処理を実行させ、輝度画像を取得し、輝度画像の被写体とユーザの顔が一致するか否かを判定する同定処理を行う。
同定処理は、例えば、事前に登録されたユーザの顔画像に基づいて行われる。

ＩＲ受光部１１の構成例を図２に示す。
ＩＲ受光部１１は、画素アレイ部２１、垂直駆動部２２、カラム処理部２３、水平駆動部２４、システム制御部２５、画素駆動線２６、垂直信号線２７を含んで構成されている。

画素アレイ部２１は、２次元アレイ状に配列された複数の受光素子を有する画素から成る。

画素アレイ部２１では、行方向に配列された画素から成る画素行ごとに画素駆動線２６が行方向に沿って配線され、列方向に配列された画素から成る画素列ごとに垂直信号線２７が列方向に沿って配線されている。

垂直駆動部２２は、シフトレジスタやアドレスデコーダなどを備えて構成され、複数の画素駆動線２６を介して各画素に信号等を供給する。画素アレイ部２１の各画素は、供給された信号に基づいて全画素同時駆動、或いは、行単位駆動される。

カラム処理部２３は、画素アレイ部２１の画素列ごとに垂直信号線２７を介して各画素から信号の読み出しを行う。
なお、前述したように、加算読み出しを行う際には、一部の垂直信号線２７を介して読み出しが行われる。

水平駆動部２４は、シフトレジスタやアドレスデコーダなどを備えて構成され、カラム処理部２３の画素列に対応する単位回路を順次選択する。水平駆動部２４による選択走査により、カラム処理部２３において単位回路ごとに信号処理された画素信号が順に後段の信号処理部１２に出力される。

システム制御部２５は各種のタイミング信号を生成するタイミングジェネレータなどから成り、タイミングジェネレータで生成されたタイミング信号に基づいて、垂直駆動部２２、カラム処理部２３及び水平駆動部２４の駆動制御を行う。

＜２．信号処理部の機能構成と処理概要＞
頭部検出処理を実行するための信号処理部１２の機能構成例を図３に示す。
信号処理部１２は、頭部測距情報格納部３１、測距モード制御部３２、測距情報・画像情報取得部３３、補正処理部３４、走査・決定処理部３５を備えている。

頭部測距情報格納部３１は、記憶部１０に記憶された頭部サイズ情報を取得し、測距モード制御部３２や走査・決定処理部３５に提供する。

測距モード制御部３２は、頭部サイズ情報に基づいて頭部検出処理が実行可能な最低解像度を算出する。頭部検出処理は、頭部らしき被写体を検出する処理であるため、高解像度の被写体の顔画像を必要としない。また、ユーザが撮像装置１のロック解除操作のための顔認証機能を利用する際には、顔を撮像装置１（スマートフォン）に近づけることが想定されるため、撮像装置１からの距離が必要以上に遠い位置（２ｍや１０ｍ離れた位置）にある頭部を検出する必要がない。従って、頭部検出処理が実行可能な最低解像度を小さくすることができる。具体的には、例えば、水平方向に数十画素、垂直方向に数十画素とされた合計数百画素の解像度の距離画像や輝度画像を用いて頭部検出処理を行うことが可能である。

測距モード制御部３２は、算出した最低解像度に応じた測距モードを測距情報・画像情報取得部３３に通知する。

測距情報・画像情報取得部３３は、ＩＲ受光部１１に対して加算読み出しの指示を行うことにより、通知された最低解像度に基づく距離画像を取得する。取得した距離画像は、補正処理部３４に出力される。

補正処理部３４は、入力された距離画像に所定の距離範囲の被写体が撮像されているか否かを判定し、所定の距離範囲の被写体が検出できた場合には、該被写体が撮像された画像領域を特定するための補正処理を行う。

補正処理部３４が実行する処理について、具体的に図４から図６を参照して説明する。

図４は、低解像度（横３２画素、縦２０画素の合計６４０画素）の距離画像の一例を示している。黒い画素ほど被写体までの距離が近く、白い画素ほど被写体までの距離が遠いことを示している。図示するように、画像中央部に撮像された人の頭部や肩らしき被写体と、その背景の一部が撮像装置１に近い距離に位置する被写体として検出されている。

図５は、ＩＲ受光部１１から出力される電気信号に基づいて生成される低解像度の輝度画像の一例を示している。ＩＲ発光部６から照射された光が被写体に反射されてＩＲ受光部１１に受光されることにより画素アレイ部２１の各画素で電荷が生成される。このとき、撮像装置１に近い被写体が撮像される画素ほど光の減衰量が小さいため受光量が多くされる。図５に示す例では、画像中央部に撮像された頭部や肩の部分の輝度値が高くされていることから、頭部や肩らしき被写体のみが撮像装置１に近い被写体として検出されている。

補正処理部３４は、距離画像（図４）において被写体までの距離が近いとされた画素のうち、輝度画像における輝度値が所定値よりも低い画素においては、距離情報を大きな値に置き換える処理を補正処理として実行する。大きな値とは、少なくとも、後段の詳細検出処理の対象とするか否かの判定に用いられる閾値よりも大きな値（被写体が遠いことを示す値）とすることが望ましい。即ち、後段の詳細検出処理では、少なくとも撮像装置１から所定距離以内に位置する被写体を対象として検出処理を行うため、処理対象の被写体とならないように距離情報を補正する。

補正処理を実行した後に得られる距離画像を図６に示す。図示するように、距離画像（図４）において距離が近いとされた背景部分の画素については、輝度画像（図５）の輝度値が小さい（暗い）ため、距離情報が大きな値へと置き換えられる。これにより、補正済み距離画像（図６）においては、頭部や肩らしき被写体以外の背景部分については撮像装置１から被写体までの距離が遠いことを示す白い画素で示されている。

このようにして、距離画像において被写体までの距離が近いとされた画素であっても、輝度画像における輝度値が小さい画素（輝度信号が小さい画素）は、距離情報の信頼度が低い画素として見なす。信頼度が低い画素と見なされた画素については、補正処理によって距離情報が大きな値へと補正される。即ち、補正処理部３４は、撮像装置１から所定の距離以内に位置する被写体が写っているか否かを判定する補正処理を実行する。

図３の説明に戻る。
補正処理部３４からは、所定距離以内に位置する被写体（以降、「検出被写体」と記載）が撮像できた場合に、補正済みの距離画像が走査・決定処理部３５に対して出力される。
走査・決定処理部３５には、補正済み距離画像だけでなく頭部測距情報格納部３１から頭部サイズ情報が入力される。

走査・決定処理部３５は、補正済みの距離画像を走査（スキャン）することにより検出被写体が頭部らしきものであるか否かを判定する処理を行う。例えば、距離画像の一部分の領域を検証領域として設定し、該検証領域内に頭部らしきものが含まれているか否かを判定する。
このような処理は、後段の詳細検出処理を実行するか否かを決定する処理ともいえる。

具体的に、走査・決定処理部３５は、頭部サイズ情報を用いて二種類のボックスフィルタ（平滑化フィルタ）を設定し、該二種類のボックスフィルタを用いて検出被写体の大きさが記憶されている頭部サイズとどの程度類似しているかを示す「類似度」を算出する。

具体的に図７から図９の各図を参照して説明する。
図７，図８及び図９の各図は、検出被写体ＤＯ１，ＤＯ２，ＤＯ３と各検出被写体に適用する二種類のボックスフィルタである第１フィルタＢＦ１、第２フィルタＢＦ２と、各ボックスフィルタの適用結果である第１フィルタ出力ＯＰ１、第２フィルタ出力ＯＰ２を示したものである。

先ず、図７について説明する。第１フィルタＢＦ１は、登録されている頭部サイズと同じ大きさのボックスフィルタとされている。第１フィルタＢＦ１は、検証領域と同じ大きさとされ、検証領域に対して適用されるフィルタである。また、第２フィルタＢＦ２は、第１フィルタＢＦ１よりも大サイズとされたボックスフィルタとされている。第２フィルタＢＦ２は、検証領域を中心として検証領域よりも広い領域に適用されるフィルタである。

検出被写体ＤＯ１は、登録された頭部サイズと略同じ大きさの検出被写体とされている。即ち、検出被写体ＤＯ１の画像領域は第１フィルタＢＦ１と水平方向の幅及び垂直方向の幅が略等しくされている。

図７の下部には、水平方向における距離画像の距離の値と各ボックスフィルタの出力値の関係を示したグラフが提示されている。
図７のグラフに図示するように、背景部分については被写体までの距離が大きな値として示され、頭部領域（第１フィルタＢＦ１の領域）については、頭部の形状に基づく画素ごとの距離が示されている。

また、第１フィルタ出力ＯＰ１は、フィルタ領域の距離の平均値とされる。即ち、第１フィルタＢＦ１のフィルタ領域のうち大部分の領域が検出被写体の画像領域とされているため、第１フィルタ出力ＯＰ１は小さな値となる。
一方、第２フィルタ出力ＯＰ２の出力は、フィルタ領域の一部が検出被写体の画像領域とされ、その他の部分は背景領域とされている。
背景領域の距離は大きな値であるため、第２フィルタ出力ＯＰ２は、第１フィルタ出力ＯＰ１よりも大きくされる。

第１フィルタ出力ＯＰ１と第２フィルタ出力ＯＰ２の差分ｄ１の大きさは類似度とされる。即ち、第１フィルタ出力ＯＰ１と第２フィルタ出力ＯＰ２の差分が大きいほど、第１フィルタＢＦ１の大きさと検出被写体の大きさが一致していることとなる。換言すれば、検出被写体のサイズと記憶されている頭部サイズが一致していることとなる。

ここで、第１フィルタＢＦ１のフィルタ領域よりも小さな検出被写体ＤＯ２と大きな検出被写体ＤＯ３について、第１フィルタＢＦ１と第２フィルタＢＦ２を適用した場合に、類似度がどのように変化するかを説明する。

図８は、第１フィルタＢＦ１のフィルタ領域よりも小さな検出被写体ＤＯ２についての類似度を説明するための図である。
図示するように、第１フィルタＢＦ１のフィルタ領域（＝検証領域）における検出被写体ＤＯ２の画像領域の占める割合が小さくされるため、第１フィルタ出力ＯＰ１は図７に示すよりも大きな値となる。
その結果、第１フィルタ出力ＯＰ１と第２フィルタ出力ＯＰ２の差分ｄ２（＝類似度）は図７における差分ｄ１よりも小さな値となる。

図９は、第１フィルタＢＦ１のフィルタ領域よりも大きな検出被写体ＤＯ３についての類似度を説明するための図である。
図示するように、第１フィルタＢＦ１のフィルタ領域における検出被写体ＤＯ２の画像領域の占める割合が大きくされるため、第１フィルタ出力ＯＰ１は図７に示すよりも若干大きな値となる。
一方、第２フィルタＢＦ２のフィルタ領域における検出被写体ＤＯ３の画像領域の占める割合も大きくされるため、第２フィルタ出力ＯＰ２は図７よりも大きな値となる。
その結果、第１フィルタ出力ＯＰ１と第２フィルタ出力ＯＰ２の差分ｄ３（＝類似度）は図７における差分ｄ１よりも小さな値となる。

図７から図９の各図に示すように、第１フィルタＢＦ１のフィルタサイズと検出被写体の大きさが略一致する場合に類似度が大きな値となる。
このようにして、走査・決定処理部３５は、検出被写体のサイズが記憶された頭部サイズと類似しているか否かを判定するために類似度を算出する。

走査・決定処理部３５は、他にも、低解像度の距離画像から得たエッジ画像を用いて検出被写体の形状と特定の被写体とされたユーザの頭部（検出対象の被写体）の形状が類似しているか否かを判定する。

具体的に、添付図を参照して説明する。
走査・決定処理部３５は、低解像度の補正済み距離画像からエッジ画像を生成する。エッジ画像の生成においては、水平方向と垂直方向の二方向におけるエッジ検出処理が実行される。

先ず、エッジの検出対象となる画素領域の設定について図１０を参照して説明する。
記憶された頭部サイズと同じサイズとされた基準枠ＢＣに対して、内側に一回り小さな補助枠ＡＵＣ１と外側に一回り大きな補助枠ＡＵＣ２を設定し、補助枠ＡＵＣ１と補助枠ＡＵＣ２の間の領域をエッジ検出対象領域ＡＲ０として設定する。基準枠ＢＣの大きさは、前述の検証領域の大きさと同じ大きさとされている。
図１０に示す例では、補助枠ＡＵＣ１は基準枠ＢＣに対して２画素内側の枠とされ、補助枠ＡＵＣ２は基準枠ＢＣに対して２画素外側の枠とされている。

次に、エッジ検出対象領域ＡＲ０のうちの一部を対象としてエッジ検出を行う。具体的には、図１１に示すように、補助枠ＡＵＣ１の上方の領域をエッジ探索範囲ＡＲ１として設定し、補助枠ＡＵＣ１の下方の領域をエッジ探索範囲ＡＲ２として設定し、補助枠ＡＵＣ１の左方の領域をエッジ探索範囲ＡＲ３として設定し、補助枠ＡＵＣ１の右方の領域をエッジ探索範囲ＡＲ４として設定する。

エッジ探索範囲ＡＲ１及びエッジ探索範囲ＡＲ２については、水平方向のエッジを検出する。また、エッジ探索範囲ＡＲ３及びエッジ探索範囲ＡＲ４については、垂直方向のエッジを検出する。各エッジ探索範囲におけるエッジ検出処理の適用結果の一例を図１２に示す。

図示するように、エッジ探索範囲ＡＲ１においてエッジとして検出された画素（以降、「エッジ画素」と記載）は５個とされ、エッジ探索範囲ＡＲ２におけるエッジ画素は３個とされ、エッジ探索範囲ＡＲ３におけるエッジ画素は７個とされ、エッジ探索範囲ＡＲ４におけるエッジ画素は６個とされている。

エッジ探索範囲において検出されたエッジ画素が所定個数以上とされた場合には、輪郭が検出された領域として判定される。そして、四つのエッジ探索範囲のうち三つのエッジ探索範囲で輪郭が検出された場合に、人間の頭部らしきものが検出されたと判定する。
このとき、輪郭の検出に用いる閾値は、エッジ探索範囲ごとに異なる。具体的には、エッジの検出方向の画素数に０．５を乗算した値が閾値とされる。
例えば、エッジ探索範囲ＡＲ１及びエッジ探索範囲ＡＲ２であれば、水平方向のエッジ検出が行われたため、水平方向の画素数（＝８個）に０．５を乗算した４個が閾値とされる。
また、エッジ探索範囲ＡＲ３及びエッジ探索範囲ＡＲ４であれば、垂直方向のエッジ検出が行われたため、垂直方向の画素数（＝６個）に０．５を乗算した３個が閾値とされる。

エッジ探索範囲ごとの閾値を用いて輪郭が検出されたか否かを判定すると、エッジ探索範囲ＡＲ１については輪郭が検出されたと判定される。同様に、エッジ探索範囲ＡＲ２については輪郭が検出されていないと判定される。また、エッジ探索範囲ＡＲ３及びエッジ探索範囲ＡＲ４については、輪郭が検出されたと判定される。
即ち、エッジ探索範囲ＡＲ１とエッジ探索範囲ＡＲ３とエッジ探索範囲ＡＲ４の三つのエッジ探索範囲で輪郭が検出されたと判定される。このように、人間の頭部の検出を行う場合には、四つのエッジ探索範囲のうち三つのエッジ探索範囲において輪郭が検出されたと判定した場合に、検出被写体の形状と特定の被写体とされたユーザの頭部の形状が類似していると判定する。

以上説明したように、図３に示す走査・決定処理部３５においては、検出被写体と特定の被写体の大きさ及び形状が類似しているか否かを判定するために上述した処理を行う。そして、走査・決定処理部３５は、大きさの類似度と形状が類似しているか否かに応じて、後段の詳細検出処理（顔認証処理などの同定処理）を実行するか否かを決定する。換言すれば、走査・決定処理部３５は、検出被写体が同定処理の処理対象の被写体であるか否かを決定する決定処理を行う。

走査・決定処理部３５は、後段の撮像装置制御部５に対して結果情報を出力する。結果情報としては、例えば、同定処理を実行するか否かの判定結果だけでなく、処理対象の被写体が検出された画像領域を特定する情報が出力される。
後段の詳細検出処理としての同定処理は、高解像度の画像を対象とした画像認識処理などが実行されるため、消費電力が過度に大きくなってしまう虞があるが、走査・決定処理部３５から処理対象の被写体が検出された画像領域を特定する情報が出力されることで、後段の同定処理において、処理対象の画像領域を限定することが可能となり、詳細検出処理の処理負担軽減や消費電力軽減が図られる。

同定処理では、各種の画像認識処理を適用することが可能である。例えば、ＤＮＮ（Deep Neural Network）やＣＮＮ（Convolutional Neural Network）などを用いて被写体が撮像装置１を使用する使用ユーザであるか否かを判定する顔認証処理を実行してもよい。また、顔認証以外に網膜認証などの他の認証手段を用いてもよい。

このような詳細検出処理は、例えば、撮像装置制御部５が備える同定処理部４１によって実行可能とされていてもよい。
例えば、撮像装置制御部５は、図１３に示すように、同定処理部４１、処理結果通知部４２、ロック処理部４３、ロック解除処理部４４などを備えていてもよい。

同定処理部４１は、信号処理部１２の走査・決定処理部３５から出力される結果情報に応じて同定処理を実行する。具体的には後述する。

処理結果通知部４２は、同定処理の処理結果を例えば撮像装置１の表示部などに表示させる処理を実行することにより、ロック解除の正否をユーザに通知する。

ロック処理部４３は、撮像装置１をロックする処理として各種の機能に制限を掛ける処理を実行する。具体的には、スマートフォンのスリープ状態から起動状態への移行についてのロック処理を行う。
ロック解除処理部４４は、ロック処理部４３によってロックされた各種機能のロックを解除する処理を行う。具体的には、スマートフォンにおいてロック解除処理を行うことにより、スリープ状態から起動状態へと移行される。ロック解除処理は、同定処理部４１の同定処理の結果に応じて実行される。

＜３．各種処理＞
撮像装置１の信号処理部１２や撮像装置制御部５などの各処理部が実行する処理の一例について、添付図を参照して説明する。

＜３－１．全体の処理＞
ユーザが撮像装置１のロックを解除する操作を行ってからロックが解除されるまでに実行される各種の処理について、図１４を参照して説明する。

撮像装置１の信号処理部１２は、ステップＳ１０１の頭部検出処理を実行する。頭部検出処理は、低解像度の距離画像に基づいて頭部らしきものを検出する処理である。頭部検出処理は、例えば、一定時間ごとに実行される。

ステップＳ１０１の頭部検出処理を実行することにより、信号処理部１２は頭部らしきものが検出されたか否かの処理結果を得ることができる。そして、信号処理部１２は頭部検出処理の処理結果を頭部検出フラグとして設定する。

続いて、信号処理部１２はステップＳ１０２において、頭部検出フラグがＯＮであるかＯＦＦであるかに基づく分岐処理を行う。
頭部検出フラグがＯＮに設定されている場合、即ち、頭部らしきものが検出された場合、撮像装置制御部５はステップＳ１０３において、高解像度画像準備処理を行う。この処理は、高解像度の画像を用いた上述の詳細検出処理を実行するための準備処理である。

高解像度の画像の準備を終えた後、撮像装置制御部５はステップＳ１０４において、詳細検出処理としての同定処理を行う。この処理によって、ステップＳ１０１で検出された頭部らしき被写体が撮像装置１のユーザの頭部であるか否か判定される。
そして、ステップＳ１０１で検出された頭部らしき被写体がユーザの頭部と一致したと判定した場合には、図１４に図示しない処理によって、ロック解除処理などが実行される。

＜３－２．頭部検出処理＞
図１４のステップＳ１０１に示す頭部検出処理の具体的な処理フローについて図１５に示す。
信号処理部１２はステップＳ２０１において、初期化処理を実行する。
初期化処理の一例を図１６に示す。
初期化処理では、信号処理部１２は先ずステップＳ３０１において、頭部検出フラグをＯＦＦに設定する。

次に、信号処理部１２はステップＳ３０２において、低解像度モードを設定する。これは、頭部検出処理に低解像度の距離画像や輝度画像が用いられるためである。

低解像度モードを設定した後、信号処理部１２はステップＳ２０１の初期化処理を終える。

図１５の説明に戻る。
信号処理部１２はステップＳ２０２において、低解像度の距離画像と輝度画像を取得する。距離画像と輝度画像を取得するためには、測距モジュール制御部９を介してＩＲ発光部６とＩＲ受光部１１のタイミング制御を行う。

信号処理部１２はステップＳ２０３において、輝度画像を用いた距離画像の補正を行う。この処理は、上述した補正処理を指す。

続いて、信号処理部１２はステップＳ２０４において、所定距離以内に被写体を検出したか否かを判定する。この処理では、被写体が頭部らしきものであるか否かなどの判定処理は行わずに、単に撮像装置１から所定距離以内に位置する被写体が存在するか否かを判定するものである。

所定距離以内（例えば５０ｃｍ以内）に被写体が検出されなかった場合、信号処理部１２はステップＳ２０２へと戻り、低解像度の距離画像と輝度画像の取得を再度行う。即ち、ステップＳ２０２からステップＳ２０４の処理を一定時間毎に実行する。

一方、ステップＳ２０４において、所定距離以内に被写体が検出されたと判定した場合、信号処理部１２はステップＳ２０５へと進み、距離画像についてのエッジ画像を取得する。
ここで取得するエッジ画像は、距離画像の全画素領域において、水平方向と垂直方向のエッジ検出を行うことにより得られるエッジ画像である。

次に、信号処理部１２はステップＳ２０６において、画素ごとの検出処理を行う。画素ごとの検出処理とは、処理対象の画素を列方向及び行方向に順次ずらしていくことによりそれぞれの画素を選択すると共に、選択された画素について各種の処理を適用するものである。具体的には、選択された画素を中心として前述した二つのボックスフィルタを適用することによって被写体の大きさの類似度を算出する処理や、エッジ画像を用いて被写体の形状が特定の被写体とされたユーザの頭部形状と類似しているか否かを判定する処理などが実行される。

ステップＳ２０６の画素ごとの検出処理について、具体例を図１７に示す。
信号処理部１２はステップＳ４０１において未選択の画素を選択する。ステップＳ４０１は繰り返し実行されることにより順次未選択の画素が選択されてステップＳ４０２以降の各処理が適用されていく。これにより、取得した距離画像における全画素に対してステップＳ４０２以降の各処理を適用することができる。
なお、低解像度の距離画像において外縁部付近に配置された画素については、選択対象から除外してもよい。外縁部付近の画素が中心となるように前述のボックスフィルタの適用やエッジ画像を用いた形状の特定を実行しても、適切な結果が得られない可能性が高いためである。また、後段の詳細検出処理についても外縁部付近の画素については適切な同定処理が実行できない可能性がある。

信号処理部１２はステップＳ４０２において、距離情報を取得する。取得する距離情報は、ステップＳ４０１で選択した画素についての距離情報である。

次に、信号処理部１２はステップＳ４０３において、頭部サイズと距離情報を用いて検証領域を設定する。撮像装置から被写体までの距離に応じて当該被写体が画像内に占める割合、即ち画像内での被写体の大きさが変わる。画像内における被写体の大きさは、被写体の大きさ（頭部サイズ）と距離情報が分かれば算出可能である。ここでは、記憶された頭部サイズと検出された被写体についての距離情報に基づいて該被写体が検出対象の頭部であれば画像内で占めるであろう領域を検証領域として設定する。なお、検証領域の中心はステップＳ４０１で選択した画素となるようにする。

信号処理部１２はステップＳ４０４において、類似度算出フィルタのフィルタサイズを算出する。類似度算出フィルタとは、前述した第１フィルタＢＦ１と第２フィルタＢＦ２のことである。第１フィルタＢＦ１は、前述のように、検証領域と同サイズのボックスフィルタである。

信号処理部１２はステップＳ４０５において、類似度算出フィルタを検証領域に適用して類似度を算出する。

信号処理部１２はステップＳ４０６において、エッジ探索範囲と閾値個数を設定する（図１２参照）。

信号処理部１２はステップＳ４０７において、それぞれのエッジ探索範囲ごとにエッジ画素の個数をカウントする。

信号処理部１２はステップＳ４０８において、類似度が一定値以上かつエッジ個数が閾値個数よりも多いエッジ探索範囲が三つであるか否かを判定する。
例えば、図７に示すような状態であれば、類似度が一定以上と判定される。また、図１２に示すような状態であれば、エッジ個数が閾値個数よりも多いエッジ探索範囲が三つであると判定される。

ステップＳ４０８に示す二つの条件を共に満たした場合には、信号処理部１２はステップＳ４０９において、頭部検出フラグをＯＮに設定する。これは、頭部らしきものが検証領域において検出されたことを意味する。

ステップＳ４０９の処理を終えた後、信号処理部１２はステップＳ４１０において、類似度に基づいて頭部候補領域を更新する。例えば、ステップＳ４０２からステップＳ４０８の一連の処理は処理対象の画素を変えて複数回実行されるが、その過程において、頭部らしき被写体が複数回検出される場合、即ち、異なる複数の検証領域において頭部らしき被写体が検出される場合がある。その場合には、最も類似度が高い検証領域を頭部候補領域として選択する処理がステップＳ４１０で実行される。

ステップＳ４１０の処理を終えた後、信号処理部１２はステップＳ４１１において、距離画像において未処理の画素の有無を判定する。未処理の画素がある場合には、ステップＳ４０１へと戻り未処理の画素を選択した後、図１７に示すステップＳ４０２からステップＳ４１１の各処理を再度実行する。

一方、未処理の画素がない場合、即ち、全ての画素について図１７に示すステップＳ４０２からステップＳ４１０の各処理を実行し終えた場合、信号処理部１２は図１７に示す画素ごとの検出処理を終える。

ステップＳ４０８に示す二つの判定条件のうち、少なくとも一方の条件を満たさなかった場合、信号処理部１２はステップＳ４０１の処理へと進み、次の画素を選択する。

図１５の説明に戻る。
信号処理部１２はステップＳ２０７において、頭部検出フラグを後段の撮像装置制御部５に出力する。
そして、信号処理部１２は検出された領域を対象領域として適宜出力する。具体的には、信号処理部１２はステップＳ２０８において、頭部検出フラグがＯＮに設定されているか否かを判定する。
頭部検出フラグがＯＮであると判定した場合、信号処理部１２はステップＳ２０９において、頭部らしき被写体が検出された領域を対象領域として撮像装置制御部５に出力する。
これにより、図１４のステップＳ１０４の同定処理において、撮像装置制御部５は一部の領域、即ち対象領域のみを対象とした処理を行うだけでよい。

一方、ステップＳ２０８において頭部検出フラグにＯＦＦが設定されていると判定した場合は、信号処理部１２はステップＳ２０９の処理を実行せずに図１５に示す頭部検出処理を終える。この場合には、撮像装置制御部５は高解像度の画像を準備する処理（ステップＳ１０３の処理）や同定処理（ステップＳ１０４の処理）が実行されない。
即ち、人間の頭部らしき被写体が簡易検出処理としての頭部検出処理において検出された場合にのみ、後段の高解像度画像を用いた同定処理を実行すればよい。

＜３－３．高解像度画像準備処理＞
高解像度画像準備処理は、処理対象の被写体と撮像装置１の使用ユーザ（＝登録されているユーザ）の顔（頭部）が一致するか否かを判定する同定処理に用いる高解像度画像の準備等を行う処理である。具体的に図１８を参照して説明する。

撮像装置制御部５はステップＳ５０１において同定処理の適用対象となる領域である対象領域を特定する情報を取得する。対象領域は、低解像度の距離画像上の領域である。
次に撮像装置制御部５はステップＳ５０２において、低解像度の距離画像における対象領域に対応する領域が高解像度の距離画像及び輝度画像上でどこになるのかを算出する。算出した領域は「対応領域」とされる。

撮像装置制御部５はステップＳ５０３において、高解像度モードを設定する。これにより、測距モジュール制御部９を介してＴｏＦセンサから高解像度の距離画像が取得可能とされる。また、輝度画像撮像部３においても高解像度の輝度画像が取得可能とされる。

撮像装置制御部５はステップＳ５０４において、高解像度の距離画像と高解像度の輝度画像を取得し、高解像度画像準備処理を終える。
なお、高解像度の距離画像と輝度画像を取得する際にアクティブ投光を行う場合には、対応領域についての画像データが取得可能なように一部の領域に限定した投光を行ってもよい。これにより、アクティブ投光に係る消費電力を削減することができる。

なお、図１に示す構成では、低解像度の距離画像や輝度画像はＴｏＦセンサ７から外部へ出力されないため、セキュリティの向上を図ることができる。また、高解像度の距離画像については、同定処理が必要となった場合にのみＴｏＦセンサ７の外部（撮像装置制御部５）へ出力される点においても、セキュリティの向上が図られている。

なお、図１に示す撮像装置１以外の構成として、詳細検出処理としての同定処理に用いる高解像度の輝度画像をＴｏＦセンサ７の信号処理部１２が生成できるようにしてもよい。その場合には、図１９に示すように、輝度画像撮像部３と第１レンズ系４を省略して撮像装置１を構成することも可能である。これにより、同定処理を実行する場合のみＴｏＦセンサ７から高解像度の距離画像と輝度画像が出力されるため、セキュリティの更なる向上を図ることが可能となる。また、その場合には、ＴｏＦセンサ７で取得した距離画像と輝度画像について全画素領域に亘って出力するのではなく、対応領域の画像情報のみ撮像装置制御部５に出力するように構成することが可能である。これにより、画像情報の出力を最低限に抑えることができ、セキュリティの向上を図ることができる。

＜３－４．同定処理＞
同定処理の手法は各種考えられる。その一例について図２０を参照して説明する。

撮像装置制御部５はステップＳ６０１において、高解像度の画像上において対応領域を設定する。具体的には、ステップＳ５０２で算出した対応領域をステップＳ５０４で取得した高解像度の距離画像と輝度画像に適用することにより、高解像度の各画像上における対応領域を設定する。

撮像装置制御部５はステップＳ６０２において、設定した対応領域を対象として顔認証処理を実行する。顔認証処理は、例えば、ストラクチャードライトを被写体に照射することにより被写体の凹凸と登録された情報を比較する処理を実行することにより顔認証を行ってもよいし、テンプレート画像と輝度画像のマッチング処理を行うことにより顔認証を行ってもよいし、これらを組み合わせて高精度な顔認証を行ってもよい。

撮像装置制御部５はステップＳ６０３において、顔認証の成否に基づく分岐処理を行う。
顔認証が成功したと判定した場合、撮像装置制御部５はステップＳ６０４において成功フラグを出力する。
一方、顔認証が失敗したと判定した場合、即ち、対応領域の被写体が登録されているユーザの顔ではないと判定した場合、撮像装置制御部５はステップＳ６０５において失敗フラグを出力する。

ステップＳ６０４の成功フラグやステップＳ６０５の失敗フラグに応じて、撮像装置制御部５は各種の処理を実行する。例えば、成功フラグが出力された場合、撮像装置制御部５は撮像装置１の各種機能のロック状態を解除する処理を行う。
また、失敗フラグが出力された場合、その旨をユーザに通知するなどの処理を実行する。

＜４．変形例＞
上述した撮像装置１は、距離画像を取得するためにＴｏＦセンサ７を備えていたが、それ以外の手法によって距離画像を取得してもよい。例えば、撮像装置１がＴｏＦセンサ７の代わりにステレオ画像取得部を備えていてもよい。

また、ＴｏＦセンサ７は、記憶部１０を備えて構成されていてもよい。即ち、頭部サイズ情報はＴｏＦセンサ７内に記憶されていてもよい。

上述の例では、使用者の顔や頭部を検出対象の一例としたが、検出対象はそれ以外の被写体であってもよい。
例えば、ユーザの手のひらを検出対象としてもよいし、瞳を検出対象としてもよいし、指先の指紋などを検出対象としてもよい。
また、認証処理に適用されるだけでなく、画角に目的の動物が被写体として写り込んだか否かを頭部検出処理に相当する簡易検出処理で検出し、簡易検出処理で目的の動物らしき被写体を検出した場合に詳細検出処理を実行するように構成することが可能である。
或いは、監視カメラなどにおいて、通常時は低解像度の簡易検出処理を実行することにより人間らしきものを検出し、人間らしきものを検出した場合に高解像度の画像を用いた詳細検出処理を実行してもよい。この場合には、詳細検出処理において被写体が人間であると同定した場合には、高解像度の映像が記録されるように構成してもよい。
これにより、人間が検出されない限りは低解像度の簡易検出処理が実行されるため、演算量が大きく削減され、消費電力を大幅に低下させることができる。また、人間が検出された場合に限り高解像度の映像が記録されるため、記憶領域の有効利用を図ることができる。また、記憶領域に記憶された映像データをサーバなどの外部機器に転送するネットワークカメラなどとして撮像装置１を採用した場合には、映像データのデータ量が小さくされるため、通信帯域を有効利用することができる。
もちろん、人間だけでなく、犬や猫などを対象として検出処理を実行してもよい。

低解像度の簡易検出処理の実行タイミングは各種考えられる。例えば、演算量が少なく消費電力が少ないことから、常時実行してもよい。これにより、ユーザが撮像装置１としてのスマートフォンの画面を覗き込むだけで簡易検出処理及び詳細検出処理が実行され得る。
また、それ以外の方法として、加速度センサやジャイロセンサなどの装置の動きを検出する動きセンサの信号を組み合わせて簡易検出処理を実行することが考えられる。例えば、このような動きセンサの信号を解析し、撮像装置１をユーザが手に取ったことを検出した場合に、簡易検出処理を開始してもよい。また、動きセンサの信号の解析を続け、再び撮像装置１が机などに置かれたことを検出した場合には、簡易検出処理を終了させてもよい。これにより、消費電力を更に削減することができる。

上述した例では、距離画像と輝度画像を用いて簡易検出処理と詳細検出処理を行う例を示したが、距離画像のみを用いて簡易検出処理と詳細検出処理を行ってもよい。
この場合には、図１５のステップＳ２０２では距離画像のみを取得し、ステップＳ２０３の処理は実行しない。また、図１８のステップＳ５０４では高解像度の距離画像のみを取得し、図２０のステップＳ６０２の顔認証処理は高解像度の距離画像のみを用いて行えばよい。

＜５．まとめ＞
上述した信号処理部１２を備えた信号処理装置としての撮像装置１は、特定の被写体（例えば撮像装置１の使用ユーザの顔や頭部）の大きさ情報を記憶する記憶部１０と、被写体が特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像（図４に示す距離画像）を取得し、第２画像の被写体の大きさ情報と特定の被写体の大きさ情報とに基づいて、第２画像の被写体が第１画像を用いた同定処理の処理対象の被写体であるか否かを決定する決定処理部（走査・決定処理部３５）と、を備えている。
特定の被写体の大きさ情報と被写体の距離情報を用いることで、第２画像の画角内における特定の被写体の画像領域の大きさを推定することができる。
これにより、画角内に写る被写体が処理対象の被写体であるか否か、即ち、特定の被写体であるのか否かの推定を簡易的に行うことができる。そして、画像の拡大や縮小を行うことにより多様な解像度の画像を生成し、各画像において顔テンプレートにマッチする領域を検索する場合と比較して、解像度の多様性を抑えて画像を生成することができる。従って、顔テンプレートを用いたマッチング処理における演算量を大きく抑えることができ、消費電力を大幅に削減することが可能となる。
具体的には、特定の被写体の大きさ情報を用いずに第２画像の被写体が特定の被写体であるか否かの推定を行う場合には、第２画像の拡大や縮小を行うことにより解像度の異なる多種類（例えば３０種類）の画像を生成してマッチング処理を行う必要があるのに対し、特定の被写体の大きさ情報を用いて同様の処理を行う場合には、ある特定の解像度の画像や、特定の解像度付近の数種類（例えば３種類など）の解像度の画像を生成するだけで、第２画像内の被写体が特定の被写体であるか否かの推定を行うことが可能となる。
このようにして、演算量と消費電力の大幅な削減を実現することができる。
また、特定の被写体が顔である場合には、人種や性別や年齢によって顔の大きさは異なる。これらの大きさの違いを考慮しない場合には、顔検出精度が低下するという問題があった。具体的には、演算量を減らすために顔の大きさを予め決めておき、それに基づいて検出処理を行うため、人種や年齢などにより想定されていた顔の大きさと異なる被写体である場合には、顔検出精度が低下してしまう。
また、被写体の顔の大きさの違いを許容するためには、取得した画像データの拡大や縮小を行うことにより、多重解像度の検出処理を行うことが考えられるが、演算量が増大してしまい消費電力が増加してしまう。
しかし、本構成によれば、特定の被写体の大きさ情報を用いて同定処理を行うため、顔検出精度を向上させることが可能となる。
また、簡易検出処理は低解像度の距離画像に基づいて行われるため、高速に処理を行うことが可能である。従って、簡易検出処理の後段の詳細検出処理の実行タイミングを高速化することができ、顔認証までに要する時間を短縮することができる。具体的には、ユーザがスマートフォンに顔をかざしてからロックが解除されるまでの時間を短くすることができる。

図１５のフローチャートで説明したように、信号処理部１２の決定処理部（走査・決定処理部３５）は、第２画像における処理対象の被写体の画像領域を対象領域として特定してもよい。
対象領域が特定されることで、後段の同定処理は、対象領域のみを対象として同定処理を行えばよい。
これにより、同定処理における演算量を削減することができ、消費電力を更に削減することが可能となる。

図７から図９の各図を用いて説明したように、信号処理部１２の決定処理部（走査・決定処理部３５）は、特定の被写体の大きさと第２画像の被写体の大きさの類似度に基づいて処理対象の被写体であるか否かを決定してもよい。
これにより、特定の被写体と異なる大きさの被写体が処理対象の被写体として検出されてしまうことが防止される。
従って、後段の同定処理の実行回数を低減させることができ、消費電力を削減することが可能となる。

図７から図９の各図を用いて説明したように、類似度は、二つのボックスフィルタ（第１フィルタＢＦ１、第２フィルタＢＦ２）を用いて算出してもよい。
ボックスフィルタを用いた演算は一定の演算量で行うことができる。
従って、類似度の算出に係る演算量の増大を回避することができる。

図１０から図１２の各図を用いて説明したように、信号処理部１２の決定処理部（走査・決定処理部３５）は、特定の被写体の形状と第２画像の被写体の形状が類似している場合に第２画像の被写体を処理対象の被写体として決定してもよい。
これにより、特定の被写体と大きく異なる形状の被写体が処理対象の被写体として検出されてしまうことが防止される。
従って、後段の同定処理の実行回数を低減させることができ、消費電力を削減することが可能となる。

図１０から図１２の各図を用いて説明したように、信号処理部１２の決定処理部（走査・決定処理部３５）は、第２画像から抽出したエッジ情報（図１２参照）に基づいて特定の被写体の形状と第２画像の被写体の形状が類似しているか否かを判定してもよい。
エッジ情報に基づいて形状が類似しているか否かを判定することにより、特定の被写体と同程度の大きさであり且つ同様の形状をした被写体が処理対象の被写体として判定される。
従って、特定の被写体である可能性が高い被写体を検出した場合にのみ後段の同定処理が実行されるため、消費電力が高い同定処理の実行回数を低減させることができる。

図１３を用いて説明したように、同定処理を行う同定処理部４１を備えていてもよい。
第２画像に対する各処理を実行した結果同定処理を実行するか否かが判定される。そして、同定処理の実行が決定された場合に同定処理部が同定処理を実行する。
これにより、同定処理の実行回数を低減させることができ、消費電力の削減を図ることができる。

図１４等において説明したように、同定処理部４１は、第２画像の被写体が第１画像を用いた同定処理の処理対象の被写体であると決定処理部（走査・決定処理部３５）が判定した場合に同定処理を行ってもよい。
第２画像の画角内に写る被写体が特定の被写体と異なる大きさである場合には、後段の同定処理を実行せずに済む。この点においても処理負担の軽減が図られる。
更に、同定処理に用いられる第１画像よりも低解像度の第２画像を用いて同定処理の実行の要否を決定するため、上述した簡易検出処理と詳細検出処理の双方について第１画像を用いるよりも演算量の削減が図られ、消費電力を削減することができる。そして、必要が認められた場合に限り後段の高解像度画像データ（第１画像データ）に基づく同定処理が行われるため、同定処理の実行頻度を抑えることができ、更なる消費電力の削減を図ることができる。

図１８等を用いて説明したように、撮像装置制御部５の決定処理部（走査・決定処理部３５）は、第２画像における処理対象の被写体の画像領域を対象領域として特定し、同定処理部４１は、第１画像における領域のうち、対象領域に対応する領域を対応領域として特定してもよい。
対応領域を特定することにより、適切な領域を対象として同定処理を実行することができる。
従って、同定処理の精度を向上させることができる。

図２０等を用いて説明したように、撮像装置制御部５の同定処理部４１は、対応領域を対象として同定処理を行ってもよい。
対応領域を対象として同定処理を行うことにより、同定処理の演算量が削減される。
これにより、消費電力の更なる削減を図ることができる。

図２０等を用いて説明したように、特定の被写体は特定の人物とされ、同定処理部４１は、同定処理として、第２画像の被写体が特定の人物と同一人物であるか否かを判定する処理を行ってもよい。
第２画像の被写体が特定の人物であるか否かを判定する処理は、例えば、顔認証システムに用いることが可能である。
本構成を適用した顔認証システム等において、高解像度の第１画像を用いた同定処理の前に低解像度の第２画像を用いて処理対象の被写体をふるいに掛けることで、消費電力の高い同定処理の実行回数を減らすことができ、省電力化を図ることができる。

変形例で説明したように、撮像装置制御部５の同定処理部４１は、同定処理として、第２画像の被写体の種別が特定の被写体の種別（例えば、「人」や「犬」や「猫」など）と同一種別であるか否かを判定する処理を行ってもよい。
第２画像の被写体の種別が特定の被写体の種別と同一であるか否かを判定する処理とは、例えば、犬が含まれる画像を検索する場合や人が含まれる画像を検索する場合などに用いることができる。
このような検索処理において本構成を適用することにより、消費電力の高い同定処理の実行回数を減らすことができ、省電力化を図ることができる。

図１や図１９等で説明したように、光電変換素子がアレイ状に配置された画素アレイ部２１と、特定の被写体（例えば撮像装置１の使用ユーザの顔や頭部）の大きさ情報を記憶する記憶部と、被写体が特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像（図４に示す距離画像）を取得し、第２画像の被写体の大きさ情報と特定の被写体の大きさ情報とに基づいて、第２画像の被写体が第１画像を用いた同定処理の処理対象の被写体であるか否かを決定する決定処理部（走査・決定処理部３５）と、を備えていてもよい。
このような撮像装置１により、上述した各種の作用効果を得ることができる。

また、このような撮像装置１の画素アレイ部２１は、第２画像を出力してもよい。
第２画像は第１画像よりも低解像度であるため、画素アレイ部２１における読み出し回数が少なくされる。
従って、読み出しに係る処理負担や消費電力を削減することができる。

決定処理部（走査・決定処理部３５）は、画素アレイ部２１から出力される輝度信号に基づいて距離画像を補正した補正済み距離画像（図６参照）を用いて決定を行ってもよい。
例えば、発光部が赤外光を発光する場合、輝度値が閾値よりも低い画素についてはデプス値が大きいことが考えられる。
そのような画素についてのデプス値が小さい場合には、当該画素についての距離情報が正しくない虞があるため、補正処理としてデプス値を置き換える処理を行う。具体的には、例えば、物体が接近していないと判定される値、即ち近接判定に用いられる閾値よりも大きな値に置き換えてもよいし、近接判定の対象としないことを示す値（例えば、ｎｕｌｌ値など）に置き換えてもよい。
これにより、近接した物体が撮像された領域が適切に特定される可能性を高めることができる。

図１や図１９などで説明したように、決定処理部（走査・決定処理部３５）が画素アレイ部２１と同一センサチップ内に設けられていてもよい。
同定処理の事前処理として第２画像の被写体が処理対象の被写体であるか否かを決定する処理を行い、その結果処理対象の被写体であると決定された場合に、後段の同定処理が実行される。即ち、処理対象の被写体でないと決定された場合には、処理に用いた第２画像の情報などがセンサチップ外に送信されない。
従って、センサチップ外に送信される情報量や送信頻度を低減させることができるため、情報流出の機会を減らすことができ、セキュリティの向上を図ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞
本技術は以下のような構成を採ることもできる。
（１）
特定の被写体の大きさ情報を記憶する記憶部と、
被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えた
信号処理装置。
（２）
前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定する
上記（１）に記載の信号処理装置。
（３）
前記決定処理部は、前記特定の被写体の大きさと前記第２画像の被写体の大きさの類似度に基づいて前記処理対象の被写体であるか否かを決定する
上記（１）から上記（２）の何れかに記載の信号処理装置。
（４）
前記類似度は、二つのボックスフィルタを用いて算出される
上記（３）に記載の信号処理装置。
（５）
前記決定処理部は、前記特定の被写体の形状と前記第２画像の被写体の形状が類似している場合に前記第２画像の被写体を前記処理対象の被写体として決定する
上記（３）から上記（４）の何れかに記載の信号処理装置。
（６）
前記決定処理部は、前記第２画像から抽出したエッジ情報に基づいて前記特定の被写体の形状と前記第２画像の被写体の形状が類似しているか否かを判定する
上記（５）に記載の信号処理装置。
（７）
前記同定処理を行う同定処理部を備えた
上記（１）に記載の信号処理装置。
（８）
前記同定処理部は、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であると前記決定処理部が判定した場合に前記同定処理を行う
上記（７）に記載の信号処理装置。
（９）
前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定し、
前記同定処理部は、前記第２画像における前記対象領域に対応する前記第１画像の対応領域を特定する
上記（７）から上記（８）の何れかに記載の信号処理装置。
（１０）
前記同定処理部は、前記第１画像における前記対応領域を対象として前記同定処理を行う
上記（９）に記載の信号処理装置。
（１１）
前記特定の被写体は特定の人物とされ、
前記同定処理部は、前記同定処理として、前記第２画像の被写体が前記特定の人物と同一人物であるか否かを判定する処理を行う
上記（７）から上記（１０）の何れかに記載の信号処理装置。
（１２）
前記同定処理部は、前記同定処理として、前記第２画像の被写体の種別が前記特定の被写体の種別と同一種別であるか否かを判定する処理を行う
上記（７）から上記（１０）の何れかに記載の信号処理装置。
（１３）
光電変換素子がアレイ状に配置された画素アレイ部と、
特定の被写体の大きさ情報を記憶する記憶部と、
被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えた
撮像装置。
（１４）
前記画素アレイ部は、前記第２画像を出力する
上記（１３）に記載の撮像装置。
（１５）
前記決定処理部は、前記画素アレイ部から出力される輝度信号に基づいて前記距離画像を補正した補正済み距離画像を用いて前記決定を行う
上記（１３）から上記（１４）の何れかに記載の撮像装置。
（１６）
前記決定処理部が前記画素アレイ部と同一センサチップ内に設けられた
上記（１３）から上記（１５）の何れかに記載の撮像装置。
（１７）
特定の被写体の大きさ情報を記憶し、
被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、
前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する
信号処理装置が行う信号処理方法。

１ 撮像装置
７ ＴｏＦセンサ（センサチップ）
１０ 記憶部
１２ 信号処理部
２１ 画素アレイ部
３５ 走査・決定処理部（決定処理部）
４１ 同定処理部
ＢＦ１ 第１フィルタ（ボックスフィルタ）
ＢＦ２ 第２フィルタ（ボックスフィルタ）

Claims (17)

1. 特定の被写体の大きさ情報を記憶する記憶部と、
   被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えた
   信号処理装置。
2. 前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定する
   請求項１に記載の信号処理装置。
3. 前記決定処理部は、前記特定の被写体の大きさと前記第２画像の被写体の大きさの類似度に基づいて前記処理対象の被写体であるか否かを決定する
   請求項１に記載の信号処理装置。
4. 前記類似度は、二つのボックスフィルタを用いて算出される
   請求項３に記載の信号処理装置。
5. 前記決定処理部は、前記特定の被写体の形状と前記第２画像の被写体の形状が類似している場合に前記第２画像の被写体を前記処理対象の被写体として決定する
   請求項３に記載の信号処理装置。
6. 前記決定処理部は、前記第２画像から抽出したエッジ情報に基づいて前記特定の被写体の形状と前記第２画像の被写体の形状が類似しているか否かを判定する
   請求項５に記載の信号処理装置。
7. 前記同定処理を行う同定処理部を備えた
   請求項１に記載の信号処理装置。
8. 前記同定処理部は、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であると前記決定処理部が判定した場合に前記同定処理を行う
   請求項７に記載の信号処理装置。
9. 前記決定処理部は、前記第２画像における前記処理対象の被写体の画像領域を対象領域として特定し、
   前記同定処理部は、前記第１画像における領域のうち、前記対象領域に対応する領域を対応領域として特定する
   請求項７に記載の信号処理装置。
10. 前記同定処理部は、前記対応領域を対象として前記同定処理を行う
    請求項９に記載の信号処理装置。
11. 前記特定の被写体は特定の人物とされ、
    前記同定処理部は、前記同定処理として、前記第２画像の被写体が前記特定の人物と同一人物であるか否かを判定する処理を行う
    請求項７に記載の信号処理装置。
12. 前記同定処理部は、前記同定処理として、前記第２画像の被写体の種別が前記特定の被写体の種別と同一種別であるか否かを判定する処理を行う
    請求項７に記載の信号処理装置。
13. 光電変換素子がアレイ状に配置された画素アレイ部と、
    特定の被写体の大きさ情報を記憶する記憶部と、
    被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する決定処理部と、を備えた
    撮像装置。
14. 前記画素アレイ部は、前記第２画像を出力する
    請求項１３に記載の撮像装置。
15. 前記決定処理部は、前記画素アレイ部から出力される輝度信号に基づいて前記距離画像を補正した補正済み距離画像を用いて前記決定を行う
    請求項１３に記載の撮像装置。
16. 前記決定処理部が前記画素アレイ部と同一センサチップ内に設けられた
    請求項１３に記載の撮像装置。
17. 特定の被写体の大きさ情報を記憶し、
    被写体が前記特定の被写体であるか否かを判定する同定処理に用いられる第１画像よりも低解像度の距離画像とされた第２画像を取得し、
    前記第２画像の被写体の大きさ情報と前記特定の被写体の大きさ情報とに基づいて、前記第２画像の被写体が前記第１画像を用いた前記同定処理の処理対象の被写体であるか否かを決定する
    信号処理装置が行う信号処理方法。

Images