JP2020154408A - 情報処理装置、情報処理方法、及び情報処理システム - Google Patents

Abstract

【課題】より正確に被写体を認識することができるようにする。【解決手段】撮影画像に含まれる被写体の位置を示す位置情報と、被写体の向きを示す向き情報に基づいて、被写体の歪みを特定し、特定した被写体の歪みに基づいて、被写体の形状を識別する処理部を備える情報処理装置が提供される。本技術は、例えば、顔認証システムに適用することができる。【選択図】図８

Description

本開示は、情報処理装置、情報処理方法、及び情報処理システムに関し、特に、より正確に被写体を認識することができるようにした情報処理装置、情報処理方法、及び情報処理システムに関する。

顔認証に関する技術については、従来から研究開発が進められており、近年ではスマートフォン等の情報端末に搭載されるなど、実用化が進んでいる（例えば、特許文献１，２参照）。

特開2008-015979号公報 特開2007-011456号公報

ところで、この種の顔認証では、実物の顔の代わりに、平面に表示された顔画像を用いたなりすましを防止するのが困難な状況になっており、より正確に被写体を認識することが求められる。

本開示はこのような状況に鑑みてなされたものであり、より正確に被写体を認識することができるようにするものである。

本開示の一側面の情報処理装置は、撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する処理部を備える情報処理装置である。

本開示の一側面の情報処理方法は、情報処理装置が、撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する情報処理方法である。

本開示の一側面の情報処理システムは、撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する情報処理装置を含む情報処理システムである。

本開示の一側面の情報処理装置、情報処理方法、及び情報処理システムにおいては、撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みが特定され、特定された前記被写体の歪みに基づいて、前記被写体の形状が識別される。

なお、本開示の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

レンズの焦点距離の概念を説明する図である。 ピンホールカメラにおける広角歪みの例を示す図である。 望遠レンズと広角レンズの焦点距離の例を示す図である。 広角歪みの発生原理と特性の第１の例を示す上面図である。 広角歪みの発生原理と特性の第２の例を示す上面図である。 結像部の詳細の第１の例を示す上面図である。 結像部の詳細の第２の例を示す上面図である。 本技術を適用した情報処理装置の構成の第１の例を示すブロック図である。 顔認証処理の第１の例の流れを説明するフローチャートである。 広角カメラの設置の例を模式的に示した図である。 顔画像と照合画像との照合の例を模式的に示した図である。 本技術を適用した情報処理装置の構成の第２の例を示すブロック図である。 顔認証処理の第２の例の流れを説明するフローチャートである。 顔認証処理の第２の例の流れを説明するフローチャートである。 本技術を適用したニューラルネットワークの構成の第１の例を示す図である。 本技術を適用した情報処理装置の構成の第３の例を示すブロック図である。 顔認証処理の第３の例の流れを説明するフローチャートである。 補正顔画像と登録画像との照合の例を模式的に示した図である。 顔写真の顔と実物の顔の撮影の例を模式的に示した図である。 ニューラルネットワークを利用した他の構成の例を示すブロック図である。 本技術を適用したニューラルネットワークの構成の第２の例を示す図である。 本技術を適用した情報処理装置の構成の第４の例を示すブロック図である。 顔認証処理の第４の例の流れを説明するフローチャートである。 本技術を適用したニューラルネットワークの構成の第３の例を示す図である。 本技術を適用した情報処理装置の構成の第５の例を示すブロック図である。 顔認証処理の第５の例の流れを説明するフローチャートである。 本技術の応用例として広角カメラの動作の例を説明する図である。 本技術を適用した情報処理装置の他の構成の例を示すブロック図である。 本技術を適用した情報処理システムの構成の例を示すブロック図である。 本技術を適用した情報処理装置の構成の例を示すブロック図である。 コンピュータの構成の例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．変形例
７．コンピュータの構成
８．移動体への応用例

＜１．第１の実施の形態＞

（焦点距離の概念）
「レンズの焦点距離」には、図１に示すように、２つの意味が含まれる。第１に、幾何光学に基づく単一レンズの焦点距離（ｆ）であり、図１のＡに示すように、並行光が入射した場合に結ぶ焦点Ｆと、レンズ９００の中心との距離を意味する。

第２に、カメラレンズの仕様に示される焦点距離（ｆ１）であり、撮影画角又は倍率を決める主要なパラメータである。具体的には、図１のＢに示すように、有限距離の被写体９１１を撮影する場合に、レンズ９００から像９１２（結像点）までの距離ｆ１と、レンズ９００から被写体９１１までの距離ｆ２には、下記の式（１）の関係が成立する。

１／ｆ１＋１／ｆ２＝１／ｆ ・・・（１）

ここで、人の眼球も、水晶体がレンズの働きをして像を網膜に投影しているが、水晶体と網膜との距離ｆ１を自在に変化させることはできない代わりに、毛様体筋の働きで水晶体の焦点距離ｆを変えることにより、ピントの調節を行っている。

一方で、カメラのレンズでピントを近くに合わせたり、遠くに合わせたりする場合には、フォーカスリングの回転で駆動される内蔵レンズの相対位置を変化させて、レンズ全体としての焦点距離ｆを変えることにより、ピント合わせを行っている。

カメラのレンズは、例えば５群７枚など、複数のレンズが組み込まれているが、仮想的には水晶体と同様に、焦点距離可変の１枚のレンズとして捉えることができる。その際に、図１のＢに示したｆ１、すなわち、仮想的なレンズ９００の中心から撮像素子９０１（又はフィルム）の距離をできるだけ変化させないように設計するのが理想的とされる。このｆ１が、カメラレンズの仕様に示される焦点距離である。

なお、図１においては、カメラのレンズ９００の焦点距離を説明するために、レンズ９００により１点に集まる３本の光路を描いていた。このような表現は、結像部がボケるか（ボケないか）の問題に関しては必要であるが、後述する本技術が利用する広角歪みの説明においては不要であり、レンズ中心を通る１本の光路のみで代表することができる。

図２は、ピンホールカメラの例を示している。ピンホールカメラでは、図２に示すように、レンズを使用せずに、ピンホールＰを利用して像面に、被写体９１１の像９１２を得ているが、この種のカメラにおいても広角歪みが発生している。

図３は、望遠レンズと広角レンズの焦点距離の例を示している。

望遠レンズは、標準レンズよりも画角の狭いレンズであって、例えば100mm等の焦点距離を有している。図３のＡに示すように、望遠レンズ９００Ｔを用いた場合、標準レンズや広角レンズと比べて焦点距離ｆ１が大きく、撮像素子９０１の受光面に写る画角が狭いため、遠くの被写体９１１の像９１２を大きく写すことができる。

広角レンズは、標準レンズよりも画角の広いレンズであって、例えば20mm等の焦点距離を有している。図３のＢに示すように、広角レンズ９００Ｗを用いた場合、標準レンズや望遠レンズと比べて焦点距離ｆ１が小さく、撮像素子９０１の受光面に写る画角が広いため、近くの被写体９１１の像９１２を小さく写すことができる。

（広角歪みの発生原理と特性の例）
次に、広角レンズを用いた場合に生じる撮影画像の歪み（以下、広角歪みという）の発生原理と特性について説明する。

ここでは、被写体９１１として、平面に表示された顔画像（以下、顔写真という）となる場合を例示して説明する。この顔写真としては、例えば、スマートフォンやタブレット端末等の情報端末のディスプレイに表示された静止画や動画のほか、印刷された人の顔を含む画像などが含まれる。

図４において、顔写真としての被写体９１１Ａが、撮像素子９０１の受光面に対して平行に置かれた場合、被写体９１１Ａとレンズ９００の中心のなす三角形Ｔ２に対し、像９１２Ａとレンズ９００の中心のなす三角形Ｔ１は相似になる。

このとき、図１のＢに示したｆ１，ｆ２の関係を用いれば、像９１２Ａの大きさは、被写体９１１Ａと比べて、相似比により、ｆ１／ｆ２の大きさとなる。

また、撮影画像における中心付近に写る被写体９１１Ａの像９１２Ａに限らず、周辺付近に写る被写体９１１Ｂの像９１２Ｂであっても、同一のｆ１／ｆ２の大きさとなる。つまり、撮像素子９０１の受光面において、中心部の像９１２Ａと周辺部の像９１２Ｂとは略同一の大きさとなる。

一方で、図５において、顔写真としての被写体９１１Ｃ，９１１Ｄが、レンズ９００の中心に向かって置かれた場合、三角形Ｔ１と三角形Ｔ２とが相似するためには、被写体９１１Ｃ，９１１Ｄが、撮像素子９０１に対して角度を持った像９１２Ｃ，９１２Ｄとして投影される。

このとき、撮影画像における中心部の被写体９１１Ｃの像９１２Ｃよりも、周辺部の被写体９１１Ｄの像９１２Ｄのほうが、撮像素子９０１に対してより大きな角度を持った像として投影される。しかしながら、実際に結像するのは、撮像素子９０１の受光面であるため、像９１２Ｃ，９１２Ｄは、撮像素子９０１上で斜めに投影され、歪みが発生する。

図６及び図７には、結像部の詳細の例を示している。ここでは、撮像素子９０１（の受光面）に対する被写体９１１（顔写真）の位置として、遠い位置にある場合を図６に示し、近い位置にある場合を図７に示している。

図６においては、被写体９１１が遠くに存在し、その像９１２の近傍へ入射する光は、並行光で近似できるものと仮定する。また、図６の角度θは、被写体９１１の向き、すなわち、撮像素子９０１の受光面に対する入射角度を表している。

ここで、相似三角形をなす面に投影される場合、像９１２の幅は、実寸のｆ１／ｆ２となるが、被写体９１１は、撮像素子９０１の受光面に対し、入射角度θを持って投影されるため、実際の像９１２の幅は、１／cosθ倍となる。

具体的には、図６では、撮像素子９０１の受光面に対し、被写体９１１Ｅが平行に置かれ、被写体９１１Ｆが入射角度θを持つ向きに置かれている。このとき、被写体９１１Ｅの像９１２Ｅは、実寸のｆ１／ｆ２の大きさとなる一方で、被写体９１１Ｆの像９１２Ｆは、実寸の（ｆ１／ｆ２）／cosθの大きさとなる。

また、図７においては、被写体９１１が近くに存在し、実際の被写体９１１の位置は、無限遠ではなく一定の距離ｆ２にあるため、被写体９１１からの入射光は、顔写真の顔の左右で角度を持っている。この場合、撮像素子９０１の受光面に投影される像９１２は、撮影画像における中心部側の拡大率は小さくなり、周辺部側の拡大率は大きくなる。

具体的には、図７では、撮像素子９０１の受光面に対し、被写体９１１Ｇが平行に置かれ、被写体９１１Ｈが入射角度θを持つ向きに置かれている。このとき、被写体９１１Ｈの像９１２Ｈの大きさは、被写体９１１Ｇの像９１２Ｇに対する上下方向の矢印で表すように、中心部側の拡大率が小さくなる一方で、周辺部側の拡大率は大きくなる。

以上のように、広角歪みは、単にカメラの特性のみでなく、被写体９１１の向きに大きく依存する。人の顔は立体物であるから、実物の顔を構成する各部位面のカメラに対する角度は一様ではない。一方で、顔写真（平面に表示された顔画像）のカメラに対する角度は一様である。そのため、実物の顔と顔写真との間では、広角歪みに差が生じる。

具体的には、同一人物について、実物の顔と顔写真のそれぞれを画角の周辺部で撮影した場合に、顔写真を撮影したときには均一に斜めに歪んでいる一方で、実物の顔を撮影したときには部位（例えば目や鼻、口等）ごとに歪み方が異なることを、本出願人の発明者は、詳細なるシミュレーションによって見出している。

ところで、顔認証に関する技術については、従来から技術開発が進められており、近年ではスマートフォンやタブレット端末等の情報端末に搭載されるなど、実用化が進んでいる。

しかしながら、この種の顔認証では、実物の顔の代わりに、顔写真などを用いたなりすましが問題になっている。例えば、情報端末のカメラ機能を利用しての静止画撮影により顔認証を行う場合、実物の顔と顔写真の顔とを区別することは困難であり、実物の顔の代わりに顔写真を用いたなりすましの危険性がある。

また、動画撮影により顔認証を行う場合には、顔の動きによって静止画との区別をつけることが可能である。しかしながら、近年、タブレット端末等の情報端末では、実物大の顔の動画を手軽に表示可能な手段が普及し、動画についてもなりすましが容易な状況になっている。

このように、２次元画像による顔認証では、なりすましを防止するのが困難な状況になりつつある。

一方で、カメラを２台（あるいはそれ以上の台数）用い、三角法による視差を利用して対象物の立体形状を識別することができる。しかしながら、その原理は、対象物を頂点とした２台のカメラとなす三角形の頂角に依存するため、対象物から離れるほどカメラの間隔を大きくする必要があり、装置が大きくなる。また、カメラが２台以上必要となるため、１台の場合と比べてコストも高くなる。

また、電子カメラの分野において、半導体技術及びデジタル処理技術の発展により、小型化のみならず、低価格化や高画質化が進み、著しい進歩を遂げている。そして、現状において、電子カメラでは、像が小さく写る広角レンズを用い、例えば数ｍ離れた位置にある被写体を撮影したとしても、顔認証に十分に必要な画素数の顔画像が得られるようになっている。

そこで、本技術では、広角を撮影可能なカメラによって被写体９１１を撮影し、その撮影画像に含まれる被写体９１１（被認証者の顔）の形状（立体的又は平面的な形状）を識別して顔認証が行われるようにする。

すなわち、本技術では、広角レンズの周辺部の歪みにおいて、立体物と平面物とで歪み方が異なる（実物の顔と顔写真の顔との間で広角歪みに差が生じる）ことに着目して、広角歪みが、単にカメラの特性のみでなく、被写体９１１の向きに大きく依存することから、撮影画像に含まれる被写体９１１の位置に関する位置情報に加え、その位置において被写体９１１の向いている向きに関する向き情報を加味して、立体的な顔（実物の顔）か、あるいは平面に投影された顔（顔写真の顔）かを識別する。

これにより、より正確に被写体９１１を認識することが可能となり、例えば、実物の顔の代わりに、顔写真（偽の顔画像）が提示された場合に、平面に投影された顔であることを認識したときには、顔認証システムを通過することを防げるため、確実に、顔写真（偽の顔画像）を用いたなりすましを防止することができる。

なお、広角レンズは、望遠レンズと比べて焦点距離が短いため小型化が可能であり、さらには画角が広いため広範囲を撮影可能であるという利点がある。つまり、本技術では、特にこのような広角レンズを用いることで、特別な装置を用いる必要がないという利点もある。また、本技術では、１台のカメラのみで顔認証を実現できるため、複数台のカメラを用いる場合と比べて、コストを抑えることができる。

以下、図面を参照しながら、本技術の詳細について説明する。

（情報処理装置の構成）
図８は、本技術を適用した情報処理装置の構成の第１の例を示している。

図８において、情報処理装置１０Ａは、制御部１００、広角カメラ１０１、顔検出・顔部位切り出し部１０２、登録画像データベース１０３、広角歪み加工部１０４、顔認証部１０５、及び認証結果出力部１０６から構成される。

制御部１００は、例えば、CPU(Central Processing Unit)等のプロセッサやFPGA(Field Programmable Gate Array)などから構成される。制御部１００は、情報処理装置１０Ａにおける各部の動作の制御や各種の演算処理を行う中心的な処理装置である。

広角カメラ１０１は、広角レンズを含む光学系と、当該光学系により集光された光を電気信号に変換する撮像素子と、カメラISP(Image Signal Processor)等の信号処理部とを含んで構成される。広角カメラ１０１では、撮像素子によって被写体９１１を撮影して得られる撮影信号に対し、信号処理部が各種の信号処理を行うことで撮影画像が生成され、顔検出・顔部位切り出し部１０２に供給される。

ただし、広角カメラ１０１は、広角歪みを利用できる角度に被写体９１１（の像９１２）が写るように設置される。例えば、ここでは、被写体９１１の像９１２が撮像素子の受光面の周辺部に集光され、撮影画像の周辺部に被写体９１１を含むように撮影することで、撮影画像に含まれる被写体９１１の広角歪みが利用可能となる。

顔検出・顔部位切り出し部１０２は、広角カメラ１０１から供給される撮影画像に対し、顔領域検出処理を施して顔領域を検出し、その顔領域の位置（座標）を示す顔位置情報（位置情報）を、広角歪み加工部１０４に供給する。この顔領域検出処理としては、例えばテンプレートマッチングなどの公知の技術を用いることができる。

また、顔検出・顔部位切り出し部１０２は、撮影画像に含まれる顔領域を切り出し、切り出された顔領域のサイズと輝度を標準化する切り出し処理を施すことで、顔画像を生成する。顔検出・顔部位切り出し部１０２は、生成した顔画像を、顔認証部１０５に供給する。なお、この顔画像は、被写体９１１の画像であるため、被写体画像であるとも言える。

登録画像データベース１０３は、例えば、半導体メモリやHDD(Hard Disk Drive)等の記憶装置に記憶され、CPUにより実行されるミドルウェア等により管理される。

登録画像データベース１０３には、照合に用いられる複数の登録画像及びその３次元形状に関する情報（以下、３次元情報という）を格納しており、広角歪み加工部１０４からの要求に応じて、登録画像及び３次元情報を供給する。

広角歪み加工部１０４は、登録画像データベース１０３から照合すべき登録画像及び３次元情報を読み出す。また、広角歪み加工部１０４には、顔検出・顔部位切り出し部１０２からの顔位置情報と、顔認証部１０５からの向き角度情報が供給される。

広角歪み加工部１０４は、顔位置情報及び向き角度情報に基づいて、登録画像データベース１０３から読み出した登録画像を加工して、広角歪みをシミュレートした照合画像を生成し、顔認証部１０５に供給する。

顔認証部１０５には、顔検出・顔部位切り出し部１０２からの顔画像と、広角歪み加工部１０４からの照合画像が供給される。顔認証部１０５は、顔画像と照合画像とを照合して、認証スコアを計算する。

そして、顔認証部１０５は、計算した認証スコアに基づいて、被写体９１１が正当な被認証者であるかどうかを判定する顔認証を行う。顔認証部１０５は、計算した認証スコア及びその認証結果を、認証結果出力部１０６に供給する。

なお、顔認証部１０５は、例えばプログラムされたシーケンスにより、登録画像の向き角度を示す向き角度情報（向き情報）を、広角歪み加工部１０４に供給する。また、顔認証部１０５は、照合の回数をカウントするカウンタ１１１を含む。カウンタ１１１は、制御部１００からの制御に従い、カウントを行う。

認証結果出力部１０６は、例えば、ディスプレイ又はスピーカ等の出力装置から構成される。認証結果出力部１０６には、顔認証部１０５からの認証スコア及び認証結果が供給される。認証結果出力部１０６は、認証スコア及び認証結果に応じた情報を出力する。

（顔認証処理の流れ）
次に、図９のフローチャートを参照して、図８の情報処理装置１０Ａにより実行される顔認証処理の流れを説明する。

ステップＳ１１において、登録画像データベース１０３は、制御部１００からの制御に従い、登録画像（のデータ）を保存する。

この登録画像のデータには、例えば認証の対象となる被認証者の顔画像やその３次元情報のデータなどが含まれる。なお、ここでは、３次元情報のデータが存在しない場合には、例えば類似の立体モデルに正面画像をマッピングするなどして代替のデータを用いてもよい。

ステップＳ１１の処理で、登録画像データベース１０３に、登録画像のデータが保存された状態になると、処理は、ステップＳ１２に進められる。

ステップＳ１２において、広角カメラ１０１は、広角歪みを利用できる角度に被写体９１１（被認証者の顔）が写るように設置され、当該被写体９１１の撮影を行う。この撮影により、被写体９１１を含む撮影画像が得られる。

ここで、図１０は、広角カメラ１０１の設置の例を示している。図１０において、広角カメラ１０１は、被写体９１１に対して所定の角度だけ傾けて設置されるが、被写体９１１（被認証者の顔）の正面は、傾けられた広角カメラ１０１の方向を向いている。つまり、図１０において、広角カメラ１０１は、斜めを向いた被写体９１１ではなく、正面を向いている被写体９１１を撮影する。

このように広角カメラ１０１を設置することで、画角の中心部から外れた周辺部で、被写体９１１（被認証者の顔）が撮影される。なお、広角カメラ１０１の設置に際しては、その設置角度が外部から判別できないようにすると好適である。

図９に戻り、ステップＳ１３において、顔検出・顔部位切り出し部１０２は、広角カメラ１０１により撮影された撮影画像から顔領域を検出し、その領域に応じた位置（顔位置）を特定する。この顔位置は、例えば、撮影画像上の任意の位置（例えば、重心や左上の頂点等）を原点（0，0）として、座標（x，y）により表される。

ステップＳ１４において、顔検出・顔部位切り出し部１０２は、撮影画像から顔領域を切り出し、切り出された顔領域のサイズと輝度を標準化する切り出し処理を施すことで、顔画像を生成する。

ステップＳ１５において、広角歪み加工部１０４は、登録画像データベース１０３から照合すべき登録画像及び３次元情報を読み出す。このとき、顔認証部１０５では、カウンタ１１１が初期化され、カウンタ値が、Ｎ＝０にリセットされる（Ｓ１６）。

ステップＳ１７において、顔認証部１０５は、広角歪み加工部１０４に対し、プログラムされたシーケンスで登録画像の向き角度を指示する。この向き角度の指示方法としては、例えば、登録画像に含まれる顔の横振り角度（ヨー角）と縦振り角度（ピッチ角）について、例えば１ステップ等の一定間隔で走査するための向き角度が指定される。なお、向き角度としては、ヨー角とピッチ角のほか、例えばロール角などの他の向き角度が指定されてもよい。

ステップＳ１８において、広角歪み加工部１０４は、顔検出・顔部位切り出し部１０２により特定された顔位置と、顔認証部１０５により指定される向き角度に基づいて、登録画像データベース１０３から読み出した登録画像を加工して、広角歪みをシミュレートした照合画像を生成する。

ステップＳ１９において、顔認証部１０５は、顔検出・顔部位切り出し部１０２により生成された顔画像と、広角歪み加工部１０４により生成された照合画像とを照合して、認証スコアを計算する。

ステップＳ２０において、顔認証部１０５は、計算した認証スコアが、あらかじめ定められた閾値以上であるかどうかを判定する。

ステップＳ２０の判定処理で、認証スコアが閾値以上であると判定された場合、処理は、ステップＳ２１に進められる。ステップＳ２１において、顔認証部１０５は、認証結果を"成功"とする。

一方で、ステップＳ２０の判定処理で、認証スコアが閾値未満であると判定された場合、処理は、ステップＳ２２に進められる。ステップＳ２２において、顔認証部１０５では、カウンタ１１１のカウンタ値Ｎがインクリメントされ、カウンタ値Ｎが最大値（Ｎmax）に到達したかどうかを判定する。

ステップＳ２２の判定処理で、インクリメントしたカウンタ値Ｎが最大値に達していないと判定された場合、処理は、ステップＳ１７に戻り、ステップＳ１７ないしＳ２０の処理が繰り返される。

すなわち、ステップＳ１７ないしＳ２０の処理が繰り返されることで、変更された向き角度に応じた照合画像が順次生成され、顔画像との認証スコアが順次算出される。そして、再計算された認証スコアが閾値と順次比較され、閾値以上であると判定された場合（Ｓ２０の「Yes」）には、認証結果が"成功"とされる。

具体的には、被写体９１１（被認証者の顔）が実物の顔である場合、その顔画像と、実物の顔の広角歪みを想定した照合画像を用いた照合が行われるため、その照合での一致度（認証スコア）が高くなる。一方で、被写体９１１が顔写真の顔である場合には、実物の顔とは異なる歪み方をするので、実物の顔の広角歪みを想定した照合を行うと、その照合での一致度（認証スコア）は低くなる。

ここでは、このような照合での一致度を判定することで、被認証者の顔が実物の顔（又は顔写真の顔）であるかどうか、つまり、認証結果が"成功"（又は"失敗"）であるかどうかを判定している。

なお、ここでは、顔画像と照合画像とを照合により計算される照合スコアが得られる度に、当該照合スコアを閾値と比較して、認証スコアが閾値以上となる向き角度を走査することで、向き角度情報を求めて、認証結果が"成功"（又は"失敗"）であるかどうかを判定したが、他の方法を用いてもよい。

例えば、照合スコアが最大となる向き角度を求めてその最大値を閾値と比較することで向き角度情報を求めたり、あるいは、認証スコアが閾値以上となる向き角度のマップを生成して特異点除去や重心計算などを施して向き角度情報を求めたりしてもよい。勿論、上述したように、認証スコアが閾値以上となる向き角度が、最初に見つかった時点で、向き角度情報を特定して走査を終了してもよい。なお、これらの処理は、処理の精度や重さが異なるため、その目的に応じて適宜選択することができる。

図１１は、顔画像と照合画像との照合の例を模式的に示している。

図１１において、顔画像と照合される照合画像は、登録画像データベース１０３から読み出された登録画像を加工したもの（例えば、３次元情報を用いて登録画像を立体モデルにマッピングしたもの）であって、撮影画像から検出された顔領域の顔位置に対応した領域を含むとともに、プログラムされたシーケンスに応じて向き角度が指示されたものである。

ここで、向き角度は、ステップＳ１７ないしＳ２０の処理が繰り返される度に、ステップＳ１７の処理で指示されるものである。

すなわち、例えば、全走査に対応した指示方法を用いる場合、ステップＳ１７の処理では、顔の横振り角度（ヨー角）と縦振り角度（ピッチ角）について、例えば１ステップ等の一定間隔で走査するための向き角度が指示される。

具体的には、顔の横振り角度（ヨー角）を、-30度から+30度までの61ステップとし、縦振り角度（ピッチ角）を、-15度から+10度までの26ステップとして走査を行う場合、ステップＳ１７の処理が繰り返される度に、向き角度として、ヨー角とピッチ角に関する1586（= 61×26）種類の情報が順次指示される。これにより、ステップＳ１８の処理では、指定された向き角度（ヨー角とピッチ角）に応じた照合画像が順次生成される。

そして、ステップＳ１９，Ｓ２０の処理では、例えば1586種類の向き角度のそれぞれについて生成された照合画像と、撮影画像から切り出された顔画像とを照合して、例えば認証スコアが最大値となった照合画像（の向き角度）を選択することができる。

この認証スコアの算出方法としては、例えば、顔画像と照合画像に対して各種の画像処理を適用するなど、公知の技術を用いることができる。この画像処理としては、例えば、輪郭抽出や特徴点検出、畳み込み積分、スペクトル解析、パターンマッチング等の処理を含む。また、画像処理は、１つの処理に限らず、複数の処理を組み合わせてもよい。

また、ここでは、例えば、深層ニューラルネットワーク（DNN：Deep Neural Network）等のニューラルネットワークを利用して、顔画像と照合画像が入力層に入力された場合に、中間層で学習に応じた処理が行われ、認証スコアが出力層から出力されるようにしてもよい。この場合、このニューラルネットワークから出力される認証スコアを用いて、例えば認証スコアが最大となる照合画像の向き角度を走査することができる。

なお、この例では、向き角度として1586種類の情報を指定するため、処理が重くなる可能性があるが、例えば、情報処理装置１０Ａの性能や、顔認証の用途などに応じて、顔認証に必要な最低限の画素数（例えば100×100ピクセル）などの範囲内で処理を行うようにすれば、性能の低い機器でも、照合の処理を行うことができる。

また、上述した全走査に対応した指示方法に限らず、他の指示方法を用いてもよい。ここでは、他の指示方法として、下記のＳ１ないしＳ５の順に実行される探索法を例示する。

（探索法の流れ）
Ｓ１：過去に認証された顔の向き角度の統計に関する情報を保存する
Ｓ２：顔認証処理を実行するに際して、保存した統計情報に基づき、最も可能性の高い向き角度を始点に、走査を開始する
Ｓ３：走査を開始した後、認証スコアが上昇する方向に向かって向き角度を粗く縦横に振って探索する
Ｓ４：認証スコアが山になる候補が特定できたら、向き角度を細かく走査して最適点を特定する
Ｓ５：認証スコアが閾値以上であると判定された場合には、認証結果を"成功"とし、そのときの向き角度を統計情報に追加する

なお、広角カメラ１０１において、被写体９１１を画角の中央部で撮影した場合には、広角歪みは発生しないため、実物の顔を含む顔画像と、顔写真の顔を含む顔画像とで、広角歪みの差を検出することはできない。

図９の説明に戻り、再計算された認証スコアが閾値以上となることなく、インクリメントしたカウンタ値Ｎが最大値に達したと判定された場合（Ｓ２０の「No」、Ｓ２２の「Yes」）、処理は、ステップＳ２３に進められる。ステップＳ２３において、顔認証部１０５は、認証結果を"失敗"とする。

ステップＳ２１又はＳ２３において、被写体９１１（被認証者の顔）の顔認証処理で得られる認証結果が"成功"又は"失敗"と判定されると、その認証結果は、認証スコアとともに認証結果出力部１０６に供給され、認証結果出力部１０６では、認証結果と認証スコアに応じた情報が出力され、処理は終了される。

以上、顔認証処理の流れを説明した。この顔認証処理では、撮影画像に含まれる被写体９１１（被認証者の顔）の位置に関する顔位置情報に加え、その位置において被写体９１１の向いている向きに関する向き角度情報を加味して処理を実行している。換言すれば、この顔認証処理では、撮影画像に含まれる被写体９１１の位置を示す位置情報と、被写体９１１の向きを示す向き情報に基づき、被写体９１１の歪みが特定され、特定された被写体９１１の歪みに基づき、被写体９１１の形状が識別されるとも言える。

ここで、任意の状況下で、被写体９１１を撮影した場合、顔位置情報と向き角度情報との合成効果によって、撮影画像に広角歪みが発生しているため、一般的には、特定の広角レンズの特性下にあったとしても、撮影画像だけでは、顔位置情報と向き角度情報とを分離することは困難である。それに対し、上述した顔認証処理では、撮影画像内に位置する像９１２の座標と大きさから顔位置情報を求める一方で、照合画像において、向き角度を走査して一致度が最大になる点を探索することで、向き角度情報を求めている。

そして、上述した顔認証処理では、このようにして得られる顔位置情報と向き角度情報に基づき、立体的な顔と平面に投影された顔との間で生じる広角歪みの差を検出して、立体的な顔（実物の顔）か、あるいは平面に投影された顔（顔写真の顔）かを判定（識別）し、顔写真（偽の顔画像）を用いたなりすましを防止している。すなわち、顔写真を用いた場合には、実物の顔とは異なる歪み方をするので、実物の顔の広角歪みを想定した照合を行うと、その照合での一致度が低くなるため、結果として顔写真を識別することが可能となる。

＜２．第２の実施の形態＞

ところで、例えばまばたきや口の開閉など、被認証者の顔の動きにより、実物の顔と顔写真の顔とを区別する方法が想定されるが、そのような方法と、本技術とを組み合わせることで、より強固ななりすましの防止を実現することができる。そこで、以下、被認証者に対する動作指示を、上述した顔認証処理と組み合わせた場合の構成と処理の流れを説明する。

（情報処理装置の構成）
図１２は、本技術を適用した情報処理装置の第２の構成の例を示している。

図１２において、情報処理装置１０Ｂは、情報処理装置１０Ａ（図８）と比べて、動作指示発生部１２１が追加されている点が異なる。

動作指示発生部１２１は、顔認証部１０５から供給される動作指示発生命令に基づいて、被認証者に対し、所定の動作の指示を行う。

顔認証部１０５は、制御部１００からの制御に従い、動作指示発生命令を、動作指示発生部１２１に供給する。また、顔認証部１０５は、撮影時間の異なる顔画像を照合することで、顔画像の変化として、所定の動作の指示に応じた変化の有無を検出する。

なお、顔認証部１０５には、カウンタ１１１とともに、タイマ１１２が含まれる。タイマ１１２は、制御部１００からの制御に従い、時間を計時する。

（顔認証処理の流れ）
次に、図１３及び図１４のフローチャートを参照して、図１２の情報処理装置１０Ｂにより実行される顔認証処理の流れを説明する。

ステップＳ４１ないしＳ５０においては、図９のステップＳ１１ないしＳ２０と同様に、撮影画像から顔画像が生成され、指定された向き角度に応じた照合画像が生成され、生成された顔画像と照合画像とを照合することで、認証スコアが計算される。

ここでは、ステップＳ５０の判定処理で、認証スコアが閾値未満であると判定された場合には、ステップＳ４７ないしＳ５０の処理が繰り返され、変更された向き角度に応じた照合画像が順次生成され、顔画像との認証スコアが順次計算される。

そして、再計算された認証スコアが閾値と順次比較され、閾値未満であると判定され、かつ、インクリメントしたカウンタ値Ｎが最大値に達したと判定された場合（Ｓ５０の「No」、Ｓ５１の「Yes」）には、認証結果が"失敗"とされる（Ｓ５２）。一方で、再計算された認証スコアが閾値以上であると判定された場合（Ｓ５０の「Yes」）、認証結果を"成功"である可能性があるとみなして、処理は、図１４のステップＳ５３に進められる。

ステップＳ５３において、動作指示発生部１２１は、顔認証部１０５から通知される動作指示発生命令に基づいて、被認証者に対し、例えばまばたきや口の開閉等のような動作の指示を、情報の表示や音声の出力などにより行う。このとき、顔認証部１０５では、タイマ１１２が初期化され、Ｔ＝０にリセットされる（Ｓ５４）。そして、タイマ値Ｔは、以降の時間の経過に応じてインクリメントされる。

ステップＳ５５において、広角カメラ１０１は、被写体９１１を継続して撮影する。この撮影により、所定の動作の指示（例えばまばたきや口の開閉等）に応じた動作を行った被写体９１１を含む撮影画像が得られる。

ステップＳ５６において、顔検出・顔部位切り出し部１０２は、撮影画像から顔領域を切り出し、所定の画像処理を施すことで、顔画像を生成する。

ステップＳ５７において、顔認証部１０５は、時間的に先に送られた顔画像（先の顔画像）と、その後に送られた顔画像（後の顔画像）とを照合して、顔画像の変化として、所定の動作の指示（例えばまばたきや口の開閉等）に応じた変化の有無を検出する。なお、ここでの先の顔画像と後の顔画像としては、ステップＳ４４の処理で生成された顔画像と、ステップＳ５６の処理で生成された顔画像をそれぞれ用いることができる。

ステップＳ５８において、顔認証部１０５は顔画像の変化の検出の結果に基づいて、所定の動作の指示通りの変化であるかどうかを判定する。

ステップＳ５８の判定処理で所定の動作の指示通りの変化ではないと判定された場合、処理は、ステップＳ６０に進められる。ステップＳ６０において、顔認証部１０５は、時間の経過とともにインクリメントされたタイマ１２２が示すタイマ値Ｔが、制限時間（Ｔmax）に到達したかどうかを判定する。

ステップＳ６０において、タイマ値Ｔが制限時間に達していないと判定された場合、処理は、ステップＳ５５に戻り、ステップＳ５５ないしＳ５８の処理が繰り返される。

すなわち、ステップＳ５５ないしＳ５８の処理が繰り返されることで、被写体９１１の撮影が継続され、時系列で顔画像が順次生成され、先の顔画像と後の顔画像とが照合され、所定の動作の指示通りの変化があるかどうかの判定処理が繰り返される。

なお、照合される先の顔画像と後の顔画像としては、Ｎ回目のステップＳ５６の処理で生成された顔画像と、Ｎ＋１回目のステップＳ５６の処理で生成された顔画像を用いることができる。ただし、照合に用いる顔画像は、一枚ずつに限らず、複数枚単位であってもよく、また、必ずしも時間的に連続して生成されなくてもよい。

そして、ステップＳ５８の判定処理で、所定の動作の指示通りの変化であると判定された場合、処理は、ステップＳ５９に進められる。ステップＳ５９において、顔認証部１０５は、認証結果を"成功"とする。

また、前後の顔画像の照合によって動作の指示通りの変化が検出されることなく、タイマ値Ｔが制限時間に達したと判定された場合（Ｓ５８の「No」、Ｓ６０の「Yes」）、処理は、ステップＳ６１に進められる。ステップＳ６１において、顔認証部１０５は、認証結果を"失敗"とする。

ステップＳ５２，Ｓ５９，又はＳ６１によって、認証結果が"成功"又は"失敗"とされると、その認証結果は、認証スコアとともに認証結果出力部１０６に供給され、認証結果出力部１０６では、認証結果と認証スコアに応じた情報が出力され、処理は終了される。

以上、顔認証処理の流れを説明した。この顔認証処理では、撮影画像に含まれる被写体の顔位置情報と向き角度情報に基づき、実物の顔と顔写真の顔との間で生じる広角歪みの差を検出して、被写体が実物の顔か顔写真の顔かを判定する処理を行う際に、被認証者に対する動作指示を行い、当該指示通りの動作が行われたかどうかを判定する処理を組み合わせることで、より強固ななりすましの防止を実現することができる。

＜３．第３の実施の形態＞

上述した第１、第２の実施の形態では、撮影画像に含まれる被写体９１１の歪みが、撮影画像内の被写体９１１の位置する領域に関する位置情報（顔位置情報）と、被写体９１１の向いている向きに関する向き情報（向き角度情報）の両方の情報に依存していることに注目して、向き角度情報に応じた走査を行い、最適な点を探索する方法を示した。

一方で、近年、ニューラルネットワーク（NN：Neural Network）等の機械学習の研究が盛んに行われているが、例えば、ニューラルネットワークのアルゴリズムの１つである深層学習（Deep Learning）を用いて向きの情報を学習し、本技術に適用することができる。そこで、以下、ニューラルネットワークを利用した場合の構成を示す。

（NNの構成）
図１５は、本技術を適用したニューラルネットワークの構成の第１の例を示している。

図１５において、ニューラルネットワーク２００は、入力層２０１、中間層２０２、及び出力層２０３を有し、各層は、複数のノードがエッジで結ばれる構造となっている。

図１５では、図中の白丸（○）がノードを表し、各円を結んだ直線がエッジを表している。また、図中の点線の枠内で表した中間層２０２は、複数の層を持つことができ、特に深い中間層（隠れ層）を持つものを、深層学習と呼んでいる。ここで、各層は活性化関数と呼ばれる関数を持ち、エッジは重みを持つことができる。そして、各ノードの値は、そのノードと接続する前の層のノードの値、すなわち、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。

また、ニューラルネットワーク２００では、その学習プロセスで、入力層２０１に課題データを与えると同時に、出力層２０３に解答データを与えて、課題と解答が相関関係を構成するように、中間層２０２で、その内部の各ノード（ニューロン）の計算式やノード間のエッジの接続などを調整している。この学習に際しては、例えば、バックプロパゲーション等のアルゴリズムを用いることができる。

ニューラルネットワーク２００では、顔画像及び顔位置情報を入力層２０１に入力した場合に、中間層２０２で学習に応じた処理が実行され、向き角度情報を出力層２０３から出力する。すなわち、ニューラルネットワーク２００の学習プロセスでは、学習で用いられるパラメータ（学習パラメータ）に、向き角度情報を含めている。

ここで、顔位置情報には、例えば、撮影画像に含まれる顔領域を切り出してサイズ調整をしたときの切り出し倍率や、その切り出し位置のｘ座標とｙ座標、撮影画像のカメラ画角などの情報を含めることができる。また、向き角度情報には、例えば、ヨー角、ロール角、及びピッチ角のうち、少なくとも１つの角を含めることができる。

（情報処理装置の構成）
図１６は、本技術を適用した情報処理装置の構成の第３の例を示している。

図１６において、情報処理装置１０Ｃは、情報処理装置１０Ａ（図８）と比べて、向き角度検出部１３１が追加され、広角歪み加工部１０４の代わりに、広角歪み補正部１３２が設けられている点が異なる。

向き角度検出部１３１には、顔検出・顔部位切り出し部１０２から顔画像及び顔位置情報が供給される。向き角度検出部１３１は、ニューラルネットワーク２００（図１５）を含んで構成されるか、又はネットワークに接続されたサーバにより提供されるニューラルネットワーク２００（図１５）を利用可能に構成される。

向き角度検出部１３１は、ニューラルネットワーク２００を利用し、顔画像及び顔位置情報を入力層２０１に入力し、出力層２０３から出力される向き角度情報を取得することで、撮影画像に含まれる被写体９１１の向き角度を検出する。向き角度検出部１３１は、向き角度情報を、広角歪み補正部１３２に供給する。

広角歪み補正部１３２には、顔検出・顔部位切り出し部１０２からの顔画像及び顔位置情報と、向き角度検出部１３１からの向き角度情報がそれぞれ供給される。

広角歪み補正部１３２は、向き角度情報に基づいて、顔画像の広角歪みを補正し、補正した顔画像（以下、補正顔画像という）を、顔認証部１０５に供給する。

顔認証部１０５には、広角歪み補正部１３２からの補正顔画像と、登録画像データベース１０３からの登録画像が供給される。顔認証部１０５は、補正顔画像と登録画像とを照合して、認証スコアを計算する。

顔認証部１０５は、計算した認証スコアに基づいて、被写体９１１が正当な被認証者であるかの顔認証を行う。顔認証部１０５は、計算した認証スコア及びその認証結果を、認証結果出力部１０６に供給する。

（顔認証処理の流れ）
次に、図１７のフローチャートを参照して、図１６の情報処理装置１０Ｃにより実行される顔認証処理の流れを説明する。

ステップＳ７１において、登録画像データベース１０３は、制御部１００からの制御に従い、登録画像（のデータ）を保存する。ただし、ここでは、上述した第１、第２の実施の形態のように、３次元情報のデータを保持する必要はない。

ステップＳ７２において、広角カメラ１０１は、広角歪みを利用できる角度に被写体９１１（被認証者の顔）が写るように設置され、当該被写体９１１の撮影を行う。ここでは、例えば、上述した図１０に示したように、広角カメラ１０１を、被写体９１１の正面に対し、所定の角度だけ傾けて設置することで、少なくとも被認証者の顔の一部がカメラ画角の中心から外れた位置に写るように撮影を行う。

ステップＳ７３において、顔検出・顔部位切り出し部１０２は、広角カメラ１０１により撮影された撮影画像から顔領域を検出し、その領域に応じた位置（顔位置）を特定する。

ステップＳ７４において、顔検出・顔部位切り出し部１０２は、撮影画像から顔領域を切り出し、切り出された顔領域のサイズと輝度を標準化する切り出し処理を施すことで、顔画像を生成する。

ステップＳ７５において、向き角度検出部１３１は、図１５のニューラルネットワーク２００を利用して、顔検出・顔部位切り出し部１０２により生成された顔画像及び顔位置情報を入力層２０１に入力して、出力層２０３から出力される向き角度情報を取得することで、被写体９１１の向き角度を検出する。

ステップＳ７６において、広角歪み補正部１３２は、向き角度検出部１３１により検出された向き角度に基づいて、顔検出・顔部位切り出し部１０２により生成された顔画像を補正する。この補正では、顔画像の広角歪みが補正される。

ステップＳ７７において、顔認証部１０５は、登録画像データベース１０３から照合すべき登録画像を読み出す。

ステップＳ７８において、顔認証部１０５は、広角歪み補正部１３２により補正された補正顔画像と、登録画像データベース１０３から読み出された登録画像とを照合して、認証スコアを計算する。

ステップＳ７９において、顔認証部１０５は、計算した認証スコアが、あらかじめ定められた閾値以上となるかどうかを判定する。

ステップＳ７９の判定処理で、認証スコアが閾値以上であると判定された場合、処理は、ステップＳ８０に進められる。ステップＳ８０において、顔認証部１０５は、認証結果を"成功"とする。

一方で、ステップＳ７９の判定処理で、認証スコアが閾値以下であると判定された場合、処理は、ステップＳ８１に進められる。ステップＳ８１において、顔認証部１０５は、認証結果を"失敗"とする。

図１８は、補正顔画像と登録画像との照合の例を模式的に表している。

図１８において、登録画像と照合される補正顔画像は、被写体９１１の向き角度を示す向き角度に基づき、撮影画像から検出された顔領域に応じた顔画像に対し、広角歪みを補正することで生成される。

ここで、向き角度は、ステップＳ７５の処理が実行され、顔画像と顔位置情報を入力層２０１に入力し、向き角度情報を出力層２０３から出力するニューラルネットワーク２００を用いることで得られる。この向き角度情報には、例えば、ヨー角とピッチ角が含まれる。

このように、第３の実施の形態では、上述した第１、第２の実施の形態のように、被写体９１１の向き角度を走査する必要がなく、あらかじめ登録された登録画像を歪み加工する代わりに、ニューラルネットワークを利用して得られる向き角度に基づき、撮影画像から得られる顔画像を補正して照合に用いている。

このような補正顔画像と登録画像との照合によって行われる認証は、例えば、次のような原理で行われる。

すなわち、図１９に示すように、広角カメラ１０１により撮影される被写体９１１が顔写真の顔である場合と、実物の顔である場合をそれぞれ想定すれば、実物の顔を撮影した場合の顔画像に対する補正では、向き角度に基づき、適切に広角歪みを補正することが可能となる（図１９のＢ）。一方で、顔写真の顔を撮影した場合の顔画像に対する補正では、顔写真が立体的ではなく、正しい向き角度に関する情報を取得できないため、正しい補正を行うと、かえって歪むことになる（図１９のＡ）。

つまり、図１９では、広角カメラ１０１が被写体９１１の正面に対して所定の角度だけ傾けて設置されているため（被写体９１１はまっすぐカメラの方向に向けられている）、その像９１２は、画角の周辺部に結像され、実物の顔を撮影した場合の顔画像と、顔写真の顔を撮影した場合の顔画像では、共に広角歪みが発生している。

例えば、実際の顔画像を比べてみれば、実物の顔を含む顔画像は、顔の部位により歪み方が異なる（例えばややぽってりした感じになる）のに対し、顔写真の顔を含む顔画像は、顔が均一に斜めに歪むことになる（例えばすっきりした感じになる）ため、正しい向き角度に関する情報を取得することができず、正しい補正を行うと歪んでしまうことになる。

具体的には、被写体９１１（被認証者の顔）が実物の顔である場合、適切に広角歪みを補正した補正顔画像と、登録画像とを用いた照合が行われるため、その照合での一致度（認証スコア）が高くなる。一方で、被写体９１１が顔写真の顔である場合には、正しい向き角度に関する情報を取得できず、正しい補正を顔画像に施すとかえって歪んでしまうため、そのような補正顔画像を、登録画像と照合したとき、その照合での一致度（認証スコア）は低くなる。

ここでは、このような照合での一致度を判定することで、被認証者の顔が実物の顔（又は顔写真の顔）であるかどうか、つまり、認証結果が"成功"（又は"失敗"）であるかどうかを判定している。

なお、広角カメラ１０１において、被写体９１１を画角の中央部で撮影した場合には、広角歪みは発生しないため、実物の顔を含む顔画像と、顔写真の顔を含む顔画像とで、広角歪みの差を検出することはできない。

図１７の説明に戻り、ステップＳ８０又はＳ８１において、認証結果が"成功"又は"失敗"とされると、その認証結果は、認証スコアとともに認証結果出力部１０６に供給され、認証結果出力部１０６では、認証結果と認証スコアに応じた情報が出力され、処理は終了される。

以上、顔認証処理の流れを説明した。この顔認証処理では、撮影画像に含まれる被写体の顔位置情報と向き角度情報に基づき、実物の顔と顔写真の顔との間で生じる広角歪みの差を検出して、被写体が実物の顔か顔写真の顔かを判定する処理を行う際に、向き角度情報を、ニューラルネットワークを利用して取得している。

そのため、上述した第１、第２の実施の形態では、向き角度情報を得るために走査を行う必要があったが、第３の実施の形態では、ニューラルネットワークを利用することで、向き角度を示す情報を一意に検出することができるため、試行を繰り返すことなく、顔認証を実現できる。

また、画像の照合を行うに際して、登録画像を歪み加工して照合画像を生成する代わりに、顔画像を補正した補正顔画像を用いるため、登録画像データベース１０３にて、登録画像のほかに、３次元情報を持つ必要がなく、個人情報保護の面でも望ましい。

（ニューラルネットワークを利用した他の構成）
上述した説明では、情報処理装置１０Ｃ（図１６）において、向き角度検出部１３１がニューラルネットワーク２００を利用して向き角度情報を取得する場合を例示したが、例えば高性能なパターンマッチング技術等を用いて他の構成を採用してもよい。

図２０は、ニューラルネットワークを利用した情報処理装置の他の構成の例を示している。

図２０において、情報処理装置１０Ｄは、情報処理装置１０Ｃ（図１６）と比べて、向き角度検出部１３１及び広角歪み補正部１３２が取り除かれ、顔認証部１０５の代わりに、顔認証部１３３が設けられている点が異なる。

すなわち、顔認証部１３３は、図１６に示した向き角度検出部１３１、広角歪み補正部１３２、及び顔認証部１０５を統合したものに相当する。

そして、顔認証部１３３における顔認証にもニューラルネットワークを利用する場合を想定すれば、当該顔認証のニューラルネットワークを、上述した顔画像及び顔位置情報を入力して向き角度情報を出力するニューラルネットワーク２００（図１５）と統合してもよい。

これにより、統合後のニューラルネットワーク（以下、統合ニューラルネットワークという）では、画像の照合を行うに際し、顔画像を補正顔画像に一旦変換することなく、顔画像と登録画像とを直接照合することも可能となる。

顔認証部１３３には、顔検出・顔部位切り出し部１０２からの顔画像及び顔位置情報と、登録画像データベース１０３からの登録画像が供給される。顔認証部１３３は、統合ニューラルネットワークを含んで構成されるか、又はネットワークに接続されたサーバにより提供される統合ニューラルネットワークを利用可能に構成される。

顔認証部１３３は、統合ニューラルネットワークを利用して、顔画像、顔位置情報、及び登録画像を入力層に入力することで、出力層から出力される認証スコア及び認証結果を取得し、認証結果出力部１０６に供給する。

なお、統合ニューラルネットワークにおいては、学習プロセスで、学習パラメータとして向き角度情報を含めている。これにより、統合ニューラルネットワークでは、入力層に、顔画像、顔位置情報、及び登録画像が入力された場合に、中間層で学習に応じた処理が行われ、向き角度情報を加味した認証スコア及び認証結果を、出力層から出力することができる。

＜４．第４の実施の形態＞

上述した第３の実施の形態では、ニューラルネットワーク２００を利用して向き角度情報、すなわち、被写体９１１の向きを求める構成を示した。一方で、ニューラルネットワークを利用すれば、被写体９１１が平面的（又は立体的）であるか否かを推定させることも可能である。そこで、以下、ニューラルネットワークを利用した場合の他の構成を示す。

（NNの構成）
図２１は、本技術を適用したニューラルネットワークの構成の第２の例を示している。

図２１において、ニューラルネットワーク３００は、入力層３０１、中間層３０２、及び出力層３０３を有し、各層は、複数のノードがエッジに結ばれる構造となっている。

ニューラルネットワーク３００では、学習プロセスで、入力層３０１に課題データを与えると同時に、出力層３０３に解答データを与えて、課題と解答が相関関係を構成するように、中間層３０２で、その内容の各ノードの計算式やノード間のエッジの接続などを調整することで、顔画像の歪みの傾向に関する学習が施されている。

すなわち、ニューラルネットワーク３００では、顔位置に対して顔画像の歪みの傾向が矛盾しないか否かを学習しておくことで、顔画像及び顔位置情報が入力層３０１に入力された場合に、中間層３０２では入力した顔画像が、平面的な人の歪み傾向であるか（又は立体的な人の顔の歪み傾向であるか）が判定され、その平面である確率を示す平面確率情報が出力層３０３から出力される。

（情報処理装置の構成）
図２２は、本技術を適用した情報処理装置の構成の第４の例を示している。

図２２において、情報処理装置１０Ｅは、情報処理装置１０Ａ（図８）と比べて、広角歪み加工部１０４の代わりに、平面判定部１４１が設けられている点が異なる。

平面判定部１４１には、顔検出・顔部位切り出し部１０２から顔画像及び顔位置情報が供給される。平面判定部１４１は、ニューラルネットワーク３００（図２１）を含んで構成されるか、あるいはネットワークに接続されたサーバにより提供されるニューラルネットワーク３００（図２１）を利用可能に構成される。

平面判定部１４１は、ニューラルネットワーク３００を利用し、顔画像及び顔位置情報を入力層３０１に入力し、出力層３０３から出力される平面確率情報を取得することで、入力された顔画像の平面判定を行う。平面判定部１４１は、顔画像の平面判定の結果を、顔認証部１０５に供給する。

顔認証部１０５には、平面判定部１４１からの顔画像の平面判定の結果と、登録画像データベース１０３からの登録画像が供給される。顔認証部１０５は、平面判定部１４１により平面判定で立体画像であると判定された顔画像と、登録画像データベース１０３から順次読み出される登録画像とを照合して、認証スコアを算出する。

顔認証部１０５は、計算した認証スコアに基づいて、被写体９１１が正当な被認証者であるかの顔認証を行う。顔認証部１０５は、計算した認証スコア及びその認証結果を、認証結果出力部１０６に供給する。

（顔認証処理の流れ）
次に、図２３のフローチャートを参照して、図２２の情報処理装置１０Ｅにより実行される顔認証処理の流れを説明する。

ステップＳ１０１において、登録画像データベース１０３は、制御部１００からの制御に従い、登録画像（のデータ）を保存する。ここでは、例えば、人数Ｍ人分のあらかじめ認証したい人物の顔画像を含む登録画像のデータが保存される。

ステップＳ１０２において、広角カメラ１０１は、広角歪みを利用できる角度に被写体９１１（被認証者の顔）が写るように設置され、当該被写体９１１の撮影を行う。

ステップＳ１０３において、顔検出・顔部位切り出し部１０２は、広角カメラ１０１により撮影された撮影画像から顔領域を検出し、その領域に応じた位置（顔位置）を特定する。

ステップＳ１０４において、顔検出・顔部位切り出し部１０２は、撮影画像から顔領域を切り出し、切り出された顔領域のサイズと輝度を標準化する切り出し処理を行うことで、顔画像を生成する。

ステップＳ１０５において、平面判定部１４１は、図２１のニューラルネットワーク３００を利用して、顔検出・顔部位切り出し部１０２により生成された顔画像及び顔位置情報を入力層３０１に入力して、出力層３０３から出力される平面確率情報を取得することで、顔画像の平面判定を行う。

ステップＳ１０６において、制御部１００は、平面判定部１４１による平面判定の結果に基づいて、顔画像が立体画像であるかどうかを判定する。

ステップＳ１０６の判定処理で、顔画像が立体画像ではないと判定された場合、処理は、ステップＳ１０２に戻り、上述したステップＳ１０２ないしＳ１０５の処理が繰り返される。つまり、この場合、顔画像が平面画像、すなわち、顔写真を撮影したものであるため、立体画像であると判定されるまで、平面判定処理が繰り返される。

また、ステップＳ１０６の判定処理で、顔画像が立体画像であると判定された場合、顔画像は実物の顔を撮影したものとなるので、処理は、ステップＳ１０７に進められ、顔認証部１０５と認証結果出力部１０６が動作することで、ステップＳ１０７ないしＳ１１４の処理が実行される。

すなわち、顔認証部１０５では、カウンタ１１１が初期化され、カウンタ値が、Ｎ＝０にリセットされる（Ｓ１０７）。また、このとき、認証結果出力部１０６では、初期状態に設定される（Ｓ１０７）。

続いて、顔認証部１０５では、平面判定で立体画像であると判定された顔画像と、登録画像データベース１０３から読み出された登録画像ｉ(Ｎ)とを照合し（Ｓ１０８）、認証スコアｓ(Ｎ)を計算する（Ｓ１０９）。これにより、認証結果出力部１０６では、顔認証部１０５からの認証スコアｓ(Ｎ)がスコア順にソートされ（Ｓ１１０）、カウンタ１１１のカウンタ値とともに表示される。

そして、顔認証部１０５では、カウンタ値Ｎをインクリメントし、当該カウンタ値Ｎが、登録画像の登録人数Ｍに達したかどうかが判定される（Ｓ１１１）。ステップＳ１１１の判定処理で、インクリメントしたカウンタ値Ｎが登録人数Ｍに達していないと判定された場合、処理は、ステップＳ１０８に戻り、ステップＳ１０８ないしＳ１１０の処理が繰り返される。

すなわち、登録画像データベース１０３には、Ｍ人分の顔画像が登録画像として登録されているため（Ｓ１０１）、平面判定（Ｓ１０６）で立体画像であると判定された顔画像を、ある人物の登録画像（顔画像）と照合する度に（Ｓ１０８）、カウンタ値Ｎをインクリメントし（Ｓ１１１）、カウンタ値Ｎが登録人数Ｍに達するまで（Ｓ１１１の「Yes」）、任意の人物の登録画像との照合等を繰り返すことで（Ｓ１０８ないしＳ１１０）、Ｍ人分の登録画像との照合が行われる。

ステップＳ１１１の判定処理で、インクリメントしたカウンタ値Ｎが登録人数Ｍに達したと判定された場合、処理は、ステップＳ１１２に進められる。

ステップＳ１１２において、顔認証部１０５は、立体画像であると判定された顔画像と、Ｍ人分の登録画像との照合により得られた認証スコアｓ(Ｎ)のうち、最も高い認証スコアｓ(max)を選択する。例えば、認証結果出力部１０６では、顔認証部１０５からの出力に基づき、認証されるべき人物の候補が、スコア順に表示されているので、顔認証部１０５は、最も高い認証スコアｓ(max)を選択することができる。

ステップＳ１１３において、顔認証部１０５は、選択した最も高い認証スコアｓ(max)が、あらかじめ定められた閾値以上であるかどうかを判定する。

ステップＳ１１３の判定処理で、認証スコアｓ(max)が閾値以上であると判定された場合、処理は、ステップＳ１１４に進められる。ステップＳ１１４において、顔認証部１０５は、認証結果を"成功"とする。そして、その認証結果は、認証スコアｓ(max)とともに認証結果出力部１０６に供給され、認証結果出力部１０６では、認証結果と認証スコアに応じた情報が出力され、処理は終了される。

なお、ステップＳ１１３の判定処理で、認証スコアｓ(max)が閾値未満であると判定された場合、処理は、ステップＳ１０２に戻り、上述した処理が繰り返される。

以上、顔認証処理の流れを説明した。この顔認証処理では、ニューラルネットワークを利用して、入力した顔画像が、平面的な人の歪み傾向であるか（又は立体的な人の顔の歪み傾向であるか）を示す平面確率情報が取得され、その平面である確率（又は立体である確率）に基づき、被写体が実物の顔か顔写真の顔かを判定することができる。

＜５．第５の実施の形態＞

上述した第４の実施の形態では、平面判定処理を必須の処理として説明したが、平面判定処理を任意の処理としてもよい。そこで、以下、ニューラルネットワーク３００を利用する場合に、平面判定処理の実行の有無を切り替える機能（オン／オフ機能）を有する構成を示す。

（NNの構成）
図２４は、本技術を適用したニューラルネットワークの構成の第３の例を示している。

図２４において、ニューラルネットワーク３００は、上述したニューラルネットワーク３００（図２１）と同様に構成される。

すなわち、ニューラルネットワーク３００では、顔画像及び顔位置情報が入力層３０１に入力された場合に、中間層３０２では入力した顔画像が、平面的な人の歪み傾向であるか（又は立体的な人の顔の歪み傾向であるか）が判定され、その平面である確率を示す平面確率情報が出力層３０３から出力され、コンパレータ３１１に入力される。

コンパレータ３１１において、一方の入力端子には平面確率情報が入力され、他方の入力端子には平面判定閾値が入力される。コンパレータ３１１は、そこに入力される平面確率と平面判定閾値とを比較し、その比較結果を平面判定結果として出力する。

ここで、平面確率は、例えば、0％〜100％の範囲内で確率を示す値であり、より高い値ほど、顔画像が平面画像である確率が高いことを表している。また、平面判定閾値は、顔画像が平面であるかどうかを判定するための閾値であって、固定値又は可変値とされる。

（情報処理装置の構成）
図２５は、本技術を適用した情報処理装置の構成の第５の例を示している。

図２５において、情報処理装置１０Ｆは、情報処理装置１０Ｅ（図２２）と比べて、平面判定部１４１の代わりに、平面判定部１４２が設けられている点が異なる。

制御部１００には、顔検出・顔部位切り出し部１０２から顔位置情報が供給される。制御部１００は、顔位置情報に基づいて、平面判定閾値を生成し、平面判定部１４２に供給する。

平面判定部１４２には、顔検出・顔部位切り出し部１０２からの顔画像及び顔位置情報と、制御部１００からの平面判定閾値が供給される。

平面判定部１４２は、ニューラルネットワーク３００（図２４）、及びコンパレータ３１１を含んで構成される。なお、ニューラルネットワーク３００（図２４）は、平面判定部１４２に含まれるほか、ネットワークに接続されたサーバにより提供されてもよい。

平面判定部１４２は、ニューラルネットワーク３００を利用し、顔画像及び顔位置情報を入力層３０１に入力し、出力層３０３から出力される平面確率情報を取得する。また、平面判定部１４２では、コンパレータ３１１によって、平面確率情報が示す平面確率を、平面判定閾値と比較することで、入力された顔画像の平面判定を行う。平面判定部１４２は、顔画像の平面判定の結果を、顔認証部１０５に供給する。

（顔認証処理の流れ）
次に、図２６のフローチャートを参照して、図２５の情報処理装置１０Ｆにより実行される顔画像認証処理の流れを説明する。

ステップＳ１３１ないしＳ１３４においては、図２３のステップＳ１０１ないしＳ１０４と同様に、人数Ｍ人分の登録画像が保存された後に、撮影画像から顔画像及び顔位置情報が生成される。

ステップＳ１３５において、制御部１００は、顔位置情報に基づいて、平面判定閾値を生成する。なお、平面判定閾値は、固定値としてもよいし、顔位置情報に応じた値（可変値）として変化させてもよい。

ステップＳ１３６において、平面判定部１４２は、図２４のニューラルネットワーク３００を利用して、顔検出・顔部位切り出し部１０２により生成された顔画像及び顔位置情報を入力層３０１に入力して、出力層３０３から出力される平面確率情報を取得することで、顔画像の平面確率を推定する。

ステップＳ１３７において、平面判定部１４２は、コンパレータ３１１により、推定した顔画像の平面確率を、平面判定閾値と比較することで、顔画像の平面判定を行う。

ステップＳ１３８において、制御部１００は、平面判定部１４２による平面判定の結果に基づいて、顔画像が立体画像であるかどうかを判定する。

ここで、ステップＳ１３７の処理で、平面確率と比較される平面判定閾値であるが、例えば、本技術を適用するに際しては、画角の周辺部と中央部とではその効果が異なるため、ステップＳ１３５の処理で、平面判定閾値を、撮影画像の中心（重心位置）からの偏角に応じて変化させると好適である。

また、情報処理装置１０Ｆでは、例えば、なりすましの排除を優先させる第１の優先モードで動作する場合に、ステップＳ１３５の処理で画角の中央部では平面判定閾値を下げることで、顔画像が平面画像である（Ｓ１３８の「No」、すなわち"NG"である）と判定されやすくしてもよい。その逆に、例えば、本人が認証されることを優先させる第２の優先モードで動作する場合に、ステップＳ１３５の処理で画角の中央部では平面判定閾値を上げることで、顔画像が立体画像である（Ｓ１３８の「Yes」、すなわち"OK"である）と判定されやすくしてもよい。

さらに、ステップＳ１３５の処理で平面判定閾値を上限値で固定した場合には、常に、顔画像が立体画像である（Ｓ１３８の「Yes」、すなわち"OK"である）と判定させることが可能となり、平面判定の機能をオフすることができる。あるいは、ステップＳ１３８の判定処理で、平面判定の結果自体を、常に顔画像が立体画像である（Ｓ１３８の「Yes」、すなわち"OK"である）に固定して、ニューラルネットワーク３００を停止させてもよい。

ステップＳ１３８の判定処理で、顔画像が立体画像ではないと判定された場合、処理は、ステップＳ１３２に戻り、上述したステップＳ１３２ないしＳ１３８の処理が繰り返される。つまり、この場合、顔画像が平面画像、すなわち、顔画像を撮影したものであるため、立体画像であると判定されるまで、平面判定処理が繰り返される。

また、ステップＳ１３８の判定処理で、顔画像が立体画像であると判定された場合、顔画像は実物の顔を撮影したものとなるので、処理は、ステップＳ１３９に進められる。

ステップＳ１３９ないしＳ１４６においては、図２３のステップＳ１０７ないしＳ１１４と同様の処理が実行される。すなわち、平面判定で立体画像であると判定された顔画像と、登録画像データベース１０３から読み出された登録画像ｉ(Ｎ)とが照合され、認証スコアｓ(Ｎ)が計算される。

ここでは、カウンタ値Ｎが登録人数Ｍに達するまで（Ｓ１４３の「Yes」）、任意の人物の登録画像との照合等を繰り返すことで（Ｓ１４０ないしＳ１４２）、Ｍ人分の登録画像との照合が行われる。そして、立体画像であると判定された顔画像と、Ｍ人分の登録画像との照合により得られた認証スコアｓ(Ｎ)のうち、最も高い認証スコアｓ(max)が選択される（Ｓ１４５）。

ステップＳ１４５の判定処理では、選択された最も高い認証スコアｓ(max)が閾値以上であるかが判定され、認証スコアｓ(max)が閾値以上であると判定された場合、認証結果が"成功"とされる（Ｓ１４６）。一方で、認証スコアｓ(max)が閾値未満であると判定された場合には、処理は、ステップＳ１３２に戻り、上述した処理が繰り返される。

以上、顔認証処理の流れを説明した。この顔認証処理では、ニューラルネットワークを利用して得られる平面確率（入力した顔画像が平面的な人の歪み傾向であるか等を示す確率）を、平面判定閾値と比較して、その比較結果に基づき、被写体が実物の顔か顔写真の顔かを判定することができる。

また、この顔認証処理では、例えばステップＳ１３５の処理で平面判定閾値を上限値で固定したり、ステップＳ１３８の判定処理で常に立体画像であると判定したりすることで、平面判定処理を無効（オフ）にすることが可能であるが、このような平面判定処理のオン／オフ機能によって、例えば、次のような効果が得られる。

すなわち、第１に、本技術を適用した顔認証システムを、顧客にプレゼンテーションする際に、任意の顔を含む画像（顔写真）を使った認証のデモンストレーションを行うことができる。第２に、認証を行いたい顔が、画像としてしか入手できない場合にも、当該画像を使った認証を行うことができる。第３に、顔認証システムで行われる高負荷や長時間等の環境下での耐久試験において、任意の顔を含む画像を用いた試験を行うことができる（試験を自動化できる）。

なお、ここでは、第５の実施の形態として、第４の実施の形態で必須の機能であった平面判定機能を任意の機能として構成した場合を示したが、上述した第１ないし第３の実施の形態に示したなりすまし防止機能を、任意の機能としてその実行の有無を切り替える機能（オン／オフ機能）を設けてもよい。

すなわち、例えば、第１の実施の形態では、顔位置情報と向き角度情報に基づき、立体的な顔と平面に投影された顔との間で生じる広角歪みの差を検出して、立体的な顔（実物の顔）か、あるいは平面に投影された顔（顔写真の顔）かを識別し、顔写真（偽の顔画像）を用いたなりすましを防止しているが、この識別機能を、有効又は無効にする機能を設けることができる。なお、この識別機能を無効にした場合には、立体的な顔（実物の顔）か、あるいは平面に投影された顔（顔写真の顔）かを識別せずに、顔認証処理が行われ、例えば顔写真が用いられたときでも、認証結果が"成功"となり得る。

換言すれば、情報処理装置１０Ａないし１０Ｆにおいては、顔認証処理を実行するに際して、被写体の形状（立体的な顔か平面的な顔か）を識別する識別処理が有効になる有効モード（第１のモード）と、当該識別処理が無効になる無効モード（第２のモード）のいずれか一方のモードでの動作が可能とされる。

以上、第１ないし第５の実施の形態について説明した。なお、広角歪みへの対応は、下記の２つに大別することができる。すなわち、第１に、広角歪みを避けるために、被写体に追尾してカメラ角度を駆動し、あるいは複数のカメラを用いることで、被写体をできるだけ撮影画像の中心を捉える技術であり、第２に、撮影画像の広角歪みを補正するために、レンズ特性に合わせてあらかじめ設定された補正係数により、撮影画像を補正して用いる技術である。

いずれの技術も、広角歪みを外乱として捉え、できるだけ排除しようとする技術である。特に、上述した特許文献１，２では、撮影画像を補正して用いる技術が開示されている。それに対し、本技術は、撮影画像に生じる広角歪みを応用した技術であって、広角歪みを積極的に応用すべき中心技術である点で、その対応が、特許文献１，２を含む従来技術と大きく異なっている。

＜６．変形例＞

（応用例）
本技術の実施の形態は、上述した第１ないし第５の実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。そこで、以下、応用例を、（ａ１）ないし（ａ７）に例示する。

（ａ１）向き角度の試行回数
上述した第１、第２の実施の形態では、被認証者の顔の向きを検出する際に、向き角度の値を変えながら走査を行い、最適な向き角度を求める場合を例示したが、向き角度の試行回数は、複数回に限られるものではない。例えば、広角カメラ１０１の設置環境やその他の理由によって、被認証者の顔の向きが予測可能である場合には、向き角度の試行回数を１回として、その試行の結果に基づき、被認証者の顔の向きを判定してもよい。

（ａ２）広角カメラの動作
広角カメラ１０１において、広角歪みが生じる方向は、撮影画像の中心に対する方位角に依存する。この原理を利用して、例えば、図２７の右側に示すように、被写体９１１に対して広角カメラ１０１を傾けて設置して、その傾き方向を隠蔽した上で、広角カメラ１０１を被写体９１１に対し、図中の矢印Ｒの方向に振るようにする。なお、広角カメラ１０１を振る動作は、例えば、所定の機構や駆動部（アクチュエータ）を設けることで実現される。

このように、被写体９１１に対して広角カメラ１０１を振ることで、図２７の格子上の楕円（円）で表したように、撮像素子の受光面における像９１２の位置（結像位置）が移動することになる。例えば、広角カメラ１０１が左側に振られた状態Ａになったときの結像位置は、格子上の枠Ａ内の像９１２の位置となる一方で、広角カメラ１０１が右側に振られた状態Ｂになったときの結像位置は、格子上の枠Ｂ内の像９１２の位置となる。

ここで、仮に、被写体９１１として、広角歪みのある顔写真が提示された場合を想定する。このとき、被写体９１１に対して広角カメラ１０１を振ることで、移動する結像位置を検出することが可能となり、また、広角歪みは、結像位置に依存するため、顔写真の顔の広角歪みの方向と、実物の顔の広角歪みの方向との相違により、顔写真の顔であることを識別することができる。その結果として、なりすましを防止することができる。

（ａ３）レンズの焦点深度
広角カメラ１０１において、レンズの焦点深度に余裕がある場合には、広角カメラ１０１全体ではなく、撮像素子のみを傾けることでも、上述した実施の形態と同様の効果が得られる。

（ａ４）撮影方向の隠蔽
本技術では、広角歪みの利用に着目しているが、実物の顔は立体物であるために、例えば横顔やうつむき顔など、顔の向きによって像の形状が変化するため、ダミーカメラを設置するなどして、撮影方向を隠蔽した上で、顔認証処理を行うようにしてもよい。このとき、顔画像の変形が著しいため、特に、上述した第１，２の実施の形態に示したように、３次元情報を用い、登録画像を立体モデルにマッピングして得られる照合画像を、顔画像と照合する方法を用いるのが有効である。

（ａ５）顔認証以外の適用例
上述した第１ないし第５の実施の形態では、本技術を顔認証に適用した場合を説明したが、本技術は、顔以外の立体物に応用することが可能である。

例えば、平坦な物体と紛らわしい立体物をロボットアームで扱う場合に、当該物体が立体物であるかの識別に本技術を適用することができる。特に、ロボットアーム等の可動部位に装着するカメラはできるだけ軽量であることが求められるが、１台の広角カメラ１０１で立体物を識別可能な本技術を適用すれば、可動部位にも容易に装着可能となる。

（ａ６）カメラやレンズの交換の例
上述した第１ないし第５の実施の形態では、カメラ画角に対する解像度が与えられた場合を説明したが、広角カメラ１０１等のカメラの機種を用途に合わせて別機種に交換したり、あるいは広角レンズ等のレンズを用途に合ったレンズに交換したりしてもよい。

図２８は、カメラやレンズを交換可能な情報処理装置の構成の例を示している。

図２８において、情報処理装置１０Ｇは、情報処理装置１０Ｄ（図２０）と比べて、カメラ１５１及びメモリ１５２を含む交換対応カメラ部１５０を構成している。

メモリ１５２は、交換対応カメラ部１５０に内蔵されるか、又は着脱可能に装着される半導体メモリ等の記憶装置である。メモリ１５２は、カメラ１５１で使用されるレンズの特性に関するレンズ特性情報を保持する。顔認証部１３３は、カメラ１５１でレンズが交換された場合に、メモリ１５２からレンズ特性情報を読み出し、当該レンズ特性情報を用いた顔認証処理を行うことができる。

ここで、カメラ１５１に取り付けられるレンズとしては、広角レンズに限らず、例えば魚眼レンズや標準レンズ等であってもよく、それらのレンズの特性に関するレンズ特性情報がメモリ１５２に保持される。また、カメラ１５１自体を交換する場合、メモリ１５２には、そのカメラ１５１に取り付けられたレンズに関するレンズ特性情報を保持する。

なお、図２８では、情報処理装置１０Ｇとして、第３の実施の形態に示した情報処理装置１０Ｄに対応した構成を例示したが、上述した第１、第２、第４、第５の実施の形態等に示した情報処理装置１０（１０Ａないし１０Ｃ、１０Ｅ、１０Ｆ）についても同様に、メモリ１５２を設け、カメラやレンズを交換可能な構成としてもよい。

（ａ７）レンズの特性の違いを吸収する構成
上述した第１ないし第５の実施の形態では、広角カメラ１０１で使用される広角レンズとして、レンズ中心を通る光路が直進するとみなせる理想的なレンズを示した。しかしながら、実際のレンズは、設計制約のため、入射角と出射角にわずかなずれを持つことがある。また、魚眼レンズ等のように、あえて入射角度に対し、一定の関係を保ちながら屈曲するレンズも存在する。

そのようなレンズであっても、レンズの特性が既知であれば、上述した（ａ６）と同様に、メモリ１５２（図２８）に、レンズ特性情報を保持して、当該レンズ特性情報を用いた顔認証処理を行うことで、レンズの特性の違いを吸収して、より正確な顔認証を行うことが可能となる。

（広角歪みの発生を促す撮影方法）
一般的な顔認証システムにおいては、被認証者の顔の像が画角の中心部に写るようにカメラを設置し、歪みの少ない顔画像を撮影することが望ましい。それに対し、本技術を適用した顔認証では、なりすましを防止するために、画角の中央部を避けて、被認証者の顔の像が画角の周辺部に写るようにカメラを設置して顔画像を撮影することが望ましい。そこで、以下、広角カメラ１０１の設置例を、（ｂ１）ないし（ｂ３）に例示する。

（ｂ１）入出門ゲートに設置する場合
不特定多数の人が通行する入出門ゲートにカメラを設置する場合、一般的な顔認証のシステムでは、被認証者の顔の正面にカメラを設置するのが望ましいが、通行の妨げとなって設置方法が制約されてしまう。さらに通行者にとって、撮影されていることが分かると、不快感を招く恐れがある。

一方で、本技術では、被認証者の顔が正面に写らないようにするのが望ましく、例えば、広角カメラ１０１を天井や壁に設置するなど、結果として通行の妨げになりにくい設置方法となる。あるいは、広角カメラ１０１を設置する際に、例えば、広角カメラ１０１の正面に観葉植物を置くなど、被認証者の顔の像が画角の周辺部に写りやすい環境を整備してもよい。

（ｂ２）個人認証に使用する場合
例えば、金融機関の電子手続のブースのように、特定の場所での顔認証に本技術を適用する場合、広角カメラ１０１を被認証者に対して傾けて設置することにより、被認証者が広角カメラ１０１に正対していても、広角カメラ１０１では、被認証者の顔の像が画角の周辺部に写りやすい状況を作り出すことができる。

その場合において、例えば、広角カメラ１０１の前方にダミーレンズを設置するなどして、広角カメラ１０１の設置角度を隠蔽し、さらにモータ駆動により広角カメラ１０１の角度をランダムに変更する機構を装備することで、なりすましを防止してもよい。このような設置方法を採用した場合に、仮に、なりすましを実現しようとするならば、例えばまばたきや口等の開閉機構を持つ実物大の頭部立体像を持ち込む必要があるため、なりすましは非常に困難となる。

（ｂ３）情報端末のロック解除に使用する場合
スマートフォン等の情報端末のロック解除に本技術を適用する場合、広角カメラ１０１と被認証者の顔との距離が近いため、広角カメラ１０１では、被認証者の顔の像が画角の周辺部を含んで写ることになり、特に情報端末を傾けることなく、広角歪みを発生させることができる。

ただし、本技術による効果をより有効に発揮したい場合には、例えば、被認証者に対し、情報端末のロック画面を息で吹き飛ばす操作や、ロック画面に表示したボールを転がして特定の穴に入れる操作を促して、情報端末を傾ける動作が自然に行われるようなユーザインターフェースを実装してもよい。

（製品の見分け方）
次に、（ｃ１）ないし（ｃ５）に、本技術を適用した製品の見分け方を例示する。

（ｃ１）製品の外観上の特徴
例えば、使用しているレンズが小さい場合には、広角レンズを使用している可能性が高く、また、被写体に対し、カメラを傾けて設置している場合、広角歪みを積極的に応用している可能性が高く、このような場合には、本技術を適用した製品である可能性がある。

また、単一のカメラで構成され、他のカメラや、距離センサ等のセンサを装備していない場合にも、１台の広角カメラ１０１で立体物を識別可能な本技術を適用した製品である可能性がある。

（ｃ２）製品仕様の特徴
例えば、製品の仕様として、静止画や動画等の顔画像による誤認証を防止できることを明示している場合、本技術を適用した製品である可能性がある。また、例えば、使用するカメラの画角が指定されていたり、あるいはカメラの画角の仕様について設定する機能があったりする場合などにも、本技術を適用した製品である可能性がある。

（ｃ３）性能上の特徴
例えば、本技術を適用した製品の特徴としては、静止画や動画等の顔画像による誤認証を高い確率で防止することができる。また、本技術を適用した製品では、数ｍ等の所定の距離が離れていても、顔認証が可能である一方で、写真や動画等の顔画像による誤認証を防止することができる。

なお、本技術を適用した製品では、画角の周辺部に被写体（被認証者の顔）が写るようにすることで、より精度の高い顔認証を行うことができ、画角の中央部に被写体（被認証者の顔）を写した場合には、画角の周辺部に写した場合と比べて、精度は落ちるものの顔認証を行うことができる。

（ｃ４）画像登録の特徴
登録画像データベース１０３には、登録画像として、例えば、被認証者の顔の正面画像のデータが保存される。また、登録画像データベース１０３には、３次元情報として、例えば、顔の立体データ、又は立体形状を推定可能なパラメータが保存される。さらには、例えば、頭部の形状を分類したコードなど、様々な情報を登録することができる。

このような登録画像データベース１０３に登録された情報から、本技術を適用した製品であるかどうかを見分けることができる。

（ｃ５）ソフトウェアの特徴
例えば、顔認証部１０５による顔認識処理を実行するソフトウェアのモジュールから呼び出されるAPI(Application Programming Interface)のインターフェースとして、撮影画像内の顔の位置を示す情報、すなわち、顔位置情報を受け渡す仕組みが存在している場合に、本技術を適用した製品である可能性がある。

また、例えば、上述した第３ないし第５の実施の形態では、ニューラルネットワーク（の深層学習）のトレーニングデータとして、顔位置情報と向き角度情報を反映した学習パラメータが含まれている場合に、本技術を適用した製品である可能性がある。

（他の方法によるなりすまし防止の例）
次に、（ｄ１）ないし（ｄ５）に、なりすまし防止の他の方法を例示する。ただし、（ｄ１）ないし（ｄ５）に示した方法を、本技術を適用した顔認証を組み合わせてもよい。

（ｄ１）光源制御による方法
例えば、タブレット端末等のディスプレイを有するデバイスは、自発光又はバックライトを搭載して自ら発光し、画像をディスプレイに表示する。したがって、実物の顔では、光源の変化に追従して陰影が変化するのに対し、ディスプレイに表示された表示画像（顔写真の顔）では、陰影が光源の変化に追従するパターンが異なる。

この原理を利用して光源を制御して撮影を行うことにより、実物の顔と、ディスプレイに表示された表示画像の顔とを識別することができる。例えば、確認撮影の瞬間に照明を消した場合、ディスプレイを有するデバイスに搭載された照度センサは一瞬反応が遅れ、画面が明るいまま撮影されるため、実物の顔と表示画像の顔とを識別可能である。

（ｄ２）他のセンサを用いた方法
例えば、ToF(Time of Flight)方式等の距離画像センサを用い、被写体の立体的な形状を認識し、実物の顔と顔写真の顔とを識別してもよい。

（ｄ３）光の波長による方法
例えば、自然光とは異なるスペクトル構成を有する光を、光源から被写体に照射することで、生体特有の反射や透過が発生することを利用してもよい。具体的には、赤外光は、耳などの肉の薄い部分を、一部透過するという性質を有しており、これを利用することができる。

（ｄ４）赤目現象を利用する方法
例えば、カメラに正対している人の眼球にフラッシュを照射して撮影を行うと、その目が赤く写る赤目現象が発生することが知られている。この赤目現象は、顔写真の顔では発生しないため、これを利用することができる。

（ｄ５）虹彩の開閉を利用する方法
瞳の大きさが撮影時の明るさに対して妥当なサイズであることを確認し、それを利用してもよい。例えば、認証を行う場所が暗い場所であるにもかかわらず、虹彩が閉じて瞳が小さく写る場合には、瞳の大きさが撮影時の明るさに対して妥当ではないため、実物の顔ではなく顔写真の顔、すなわち、なりすましであると判定可能である。

ところで、上述した第１ないし第５の実施の形態で示した情報処理装置１０（１０Ａないし１０Ｆ）の構成は一例であって、様々な構成を採用することができる。そこで、次に、図２９及び図３０を参照しながら、情報処理装置１０の他の構成について説明する。

（情報処理システムの構成）
図２９は、本技術を適用した情報処理システムの構成の例を示している。

図２９において、情報処理システム１は、情報処理装置２０、情報処理装置３０、及び登録画像データベース１０３からなる顔認証システムとして構成される。なお、図２９の構成では、図８等の構成と対応する箇所には同一の符号を付してあり、その説明は適宜省略する。

情報処理装置２０は、例えば、スマートフォンやタブレット端末等の情報端末、あるいは監視カメラ等の撮影装置など、カメラ機能を有する電子機器から構成される。情報処理装置２０は、広角カメラ１０１、及び顔検出・顔部位切り出し部１０２を含む。なお、図示はしていないが、情報処理装置２０は、所定の通信方式に準拠した通信を行う通信モジュールを含む。

情報処理装置２０では、広角カメラ１０１により撮影された撮影画像が、顔検出・顔部位切り出し部１０２により処理され、顔画像及び顔位置情報が生成される。情報処理装置２０は、生成した顔画像及び顔位置情報を、ネットワークを介して情報処理装置３０に送信する。

情報処理装置３０は、例えば、パーソナルコンピュータやワークステーション、サーバなど、情報処理機能を有する電子機器から構成される。情報処理装置３０は、制御部１００、広角歪み加工部１０４、顔認証部１０５、及び認証結果出力部１０６を含む。なお、図示していないが、情報処理装置３０は、所定の通信方式に準拠した通信を行う通信モジュールを含む。

情報処理装置３０では、情報処理装置２０から、ネットワークを介して送信されてくる顔画像及び顔位置情報が受信される。広角歪み加工部１０４では、顔位置情報及び向き角度情報に基づき、登録画像データベース１０３から読み出した登録画像が加工され、照合画像が生成される。また、顔認証部１０５では、顔画像と照合画像とが照合され、認証スコアが計算されることで、顔認証処理が行われる。そして、認証結果出力部１０６では、顔認証処理で得られる認証スコア及び認証結果が出力される。

なお、登録画像データベース１０３は、専用のDB(Database)サーバ（クラウド上に構築されたサーバを含む）に格納してもよいし、あるいは情報処理装置３０の内部に格納してもよい。また、情報処理装置２０と情報処理装置３０との間で行われる通信としては、例えば、無線LAN(Local Area Network)や、セルラ方式の通信（例えばLTE- Advancedや5G）等の無線通信、又は有線LAN等の有線通信などが含まれる。

また、図２９の情報処理システム１の構成は一例であって、例えば、情報処理装置３０に、顔検出・顔部位切り出し部１０２を含めたり、あるいは、情報処理装置２０に、認証結果出力部１０６を含めたりしてもよい。

（情報処理装置の構成）
図３０は、本技術を適用した情報処理装置の構成の例を示している。

図３０において、情報処理装置１０は、処理部２１、処理部３１、及び登録画像データベース１０３から構成される。なお、図３０の構成では、図８等の構成と対応する箇所には同一の符号を付してあり、その説明は適宜省略する。

処理部２１は、例えば、カメラモジュールや信号処理回路等から構成される。処理部２１は、広角カメラ１０１、及び顔検出・顔部位切り出し部１０２を含む。

処理部２１では、広角カメラ１０１により撮影された撮影画像が、顔検出・顔部位切り出し部１０２により処理され、顔画像及び顔位置情報が生成される。処理部２１は、生成した顔画像及び顔位置情報を、処理部３１に出力する。

処理部３１は、例えば、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA等の回路から構成される。処理部３１は、制御部１００、広角歪み加工部１０４、顔認証部１０５、及び認証結果出力部１０６を含む。

処理部３１には、処理部２１から顔画像及び顔位置情報が受信される。広角歪み加工部１０４では、顔位置情報及び向き角度情報に基づき、登録画像データベース１０３から読み出した登録画像が加工され、照合画像が生成される。また、顔認証部１０５では、顔画像と照合画像とが照合され、認証スコアが計算されることで、顔認証処理が行われる。そして、認証結果出力部１０６では、顔認証処理で得られる認証スコア及び認証結果が出力される。

なお、登録画像データベース１０３は、情報処理装置１０の内部に格納してもよいし、あるいは、専用のDBサーバ（クラウド上に構築されたサーバを含む）に格納してもよい。

また、図３０の情報処理装置１０の構成は一例であって、例えば、処理部２１と処理部３１を統合し、処理部４１として構成されてもよい。この場合、処理部４１は、制御部１００、広角カメラ１０１、顔検出・顔部位切り出し部１０２、広角歪み加工部１０４、顔認証部１０５、及び認証結果出力部１０６を含む。また、例えば、処理部３１に、顔検出・顔部位切り出し部１０２を含めたり、あるいは、処理部２１に、認証結果出力部１０６を含めたりしてもよい。

＜７．コンピュータの構成＞

上述した一連の処理（例えば、図９等に示した顔認証処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。

入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。

また、処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜８．移動体への応用例＞

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図３３は、撮像部１２０３１の設置位置の例を示す図である。

図３３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車内情報検出ユニット１２０４０及び運転者状態検出部１２０４１に適用され得る。具体的には、例えば、図３０の処理部２１は、運転者状態検出部１２０４１に適用し、図３０の処理部３１は、車内情報検出ユニット１２０４０に適用することができる。車内情報検出ユニット１２０４０及び運転者状態検出部１２０４１に本開示に係る技術を適用することにより、より正確に、車内の運転者等の被認証者の認証を行うことができるため、例えば、運転者の好みに合わせた車内環境を提供するなど、認証された運転者に応じた各種の機能を提供することができる。

また、本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０及び撮像部１２０３１に適用され得る。具体的には、例えば、図３０の処理部２１は、撮像部１２０３１に適用し、図３０の処理部３１は、車外情報検出ユニット１２０３０に適用することができる。車外情報検出ユニット１２０３０及び撮像部１２０３１に本開示に係る技術を適用することにより、より正確に、車外の運転者や第三者（悪意のある者を含む）等の被認証者の認証を行うことができるため、車両１２１００に関するセキュリティを向上させることができる。

例えば、近年、キーレスエントリ（スマートエントリ）が普及し、ほとんどの車両で採用されているが、この種のキーレスエントリを利用することで、運転者は、機械的な鍵を使用せずに、リモートコントローラ（無線リモコン）を操作して車両から離れた場所から無線で施錠や解錠が可能となる。ここで、施錠や解錠に際しては、ハザードランプの点滅や電子音で応答する機能が組み込まれているものがある。この機能は、テーマパーク等の大規模な駐車場で自身の車両を見つけるのには便利である反面、無線リモコンが盗難にあったり紛失したりしたときには、第三者（悪意のある者）がどの車両のキーなのかを特定しやすくなるという欠点がある。このような状況でも、本開示に係る技術を適用した場合には、より正確に車外の第三者（悪意のある者）を認証して、登録者以外の無線リモコンの操作に反応しないようにすることで、車両のセキュリティを向上させることができる。

なお、本開示に係る技術は、以下のような構成をとることができる。

（１）
撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
処理部を備える
情報処理装置。
（２）
前記被写体は、前記撮影画像の周辺部に含まれる
前記（１）に記載の情報処理装置。
（３）
前記処理部は、
前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
前記位置情報及び前記向き情報に基づいて、あらかじめ登録された登録画像から照合画像を生成し、
生成した前記被写体画像と前記照合画像とを照合し、
前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
前記（２）に記載の情報処理装置。
（４）
前記処理部は、前記向き情報により指示する向きを順次変更しながら、前記登録画像、及び前記登録画像の３次元情報に応じた前記照合画像を順次生成する
前記（３）に記載の情報処理装置。
（５）
前記処理部は、
生成した前記照合画像を、前記被写体画像と順次照合し、
前記被写体画像に適合した前記照合画像を用いたときの前記照合の結果に基づいて、前記被写体の形状を判定する
前記（３）又は（４）に記載の情報処理装置。
（６）
前記処理部は、
前記撮影画像に含まれる前記被写体の動作を検出し、
検出した前記被写体の動作が所定の動作である場合に、前記被写体が立体的であると判定する
前記（３）ないし（５）のいずれかに記載の情報処理装置。
（７）
前記処理部は、
前記被写体に対して所定の動作を指示し、
前記撮影画像に含まれる前記被写体の動作を検出し、
検出した前記被写体の動作が、指示に応じた所定の動作である場合に、前記被写体が立体的であると判定する
前記（６）に記載の情報処理装置。
（８）
前記処理部は、
前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
前記向き情報に基づいて、生成した前記被写体画像を補正し、
補正した前記被写体画像と、あらかじめ登録された登録画像とを照合し、
前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
前記（２）に記載の情報処理装置。
（９）
前記向き情報は、前記被写体画像と前記位置情報を入力層に入力し、前記向き情報を出力層から出力するニューラルネットワークを用いることで得られる
前記（８）に記載の情報処理装置。
（１０）
前記ニューラルネットワークの学習では、前記向き情報を学習パラメータに含める
前記（９）に記載の情報処理装置。
（１１）
前記処理部は、
前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
前記位置情報と、生成した前記被写体画像と前記位置情報と、あらかじめ登録された登録画像を入力層に入力し、前記被写体の形状の判定の結果を出力層から出力するニューラルネットワークを用いて、前記判定の結果を取得する
前記（２）に記載の情報処理装置。
（１２）
前記ニューラルネットワークの学習では、前記向き情報を学習パラメータに含める
前記（１１）に記載の情報処理装置。
（１３）
前記被写体の形状を識別する識別処理が有効となる第１のモードと、前記識別処理が無効となる第２のモードを有する
前記（１）ないし（１２）のいずれかに記載の情報処理装置。
（１４）
前記被写体は、人の顔を含み、
前記処理部は、前記撮影画像に含まれる人の顔が、実物の顔であるかどうかを判定する
前記（１）ないし（１３）のいずれかに記載の情報処理装置。
（１５）
前記撮影画像は、広角レンズを有するカメラにより撮影された画像を含み、
前記被写体の歪みは、前記広角レンズに応じた画像の歪みを含む
前記（１）ないし（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
情報処理方法。
（１７）
撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
情報処理装置を含む
情報処理システム。
（１８）
前記被写体を撮影し、前記撮影画像を生成する撮影装置をさらに含み、
前記被写体は、前記撮影装置の画角の周辺部に含まれる
前記（１７）に記載の情報処理システム。
（１９）
登録画像をあらかじめ登録したデータベースをさらに含み、
前記情報処理装置は、
前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
前記位置情報及び前記向き情報に基づいて、前記データベースから読み出した前記登録画像から照合画像を生成し、
生成した前記被写体画像と前記照合画像とを照合し、
前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
前記（１８）に記載の情報処理システム。
（２０）
登録画像をあらかじめ登録したデータベースをさらに含み、
前記情報処理装置は、
前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
前記向き情報に基づいて、生成した前記被写体画像を補正し、
補正した前記被写体画像と、前記データベースから読み出した前記登録画像とを照合し、
前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
前記（１８）に記載の情報処理システム。

１ 情報処理システム， １０，１０Ａないし１０Ｇ 情報処理装置， ２０，３０ 情報処理装置， ２１，３１，４１ 処理部， １００ 制御部， １０１ 広角カメラ， １０２ 顔検出・顔部位切り出し部， １０３ 登録画像データベース， １０４ 広角歪み加工部， １０５ 顔認証部， １０６ 認証結果出力部， １１１ カウンタ， １１２ タイマ， １２１ 動作指示発生部， １３１ 向き角度検出部， １３２ 広角歪み補正部， １３３ 顔認証部， １４１，１４２ 平面判定部， １５０ 交換対応カメラ部， １５１ カメラ， １５２ メモリ， ２００，３００ ニューラルネットワーク， ２０１，３０１ 入力層， ２０２，３０２ 中間層， ２０３，３０３ 出力層， ３１１ コンパレータ， １００１ CPU

Claims (20)

1. 撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
   特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
   処理部を備える
   情報処理装置。
2. 前記被写体は、前記撮影画像の周辺部に含まれる
   請求項１に記載の情報処理装置。
3. 前記処理部は、
   前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
   前記位置情報及び前記向き情報に基づいて、あらかじめ登録された登録画像から照合画像を生成し、
   生成した前記被写体画像と前記照合画像とを照合し、
   前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
   請求項２に記載の情報処理装置。
4. 前記処理部は、前記向き情報により指示する向きを順次変更しながら、前記登録画像、及び前記登録画像の３次元情報に応じた前記照合画像を順次生成する
   請求項３に記載の情報処理装置。
5. 前記処理部は、
   生成した前記照合画像を、前記被写体画像と順次照合し、
   前記被写体画像に適合した前記照合画像を用いたときの前記照合の結果に基づいて、前記被写体の形状を判定する
   請求項４に記載の情報処理装置。
6. 前記処理部は、
   前記撮影画像に含まれる前記被写体の動作を検出し、
   検出した前記被写体の動作が所定の動作である場合に、前記被写体が立体的であると判定する
   請求項３に記載の情報処理装置。
7. 前記処理部は、
   前記被写体に対して所定の動作を指示し、
   前記撮影画像に含まれる前記被写体の動作を検出し、
   検出した前記被写体の動作が、指示に応じた所定の動作である場合に、前記被写体が立体的であると判定する
   請求項６に記載の情報処理装置。
8. 前記処理部は、
   前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
   前記向き情報に基づいて、生成した前記被写体画像を補正し、
   補正した前記被写体画像と、あらかじめ登録された登録画像とを照合し、
   前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
   請求項２に記載の情報処理装置。
9. 前記向き情報は、前記被写体画像と前記位置情報を入力層に入力し、前記向き情報を出力層から出力するニューラルネットワークを用いることで得られる
   請求項８に記載の情報処理装置。
10. 前記ニューラルネットワークの学習では、前記向き情報を学習パラメータに含める
    請求項９に記載の情報処理装置。
11. 前記処理部は、
    前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
    前記位置情報と、生成した前記被写体画像と前記位置情報と、あらかじめ登録された登録画像を入力層に入力し、前記被写体の形状の判定の結果を出力層から出力するニューラルネットワークを用いて、前記判定の結果を取得する
    請求項２に記載の情報処理装置。
12. 前記ニューラルネットワークの学習では、前記向き情報を学習パラメータに含める
    請求項１１に記載の情報処理装置。
13. 前記被写体の形状を識別する識別処理が有効となる第１のモードと、前記識別処理が無効となる第２のモードを有する
    請求項１に記載の情報処理装置。
14. 前記被写体は、人の顔を含み、
    前記処理部は、前記撮影画像に含まれる人の顔が、実物の顔であるかどうかを判定する
    請求項１に記載の情報処理装置。
15. 前記撮影画像は、広角レンズを有するカメラにより撮影された画像を含み、
    前記被写体の歪みは、前記広角レンズに応じた画像の歪みを含む
    請求項１に記載の情報処理装置。
16. 情報処理装置が、
    撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
    特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
    情報処理方法。
17. 撮影画像に含まれる被写体の位置を示す位置情報と、前記被写体の向きを示す向き情報に基づいて、前記被写体の歪みを特定し、
    特定した前記被写体の歪みに基づいて、前記被写体の形状を識別する
    情報処理装置を含む
    情報処理システム。
18. 前記被写体を撮影し、前記撮影画像を生成する撮影装置をさらに含み、
    前記被写体は、前記撮影装置の画角の周辺部に含まれる
    請求項１７に記載の情報処理システム。
19. 登録画像をあらかじめ登録したデータベースをさらに含み、
    前記情報処理装置は、
    前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
    前記位置情報及び前記向き情報に基づいて、前記データベースから読み出した前記登録画像から照合画像を生成し、
    生成した前記被写体画像と前記照合画像とを照合し、
    前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
    請求項１８に記載の情報処理システム。
20. 登録画像をあらかじめ登録したデータベースをさらに含み、
    前記情報処理装置は、
    前記撮影画像に含まれる前記被写体の領域に対応した被写体画像を生成し、
    前記向き情報に基づいて、生成した前記被写体画像を補正し、
    補正した前記被写体画像と、前記データベースから読み出した前記登録画像とを照合し、
    前記照合の結果に基づいて、前記被写体の形状が立体的又は平面的であるかどうかを判定する
    請求項１８に記載の情報処理システム。

Images