JP2017033132A - 顔認証装置 - Google Patents

Abstract

【課題】簡易な構成の装置を用いて簡単な手法で顔認証をすることにより、コストを増大させることなく顔認証における顔画像の歪みを最小限にすること。
【解決手段】顔認証装置１００は、顔の中心位置と撮像部１０１の位置に基づいて顔の向きを推定し、顔の向きが撮像部１０１の光軸方向に一致するように可視光画像データに対して光軸ズレを含む画像歪を補正する画像補正部１０７と、撮像部１０１により撮像された画像データから顔の部分を切り出し、顔の特徴量を算出して画像補正部１０７に出力すると共に、画像補正部１０７で補正された画像データから顔の特徴量を算出して顔照合部１０９に出力する特徴量算出部１０５と、を有する。
【選択図】図３

Description

本発明は、被写体である人物の顔画像を用いて顔認証を行う顔認証装置に関する。

従来、人物の顔認証によりセキュリティ管理を行う顔認証装置が知られている。かかる顔認証装置では、撮影する人物の身長の違いにより、顔位置とカメラの光軸とにズレを生じ、撮影した顔画像に歪みを生じることにより認証率の低下を招くという課題があった。

これに対して、特許文献１は、顔画像認識装置に関し、広視野レンズにより被写体である人物の身長方向に視野を拡大した画像を入力し、入力した画像の歪みを補正する構成を開示する。

また、特許文献２は、顔認証装置に関し、複数のカメラを用いて撮影した複数の顔画像データから複数の３次元顔モデルを生成し、複数の３次元顔モデルから歪が最小となる照合用顔向きの２次元合成画像を生成する構成を開示する。

特許文献１及び特許文献２によれば、顔画像の歪みを最小限にすることができるので、認証率の低下を抑制することができる。

特開２００１−２６６１５２号公報 特開２００９−４３０６５号公報

しかしながら、特許文献１においては、高価な広視野レンズを用いるため、コストを低減することができないという課題を有する。また、特許文献２においては、複数のカメラを必要とし、また、複雑な装置及びアルゴリズムを用いるため、コストを低減することができないという課題を有する。

本発明の目的は、簡易な構成の装置を用いて簡単な手法で顔認証をすることにより、コストを増大させることなく顔認証における顔画像の歪みを最小限にして、顔認証の認証率を向上させることができる顔認証装置を提供することである。

本発明に係る顔認証装置は、カメラにより撮像された撮像データから可視光画像データを取得するカメラ信号処理部と、前記可視光画像データの画像から被写体の顔の部分を切り出し、前記顔の特徴量を算出する特徴量算出部と、前記顔の特徴量に基づいて前記画像における前記顔の中心位置を検出する顔位置検出部と、前記顔の中心位置と前記カメラの位置に基づいて前記顔の向きを推定し、前記顔の向きが前記カメラの光軸方向に一致するように、光軸ズレを含む前記可視光画像データの画像歪を補正して補正画像データを取得する画像補正部と、を具備し、前記特徴量算出部は、前記補正画像データから前記顔の特徴量を算出し、前記補正画像データから算出された顔の特徴量と、予め登録された顔画像の特徴量とを照合することにより顔認識を行う顔照合部をさらに具備する。

本発明によれば、簡易な構成の装置を用いて簡単な手法で顔認証をすることにより、コストを増大させることなく顔認証における顔画像の歪みを最小限にして、顔認証の認証率を向上させることができる。

本発明の実施の形態１に係る顔認証装置の正面図 本発明の実施の形態１に係る顔認証装置の側面図 本発明の実施の形態１に係る顔認証装置の構成を示すブロック図 本発明の実施の形態１に係る顔画像歪み補正処理を示すフロー図 本発明の実施の形態１に係る画像座標における顔の中心位置を示す図 本発明の実施の形態１に係るカメラ座標における顔の中心位置を示す図 本発明の実施の形態１に係る世界座標における撮像装置及び顔の位置関係を示す図 本発明の実施の形態１に係る顔の光軸方向のズレのカメラ座標と世界座標の関連を示す図 本発明の実施の形態１に係る世界座標における顔の位置に対応する平面を示す図 本発明の実施の形態１に係る光軸ズレ有無での顔画像を示す図 本発明の実施の形態２に係る顔認証装置の構成を示すブロック図 本発明の実施の形態２に係る被写体までの距離を求める方法を示す図 本発明の実施の形態２に係る被写体までの距離を求める際の顔の基準位置を示す図 本発明の実施の形態２に係る撮像部と被写体の顔との距離を示す図 本発明の実施の形態３に係る顔認証装置の構成を示すブロック図 本発明の実施の形態３に係る顔認証装置の動作を示すフロー図 本発明の実施の形態３に係る顔の上下方向の長さが最長となる顔の向きを示す図 本発明の実施の形態３に係る顔の上下方向の長さを示す図 本発明の実施の形態３に係る表示部に表示される画像を示す図 本発明の実施の形態４に係る顔認証装置の構成を示すブロック図 本発明の実施の形態４に係る表示部に表示される画像を示す図

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。

（実施の形態１）
＜顔認証装置の構成＞
本発明の実施の形態１に係る顔認証装置１００の構成について、図１乃至図３を参照しながら、以下に詳細に説明する。

顔認証装置１００は、撮像部１０１と、カメラ信号処理部１０２と、ＵＩ制御部１０３と、表示部１０４と、特徴量算出部１０５と、顔位置検出部１０６と、画像補正部１０７と、データベース（ＤＢ）１０８と、顔照合部１０９と、照明部１１０と、を有している。

撮像部１０１は、被写体である人物Ｊを撮像し、撮像データをカメラ信号処理部１０２に出力する。撮像部１０１は、典型的にはイメージセンサ及びレンズ等の光学系を含む。

カメラ信号処理部１０２は、撮像部１０１から入力したアナログの撮像データをデジタルの可視光画像データに変換し、可視光画像データをＵＩ制御部１０３及び特徴量算出部１０５に出力する。

ＵＩ制御部１０３は、カメラ信号処理部１０２から入力した可視光画像データの画像を表示部１０４に表示させる表示制御処理を実行する。

表示部１０４は、ＵＩ制御部１０３の表示制御処理の実行により被写体Ｊの顔画像を表示する。

特徴量算出部１０５は、カメラ信号処理部１０２から入力した可視光画像データから顔の部分を切り出し、顔画像の特徴量を算出して顔位置検出部１０６に出力する。特徴量算出部１０５は、画像補正部１０７で画像歪を補正された可視光画像データから顔画像の特徴量を算出して顔照合部１０９に出力する。算出される特徴量は、眼、鼻及び口等の特徴部分に応じた値となる。従って、特徴量算出部１０５は、算出した特徴量に基づいて、眼、鼻及び口等の特徴部分を検出することができる。

顔位置検出部１０６は、特徴量算出部１０５から入力した特徴量に基づいて画像における顔の中心位置を検出し、検出結果を画像補正部１０７に出力する。

画像補正部１０７は、顔位置検出部１０６から入力した検出結果の示す顔の中心位置と、予め記憶している撮像部１０１の位置と、に基づいて顔の向きを推定する。画像補正部１０７は、推定した顔の向きが撮像部１０１の光軸方向に一致するように、光軸ズレを含む可視光画像データの画像歪を補正し、画像歪を補正した画像データ（以下、「補正画像データ」という）を特徴量算出部１０５に出力する。

データベース（ＤＢ）１０８は、顔画像の特徴量の算出値を予め記憶している。

顔照合部１０９は、特徴量算出部１０５から入力した特徴量と、データベース１０８に予め登録された顔画像の特徴量と、を照合することにより顔認識を行う。顔照合部１０９は、顔認証の結果を出力する。

照明部１１０は、被写体Ｊを照射する。

＜顔画像歪み補正処理＞
本発明の実施の形態１に係る顔画像歪み補正処理について、図４乃至図１０を参照しながら、以下に詳細に説明する。図５は、画像座標を示している。図６は、カメラ座標を示している。図９は、世界座標を示している。図１０は光軸ズレ有無での顔画像を示している。

図４に示すように、カメラ信号処理部１０２から可視光画像データが特徴量算出部１０５に入力することにより画像歪み補正処理が開始される。

まず、特徴量算出部１０５は、入力した可視光画像データを解析して顔画像の特徴量を算出し、眼、鼻及び口等の特徴部分を検出する。顔位置検出部１０６は、図５に示すように、特徴量算出部１０５で算出した特徴量に基づいて画像における顔の中心位置Ｐ１を検出し、検出した顔の中心位置Ｐ１の画像座標におけるｙ座標を、顔の中心位置Ｐ１として取得する（Ｓ１）。顔位置検出部１０６は、図５に示すように、画像座標では画像の左上を原点Ｏ１とすると共に、横方向をｘ軸及び縦方向をｙ軸とする。

次に、画像補正部１０７は、（１）式により、顔位置検出部１０６で取得した顔の中心位置をカメラ座標に変換する（Ｓ２）。ここでは説明の簡易化のために画像座標の中心をカメラ座標の原点とする。

ここで、ｐｉｘｅｌＳｉｚｅはイメージセンサの１画素の大きさ
ｈｅｉｇｈｔは画像の上下方向の長さ（画像サイズの高さ）

画像補正部１０７は、図６に示すように、カメラ座標では中心を原点Ｏ２とすると共に、横方向をｕ軸及び縦方向をｖ軸とする。

次に、画像補正部１０７は、カメラ座標における顔の中心位置を、（２）式を用いて、世界座標に変換する（Ｓ３）。

ここで、ｆは焦点距離

画像補正部１０７は、図７に示すように、撮像部１０１の位置を原点とすると共に、原点から被写体方向をＺ軸として、世界座標（Ｘ，Ｙ，Ｚ）を設定する。

図８に示すように、顔の中心位置を通るＹ軸と平行な直線がＺ軸と交わる位置Ｐ２と、顔の中心位置Ｐ１と、の距離ｈが光軸方向のズレになる。

次に、画像補正部１０７は、顔が撮像部１０１を向いていると仮定した場合、撮像部１０１に対する顔の向きθを、（３）式より求める。

ここで、ｈは、顔の中心位置の光軸方向のズレ
ｚｚは、撮像部１０１と被写体の顔との距離

画像補正部１０７は、世界座標の原点上に仮に幅０．２ｍの平面を配置し、この平面を、（４）式により世界座標上を移動させることにより、図９のＡ、Ｂ、Ｃ、Ｄの座標を有する平面Ｈ１を得る（Ｓ４）。

（４）式では、原点に配置した平面を、Ｘ軸を回転軸としてθだけ回転させ、更に、Ｚ軸上を撮像部１０１から離れる方向に距離ｚｚだけ平行移動させる。

なお、原点に配置する平面は、計算誤差が問題にならない程度の大きさ以上であり、後述するカメラ座標の画像サイズからはみ出さない大きさである。

次に、画像補正部１０７は、世界座標においてＡ、Ｂ、Ｃ、Ｄの座標を有する平面Ｈ１を、（５）式によりカメラ座標に変換する（Ｓ５）。

ここで、ｆは焦点距離

次に、画像補正部１０７は、カメラ座標上の平面を、（６）式により画像座標に変換する（Ｓ６）。

ここで、ｗｉｄｔｈは画像の左右方向の長さ（画像サイズの幅）
ｈｅｉｇｈｔは画像の上下方向の長さ（画像サイズの高さ）
ｐｉｘｅｌＳｉｚｅはイメージセンサの１画素の大きさ

また、画像補正部１０７は、世界座標の原点Ｏ５上に仮に平面を配置し、この平面を、（７）式により世界座標上を移動させることにより、図９のＥ、Ｆ、Ｇ、Ｈの座標を有する平面Ｈ２を得る（Ｓ７）。

（７）式では、原点Ｏ５に配置した平面を、Ｚ軸上を撮像部１０１から離れる方向に距離ｚｚだけ平行移動させる。

図９のＥ、Ｆ、Ｇ、Ｈの座標により構成される平面Ｈ２の位置が、本来の顔位置に相当する。

次に、画像補正部１０７は、世界座標においてＥ、Ｆ、Ｇ、Ｈの座標を有する平面Ｈ２を、（８）式によりカメラ座標に変換する（Ｓ８）。

ここで、ｆは焦点距離

次に、画像補正部１０７は、カメラ座標上の平面を、（９）式により画像座標に変換する（Ｓ９）。

ここで、ｗｉｄｔｈは画像の左右方向の長さ（画像サイズの幅）
ｈｅｉｇｈｔは画像の上下方向の長さ（画像サイズの高さ）
ｐｉｘｅｌＳｉｚｅはイメージセンサの１画素の大きさ

次に、画像補正部１０７は、（１０）式よりＭＡＴＬＡＢ（MATrix LABoratory；マトラブ）を使った射影変換行列tformを算出する。

ここで、movingPointsは、平面Ｈ１の角のｘ、ｙ座標
fixedPointsは、平面Ｈ２の角のｘ、ｙ座標
‘Projective’は、変換方式で射影変換を表す。

そして、画像補正部１０７は、（１１）式よりＭＡＴＬＡＢを使った射影変換を行う（Ｓ１０）。なお、（１０）式および（１１）式は、一般的なＣ言語でも実装可能である。

ここで、Ｂは、補正後の画像
Ａは、入力画像

このような顔画像歪み補正処理を行うことにより、図１０の歪んだ画像Ｇ１を、被写体Ｊの顔を撮像部１０１により正面から撮像した図１０の画像Ｇ２に近くなるように補正することができる。画像Ｇ２の被写体Ｊの顔の向きは、撮像部１０１の光軸方向（図１０の左右方向）に一致している。

＜効果＞
本実施の形態によれば、顔の中心位置と撮像部１０１の位置に基づいて顔の向きを推定し、顔の向きが撮像部１０１の光軸方向に一致するように、光軸ズレを含む可視光画像データの画像歪を補正すると共に、補正画像データから顔の特徴量を算出して顔認証する。これにより、簡易な構成の装置を用いて簡単な手法で顔認証をすることができるので、コストを増大させることなく顔認証における顔画像の歪みを最小限にして、顔認証の認証率を向上させることができる。

（実施の形態２）
＜顔認証装置の構成＞
本発明の実施の形態２に係る顔認証装置２００の構成について、図１１を参照しながら、以下に詳細に説明する。

なお、図１１に示す顔認証装置２００において、図３に示した顔認証装置１００と共通する構成部分については同一符号を付して、その説明を省略する。図１１に示す顔認証装置２００は、図３に示した顔認証装置１００と比較して、カメラ信号処理部１０２および画像補正部１０７を削除し、カメラ信号処理部２０１、顔傾き検出部２０２、ＩＲ照明部２０３および画像補正部２０４を追加した構成を採る。

撮像部１０１は、被写体である人物Ｊを撮像し、撮像データをカメラ信号処理部２０１に出力する。

カメラ信号処理部２０１は、撮像部１０１から入力したアナログの撮像データをデジタルの可視光画像データに変換すると供に、撮像データから距離画像データを取得する。カメラ信号処理部２０１は、可視光画像データを顔傾き検出部２０２、ＵＩ制御部１０３及び特徴量算出部１０５に出力し、距離画像データを顔傾き検出部２０２に出力する。

ＵＩ制御部１０３は、カメラ信号処理部２０１から入力した可視光画像データの画像を表示部１０４に表示させる表示制御処理を実行する。

顔傾き検出部２０２は、ＩＲ照明部２０３から被写体Ｊに向けて赤外光を照射させる制御を行う。顔傾き検出部２０２は、カメラ信号処理部２０１から入力した距離画像データ及び可視光画像データに基づいて被写体Ｊの顔の傾きを検出し、検出結果を画像補正部２０４に出力する。

ＩＲ照明部２０３は、顔傾き検出部２０２の制御により赤外光を被写体Ｊに向けて照射する。

画像補正部２０４は、顔位置検出部１０６から入力した検出結果の示す顔の中心位置と、予め記憶している撮像部１０１の位置と、顔傾き検出部２０２から入力した検出結果の示す顔の傾きと、に基づいて顔の傾きを推定する。画像補正部２０４は、推定した顔の向きが撮像部１０１の光軸方向に一致するように、光軸ズレを含む可視光画像データの画像歪を補正し、補正画像データを特徴量算出部１０５に出力する。

特徴量算出部１０５は、補正画像データから顔画像の特徴量を算出して顔照合部１０９に出力する。なお、特徴量算出部１０５における上記以外の構成は上記実施の形態１の特徴量算出部１０５と同一構成であるので、その説明を省略する。

顔位置検出部１０６は、特徴量算出部１０５から入力した特徴量に基づいて画像における顔の中心位置を検出し、検出結果を画像補正部２０４に出力する。

＜顔画像歪み補正処理＞
本発明の実施の形態２に係る顔画像歪み補正処理について、図１２乃至図１４を参照しながら、以下に詳細に説明する。

ＩＲ照明部２０３は、図１２（ｂ）に示すように、赤外光を被写体Ｊに照射する。ＩＲ照明部２０３で照射する赤外光（投光信号）と距離画像信号（受光信号）とは、図１２（ａ）に示すように、位相差φを生じる。

顔傾き検出部２０２は、この位相差φにより被写体Ｊとの距離を検出する。

顔傾き検出部２０２は、カメラ信号処理部２０１から入力した可視光画像信号より可視光画像を生成する。顔傾き検出部２０２は、図１３に示すように、生成した可視光画像の額Ａ及び顎Ｂの位置座標を抽出する。そして、顔傾き検出部２０２は、図１４に示すように、額Ａに照射した赤外光とその距離画像信号、及び顎Ｂに照射した赤外光とその距離画像信号における上記の位相差φを求める。顔傾き検出部２０２は、求めた位相差φに相当する顔認証装置１００と額Ａとの距離Ｌａと、顔認証装置１００と顎Ｂとの距離Ｌｂと、を検出する。

距離Ｌａ＞距離Ｌｂの場合には、顔がカメラ方向に対して下向きであることを示している。また、距離Ｌａ＜距離Ｌｂの場合（図１４の場合）には、顔がカメラ方向に対して上向きであることを示している。更に、距離Ｌａ＝距離Ｌｂの場合には、顔が正面（カメラ方向）を向いていることを示している。

顔傾き検出部２０２は、距離Ｌａと距離Ｌｂとの差と、顔の向きθと、を対応付けて記憶したテーブルを予め保持することにより、距離Ｌａと距離Ｌｂとの差より顔の傾きθを求めることができる。

画像補正部２０４は、距離Ｌａと距離Ｌｂとの差より求めた顔の向きθを、上記（４）式のθに代入することにより、上記実施の形態１に比べて、顔の歪みを精度よく補正することができる。

なお、（４）式によりＡ、Ｂ、Ｃ、Ｄの座標を得た後の処理は上記実施の形態１と同一処理であるので、その説明を省略する。

＜効果＞
本実施の形態によれば、顔の傾きを検出し、顔の傾きを用いて可視光画像データの画像歪を補正することにより、上記実施の形態１の効果に加えて、上記実施の形態１に比べて、顔画像の歪みを更に抑制することができ、顔認証の認証率を更に向上させることができる。

なお、本実施の形態において、１つの顔認証装置で可視光画像データ及び距離画像データを取得したが、可視光画像データ及び距離画像データを各々別の装置により取得してもよい。

また、本実施の形態において、額Ａ及び顎Ｂの上下の２点の撮像部１０１からの距離を求めたが、左右の頬骨等の左右の２点の撮像部１０１からの距離を求めてもよい。この場合には、左右方向の顔の向き及び傾きを補正することができる。

（実施の形態３）
＜顔認証装置の構成＞
本発明の実施の形態３に係る顔認証装置３００の構成について、図１５を参照しながら、以下に詳細に説明する。

なお、図１５に示す顔認証装置３００において、図３に示した顔認証装置１００と共通する構成部分については同一符号を付して、その説明を省略する。図１５に示す顔認証装置３００は、図３に示した顔認証装置１００と比較して、特徴量算出部１０５およびＵＩ制御部１０３を削除し、特徴量算出部３０１およびＵＩ制御部３０２を追加した構成を採る。

カメラ信号処理部１０２は、撮像部１０１から入力したアナログの撮像データをデジタルの可視光画像データに変換し、可視光画像データを特徴量算出部３０１及びＵＩ制御部３０２に出力する。

ＵＩ制御部３０２は、カメラ信号処理部１０２から入力した可視光画像データの画像を表示部１０４に表示させる表示制御処理を実行する。ＵＩ制御部３０２は、「ＯＫ」及び「ＮＧ」の表示を表示部１０４に表示させる。ＵＩ制御部３０２は、特徴量算出部３０１からベストショットであることを示すベストショット信号が入力するまでは表示部１０４に表示されている「ＮＧ」の表示を点灯させ、特徴量算出部３０１からベストショットであることを示すベストショット信号が入力した際に表示部１０４に表示されている「ＯＫ」の表示を点灯させる。

表示部１０４は、ＵＩ制御部３０２の表示制御処理の実行により被写体Ｊの顔画像を表示すると共に、「ＯＫ」及び「ＮＧ」の表示を表示する。

特徴量算出部３０１は、カメラ信号処理部１０２から入力した可視光画像データから顔の部分を切り出し、顔画像の特徴量を算出し、算出した特徴量に基づいて、被写体の顔の上下方向の動作に応じて顔画像の上下方向の長さＬｃを繰り返し算出する。特徴量算出部３０１は、繰り返し算出した長さＬｃが最長となる顔画像をベストショットとして取得する。具体的には、特徴量算出部３０１は、過去の長さＬｃの算出結果を記憶し、その最長値が一定時間更新されなければ当該長さＬｃを最長値として推定し、当該推定した長さＬｃの最長値に所定の係数（例えば０．９５）を乗算した値を閾値とし、長さＬｃが当該閾値を超える場合をベストショットとして取得する。そして、特徴量算出部３０１は、ベストショットにおける顔画像の特徴量を顔位置検出部１０６に出力すると共に、ベストショット信号をＵＩ制御部３０２に出力する。なお、特徴量算出部３０１における上記以外の構成は特徴量算出部１０５の構成と同一であるので、その説明を省略する。

顔位置検出部１０６は、特徴量算出部３０１から入力した特徴量に基づいて画像における顔の中心位置を検出し、検出結果を画像補正部１０７に出力する。

画像補正部１０７は、顔位置検出部１０６から入力した検出結果の示す顔の中心位置と、予め記憶している撮像部１０１の位置とに基づいて顔の向きを推定する。画像補正部１０７は、推定した顔の向きが撮像部１０１の光軸方向に一致するように、光軸ズレを含む可視光画像データの画像歪を補正し、補正画像データを特徴量算出部３０１に出力する。

顔照合部１０９は、特徴量算出部３０１から入力した特徴量と、データベース１０８に予め登録された顔画像の特徴量と、を照合することにより顔認識を行う。顔照合部１０９は、顔認証の結果を出力する。

＜顔認証装置の動作＞
本発明の実施の形態３に係る顔認証装置３００の動作について、図１６乃至図１９を参照しながら、以下に詳細に説明する。

まず、顔認証装置３００は、撮像部１０１で撮像を開始する（Ｓ１０１）。

次に、表示部１０４は、撮像部１０１で撮像した顔画像を表示する（Ｓ１０２）。

次に、被写体Ｊは、表示部１０４に表示された「ＯＫ」が点灯しないことにより顔の向きを変化させる（Ｓ１０３）。

次に、特徴量算出部３０１は、顔画像の特徴量に基づいて顔画像の上下方向の長さＬｃ（図１８参照）を繰り返し算出し、顔画像の長さＬｃが最長であるか否かを判定する（Ｓ１０４）。

特徴量算出部３０１は、顔画像の長さＬｃが最長でない場合（Ｓ１０４：Ｎｏ）、Ｓ１０２の処理に戻る。

一方、特徴量算出部３０１は、顔画像の長さＬｃが最長である場合（Ｓ１０４：Ｙｅｓ）、長さＬｃが最長の顔画像をベストショットとして取得する（Ｓ１０５）。長さＬｃが最長の場合には、図１７に示すように、顔が撮像部１０１に向いたときである。

次に、表示部１０４は、図１９に示すように、「ＯＫ」の表示を点灯する（Ｓ１０６）。

次に、特徴量算出部３０１及び画像補正部１０７は、顔画像歪み補正処理を実行する（Ｓ１０７）。なお、本実施の形態における顔画像歪み補正処理は、上記実施の形態１の顔画像歪み補正処理と同一処理であるので、その説明を省略する。

次に、顔照合部１０９は、特徴量算出部３０１から入力した特徴量と、データベース１０８に予め登録された顔画像の特徴量と、を照合することにより顔認識を行う（Ｓ１０８）。

＜効果＞
本実施の形態によれば、顔画像の上下方向の長さが最長である場合に顔画像歪み補正処理を実行することにより、上記実施の形態１の効果に加えて、上記実施の形態１に比べて、顔画像の歪みを更に抑制することができ、顔認証の認証率を更に向上させることができる。

また、本実施の形態によれば、被写体であるユーザは表示部１０４の「ＯＫ」又は「ＮＧ」の表示を見ることにより、顔画像の歪みを補正可能であるか否かを判断することができる。

（実施の形態４）
＜顔認証装置の構成＞
本発明の実施の形態４に係る顔認証装置４００の構成について、図２０及び図２１を参照しながら、以下に詳細に説明する。

なお、図２０に示す顔認証装置４００において、図１１に示した顔認証装置２００と共通する構成部分については同一符号を付して、その説明を省略する。図２０に示す顔認証装置４００は、図１１に示した顔認証装置２００と比較して、特徴量算出部１０５およびＵＩ制御部１０３を削除し、ＵＩ制御部４０１および特徴量算出部４０２を追加した構成を採る。

カメラ信号処理部２０１は、撮像部１０１から入力したアナログの撮像データをデジタルの可視光画像データに変換すると供に、撮像データから距離画像データを取得する。カメラ信号処理部２０１は、可視光画像データを顔傾き検出部２０２、ＵＩ制御部４０１及び特徴量算出部４０２に出力し、距離画像データを顔傾き検出部２０２に出力する。

ＵＩ制御部４０１は、カメラ信号処理部２０１から入力した可視光画像データの画像を表示部１０４に表示させる表示制御処理を実行する。ＵＩ制御部４０１は、「ＯＫ」及び「ＮＧ」の表示を表示部１０４に表示させる。ＵＩ制御部４０１は、顔画像を表示部１０４に表示させる際に、図２２に示すように、表示画面の所定の大きさのエリアＥ１に収まるか否かを判定する。ＵＩ制御部４０１は、顔画像がエリアＥ１に収まる場合には図２１に示すように表示部１０４に表示された「ＯＫ」の表示を点灯させ、顔画像歪み補正処理を開始させるトリガー信号を特徴量算出部４０２に出力する。ＵＩ制御部４０１は、顔画像がエリアＥ１からはみ出す場合には表示部１０４に表示された「ＮＧ」の表示を点灯させる。

特徴量算出部４０２は、ＵＩ制御部４０１からトリガー信号が入力した際に、カメラ信号処理部２０１から入力した可視光画像データから顔の部分を切り出し、顔画像の特徴量を算出して顔位置検出部１０６に出力する。なお、特徴量算出部４０２における上記以外の構成は特徴量算出部１０５の構成と同一であるので、その説明を省略する。

なお、本実施の形態の顔画像歪み補正処理は、特徴量算出部４０２にトリガー信号が入力した際に開始される以外は上記実施の形態２の顔画像歪み補正処理と同一処理であるので、その説明を省略する。

＜効果＞
本実施の形態によれば、顔画像が表示画面の所定のエリアに収まる可視光画像データに対して顔の向き及び顔の傾きを補正することにより、上記実施の形態２の効果に加えて、上記実施の形態２に比べて、顔画像の歪みを更に抑制することができ、顔認証の認証率を更に向上させることができる。

また、本実施の形態によれば、被写体であるユーザは表示部１０４の「ＯＫ」又は「ＮＧ」の表示を見ることにより、顔画像の歪みを補正可能であるか否かを判断することができる。

なお、本実施の形態において、１つの顔認証装置で可視光画像データ及び距離画像データを取得したが、可視光画像データ及び距離画像データを各々別の装置により取得してもよい。

また、本実施の形態において、額Ａ及び顎Ｂの上下の２点の撮像部１０１からの距離を求めたが、左右の頬骨等の左右の２点の撮像部１０１からの距離を求めてもよい。この場合には、左右方向の顔の向き及び傾きを補正することができる。

本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。

具体的には、上記実施の形態１乃至実施の形態４において、上下方向の顔の向き又は傾きを補正したが、（１２）式を用いて、左右方向の顔の向き及び傾きを補正してもよい。

本発明は、被写体である人物の顔画像を用いて顔認証を行う顔認証装置に用いるに好適である。

１００、２００、３００、４００ 顔認証装置
１０１ 撮像部
１０２、２０１ カメラ信号処理部
１０３、３０２、４０１ ＵＩ制御部
１０４ 表示部
１０５、３０１、４０２ 特徴量算出部
１０６ 顔位置検出部
１０７、２０４ 画像補正部
１０９ 顔照合部
１１０ 照明部
２０２ 顔傾き検出部
２０３ ＩＲ照明部

Claims (3)

1. カメラにより撮像された撮像データから可視光画像データを取得するカメラ信号処理部と、
   前記可視光画像データの画像から被写体の顔の部分を切り出し、前記顔の特徴量を算出する特徴量算出部と、
   前記顔の特徴量に基づいて前記画像における前記顔の中心位置を検出する顔位置検出部と、
   前記顔の中心位置と前記カメラの位置に基づいて前記顔の向きを推定し、前記顔の向きが前記カメラの光軸方向に一致するように、光軸ズレを含む前記可視光画像データの画像歪を補正して補正画像データを取得する画像補正部と、
   を具備し、
   前記特徴量算出部は、前記補正画像データから前記顔の特徴量を算出し、
   前記補正画像データから算出された顔の特徴量と、予め登録された顔画像の特徴量とを照合することにより顔認識を行う顔照合部をさらに具備する、
   顔認証装置。
2. 前記カメラ信号処理部は、前記撮像データから距離画像データを取得し、
   前記距離画像データ及び前記可視光画像データに基づいて前記被写体の顔の傾きを検出する顔位置検出部をさらに具備し、
   前記画像補正部は、前記検出された被写体の顔の傾きを用いて前記補正画像データを取得する、
   請求項１に記載の顔認証装置。
3. 前記特徴量算出部は、前記被写体の顔の方向の動作に応じて前記画像の顔の長さかつ／または幅を前記特徴量に基づいて繰り返し算出し、前記顔の長さかつ／または幅が最長となる画像をベストショットとして取得し、
   前記可視光画像データの画像、および、前記ベストショットが取得されたか否かの情報を表示部に表示させる表示制御処理を実行するＵＩ制御部をさらに具備し、
   前記顔位置検出部は、前記ベストショットにおける前記顔の中心位置を検出する、
   請求項１または請求項２に記載の顔認証装置。

Images