JP2004348563A - 顔画像照合装置、携帯端末装置、顔画像照合方法及び顔画像照合プログラム - Google Patents

Abstract

【課題】小型機器にも搭載可能で処理時間の速い顔画像照合装置を提供すること。
【解決手段】ビデオカメラで撮影された顔画像の両目位置を検出し（Ｓ３）、顔画像に重ねて表示する（Ｓ５）。その位置で正しいと使用者が指示すれば（Ｓ７：ＹＥＳ）、その顔画像データを正規化処理し（Ｓ９）、ＬＰＣケプストラムを求めて特徴量として抽出する（Ｓ１１）。求めた特徴量とデータベースに登録されている特徴量をＤＰマッチングにより比較照合し（Ｓ１３）、一致を判定して（Ｓ１５）、結果を出力する（Ｓ１７）。
【選択図】 図４

Description

【０００１】
【発明の属する技術分野】
本発明は、顔画像照合装置に関するものである。
【０００２】
【従来の技術】
顔画像を利用した個人認識技術である顔画像照合装置は、利用時の抵抗感の少なさ、画像撮影機器が安価であること等から近年大きく注目されている。従来の技術としては、顔画像データをラスタスキャンした際のピクセルデータからなるベクトルを、主成分分析、部分空間法、ＫＬ変換等の特徴量変換により特徴量ベクトルの算出を行ない、この特徴量ベクトルの距離値によって類似度を評価するものがある（例えば、特許文献１参照）。また、このような特徴量抽出を行なう前処理として、撮影された顔画像から目や鼻等の部位の位置関係を検出し、顔の位置や大きさを正規化している。
【０００３】
【特許文献１】
特開２００２−３４２７６０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術では、計算量が膨大となり、リアルタイム処理が困難である。また、特徴量ベクトルの次元数も大きくなる傾向がある問題点がある。さらに、前処理である正規化を正確に行なう必要もある。
本発明は、上述の問題点を解決するためになされたものであり、小型機器にも搭載可能で処理時間の速い顔画像照合装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の顔画像照合装置は、入力された顔画像である照合対象画像を周波数解析することにより当該照合対象画像の特徴量を抽出する特徴量抽出手段と、当該特徴量抽出手段が抽出した特徴量を記憶する特徴量記憶手段と、入力された照合対象画像について前記特徴量抽出手段が抽出した照合対象特徴量と、予め前記特徴量記憶手段に記憶されている登録特徴量とを比較照合する照合手段とを備えている。
【０００６】
この構成の顔画像照合装置では、特徴量抽出手段が入力された顔画像（照合対象画像）を周波数解析することによりその特徴量を抽出し、特徴量記憶手段が抽出された特徴量を記憶する。特徴量記憶手段には、比較照合のための登録特徴量が予め記憶されており、比較照合手段は、この登録特徴量と、特徴量抽出手段が抽出した照合対象特徴量とを比較照合する。
【０００７】
請求項２に記載の顔画像照合装置は、請求項１に記載の発明の構成に加え、前記照合対象画像に対してアフィン変換、対象領域の切り出し、画像縮小のうち少なくとも１つの処理を行なう前処理手段を備え、前記特徴量抽出手段は、当該前処理手段が処理した前処理後画像を周波数解析することを特徴とする。
【０００８】
この構成の顔画像照合装置では、請求項１に記載の発明の作用に加え、前処理手段が、照合対象画像に対して特徴量抽出を行なうための前処理を行なう。前処理の種類としては、アフィン変換、対象領域の切り出し、画像縮小のうち、１つ又はこれらの組み合わせを用いることができる。
【０００９】
請求項３に記載の顔画像照合装置は、請求項１又は２に記載の発明の構成に加え、顔画像を入力する入力手段と、当該入力手段から入力された顔画像を表示する表示手段と、前記入力手段により入力された顔の基準点の位置を検出する位置検出手段と、当該位置検出手段の検出結果に基づいて、前記入力手段から顔画像を再入力するためのガイドを前記表示手段に表示させるガイド表示制御手段とを備えたことを特徴とする。
【００１０】
この構成の顔画像照合装置では、請求項１又は２に記載の発明の作用に加え、ビデオカメラ等の入力手段が顔画像を入力し、表示手段がその入力された顔画像を表示する。そして、位置検出手段が入力された顔の基準点の位置を検出し、この検出結果に基づいて、ガイド表示制御手段が顔画像を再入力するための表示手段にガイドを表示させる。操作者は、表示されたガイドに従って、表示手段の表示を見ながら顔の位置を調整し、顔画像を再入力することができる。
【００１１】
請求項４に記載の顔画像照合装置は、請求項１又は２に記載の発明の構成に加え、顔画像を入力する入力手段と、当該入力手段から入力された顔画像を表示する表示手段と、前記入力手段により入力された顔の基準点の位置を検出する位置検出手段と、当該位置検出手段の検出結果を、前記入力された顔画像とともに前記表示手段に表示させる位置表示制御手段と、前記表示手段に表示された顔画像を前記照合対象画像として確定させる指示を操作者から受け付ける指示受付手段と、当該指示受付手段により確定指示を受け付けた場合に、前記検出結果とともに前記表示手段に表示されている顔画像を前記照合対象画像として確定する対象画像確定手段とを備えたことを特徴とする。
【００１２】
この構成の顔画像照合装置では、請求項１又は２に記載の発明の作用に加え、ビデオカメラ等の入力手段が顔画像を入力し、表示手段がその入力された顔画像を表示する。そして、位置検出手段が入力された顔の基準点の位置を検出し、位置表示制御手段がその位置検出結果を顔画像とともに表示手段に表示させる。操作者が位置検出結果を確認し、表示された顔画像を照合対象画像とするように指示を入力すると、指示受付手段がこの指示を受け付け、対象画像確定手段が表示されていた顔画像を照合対象画像として確定させる。
【００１３】
請求項５に記載の顔画像照合装置は、請求項１乃至４のいずれかに記載の発明の構成に加え、前記特徴量抽出手段は、周波数解析として線形予測分析又は群遅延スペクトルを用いることを特徴とする。
【００１４】
この構成の顔画像照合装置では、請求項１乃至４のいずれかに記載の発明の作用に加え、特徴量抽出手段が線形予測分析又は群遅延スペクトルを用いて周波数解析を行い、照合対象画像の特徴量を抽出する。
【００１５】
請求項６に記載の顔画像照合装置は、請求項３又は４に記載の発明の構成に加え、前記特徴量抽出手段は、周波数解析として高速フーリエ変換を用いることを特徴とする。
【００１６】
この構成の顔画像照合装置では、請求項３又は４に記載の発明の作用に加え、特徴量抽出手段が高速フーリエ変換を用いて周波数解析を行い、照合対象画像の特徴量を抽出する。
【００１７】
請求項７に記載の顔画像照合装置は、請求項１乃至６のいずれかに記載の発明の構成に加え、前記照合手段は、ＤＰ照合法を用いることを特徴とする。この構成の顔画像照合装置では、請求項１乃至６のいずれかに記載の発明の作用に加え、照合手段がＤＰ照合法を用いて、登録特徴量と照合対象特徴量とを比較照合する。
【００１８】
請求項８に記載の携帯端末装置は、請求項１乃至７のいずれかに記載の顔画像照合装置を搭載している。この構成の携帯端末装置では、請求項１乃至７のいずれかに記載の発明の作用を奏することができる。
【００１９】
請求項９に記載の顔画像照合方法は、入力された顔画像である照合対象画像を周波数解析することにより当該照合対象画像の特徴量を抽出する特徴量抽出ステップと、当該特徴量抽出ステップにおいて抽出された特徴量を記憶する特徴量記憶ステップと、入力された照合対象画像について前記特徴量抽出ステップにおいて抽出された照合対象特徴量と、予め記憶されている登録特徴量とを比較照合する照合ステップとからなる。
【００２０】
この構成の顔画像照合方法では、入力された顔画像（照合対象画像）を周波数解析することによりその特徴量を抽出し、抽出された特徴量を記憶する。そして、抽出された照合対象特徴量と、予め記憶されている登録特徴量とを比較照合する。
【００２１】
請求項１０に記載の顔画像照合方法は、請求項９に記載の発明の構成に加え、前記照合対象画像に対してアフィン変換、対象領域の切り出し、画像縮小のうち少なくとも１つの処理を行なう前処理ステップを備え、前記特徴量抽出ステップでは、当該前処理ステップにおいて処理された前処理後画像を周波数解析することを特徴とする。
【００２２】
この構成の顔画像照合方法では、請求項９に記載の発明の作用に加え、照合対象画像に対して特徴量抽出を行なうための前処理を行なう。前処理の種類としては、アフィン変換、対象領域の切り出し、画像縮小のうち、１つ又はこれらの組み合わせを用いることができる。
【００２３】
請求項１１に記載の顔画像照合方法は、請求項９又は１０に記載の発明の構成に加え、顔画像を入力する入力ステップと、当該入力ステップにおいて入力された顔画像を表示する表示ステップと、前記入力ステップにおいて入力された顔の基準点の位置を検出する位置検出ステップと、当該位置検出ステップにおける検出結果に基づいて、顔画像を再入力するためのガイドを表示させるガイド表示制御ステップとを備えたことを特徴とする。
【００２４】
この構成の顔画像照合方法では、請求項９又は１０に記載の発明の作用に加え、入力した顔画像を表示させ、その顔の基準点の位置を検出する。そして、検出結果に基づいて、顔画像の再入力のためのガイドが表示される。操作者は、表示されたガイドに従って、顔の位置を調整し、顔画像を再入力することができる。
【００２５】
請求項１２に記載の顔画像照合方法は、請求項９又は１０に記載の発明の構成に加え、顔画像を入力する入力ステップと、当該入力ステップにおいて入力された顔画像を表示する表示ステップと、前記入力ステップにおいて入力された顔の基準点の位置を検出する位置検出ステップと、当該位置検出ステップにおける検出結果を、前記入力された顔画像とともに表示させる位置表示制御ステップと、前記表示ステップにおいて表示された顔画像を前記照合対象画像として確定させる指示を操作者から受け付ける指示受付ステップと、当該指示受付ステップにおいて確定指示を受け付けた場合に、前記検出結果とともに表示されている顔画像を前記照合対象画像として確定する対象画像確定ステップとを備えたことを特徴とする。
【００２６】
この構成の顔画像照合方法では、請求項９又は１０に記載の発明の作用に加え、入力した顔画像を表示させ、その顔の基準点の位置を検出する。そして、検出結果を顔画像とともに表示させる。操作者が位置検出結果を確認し、表示された顔画像を照合対象画像とするように指示を入力すると、この指示を受け付けて、表示されていた顔画像を照合対象画像として確定させる。
【００２７】
請求項１３に記載の顔画像照合方法は、請求項９乃至１２のいずれかに記載の発明の構成に加え、前記特徴量抽出ステップでは、周波数解析として線形予測分析又は群遅延スペクトルを用いることを特徴とする。
【００２８】
この構成の顔画像照合方法では、請求項９乃至１２のいずれかに記載の発明の作用に加え、線形予測分析又は群遅延スペクトルを用いて周波数解析を行い、照合対象画像の特徴量を抽出する。
【００２９】
請求項１４に記載の顔画像照合方法は、請求項１１又は１２に記載の発明の構成に加え、前記特徴量抽出ステップでは、周波数解析として高速フーリエ変換を用いることを特徴とする。
【００３０】
この構成の顔画像照合方法では、請求項１１又は１２に記載の発明の作用に加え、高速フーリエ変換を用いて周波数解析を行い、照合対象画像の特徴量を抽出する。
【００３１】
請求項１５に記載の顔画像照合方法は、請求項９乃至１４のいずれかに記載の発明の構成に加え、前記照合ステップでは、ＤＰ照合法を用いることを特徴とする。
【００３２】
この構成の顔画像照合方法では、請求項９乃至１４のいずれかに記載の発明の作用に加え、ＤＰ照合法を用いて、登録特徴量と照合対象特徴量とを比較照合する。
【００３３】
請求項１６に記載の顔画像照合プログラムは、請求項９乃至１５のいずれかに記載の顔画像照合方法をコンピュータに実行させる。この構成の顔画像照合プログラムでは、請求項９乃至１５のいずれかに記載の発明の作用を奏することができる。
【００３４】
【発明の実施の形態】
以下、本発明の実施形態について、図面に基づいて説明する。図１は、本実施形態の顔画像照合装置１の構成を示す外観図であり、図２は、顔画像照合装置１の電気的構成を示すブロック図である。図１に示すように、本実施形態の顔画像照合装置１は、パソコン２と、パソコン２に接続された小型のビデオカメラ４とから構成されている。
【００３５】
パソコン２は、図２に示すように、周知のパーソナルコンピュータの一般的な構成からなっている。パソコン２には、パソコン２の制御を司るＣＰＵ３０が設けられ、ＣＰＵ３０には、各種のデータを一時的に記憶するＲＡＭ３１と、ＢＩＯＳ等を記憶したＲＯＭ３２と、データの受け渡しの仲介を行うＩ／Ｏインターフェース３３とが接続されている。Ｉ／Ｏインターフェース３３には、ハードディスク装置３８が接続され、ハードディスク装置３８には、ＣＰＵ３０で実行される各種のプログラムを記憶したプログラム記憶エリア３８０と、登録されている顔画像の特徴量をデータベースとして記憶した登録データベース記憶エリア３８１と、プログラムを実行して作成されたデータ等の情報が記憶されたその他の情報記憶エリア３８２とが設けられている。本発明の顔画像照合プログラムは、プログラム記憶エリア３８０に記憶されている。尚、登録データベース記憶エリア３８１には、特徴量の他に、顔画像データそのものも登録しておいてもよい。顔画像データも記憶させておくと、照合結果を出力する際に、一致した画像も出力して操作者に示すような構成にすることもできる。
【００３６】
また、Ｉ／Ｏインターフェース３３には、ビデオコントローラ３４と、キーコントローラ３５と、ＣＤ−ＲＯＭドライブ３６とが接続され、ビデオコントローラ３４にはディスプレイ９３が接続され、キーコントローラ３５にはキーボード９４が接続されている。ＣＤ−ＲＯＭドライブ３６に挿入されるＣＤ−ＲＯＭ３７には、本発明の顔画像照合プログラムが記憶されており、導入時には、ＣＤ−ＲＯＭ３７から、ハードディスク装置３８にセットアップされてプログラム記憶エリア３８０に記憶されるようになっている。尚、顔画像照合プログラムが記憶される記録媒体としては、ＣＤ−ＲＯＭに限らず、ＤＶＤやＦＤ（フレキシブルディスク）等でもよい。このような場合には、パソコン２はＤＶＤドライブやＦＤＤ（フレキシブルディスクドライブ）を備え、これらのドライブに記録媒体が挿入される。また、顔画像照合プログラムはＣＤ−ＲＯＭ３７等の記録媒体に記憶されているものに限らず、パソコン２をＬＡＮやインターネットに接続してサーバからダウンロードして使用するように構成してもよい。
【００３７】
入力手段であるビデオカメラ４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサからなり、パソコン２に接続されている。ビデオカメラ４は、顔を含む部分の画像を撮影して、その画像データをＩ／Ｏインターフェース３３を介してパソコン２に出力する。
【００３８】
次に、ＲＡＭ３１の構成について説明する。図３は、ＲＡＭ３１の構成を示す模式図である。図３に示すように、ＲＡＭ３１には、ビデオカメラ４から取得した白黒濃淡画像を記憶する入力画像記憶エリア３１１、照合対象画像として確定された画像データを記憶する照合対象画像記憶エリア３１２、照合対象画像について抽出された特徴量を記憶する特徴量記憶手段としての照合対象特徴量記憶エリア３１３、入力画像について検出された瞳の位置座標を記憶する瞳位置記憶エリア３１４等の記憶エリアが用意されている。
【００３９】
次に、本実施形態の顔画像照合装置１において実行される顔画像照合処理について図４乃至図７のフローチャートに基づいて説明する。まずビデオカメラ４で使用者の顔を撮影し、パソコン２に画像データを出力する。パソコン２では、入力画像の両目の位置を基準として顔画像を正規化し、正規化された顔画像の特徴量（照合対象特徴量）を抽出する。抽出された特徴量を登録データベース記憶エリア３８１に記憶されている登録特徴量と比較し、一致するかどうかの判定を行ない、結果を出力する。以下、フローチャートの各ステップについては、「Ｓ」と略す。
【００４０】
図４は、顔画像照合処理のメインのフローチャートである。まず、ビデオカメラ４で撮影した顔を含む部分の画像を取得する（Ｓ１）。ここで取得される画像は、白黒濃淡画像である。一般的に白黒濃淡画像は２５６階調の白黒濃淡を有するが、これに限られるものではない。また、白黒濃淡画像に限らず、カラー画像であってもよい。顔画像データを取得すると、次に、その顔画像の瞳の色特徴を利用して両目の位置を検出する（Ｓ３）。
【００４１】
図５は、Ｓ３の両目位置検出処理の詳細を示すフローチャートである。図５に示すように、両目位置検出処理では、まず、図４のＳ１で取得した画像データの左上の画素から右下の画素に向かって順に画素値をチェックし、その画素値の度数に加算する画素値度数算出処理を行なう（Ｓ３１）。この処理の結果、白黒階調における全ての画素値（階調）について、画像内に発生する度数が得られる。
【００４２】
画素値度数算出処理が終了すると、次に、取得画像のコントラストをあげて処理をしやすくするための画像補正処理を行なう（Ｓ３３）。画像補正処理では、上限及び下限の補正値を決定し、これら上下の補正値に基づいて全画素について変換用のパラメータを決定し、決定されたパラメータを使って各画素値の階調補正処理を行ない、コントラストを上げる。
【００４３】
階調補正処理が終了すると、階調補正した画像データを二値化するための閾値を決定する処理を行なう（Ｓ３５）。本実施の形態では、瞳の位置を検出するために、取得した画像の各画素が黒いか白いかを識別し、横方向（列方向）・縦方向（行方向）について黒い画素の数を集計する。そして、黒い画素の多い列と行の交点を瞳の位置として処理する。このため、各画素の白黒を識別するために、白黒濃淡画像の階調値で得られている画像データを白と黒の二値に変換する処理を行なう。本実施の形態では、各画素値の度数が突出している度数分布のピークを検索し、この値を閾値として採用している。閾値としては、画素値が０に近い側のピークを用いてもよいし、ピークが２つ以上ある場合に、２つめのピークを採用してもよい。
【００４４】
二値化閾値が決定すると、次に、この決定された閾値に基づいて画像補正処理後の各画素の画素値を二値化する処理を行なう（Ｓ３７）。二値変換処理では、補正処理をされた画像の左上の画素から右下の画素に向かって順に補正後の画素値をチェックし、その画素値が二値化閾値以上であれば、画素値を最大値である２５５にする。本実施の形態では、これは白となる。画素値が二値化閾値未満であれば、画素値を最小値である０にする。本実施の形態では、これは黒となる。
【００４５】
二値変換処理が終了すると、撮影した画像データのうち瞳の位置を検出するための対象とする部分を特定する端部決定処理を行なう（Ｓ３９）。処理を高速化するため、瞳のある可能性のある領域に絞り込むように、目の端部（目尻と目頭）を検出する処理を行なう。端部検出処理では、二値変換処理（Ｓ３７）で二値化された画像データに対してフラクタル解析処理を行なって反応値を算出し、その反応値を画像の列方向で合計し、得られた合計値に基づいて画像の横方向について目の端部を決定する。フラクタル解析処理では、二値化された画像を１〜２０画素の間の値を取り得る辺長の正方形のブロックに分け、フラクタル解析処理を行なう。
【００４６】
フラクタル解析処理で反応値が得られると、算出された反応値を列ごとに合計してフラクタル解析反応合計値を算出する。そしてこの合計値を、中央から左端及び右端に向かって順に閾値と比較し、閾値を上回った位置が目の両端部であると判定する。判定された目の端部に囲まれた領域が横方向の特徴量抽出領域、すなわち瞳位置検出処理の対象領域となる。本実施の形態では、画像の横方向にのみ領域を絞り込んでいるが、同様の方法で縦方向についても行なうように構成してもよい。
【００４７】
端部検出処理が終了すると、次に、特徴量抽出処理を行なう（Ｓ４１）。特徴量抽出処理では、二値変換処理（Ｓ３７）にて得られた二値画像から、瞳の位置を判定するのに必要である特徴量を抽出する。特徴量は、二値画像に対して、横方向と縦方向について抽出される。横方向の各列の黒とされている画素の数の合計を算出し、合計値の配列を横方向の特徴量とする。また、縦方向の各行の黒の画素値を有する画素の数の合計を算出し、合計値の配列を縦方向の特徴量とする。
【００４８】
特徴量抽出処理の終了後、ヒストグラムとして抽出されたそれぞれの特徴量の最大値を検索し、最大値が得られる要素の座標を瞳の位置の座標であると判定し（Ｓ４３）、ＲＡＭ３１の瞳位置記憶エリア３１４に記憶する。そして、図４のメインルーチンに戻る。
【００４９】
以上により、瞳の位置が検出されたので（図４、Ｓ３）、次に、検出された両目の位置を図８に示すように、画像に重ねて表示する（Ｓ５）。図８は、両目の位置を顔画像上に表示した表示画面の例である。使用者は、このようにして表示された両目の位置が正しいかどうかを確認し、正しい場合は表示されている顔画像を照合対象画像として確定するよう指示を入力する。正しくない場合は、再度顔画像を撮影するように指示する。なお、確定の指示が無い場合は正しく位置検出ができていないと判断し、自動的に顔画像を再採取してもよい。パソコン２が照合対象画像の確定指示を受けた場合には（Ｓ７：ＹＥＳ）、現在の画像を照合対象画像として確定してＲＡＭ３１の照合対象画像記憶エリア３１２に記憶し（Ｓ８）、画像の正規化処理（Ｓ９）を行なう。確定指示がない場合には（Ｓ７：ＮＯ）、Ｓ１に戻って、再度画像を取得し、両目位置を検出して表示する処理を行なう（Ｓ１〜Ｓ５）。
【００５０】
照合対象画像が確定すると、画像正規化処理を行なう（Ｓ９）。画像正規化処理では、撮影時にばらつきが発生する画像の大きさ・傾きを補正し、特徴量を抽出しやすい大きさに揃え、照明条件の影響を抑えるために濃度を補正する。図６は、画像正規化処理のサブルーチンのフローチャートである。
【００５１】
図６に示すように、画像正規化処理では、まず両目位置検出処理（図４、Ｓ５）にて検出した両目の位置を基準とし、両目の間隔が一定の距離となるよう拡大・縮小・回転処理をするアフィン変換を行う（Ｓ９１）。次に、アフィン変換処理（Ｓ９１）後の画像において、両目位置が特定の位置となるよう、例えば１２８ｘ１２８［ｐｉｘｅｌ］の大きさの矩形領域を切り出す（Ｓ９３）。次いで、後に行われる特徴量抽出処理（図４、Ｓ９）における周波数解析における誤差を少なくするため、不足するデータ領域に値０を挿入するパディング処理を行なう（Ｓ９５）。尚、このパディング処理は省略しても構わない。
【００５２】
次に、周波数解析に使用するデータ量を削減するため，間引くなどして縮小する（Ｓ９７）。尚、この縮小処理は省略しても構わない。次いで、濃度正規化処理を行う（Ｓ９９）。ここでは、解析対象画素の画素値を統計的に解析し、値の偏りをなくす。これによって、照明条件の違いによる影響を抑えることができる。具体的には、各画素から最小画素値を引き算し、最大画素値と最小画素値の差で割り、階調数である２５６を乗ずる。尚、本処理は省略しても構わない。濃度正規化処理が終了すると、図４のメインルーチンに戻る。
【００５３】
以上のようにして画像正規化処理（図４、Ｓ９）が終了すると、正規化された顔画像データに対して特徴量を抽出する（Ｓ１１）。本実施の形態では、周波数解析法として、画像の横の１ラインの濃度値を一次元の信号としてＬＰＣケプストラムを算出し特徴量としている。図７は、特徴量抽出処理のサブルーチンのフローチャートである。
【００５４】
図７に示すように、特徴量抽出処理は、まず前処理として窓掛けを行なう（Ｓ１１１）。ここでは例えばハミング窓やハニング窓として知られるフィルタ処理を施す。次に、窓掛けの済んだデータの自己相関関数を求める（Ｓ１１３）。そして、得られた自己相関関数に基づいて、線形予測分析（ＬＰＣ：Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｒｄｉｎｇ）を行ない、ＬＰＣ係数を求める（Ｓ１１５）。次に、得られたＬＰＣ係数を逆フーリエ変換してＬＰＣケプストラムを求める（Ｓ１１７）。そして、得られたＬＰＣケプストラムを照合対象画像の特徴量（照合対象特徴量）とする。そして、この照合対象特徴量をＲＡＭ３１の照合対象特徴量記憶エリア３１３に記憶する。以上により特徴量が抽出されたので、図４のメインルーチンに戻る。
【００５５】
尚、本実施形態では、特徴量抽出に使用する周波数解析としてＬＰＣケプストラムを用いているが、これに限られるものではなく、周知の群遅延スペクトルやＬＰＣスペクトル等の線形予測分析を用いてもよい。また、高速フーリエ変換を用いてもよい。
【００５６】
特徴量抽出処理が終了すると（図４、Ｓ１１）、ＲＡＭ３１の照合対象特徴量記憶エリア３１３に記憶された照合対象特徴量と、ハードディスク装置３８の登録データベース記憶エリア３８１に記憶されている特徴量とを比較照合する。比較照合には、ＤＰマッチングを用いる（Ｓ１３）。本実施形態で求められる特徴量であるＬＰＣケプストラムでは、横方向の位置ずれは、周波数領域では位相成分となるために影響しない。そこで、縦方向の位置ずれを吸収するため、各ライン間のユークリッド距離を局所距離としてＤＰマッチングにより正規化最小累積距離を計算する。
【００５７】
次に、ＤＰマッチング（Ｓ１３）で得られた正規化最小累積距離をあらかじめ設定してある閾値と比較し、閾値よりも小さい場合には、照合対象画像と登録画像が一致すると判定し、閾値よりも大きい場合には不一致と判定する（Ｓ１５）。そして、得られた判定結果をディスプレイ９３に出力する（Ｓ１７）。
【００５８】
以上説明したように、本実施形態の顔画像照合装置１では、ビデオカメラ４で撮影した顔画像をディスプレイ９３に表示し、あわせて瞳の位置を顔の基準点として検出し、検出結果を顔画像に重ねて表示する。これによって使用者は瞳の位置が正しく検出されているか否かを確認し、確認結果を顔画像照合装置１に対してフィードバックできる。顔画像照合装置１では、フィードバック情報に基づいて、位置がずれている場合には再度画像を撮影して位置検出をやり直して表示するプロセスを繰り返す。また、正しい位置であると確認された場合には、その表示されている画像データを照合対象画像として周波数解析を行ない、ＬＰＣケプストラムを特徴量として抽出する。得られた特徴量（ＬＰＣケプストラム値）と登録データベース記憶エリア３８１に記憶されている登録特徴量とをＤＰマッチングにより比較照合して、判定結果を出力する。特徴量として音声認識に用いられているＬＰＣケプストラムを用いることにより、短時間で高速に処理を行ない、照合結果を出力することができる。さらに、特徴量を抽出する前処理である正規化処理を行なう際に、位置検出結果をあらかじめ出力して、正しく位置が検出されているか否かを使用者に確認させることにより、さらに処理速度を上げて照合率を向上させることができる。
【００５９】
尚、本実施の形態において、図４のＳ１１及び図７のサブルーチンにおいて特徴量抽出処理を実行するＣＰＵ３０が特徴量抽出手段として機能する。また、図４のＳ１３でＤＰマッチング処理を実行するＣＰＵ３０が照合手段として機能する。さらに、図４のＳ９及び図６のサブルーチンで画像正規化処理を実行するＣＰＵ３０が前処理手段として機能する。また、図４のＳ３及び図５のサブルーチンにおいて両目位置検出処理を実行するＣＰＵ３０が位置検出手段として機能する。さらに、図４のＳ７で確定指示判定処理を実行するＣＰＵ３０が指示受付手段として機能する。また、図４のＳ８で照合対象画像確定処理を実行するＣＰＵ３０が対象画像確定手段として機能する。さらに、図４のＳ５で画像・両目表示処理を実行するＣＰＵ３０がガイド表示制御手段として機能する。
【００６０】
次に、本発明の第二の実施形態について図９及び図１０を参照して説明する。図９は、本発明の顔画像照合装置を搭載した携帯端末装置である携帯電話１００の外観図である。図１０は、携帯電話１００の回路のブロック図である。図９に示すように、携帯電話１００には、表示手段としての液晶表示装置から成る表示画面１０１と、テン・キー入力部１０２と、ジョグポインタ１０３と、通話開始ボタン１０４と、通話終了ボタン１０５と、アンテナ１０６と、マイク１０７と、スピーカー１０８と、ビデオカメラ１１０の撮影ボタンを兼ねる機能選択ボタン１０８，照合対象画像確定手段としての機能選択ボタン１０９と、入力手段としてのビデオカメラ１１０とが設けられている。ビデオカメラ１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサからなっている。尚、テン・キー入力部１０２、ジョグポインタ１０３、通話開始ボタン１０４、通話終了ボタン１０５、機能選択ボタン１０８、１０９等によりキー入力部１３８が構成される。
【００６１】
次に、図１０を参照して、携帯電話１００の回路の構成を説明する。図１０に示すように、携帯電話１００には、マイク１０７からの音声信号の増幅及びスピーカ１０８から出力する音声の増幅等を行うアナログフロントエンド１３６と、アナログフロントエンド１３６で増幅された音声信号のデジタル信号化及びモデム１３４から受け取ったデジタル信号をアナログフロントエンド１３６で増幅できるようにアナログ信号化する音声コーディック部１３５と、変復調を行うモデム部１３４と、アンテナ１０６から受信した電波の増幅及び検波を行い、また、キャリア信号をモデム１３４から受け取った信号により変調し、増幅する送受信部１３３が設けられている。
【００６２】
また、携帯電話１００には、携帯電話１００全体の制御を行う制御部１２０が設けられ、制御部１２０には、ＣＰＵ１２１と、データを一時的に記憶するＲＡＭ１２２と、時計機能部１２３とが内蔵されている。ＲＡＭ１２２には、ビデオカメラ１１０から取得した白黒濃淡画像を記憶する入力画像記憶エリア１２２１、照合対象画像として確定された画像データを記憶する照合対象画像記憶エリア１２２２、照合対象画像について抽出された特徴量を記憶する特徴量記憶手段としての照合対象特徴量記憶エリア１２２３、入力画像について検出された瞳の位置座標を記憶する瞳位置記憶エリア１２２４等の記憶エリアが用意されている。さらに、制御部１２０には、文字等を入力するキー入力部１３８と、表示画面１０１と、不揮発メモリ１３０と、着信音を発生するメロディ発生器１３２が接続されている。メロディ発生器１３２には、メロディ発生器１３２で発生した着信音を発声するスピーカ１３７が接続されている。不揮発メモリ１３０には、制御部１２０のＣＰＵ１２１で実行される顔画像照合プログラム記憶エリア１３０１と、登録されている顔画像の特徴量をデータベースとして記憶した登録データベース記憶エリア１３０２が設けられている。
【００６３】
次に、携帯電話１００を用いた顔画像照合の作用について説明する。処理の流れは第一の実施の形態と同様であるため、図４乃至図７のフローチャートを参照し、同一のステップ番号を用いて説明する。
【００６４】
図４は、顔画像照合処理のメインのフローチャートである。まず、使用者が携帯電話１００を顔に向け、表示画面１０１に表示される顔画像を見ながら機能選択ボタン１０８を押して撮影すると、ビデオカメラ１１０から顔を含む部分の画像が取得される（Ｓ１）。ここで取得される画像は、白黒濃淡画像である。一般的に白黒濃淡画像は２５６階調の白黒濃淡を有するが、これに限られるものではない。また、白黒濃淡画像に限らず、カラー画像であってもよい。顔画像データを取得すると、次に、その顔画像の瞳の色特徴を利用して両目の位置を検出する（Ｓ３）。
【００６５】
図５は、Ｓ３の両目位置検出処理の詳細を示すフローチャートである。図５に示すように、両目位置検出処理では、まず、図４のＳ１で取得した画像データの左上の画素から右下の画素に向かって順に画素値をチェックし、その画素値の度数に加算する画素値度数算出処理を行なう（Ｓ３１）。この処理の結果、白黒階調における全ての画素値（階調）について、画像内に発生する度数が得られる。
【００６６】
画素値度数算出処理が終了すると、次に、取得画像のコントラストをあげて処理をしやすくするための画像補正処理を行なう（Ｓ３３）。画像補正処理では、上限及び下限の補正値を決定し、これら上下の補正値に基づいて全画素について変換用のパラメータを決定し、決定されたパラメータを使って各画素値の階調補正処理を行ない、コントラストを上げる。
【００６７】
階調補正処理が終了すると、階調補正した画像データを二値化するための閾値を決定する処理を行なう（Ｓ３５）。各画素値の度数が突出している度数分布のピークを検索し、この値を閾値として採用する。閾値としては、画素値が０に近い側のピークを用いてもよいし、ピークが２つ以上ある場合に、２つめのピークを採用してもよい。
【００６８】
二値化閾値が決定すると、次に、この決定された閾値に基づいて画像補正処理後の各画素の画素値を二値化する処理を行なう（Ｓ３７）。この二値変換処理では、補正処理をされた画像の左上の画素から右下の画素に向かって順に補正後の画素値をチェックし、その画素値が二値化閾値以上であれば、画素値を最大値である２５５にする。画素値が二値化閾値未満であれば、画素値を最小値である０にする。
【００６９】
二値変換処理が終了すると、撮影した画像データのうち瞳の位置を検出するための対象とする部分を特定する端部決定処理を行なう（Ｓ３９）。ここでは、処理を高速化するため、瞳のある可能性のある領域に絞り込むように、目の端部（目尻と目頭）を検出する処理を行なう。端部検出処理では、二値変換処理（Ｓ３７）で二値化された画像データに対してフラクタル解析処理を行なって反応値を算出し、その反応値を画像の列方向で合計し、得られた合計値に基づいて画像の横方向について目の端部を決定する。フラクタル解析処理では、二値化された画像を１〜２０画素の間の値を取り得る辺長の正方形のブロックに分け、フラクタル解析処理を行なう。
【００７０】
フラクタル解析処理で反応値が得られると、算出された反応値を列ごとに合計してフラクタル解析反応合計値を算出する。そしてこの合計値を、中央から左端及び右端に向かって順に閾値と比較し、閾値を上回った位置が目の両端部であると判定する。判定された目の端部に囲まれた領域が横方向の特徴量抽出領域、すなわち瞳位置検出処理の対象領域となる。本実施の形態では、画像の横方向にのみ領域を絞り込んでいるが、同様の方法で縦方向についても行なうように構成してもよい。
【００７１】
端部検出処理が終了すると、次に、特徴量抽出処理を行なう（Ｓ４１）。特徴量抽出処理では、二値変換処理（Ｓ３７）にて得られた二値画像から、瞳の位置を判定するのに必要である特徴量を抽出する。特徴量は、二値画像に対して、横方向と縦方向について抽出される。横方向の各列の黒とされている画素の数の合計を算出し、合計値の配列を横方向の特徴量とする。また、縦方向の各行の黒の画素値を有する画素の数の合計を算出し、合計値の配列を縦方向の特徴量とする。
【００７２】
特徴量抽出処理の終了後、ヒストグラムとして抽出されたそれぞれの特徴量の最大値を検索し、最大値が得られる要素の座標を瞳の位置の座標であると判定し（Ｓ４３）、ＲＡＭ１２２の瞳位置記憶エリア１２２４に記憶する。そして、図４のメインルーチンに戻る。
【００７３】
以上により、瞳の位置が検出されたので（図４、Ｓ３）、次に、検出された両目の位置を図１０に示すように、撮影画像に重ねて表示する（Ｓ５）。図１０は、両目の位置を顔画像上に表示した表示画面１０１の例である。使用者は、このようにして表示された両目の位置が正しいかどうかを確認し、正しい場合は表示されている顔画像を照合対象画像として確定するよう機能選択ボタン１０９を押下げて指示を入力する。正しくない場合は、再度顔画像を撮影するように指示する。なお、確定の指示が無い場合は正しく位置検出ができていないと判断し、自動的に顔画像を再採取してもよい。照合対象画像の確定指示を受けた場合には（Ｓ７：ＹＥＳ）、現在の画像を照合対象画像として確定してＲＡＭ１２２の照合対象画像記憶エリア１２２２に記憶し（Ｓ８）、画像の正規化処理（Ｓ９）を行なう。確定指示がない場合には（Ｓ７：ＮＯ）、Ｓ１に戻って、再度画像を取得し、両目位置を検出して表示する処理を行なう（Ｓ１〜Ｓ５）。
【００７４】
照合対象画像が確定すると、画像正規化処理を行なう（Ｓ９）。画像正規化処理では、撮影時にばらつきが発生する画像の大きさ・傾きを補正し、特徴量を抽出しやすい大きさに揃え、照明条件の影響を抑えるために濃度を補正する。図６は、画像正規化処理のサブルーチンのフローチャートである。
【００７５】
図６に示すように、画像正規化処理では、まず両目位置検出処理（図４、Ｓ５）にて検出した両目の位置を基準とし、両目の間隔が一定の距離となるよう拡大・縮小・回転処理をするアフィン変換を行う（Ｓ９１）。次に、アフィン変換処理（Ｓ９１）後の画像において、両目位置が特定の位置となるよう、例えば１２８ｘ１２８［ｐｉｘｅｌ］の大きさの矩形領域を切り出す（Ｓ９３）。次いで、後に行われる特徴量抽出処理（図４、Ｓ９）における周波数解析における誤差を少なくするため、不足するデータ領域に値０を挿入するパディング処理を行なう（Ｓ９５）。尚、このパディング処理は省略しても構わない。
【００７６】
次に、周波数解析に使用するデータ量を削減するため，間引くなどして縮小する（Ｓ９７）。尚、この縮小処理は省略しても構わない。次いで、濃度正規化処理を行う（Ｓ９９）。ここでは、解析対象画素の画素値を統計的に解析し、値の偏りをなくす。これによって、照明条件の違いによる影響を抑えることができる。具体的には、各画素から最小画素値を引き算し、最大画素値と最小画素値の差を乗ずる。尚、本処理は省略しても構わない。濃度正規化処理が終了すると、図４のメインルーチンに戻る。
【００７７】
以上のようにして画像正規化処理（図４、Ｓ９）が終了すると、正規化された顔画像データに対して特徴量を抽出する（Ｓ１１）。本実施の形態では、周波数解析法として、画像の横の１ラインの濃度値を一次元の信号としてＬＰＣケプストラムを算出し特徴量としている。図７は、特徴量抽出処理のサブルーチンのフローチャートである。
【００７８】
図７に示すように、特徴量抽出処理は、まず前処理として窓掛けを行なう（Ｓ１１１）。ここでは例えばハミング窓やハニング窓として知られるフィルタ処理を施す。次に、窓掛けの済んだデータの自己相関関数を求める（Ｓ１１３）。そして、得られた自己相関関数に基づいて、線形予測分析（ＬＰＣ：Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｒｄｉｎｇ）を行ない、ＬＰＣ係数を求める（Ｓ１１５）。次に、得られたＬＰＣ係数を逆フーリエ変換してＬＰＣケプストラムを求める（Ｓ１１７）。そして、得られたＬＰＣケプストラムを照合対象画像の特徴量（照合対象特徴量）とする。そして、この照合対象特徴量をＲＡＭ１２２の照合対象特徴量記憶エリア１２２３に記憶する。以上により特徴量が抽出されたので、図４のメインルーチンに戻る。
【００７９】
尚、本実施形態では、特徴量抽出に使用する周波数解析としてＬＰＣケプストラムを用いているが、これに限られるものではなく、周知の群遅延スペクトルやＬＰＣスペクトル等の線形予測分析を用いてもよい。また、高速フーリエ変換を用いてもよい。
【００８０】
特徴量抽出処理が終了すると（図４、Ｓ１１）、ＲＡＭ１２２の照合対象特徴量記憶エリア１２２３に記憶された照合対象特徴量と、不揮発メモリ１３０の登録データベース記憶エリア１３０２に記憶されている特徴量とを比較照合する。比較照合には、ＤＰマッチングを用いる（Ｓ１３）。本実施形態で求められる特徴量であるＬＰＣケプストラムでは、横方向の位置ずれは、周波数領域では位相成分となるために影響しない。そこで、縦方向の位置ずれを吸収するため、各ライン間のユークリッド距離を局所距離としてＤＰマッチングにより正規化最小累積距離を計算する。
【００８１】
次に、ＤＰマッチング（Ｓ１３）で得られた正規化最小累積距離をあらかじめ設定してある閾値と比較し、閾値よりも小さい場合には、照合対象画像と登録画像が一致すると判定し、閾値よりも大きい場合には不一致と判定する（Ｓ１５）。そして、得られた判定結果を表示画面１０１に出力する（Ｓ１７）。
【００８２】
以上説明したように、本実施形態の携帯電話１００では、ビデオカメラ１１０で撮影した顔画像を表示画面１０１に表示し、あわせて瞳の位置を顔の基準点として検出して検出結果を顔画像に重ねて表示する。これによって使用者は瞳の位置が正しく検出されているか否かを確認し、確認結果を携帯電話１００に対してフィードバックできる。携帯電話１００では、フィードバック情報に基づいて、位置がずれている場合には再度画像を撮影して位置検出をやり直して表示するプロセスを繰り返す。また、正しい位置であると確認された場合には、その表示されている画像データを照合対象画像として周波数解析を行ない、ＬＰＣケプストラムを特徴量として抽出する。得られた特徴量（ＬＰＣケプストラム値）と登録データベース記憶エリア１３０２に記憶されている登録特徴量とをＤＰマッチングにより比較照合して、判定結果を表示画面１０１に出力する。特徴量として音声認識に用いられているＬＰＣケプストラムを用いることにより、短時間で高速に処理を行ない、照合結果を出力することができる。さらに、特徴量を抽出する前処理である正規化処理を行なう際に、位置検出結果をあらかじめ出力して、正しく位置が検出されているか否かを使用者に確認させることにより、さらに処理速度を上げて照合率を向上させることができる。以上のような構成にすることにより、小型の携帯端末にも搭載でき、リアルタイムに顔画像の照合をすることができる。
【００８３】
尚、上記第二の実施の形態において、図４のＳ１１及び図７のサブルーチンにおいて特徴量抽出処理を実行するＣＰＵ１２１が特徴量抽出手段として機能する。また、図４のＳ１３でＤＰマッチング処理を実行するＣＰＵ１２１が照合手段として機能する。さらに、図４のＳ９及び図６のサブルーチンで画像正規化処理を実行するＣＰＵ１２１が前処理手段として機能する。また、図４のＳ３及び図５のサブルーチンにおいて両目位置検出処理を実行するＣＰＵ１２１が位置検出手段として機能する。さらに、図４のＳ７で確定指示判定処理を実行するＣＰＵ１２１が指示受付手段として機能する。また、図４のＳ８で照合対象画像確定処理を実行するＣＰＵ１２１が対象画像確定手段として機能する。さらに、図４のＳ５で画像・両目表示処理を実行するＣＰＵ１２１がガイド表示制御手段として機能する。
【００８４】
次に、本発明の第三の実施の形態について、図１２及び図１３を参照して説明する。図１２は、本発明の顔画像照合装置２００を組み込んだ電子錠システム３００の概念図、図１３は、電子錠システム３００のブロック図である。図１２に示すように、電子錠システム３００は、顔画像照合装置２００と、これに接続された電子錠２７１とから構成されている。顔画像照合装置２００には、入力手段としてのビデオカメラ２４０と、表示手段としてのディスプレイ２５０と、照合対象画像確定手段としての操作スイッチ２６０とが設けられている。ビデオカメラ２４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサからなっている。
【００８５】
また、図１３に示すように、顔画像照合装置２００には、電子錠システム３００の全体の制御を行なうＣＰＵ２１０が設けられ、ＣＰＵ２１０には、ＲＡＭ２２１や不揮発メモリ２２２等のメモリを制御するメモリ制御部２２０と、周辺機器を制御する周辺制御部２３０が接続されている。周辺制御部２３０には、ビデオカメラ２４０と、ディスプレイ２５０と、操作スイッチ２６０と、電子錠２７１を制御する錠制御部２７０とが接続されている。メモリ制御部２２０に接続するＲＡＭ２２１には、ビデオカメラ２４０から取得した白黒濃淡画像を記憶する入力画像記憶エリア２２１１、照合対象画像として確定された画像データを記憶する照合対象画像記憶エリア２２１２、照合対象画像について抽出された特徴量を記憶する特徴量記憶手段としての照合対象特徴量記憶エリア２２１３、入力画像について検出された瞳の位置座標を記憶する瞳位置記憶エリア２２１４等の記憶エリアが用意されている。また、不揮発メモリ２２２には、ＣＰＵ２１０で実行される顔画像照合プログラム記憶エリア２２２１と、登録されている顔画像の特徴量をデータベースとして記憶した登録データベース記憶エリア２２２２とが設けられている。
【００８６】
次に、電子錠システム３００で実行される顔画像照合の作用について説明する。処理の流れは第一及び第二の実施の形態と同様であるため、図４乃至図７のフローチャートを参照し、同一のステップ番号を用いて説明する。
【００８７】
図４は、顔画像照合処理のメインのフローチャートである。まず、電子錠２７１が施錠された状態で、使用者がディスプレイ２５０に向かい、操作スイッチ２６０を押して撮影すると、ビデオカメラ２４０から顔を含む部分の画像が取得される（Ｓ１）。ここで取得される画像は、白黒濃淡画像である。一般的に白黒濃淡画像は２５６階調の白黒濃淡を有するが、これに限られるものではない。また、白黒濃淡画像に限らず、カラー画像であってもよい。顔画像データを取得すると、次に、その顔画像の瞳の色特徴を利用して両目の位置を検出する（Ｓ３）。
【００８８】
図５は、Ｓ３の両目位置検出処理の詳細を示すフローチャートである。図５に示すように、両目位置検出処理では、まず、図４のＳ１で取得した画像データの左上の画素から右下の画素に向かって順に画素値をチェックし、その画素値の度数に加算する画素値度数算出処理を行なう（Ｓ３１）。この処理の結果、白黒階調における全ての画素値（階調）について、画像内に発生する度数が得られる。
【００８９】
画素値度数算出処理が終了すると、次に、取得画像のコントラストをあげて処理をしやすくするための画像補正処理を行なう（Ｓ３３）。画像補正処理では、上限及び下限の補正値を決定し、これら上下の補正値に基づいて全画素について変換用のパラメータを決定し、決定されたパラメータを使って各画素値の階調補正処理を行ない、コントラストを上げる。
【００９０】
階調補正処理が終了すると、階調補正した画像データを二値化するための閾値を決定する処理を行なう（Ｓ３５）。各画素値の度数が突出している度数分布のピークを検索し、この値を閾値として採用する。閾値としては、画素値が０に近い側のピークを用いてもよいし、ピークが２つ以上ある場合に、２つめのピークを採用してもよい。
【００９１】
二値化閾値が決定すると、次に、この決定された閾値に基づいて画像補正処理後の各画素の画素値を二値化する処理を行なう（Ｓ３７）。この二値変換処理では、補正処理をされた画像の左上の画素から右下の画素に向かって順に補正後の画素値をチェックし、その画素値が二値化閾値以上であれば、画素値を最大値である２５５にする。画素値が二値化閾値未満であれば、画素値を最小値である０にする。
【００９２】
二値変換処理が終了すると、撮影した画像データのうち瞳の位置を検出するための対象とする部分を特定する端部決定処理を行なう（Ｓ３９）。ここでは、処理を高速化するため、瞳のある可能性のある領域に絞り込むように、目の端部（目尻と目頭）を検出する処理を行なう。端部検出処理では、二値変換処理（Ｓ３７）で二値化された画像データに対してフラクタル解析処理を行なって反応値を算出し、その反応値を画像の列方向で合計し、得られた合計値に基づいて画像の横方向について目の端部を決定する。フラクタル解析処理では、二値化された画像を１〜２０画素の間の値を取り得る辺長の正方形のブロックに分け、フラクタル解析処理を行なう。
【００９３】
フラクタル解析処理で反応値が得られると、算出された反応値を列ごとに合計してフラクタル解析反応合計値を算出する。そしてこの合計値を、中央から左端及び右端に向かって順に閾値と比較し、閾値を上回った位置が目の両端部であると判定する。判定された目の端部に囲まれた領域が横方向の特徴量抽出領域、すなわち瞳位置検出処理の対象領域となる。本実施の形態では、画像の横方向にのみ領域を絞り込んでいるが、同様の方法で縦方向についても行なうように構成してもよい。
【００９４】
端部検出処理が終了すると、次に、特徴量抽出処理を行なう（Ｓ４１）。特徴量抽出処理では、二値変換処理（Ｓ３７）にて得られた二値画像から、瞳の位置を判定するのに必要である特徴量を抽出する。特徴量は、二値画像に対して、横方向と縦方向について抽出される。横方向の各列の黒とされている画素の数の合計を算出し、合計値の配列を横方向の特徴量とする。また、縦方向の各行の黒の画素値を有する画素の数の合計を算出し、合計値の配列を縦方向の特徴量とする。
【００９５】
特徴量抽出処理の終了後、ヒストグラムとして抽出されたそれぞれの特徴量の最大値を検索し、最大値が得られる要素の座標を瞳の位置の座標であると判定し（Ｓ４３）、ＲＡＭ２２１の瞳位置記憶エリア２２１４に記憶する。そして、図４のメインルーチンに戻る。
【００９６】
以上により、瞳の位置が検出されたので（図４、Ｓ３）、次に、検出された両目の位置を、撮影画像に重ねてディスプレイ２５０上に表示する（Ｓ５）。使用者は、このようにして表示された両目の位置が正しいかどうかを確認し、正しい場合は表示されている顔画像を照合対象画像として確定するよう操作スイッチ２６０を押下げて指示を入力する。正しくない場合は、再度顔画像を撮影するように指示する。なお、確定の指示が無い場合は正しく位置検出ができていないと判断し、自動的に顔画像を再採取してもよい。照合対象画像の確定指示を受けた場合には（Ｓ７：ＹＥＳ）、現在の画像を照合対象画像として確定してＲＡＭ２２１の照合対象画像記憶エリア２２１２に記憶し（Ｓ８）、画像の正規化処理（Ｓ９）を行なう。確定指示がない場合には（Ｓ７：ＮＯ）、Ｓ１に戻って、再度画像を取得し、両目位置を検出して表示する処理を行なう（Ｓ１〜Ｓ５）。
【００９７】
照合対象画像が確定すると、画像正規化処理を行なう（Ｓ９）。画像正規化処理では、撮影時にばらつきが発生する画像の大きさ・傾きを補正し、特徴量を抽出しやすい大きさに揃え、照明条件の影響を抑えるために濃度を補正する。図６は、画像正規化処理のサブルーチンのフローチャートである。
【００９８】
図６に示すように、画像正規化処理では、まず両目位置検出処理（図４、Ｓ５）にて検出した両目の位置を基準とし、両目の間隔が一定の距離となるよう拡大・縮小・回転処理をするアフィン変換を行う（Ｓ９１）。次に、アフィン変換処理（Ｓ９１）後の画像において、両目位置が特定の位置となるよう、例えば１２８ｘ１２８［ｐｉｘｅｌ］の大きさの矩形領域を切り出す（Ｓ９３）。次いで、後に行われる特徴量抽出処理（図４、Ｓ９）における周波数解析における誤差を少なくするため、不足するデータ領域に値０を挿入するパディング処理を行なう（Ｓ９５）。尚、このパディング処理は省略しても構わない。
【００９９】
次に、周波数解析に使用するデータ量を削減するため，間引くなどして縮小する（Ｓ９７）。尚、この縮小処理は省略しても構わない。次いで、濃度正規化処理を行う（Ｓ９９）。ここでは、解析対象画素の画素値を統計的に解析し、値の偏りをなくす。これによって、照明条件の違いによる影響を抑えることができる。具体的には、各画素から最小画素値を引き算し、最大画素値と最小画素値の差を乗ずる。尚、本処理は省略しても構わない。濃度正規化処理が終了すると、図４のメインルーチンに戻る。
【０１００】
以上のようにして画像正規化処理（図４、Ｓ９）が終了すると、正規化された顔画像データに対して特徴量を抽出する（Ｓ１１）。本実施の形態では、周波数解析法として、画像の横の１ラインの濃度値を一次元の信号としてＬＰＣケプストラムを算出し特徴量としている。図７は、特徴量抽出処理のサブルーチンのフローチャートである。
【０１０１】
図７に示すように、特徴量抽出処理は、まず前処理として窓掛けを行なう（Ｓ１１１）。ここでは例えばハミング窓やハニング窓として知られるフィルタ処理を施す。次に、窓掛けの済んだデータの自己相関関数を求める（Ｓ１１３）。そして、得られた自己相関関数に基づいて、線形予測分析（ＬＰＣ：Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｒｄｉｎｇ）を行ない、ＬＰＣ係数を求める（Ｓ１１５）。次に、得られたＬＰＣ係数を逆フーリエ変換してＬＰＣケプストラムを求める（Ｓ１１７）。そして、得られたＬＰＣケプストラムを照合対象画像の特徴量（照合対象特徴量）とする。そして、この照合対象特徴量をＲＡＭ２２１の照合対象特徴量記憶エリア２２１３に記憶する。以上により特徴量が抽出されたので、図４のメインルーチンに戻る。
【０１０２】
尚、本実施形態では、特徴量抽出に使用する周波数解析としてＬＰＣケプストラムを用いているが、これに限られるものではなく、周知の群遅延スペクトルやＬＰＣスペクトル等の線形予測分析を用いてもよい。また、高速フーリエ変換を用いてもよい。
【０１０３】
特徴量抽出処理が終了すると（図４、Ｓ１１）、ＲＡＭ２２１の照合対象特徴量記憶エリア２２１３に記憶された照合対象特徴量と、不揮発メモリ２２２の登録データベース記憶エリア２２２２に記憶されている特徴量とを比較照合する。比較照合には、ＤＰマッチングを用いる（Ｓ１３）。本実施形態で求められる特徴量であるＬＰＣケプストラムでは、横方向の位置ずれは、周波数領域では位相成分となるために影響しない。そこで、縦方向の位置ずれを吸収するため、各ライン間のユークリッド距離を局所距離としてＤＰマッチングにより正規化最小累積距離を計算する。
【０１０４】
次に、ＤＰマッチング（Ｓ１３）で得られた正規化最小累積距離をあらかじめ設定してある閾値と比較し、閾値よりも小さい場合には、照合対象画像と登録画像が一致すると判定し、閾値よりも大きい場合には不一致と判定する（Ｓ１５）。そして、得られた判定結果をディスプレイ２５０に出力する（Ｓ１７）。そして、一致した場合には、撮影した人物が認証されたとして、電子錠２７１を開錠する。
【０１０５】
以上説明したように、本実施形態の電子錠システム３００では、ビデオカメラ２４０で撮影した顔画像をディスプレイ２５０に表示し、あわせて瞳の位置を顔の基準点として検出して検出結果を顔画像に重ねて表示する。これによって使用者は瞳の位置が正しく検出されているか否かを確認し、確認結果を電子錠システム３００に対してフィードバックできる。電子錠システム３００では、フィードバック情報に基づいて、位置がずれている場合には再度画像を撮影して位置検出をやり直して表示するプロセスを繰り返す。また、正しい位置であると確認された場合には、その表示されている画像データを照合対象画像として周波数解析を行ない、ＬＰＣケプストラムを特徴量として抽出する。得られた特徴量（ＬＰＣケプストラム値）と登録データベース記憶エリア２２２２に記憶されている登録特徴量とをＤＰマッチングにより比較照合して、判定結果をディスプレイ２５０に出力し、一致判定の場合には施錠されていた電子錠２７１を開錠する。
【０１０６】
このように、特徴量として音声認識に用いられているＬＰＣケプストラムを用いることにより、短時間で高速に処理を行ない、照合結果を出力することができる。さらに、特徴量を抽出する前処理である正規化処理を行なう際に、位置検出結果をあらかじめ出力して、正しく位置が検出されているか否かを使用者に確認させることにより、さらに処理速度を上げて照合率を向上させることができる。以上のような構成にすることにより、種々の組み込み機器にも搭載でき、リアルタイムに顔画像の照合をすることができる。尚、電子錠システムに限らず、認証が必要とされる種々の組み込み機器にも顔画像照合装置を搭載することができる。
【０１０７】
尚、上記第三の実施の形態において、図４のＳ１１及び図７のサブルーチンにおいて特徴量抽出処理を実行するＣＰＵ２１０が特徴量抽出手段として機能する。また、図４のＳ１３でＤＰマッチング処理を実行するＣＰＵ２１０が照合手段として機能する。さらに、図４のＳ９及び図６のサブルーチンで画像正規化処理を実行するＣＰＵ２１０が前処理手段として機能する。また、図４のＳ３及び図５のサブルーチンにおいて両目位置検出処理を実行するＣＰＵ２１０が位置検出手段として機能する。さらに、図４のＳ７で確定指示判定処理を実行するＣＰＵ１２１が指示受付手段として機能する。また、図４のＳ８で照合対象画像確定処理を実行するＣＰＵ２１０が対象画像確定手段として機能する。さらに、図４のＳ５で画像・両目表示処理を実行するＣＰＵ２１０がガイド表示制御手段として機能する。
【０１０８】
尚、以上の実施形態のように、顔画像照合装置は、主として人物の認証に好適に用いられるが、他の用途に用いることもできる。例えば、登録データベースに両親や著名人の顔画像の特徴量を登録させておき、判定処理（Ｓ１５）の際に、照合対象画像と最も近い登録特徴量を有する人物を選び出して結果を出力する（Ｓ１７）ように構成すると、「似たもの判定装置」を実現することができる。
【０１０９】
【発明の効果】
上記説明から明らかなように、請求項１に記載の顔画像照合装置によれば、特徴量抽出手段が入力された顔画像を周波数解析することによりその照合対象画像の特徴量を抽出し、特徴量記憶手段が抽出された特徴量を記憶する。特徴量記憶手段には、比較照合のための登録特徴量が予め記憶されており、比較照合手段は、この登録特徴量と、特徴量抽出手段が抽出した照合対象特徴量とを比較照合する。従って、顔の特徴点を検出して比較照合を行なう場合やパターン情報から特徴量を抽出する場合に比べて、高速に処理を行なうことができる。
【０１１０】
請求項２に記載の顔画像照合装置によれば、請求項１に記載の発明の効果に加え、前処理手段が、照合対象画像に対して特徴量抽出を行なうための前処理を行なう。前処理の種類としては、アフィン変換、対象領域の切り出し、画像縮小のうち、１つ又はこれらの組み合わせを用いることができる。従って、顔画像が入力されたときの環境による影響を補正してから特徴量を抽出することができる。
【０１１１】
請求項３に記載の顔画像照合装置によれば、請求項１又は２に記載の発明の効果に加え、ビデオカメラ等の入力手段が顔画像を入力し、表示手段がその入力された顔画像を表示する。そして、位置検出手段が入力された顔の特徴点の位置を検出し、この検出結果に基づいて、ガイド表示制御手段が顔画像を再入力するための表示手段にガイドを表示させる。従って、操作者は、表示されたガイドに従って、表示手段の表示を見ながら顔の位置を調整し、顔画像を再入力することができる。
【０１１２】
請求項４に記載の顔画像照合装置によれば、請求項１又は２に記載の発明の効果に加え、ビデオカメラ等の入力手段が顔画像を入力し、表示手段がその入力された顔画像を表示する。そして、位置検出手段が入力された顔の特徴点の位置を検出し、位置表示制御手段がその位置検出結果を顔画像とともに表示手段に表示させる。そして、操作者の指示により、表示されていた顔画像を照合対象画像として確定させることができる。従って、操作者が顔画像の入力位置を調整し、正しい位置が検出されていることを確認して、以後の処理を行なわせることができるため、高速より確実に特徴量を抽出し、照合率を高めることができる。
【０１１３】
請求項５に記載の顔画像照合装置によれば、請求項１乃至４のいずれかに記載の発明の効果に加え、特徴量抽出手段が線形予測分析又は群遅延スペクトルを用いて周波数解析を行い、照合対象画像の特徴量を抽出する。従って、音声認識などで用いられている周知の方法により、高速に処理を行なうことができる。
【０１１４】
請求項６に記載の顔画像照合装置によれば、請求項３又は４に記載の発明の効果に加え、特徴量抽出手段が高速フーリエ変換を用いて周波数解析を行い、照合対象画像の特徴量を抽出する。従って、音声認識などで用いられている周知の方法により、高速に処理を行なうことができる。
【０１１５】
請求項７に記載の顔画像照合装置によれば、請求項１乃至６のいずれかに記載の発明の効果に加え、照合手段がＤＰ照合法を用いて、登録特徴量と照合対象特徴量とを比較照合する。従って、照合対象画像と登録特徴量の元となった顔画像との縦方向の位置ずれを吸収してより確実な比較照合を行なうことができる。
【０１１６】
請求項８に記載の携帯端末装置によれば、請求項１乃至７のいずれかに記載の発明の効果を奏することができる。
【０１１７】
請求項９に記載の顔画像照合方法によれば、入力された顔画像を周波数解析することによりその照合対象画像の特徴量を抽出し、抽出された特徴量を記憶する。そして、抽出された照合対象特徴量と、予め記憶されている登録特徴量とを比較照合する。従って、顔の特徴点を検出して比較照合を行なう場合やパターン情報から特徴量を抽出する場合に比べて、高速に処理を行なうことができる。
【０１１８】
請求項１０に記載の顔画像照合方法によれば、請求項９に記載の発明の効果に加え、照合対象画像に対して特徴量抽出を行なうための前処理を行なう。前処理の種類としては、アフィン変換、対象領域の切り出し、画像縮小のうち、１つ又はこれらの組み合わせを用いることができる。従って、顔画像が入力されたときの環境による影響を補正してから特徴量を抽出することができる。
【０１１９】
請求項１１に記載の顔画像照合方法によれば、請求項９又は１０に記載の発明の効果に加え、入力した顔画像を表示させ、その顔の特徴点の位置を検出する。そして、検出結果に基づいて、顔画像の再入力のためのガイドが表示される。従って、操作者は、表示されたガイドに従って、顔の位置を調整し、顔画像を再入力することができる。
【０１２０】
請求項１２に記載の顔画像照合方法によれば、請求項９又は１０に記載の発明の効果に加え、入力した顔画像を表示させ、その顔の特徴点の位置を検出する。そして、検出結果を顔画像とともに表示させる。表示された顔画像を照合対象画像とするように操作者が指示を入力すると、この指示を受け付けて、表示されていた顔画像を照合対象画像として確定させる。従って、操作者が顔画像の入力位置を調整し、正しい位置が検出されていることを確認して、以後の処理を行なわせることができるため、高速より確実に特徴量を抽出し、照合率を高めることができる。
【０１２１】
請求項１３に記載の顔画像照合方法によれば、請求項９乃至１２のいずれかに記載の発明の効果に加え、線形予測分析又は群遅延スペクトルを用いて周波数解析を行い、照合対象画像の特徴量を抽出する。従って、音声認識などで用いられている周知の方法により、高速に処理を行なうことができる。
【０１２２】
請求項１４に記載の顔画像照合方法によれば、請求項１１又は１２に記載の発明の効果に加え、高速フーリエ変換を用いて周波数解析を行い、照合対象画像の特徴量を抽出する。従って、音声認識などで用いられている周知の方法により、高速に処理を行なうことができる。
【０１２３】
請求項１５に記載の顔画像照合方法によれば、請求項９乃至１４のいずれかに記載の発明の効果に加え、ＤＰ照合法を用いて、登録特徴量と照合対象特徴量とを比較照合する。従って、照合対象画像と登録特徴量の元となった顔画像との縦方向の位置ずれを吸収してより確実な比較照合を行なうことができる。
【０１２４】
請求項１６に記載の顔画像照合プログラムによれば、請求項９乃至１５のいずれかに記載の発明の効果を奏することができる。
【図面の簡単な説明】
【図１】本実施形態の顔画像照合装置１の構成を示す外観図である。
【図２】顔画像照合装置１の電気的構成を示すブロック図である。
【図３】図３は、ＲＡＭ３１の構成を示す模式図である。
【図４】顔画像照合処理のメインのフローチャートである。
【図５】両目位置検出処理の詳細を示すフローチャートである。
【図６】画像正規化処理のサブルーチンのフローチャートである。
【図７】特徴量抽出処理のサブルーチンのフローチャートである。
【図８】両目の位置を顔画像上に表示した表示画面の例である。
【図９】携帯電話１００の外観図である。
【図１０】携帯電話１００の回路のブロック図である。
【図１１】両目の位置を顔画像上に表示した表示画面１０１の例である。
【図１２】顔画像照合装置を組み込んだ電子錠システム３００の概念図である。
【図１３】電子錠システム３００のブロック図である。
【符号の説明】
１ 顔画像照合装置
２ パソコン
４ ビデオカメラ
３０ ＣＰＵ
３１ ＲＡＭ
３１１ 入力画像記憶エリア
３１２ 照合対象画像記憶エリア
３１３ 照合対象特徴量記憶エリア
３１４ 瞳位置記憶エリア
３２ ＲＯＭ
３８ ハードディスク装置
３８０ プログラム記憶エリア
３８１ 登録データベース記憶エリア
９３ ディスプレイ
１００ 携帯電話
１０１ 表示画面
１０８ 機能選択ボタン
１０９ 機能選択ボタン
１１０ ビデオカメラ
１２０ 制御部
１２１ ＣＰＵ
１２２ ＲＡＭ
１２２１ 入力画像記憶エリア
１２２２ 照合対象画像記憶エリア
１２２３ 照合対象特徴量記憶エリア
１２２４ 瞳位置記憶エリア
１３０ 不揮発メモリ
１３０１ プログラム記憶エリア
１３０２ 登録データベース記憶エリア
１３８ キー入力部
２００ 顔画像照合装置
２２１ ＲＡＭ
２２１１ 入力画像記憶エリア
２２１２ 照合対象画像記憶エリア
２２１３ 照合対象特徴量記憶エリア
２２１４ 瞳位置記憶エリア
２２２ 不揮発メモリ
２２２１ 顔画像照合プログラム記憶エリア
２２２２ 登録データベース記憶エリア
２４０ ビデオカメラ
２５０ ディスプレイ
２６０ 操作スイッチ
３００ 電子錠システム

Claims (16)

1. 入力された顔画像である照合対象画像を周波数解析することにより当該照合対象画像の特徴量を抽出する特徴量抽出手段と、
   当該特徴量抽出手段が抽出した特徴量を記憶する特徴量記憶手段と、
   入力された照合対象画像について前記特徴量抽出手段が抽出した照合対象特徴量と、予め前記特徴量記憶手段に記憶されている登録特徴量とを比較照合する照合手段と
   を備えた顔画像照合装置。
2. 前記照合対象画像に対してアフィン変換、対象領域の切り出し、画像縮小のうち少なくとも１つの処理を行なう前処理手段を備え、
   前記特徴量抽出手段は、当該前処理手段が処理した前処理後画像を周波数解析することを特徴とする請求項１に記載の顔画像照合装置。
3. 顔画像を入力する入力手段と、
   当該入力手段から入力された顔画像を表示する表示手段と、
   前記入力手段により入力された顔の基準点の位置を検出する位置検出手段と、
   当該位置検出手段の検出結果に基づいて、前記入力手段から顔画像を再入力するためのガイドを前記表示手段に表示させるガイド表示制御手段とを備えたことを特徴とする請求項１又は２に記載の顔画像照合装置。
4. 顔画像を入力する入力手段と、
   当該入力手段から入力された顔画像を表示する表示手段と、
   前記入力手段により入力された顔の基準点の位置を検出する位置検出手段と、
   当該位置検出手段の検出結果を、前記入力された顔画像とともに前記表示手段に表示させる位置表示制御手段と、
   前記表示手段に表示された顔画像を前記照合対象画像として確定させる指示を操作者から受け付ける指示受付手段と、
   当該指示受付手段により確定指示を受け付けた場合に、前記検出結果とともに前記表示手段に表示されている顔画像を前記照合対象画像として確定する対象画像確定手段とを備えたことを特徴とする請求項１又は２に記載の顔画像照合装置。
5. 前記特徴量抽出手段は、周波数解析として線形予測分析又は群遅延スペクトルを用いることを特徴とする請求項１乃至４のいずれかに記載の顔画像照合装置。
6. 前記特徴量抽出手段は、周波数解析として高速フーリエ変換を用いることを特徴とする請求項３又は４に記載の顔画像照合装置。
7. 前記照合手段は、ＤＰ照合法を用いることを特徴とする請求項１乃至６のいずれかに記載の顔画像照合装置。
8. 請求項１乃至７のいずれかに記載の顔画像照合装置を搭載した携帯端末装置。
9. 入力された顔画像である照合対象画像を周波数解析することにより当該照合対象画像の特徴量を抽出する特徴量抽出ステップと、
   当該特徴量抽出ステップにおいて抽出された特徴量を記憶する特徴量記憶ステップと、
   入力された照合対象画像について前記特徴量抽出ステップにおいて抽出された照合対象特徴量と、予め記憶されている登録特徴量とを比較照合する照合ステップとからなる顔画像照合方法。
10. 前記照合対象画像に対してアフィン変換、対象領域の切り出し、画像縮小のうち少なくとも１つの処理を行なう前処理ステップを備え、
    前記特徴量抽出ステップでは、当該前処理ステップにおいて処理された前処理後画像を周波数解析することを特徴とする請求項９に記載の顔画像照合方法。
11. 顔画像を入力する入力ステップと、
    当該入力ステップにおいて入力された顔画像を表示する表示ステップと、
    前記入力ステップにおいて入力された顔の基準点の位置を検出する位置検出ステップと、
    当該位置検出ステップにおける検出結果に基づいて、顔画像を再入力するためのガイドを表示させるガイド表示制御ステップとを備えたことを特徴とする請求項９又は１０に記載の顔画像照合方法。
12. 顔画像を入力する入力ステップと、
    当該入力ステップにおいて入力された顔画像を表示する表示ステップと、
    前記入力ステップにおいて入力された顔の基準点の位置を検出する位置検出ステップと、
    当該位置検出ステップにおける検出結果を、前記入力された顔画像とともに表示させる位置表示制御ステップと、
    前記表示ステップにおいて表示された顔画像を前記照合対象画像として確定させる指示を操作者から受け付ける指示受付ステップと、
    当該指示受付ステップにおいて確定指示を受け付けた場合に、前記検出結果とともに表示されている顔画像を前記照合対象画像として確定する対象画像確定ステップとを備えたことを特徴とする請求項９又は１０に記載の顔画像照合装置。
13. 前記特徴量抽出ステップでは、周波数解析として線形予測分析又は群遅延スペクトルを用いることを特徴とする請求項９乃至１２のいずれかに記載の顔画像照合方法。
14. 前記特徴量抽出ステップでは、周波数解析として高速フーリエ変換を用いることを特徴とする請求項１１又は１２に記載の顔画像照合方法。
15. 前記照合ステップでは、ＤＰ照合法を用いることを特徴とする請求項９乃至１４のいずれかに記載の顔画像照合方法。
16. 請求項９乃至１５のいずれかに記載の顔画像照合方法をコンピュータに実行させる顔画像照合プログラム。

Images