JP2003248815A - 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 顔画像に基づく個人認証の精度向上に寄与す
る要素技術を提供する。 【解決手段】 静止画像取得部２０は動画像取得部１０
で取得された被験者の顔の動画像から静止画像を抽出
し、顔画像として取得する。顔画像記憶部３０には顔画
像の正規化を行なうときの基準となる顔画像である登録
顔画像が予め記憶される。正規化情報生成部５１は、静
止画像取得部２０で取得された正規化対象顔画像と登録
顔画像との各々において被験者の目が表されている画像
上の位置を示す情報の取得を行なう。画像変換部５２
は、両画像に各々表されている被験者の両目についての
画像上の相対的な位置の違いに基づいて、正規化対象顔
画像に対して拡大若しくは縮小又は回転の画像変換を行
なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術に関
し、特に、人の顔が表されている画像の照合を行なう認
証システムで用いられる技術に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】指紋の
皺や声紋などの被験者に固有の身体的な特徴を利用して
被験者の個人確認を行なう技術がある。この技術のひと
つに、目、鼻、口などの顔部品の形状や顔上の位置など
に基づいて個人認証を行なう技術がある。この認証を行
なうためには、顔部品の抽出処理、すなわち被験者の顔
が表されている顔画像から顔部品が表されている部分の
位置を検出する処理や、顔画像の正規化処理、すなわち
２枚の顔画像の縮尺や傾きを一致させる処理が必要であ
り、これらの処理を精度良く行なうことはこの顔画像に
基づく個人認証技術において重要である。

【０００３】こうのような事情を鑑み、顔画像に基づく
個人認証の精度向上に寄与する要素技術を提供すること
が本発明が解決しようとする課題である。

【０００４】

【課題を解決するための手段】本発明に係る顔画像の正
規化方法及び正規化装置は、人の顔が各々表されている
第一及び第二の画像における縮尺又は傾きの違いを減少
させる正規化を行なう方法又は装置を前提とする。

【０００５】本発明の態様のひとつである顔画像の正規
化方法は、前記第一及び前記第二の画像の各々において
人の目が表されている画像上の位置を示す情報の取得を
行ない、前記第一及び前記第二の画像に各々表されてい
る人の両目についての画像上の相対的な位置の違いに基
づいて、前記第一又は前記第二の画像に対して拡大若し
くは縮小又は回転の画像変換を行なうことによって前述
した課題を解決する。

【０００６】本発明は、特殊な場合を除いては同一人の
顔であればその顔における両目の相対的な位置関係は殆
ど変化しないことを利用する。つまり、第一の画像と第
二の画像との両方に同一人の顔が表されているのであれ
ば、その両画像に表されている両目の画像上における相
対的な位置関係を一致させるような画像変換を第一又は
第二の画像に対して行なうようにするというものが上述
した発明である。

【０００７】この上述した本発明に係る顔画像の正規化
方法において、前記画像変換においては、前記第一の画
像に表されている両目間の該第一の画像上における距離
と前記第二の画像に表されている両目間の該第二の画像
上における距離との違いに基づいて前記第一の画像と前
記第二の画像との縮尺の違いを検出し、前記縮尺の違い
に基づいて前記拡大又は前記縮小の画像変換を行なうよ
うにすることができる。

【０００８】また、上述した本発明に係る顔画像の正規
化方法において、前記画像変換においては、前記第一の
画像における両目間を結ぶ直線の該第一の画像における
傾きと前記第二の画像における両目間を結ぶ直線の該第
二の画像における傾きとの違いを検出し、前記傾きの違
いに基づいて前記回転の画像変換を行なうようにするこ
ともできる。

【０００９】こうすることにより、人の顔が表されてい
る第一の画像と第二の画像との間で縮尺や傾きを一致さ
せることができるようになり、顔画像に基づく個人認証
の精度向上に寄与する。なお、上述した本発明に係る顔
画像の正規化方法において、前記情報の取得のために、
目を開いた人の顔が表されている静止画像と目を閉じた
同一人の顔が表されている静止画像とからなる２枚の静
止画像の各々を構成する各画素の輝度値の差の絶対値の
算出を該静止画像上の位置が対応している画素毎に行な
い、前記画素毎に算出された差の絶対値を輝度値とする
各画素を対応する位置に配置して構成される差分画像を
作成し、前記差分画像の一部である所定形状且つ所定サ
イズの領域であって、該領域に含まれる画素の輝度値の
総和が最大である該領域の該差分画像上における位置を
前記静止画像における第一の目の位置として検出し、前
記差分画像の一部である所定形状且つ所定サイズの領域
であって、該領域に含まれる画素の輝度値の総和が二番
目に大きい該領域の該差分画像上における位置を前記静
止画像における第二の目の位置として検出するようにす
ることができる。

【００１０】こうすることにより、同一人の顔が表され
ている上述したような２枚の静止画像を用意するだけ
で、人の目が表されている画像上の位置を示す情報をそ
の静止画像から得ることができるようになる。なお、こ
のとき、前記第一の画像は動画像であり、前記第一の画
像から抽出される２枚の静止画像の組み合わせのうち、
該静止画像を構成する画素毎の輝度値の差の絶対値の全
画素についての総和が最大となるときの該組み合わせ
を、目を開いた人の顔が表されている静止画像と目を閉
じた同一人の顔が表されている静止画像とからなる該第
一の画像においての２枚の静止画像とするようにするこ
とができる。

【００１１】こうすることにより、人の顔が表されてい
る動画像を用意するだけで、人の目が表されている画像
上の位置を示す情報をその動画像から得ることができる
ようになる。また、本発明の別の態様のひとつである顔
画像の正規化装置は、前記第一及び前記第二の画像の各
々において人の目が表されている画像上の位置を示す情
報の取得を行なう取得手段と、前記第一及び前記第二の
画像に各々表されている人の両目についての画像上の相
対的な位置の違いに基づいて、前記第一又は前記第二の
画像に対して拡大若しくは縮小又は回転の画像変換を行
なう画像変換手段と、を有するように構成することによ
って前述した課題を解決する。

【００１２】この構成によれば、前述した本発明に係る
顔画像の抽出方法と同様の作用・効果が得られる。ま
た、本発明に係る顔画像における目の位置の検出方法及
び検出装置は、人の顔が表されている動画像から人の目
が表されている該動画像上の位置の検出を行なう方法又
は装置を前提とする。

【００１３】本発明の態様のひとつである顔画像におけ
る目の位置の検出方法は、目を開いた人の顔が表されて
いる静止画像と目を閉じた人の顔が表されている静止画
像とからなる２枚の静止画像を前記動画像から抽出し、
抽出された２枚の静止画像の各々を構成する各画素の輝
度値の差の絶対値の算出を該静止画像上の位置が対応し
ている画素毎に行ない、前記画素毎に算出された差の絶
対値を輝度値とする各画素を対応する位置に配置して構
成される差分画像を作成し、前記差分画像の一部である
所定形状且つ所定サイズの領域であって、該領域に含ま
れる画素の輝度値の総和が最大である該領域の該差分画
像上における位置を前記動画像における第一の目の位置
として検出することによって前述した課題を解決する。

【００１４】人がまばたきをしているときに取得された
上述した動画像には、顔の位置はほぼ同位置であって目
を開いた状態が表されている静止画像と目を閉じた状態
が表されている静止画像とが含まれている。この両静止
画像は目の開閉の状態を除けばほぼ同一であるので、上
述のようにして作成される差分画像には両目の部分のみ
が輝度値が高く表されていることとなる。ここで、上述
した領域の形状及びサイズをその動画像における片目の
みが含まれる程度のものにしておくと、その領域に含ま
れる画素の輝度値の総和が最大であるときにはその領域
には片目が含まれていることは確実である。そこで、こ
のときのこの領域の位置を検出すれば、それはすなわち
片目の位置を検出したこととなるのである。

【００１５】以上のように、このようにすることによ
り、人の顔が表されている動画像を用意するだけで、人
の一方の目が表されている画像上の位置を示す情報をそ
の動画像から得ることができるようになり、顔画像に基
づく個人認証の精度向上に寄与する。

【００１６】なお、上述した本発明に係る顔画像におけ
る目の位置の検出方法において、前記差分画像の一部で
ある所定形状且つ所定サイズの領域であって、該領域に
含まれる画素の輝度値の総和が二番目に大きい該領域の
該差分画像上における位置を前記動画像における第二の
目の位置として更に検出するようにすることができる。

【００１７】こうすることにより、人の顔が表されてい
る動画像を用意するだけで、人の目が表されている画像
上の位置を示す情報を両目ともその動画像から得ること
ができるようになる。また、上述した本発明に係る顔画
像における目の位置の検出方法において、前記２枚の静
止画像の抽出では、前記動画像から抽出される２枚の静
止画像の組み合わせのうち、該静止画像を構成する各画
素の輝度値の差の絶対値の全画素についての総和が最大
となるときの該組み合わせを、該抽出の結果とするよう
にすることができる。

【００１８】こうすることにより、人がまばたきをして
いるときに取得された上述した動画像から、顔の位置は
ほぼ同位置であって目を開いた状態が表されている静止
画像と目を閉じた状態が表されている静止画像とを確実
に抽出することができるようになる。

【００１９】また、本発明の別の態様のひとつである顔
画像における目の位置の検出装置は、目を開いた人の顔
が表されている静止画像と目を閉じた人の顔が表されて
いる静止画像とからなる２枚の静止画像を前記動画像か
ら抽出する抽出手段と、抽出された２枚の静止画像の各
々を構成する各画素の輝度値の差の絶対値の算出を該静
止画像上の位置が対応している画素毎に行なう算出手段
と、前記画素毎に算出された差の絶対値を輝度値とする
各画素を対応する位置に配置して構成される差分画像を
作成する作成手段と、前記差分画像の一部である所定形
状且つ所定サイズの領域であって、該領域に含まれる画
素の輝度値の総和が最大である該領域の該差分画像上に
おける位置を前記動画像における第一の目の位置として
検出する検出手段と、を有するように構成することによ
って前述した課題を解決する。

【００２０】この構成によれば、前述した本発明に係る
顔画像における目の位置の検出方法と同様の作用・効果
が得られる。また、前述した本発明に係る顔画像の正規
化方法又は顔画像における目の位置の検出方法に相当す
る処理をコンピュータに行なわせるためのプログラムで
あっても、そのプログラムをコンピュータに読み込ませ
て実行させることによって、前述した本発明に係る本発
明に係る顔画像の正規化方法又は顔画像における目の位
置の検出方法と同様の作用・効果が得られ、前述した課
題が解決される。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は本発明を実施する顔画像正
規化装置の構成を示す図である。動画像取得部１０は被
験者の顔が表されている動画像を表現している画像デー
タの取得を行なうものであり、例えばデジタルビデオカ
メラや、動画撮影機能を有しているデジタルスチルカメ
ラなどが使用される。なお、動画像取得部１０で被験者
の動画像の撮影を行なう場合には、その撮影中にまばた
きを行なわせるように被験者に指示を与えておく。ま
た、その撮影中にはなるべく頭を動かさないようにする
旨の指示も被験者に与えておくことが望ましい。

【００２２】静止画像取得部２０は動画像取得部１０で
取得された被験者の顔の動画像から静止画像を抽出し、
顔画像として取得する。顔画像記憶部３０には顔画像の
正規化を行なうときの基準となる顔画像である登録顔画
像が記憶される。

【００２３】両目位置検出部４０は静止画像取得部２０
によって取得された顔画像における両目の各位置を検出
する。顔画像正規化部５０は、動画像取得部１０で取得
された動画像から得られる、正規化の対象である顔画像
に対して、顔画像記憶部３０に記憶されている登録顔画
像に基づく正規化を施すものであり、正規化情報生成部
５１と画像変換部５２とを有している。

【００２４】正規化情報生成部５１は、正規化対象顔画
像の正規化のために必要な情報を、登録顔画像及び正規
化対象顔画像に基づいて生成する。画像変換部５２は、
正規化情報生成部５１で生成された正規化情報に基づい
て、正規化対象顔画像に対して画像変換処理を施して正
規化を行なう。

【００２５】出力部６０は、顔画像正規化部５０によっ
て正規化された後の顔画像を表現している画像データを
出力する。図１に示す顔画像正規化装置（以下、「本装
置」と称することとする）は以上のように構成されてい
る。

【００２６】なお、本装置は、標準的な構成を有するコ
ンピュータ、すなわち、制御プログラムを実行すること
で各構成要素を制御するＣＰＵと、ＲＯＭやＲＡＭ及び
磁気記憶装置などからなり、ＣＰＵに各構成要素を制御
させる制御プログラムの記憶やＣＰＵが制御プログラム
を実行する際のワークエリアあるいは各種データの記憶
領域として使用される記憶部と、ユーザによる操作に対
応する各種のデータが取得される入力部と、ディスプレ
イなどに各種のデータを提示してユーザに通知する出力
部と、ネットワークに接続するためのインタフェース機
能を提供するＩ／Ｆ部とを備えるコンピュータに、画像
データ取得部１０としてデジタルカメラやイメージセン
サ等を接続して構成することもできる。

【００２７】次に、本装置で行なわれる顔画像登録処理
及び正規化顔画像取得処理について説明する。まず、顔
画像登録処理について説明すると、この処理は、顔画像
の正規化を行なうときの基準となる登録顔画像を取得し
て顔画像記憶部３０に記憶させておく処理である。

【００２８】ここで図２について説明する。同図は顔画
像登録処理の処理内容を示すフローチャートである。ま
ず、Ｓ１０１では、登録対象者の顔が表されている動画
像を表現している動画像データの取得が動画像取得部１
０で行なわれる。

【００２９】Ｓ１０２では、前ステップの処理によって
取得された動画像データから、登録対象者の顔が表され
ているＮ枚の静止画像を取得（キャプチャ）する処理が
静止画像取得部２０で行なわれる。Ｓ１０３では両目位
置検出処理が両目位置部３０で行なわれる。両目位置検
出処理は、前ステップの処理によって取得された静止画
像（顔画像）において、目が表されている領域の位置を
検出する処理であり、その処理内容は図３にフローチャ
ートで示されている。

【００３０】ここで、図３に示すフローチャートに沿っ
てこの両目位置検出処理の処理内容を説明する。まず、
Ｓ２０１では、先にキャプチャされたＮ枚全ての静止画
像の輝度を２５６階調に正規化する処理が行なわれる。

【００３１】Ｓ２０２では、前ステップの処理によって
輝度が正規化された静止画像が２枚選択される。Ｓ２０
３では、選択された２枚の静止画像における同一位置の
画素の輝度値の差が、その静止画像を構成する全ての画
素について算出される。

【００３２】Ｓ２０４では、前ステップの処理によって
算出された静止画像を構成する全ての画素の輝度値の差
の総和が変数Ｓａ［ｋ］（但し、ｋ＝１〜 _NＣ₂ ）に代
入される。なお、 _NＣ₂ ＝Ｎ（Ｎ−１）／２である。Ｓ
２０５では、先にキャプチャされたＮ枚全ての静止画像
から選択された２枚の組み合わせの全てについて変数Ｓ
ａ［ｋ］の値が算出されたか否かが判別され、この判定
結果がＹｅｓならばＳ２０７に処理が進む。一方、Ｓ２
０５の判別処理の結果がＮｏならば、Ｓ２０６におい
て、Ｓａ［ｋ］の値が未だ算出されていない２枚の静止
画像の組み合わせが選択され、その後はＳ２０３へ処理
が戻って上述した処理が繰り返される。

【００３３】Ｓ２０７では、以上までの処理によって求
められたＳａ［ｋ］の値が最大であったときの静止画像
の組み合わせが抽出され、抽出された２枚の静止画像に
ついての差分画像が作成される。この処理によって抽出
される２枚の静止画像は、各画素の輝度値の差の総和が
最大であるときの静止画像の組み合わせが抽出されてい
るので、キャプチャされたＮ枚の静止画像のうち、そこ
に表されている画像最も異なっているものの組み合わ
せ、すなわち同一人である被験者の顔の画像が最も異な
っているものの組み合わせである。ここで、静止画像の
元である動画像を動画像取得部１０で撮影したときに被
験者に与えていた指示の内容を考慮すれば、この２枚の
静止画像は目のまばたきによって目を最大に開いた状態
の顔と目を閉じた（あるいは目の開きが最小の）状態の
顔とが表されていると推測することができる。従って、
この２枚の静止画像から作成される静止画像は、図４
（ａ）に例示するような、被験者の顔のうちの目の部分
だけが輝度が高く、明瞭に表されている画像となる。

【００３４】Ｓ２０８では、図４（ａ）に示すように、
所定形状・サイズの前ステップの処理によって作成され
た差分画像上の全体を例えば左上から右下へとマスクを
走査させながら、そのマスク内に含まれる画素の輝度値
の総和Ｓｂ［ｉ，ｊ］（但し、（ｉ，ｊ）はマスクの差
分画像上の位置を特定する座標）を算出する処理が行な
われる。ここで、マスクのサイズはなるべく小さいこと
が望ましいが、少なくとも差分画像上に表される被験者
の片目の像全体をその中に含むことができる程度の大き
さ・サイズを有するようにする。

【００３５】Ｓ２０９では、Ｓｂ（ｉ，ｊ）が最大であ
ったときのマスクの差分画像上の位置を特定する座標の
値が（ｘ₁ ，ｙ₁ ）として取得される。ここで、図４
（ａ）の例を参照すれば、Ｓｂ（ｉ，ｊ）が最大となる
のは被験者の片目の像全体がマスクに含まれたときであ
ることは明らかである。

【００３６】Ｓ２１０では、Ｓｂ（ｉ，ｊ）が（ｘ₁ ，
ｙ₁ ）に続いて２番目の大きさであったときのマスクの
差分画像上の位置を特定する座標の値が（ｘ₂ ，ｙ₂ ）
として取得される。Ｓｂ（ｉ，ｊ）が２番目に大きくな
るのは被験者のもう片方の目の像全体がマスクに含まれ
たときであることも図４（ａ）の例を参照すれば明らか
である。

【００３７】Ｓ２１１では、Ｓ２０９及びＳ２１０の処
理によって取得された（ｘ₁ ，ｙ₁）及び（ｘ₂ ，
ｙ₂ ）が両目位置検出部４０による検出結果として出力
される。以上までの処理が両目位置検出処理である。な
お、図３に示した処理においては、差分画像の全体をマ
スクが走査するようにしていたが、動画像取得部１０で
の撮影を適切に行なう等することによって被験者の目の
位置の存在範囲が差分画像上においてある程度定められ
ているならば、差分画像上におけるその目の存在可能範
囲のみをマスクで走査させるようにしても目の位置の検
出は可能である。こうすることによってマスク走査範囲
を狭めれば両目位置検出部４０による処理負担を軽減す
ることができる。

【００３８】また、片目の差分画像上の位置の検出のた
めのマスク走査をまず行ない、その片目の位置の検出が
なされた後に他方の目の位置検出のためのマスク走査を
行なうようにすることもできる。このとき、図４（ｂ）
に例示するように、他方の目の検出のためのマスク走査
の範囲を既に検出を済ませている方の片目の位置に基づ
いて設定するようにする、例えば人の両目間の距離につ
いての常識的な取り得る値の範囲についてのみマスク走
査を行なうようにすれば、マスク走査範囲を狭めること
が可能となり、こうすることによっても両目位置検出部
４０による処理負担を軽減することができる。

【００３９】図２の説明へ戻る。Ｓ１０４では、キャプ
チャされている静止画像が静止画像取得部２０において
１枚選択され、前ステップの処理によって位置が検出さ
れたその静止画像における各々の目を含む周辺領域内
で、エッジの抽出が行なわれる。

【００４０】エッジを抽出するには、その周辺領域内に
おける座標（ｉ，ｊ）の位置の画素の輝度値をＤi,j と
すると、

【００４１】

【数１】

【００４２】なる計算を行ない、その周辺領域内の全て
についてＰijを算出すればよい。このようにして算出さ
れたＰi,j は輝度値を表しており、座標（ｉ，ｊ）で示
される位置がその領域内に表されている像のエッジ（輪
郭）部分であるときにはその値が大きくなり、その他の
部分であるときにはその値は小さくなるので、エッジの
抽出結果とみることができる。

【００４３】Ｓ１０４では、静止画像取得部２０におい
て、このエッジの抽出がその静止画像における各々の目
を含む周辺領域で行なわれる。Ｓ１０５では、静止画像
取得部２０において、図５に示すように、Ｓ１０４の処
理によって得られた輝度値Ｐijについての周辺領域の総
和が左目と右目との各々について求められ、算出された
左目周辺領域の輝度値総和Ｐl と右目周辺領域の輝度値
総和Ｐr との和Ｐl ＋Ｐr が算出される。

【００４４】Ｓ１０６では、上述したＰl ＋Ｐr の和の
算出が、キャプチャされたＮ枚全ての静止画像について
行なわれたか否かが静止画像取得部２０において判別さ
れ、この判別結果がＹｅｓならばＳ１０７に処理が進
む。一方、Ｓ１０６の判別結果がＮｏならばＳ１０４へ
処理が戻り、Ｓ１０４以降の処理が上述した値の算出が
未だ行なわれていない静止画像に対して再度行なわれ
る。

【００４５】Ｓ１０７では、Ｐl ＋Ｐr の和が最大であ
った静止画像が登録顔画像として静止画像取得部２０に
おいて選択され、選択された登録顔画像を表現している
画像データを顔画像記憶部３０に記憶させ、その後はこ
の顔画像登録処理が終了する。

【００４６】このような静止画像が登録顔画像として選
択されるのは、Ｐl ＋Ｐr の和が最大である静止画像
は、キャプチャされている静止画像の中ではそこに表さ
れている目の部分のエッジ（輪郭）が最も明瞭なものと
考えられるので、後に行なわれる顔画像の正規化処理の
ための基準とする画像としては最も適切であると思われ
るからである。

【００４７】以上までの処理が顔画像登録処理であり、
本装置でこの処理が行なわれることによって、顔画像の
正規化を行なうときの基準となる登録顔画像が取得され
て顔画像記憶部３０に記憶される。次に本装置で行なわ
れる正規化顔画像取得処理について説明する。この処理
は、動画像取得部１０で取得された動画像から得られ
る、正規化の対象である顔画像に対して、顔画像記憶部
３０に記憶されている登録顔画像に基づく正規化を施し
て得られる正規化顔画像を取得する処理である。

【００４８】ここで図６について説明する。同図は顔画
像登録処理の処理内容を示すフローチャートである。同
図において、Ｓ３０１からＳ３０７にかけての処理は、
動画像取得部１０で取得された動画像から得られる静止
画像より正規化対象の顔画像を選択する処理である。こ
れらの処理を図２に示した顔画像登録処理の処理内容と
比較すると分かるように、Ｓ３０７においてＰl ＋Ｐr
の和が最大であった静止画像が正規化対象顔画像として
選択されることを除けば、これらのＳ３０１からＳ３０
７にかけての処理では、図２におけるＳ１０１からＳ１
０７にかけてのものと同内容の処理が行なわれる。

【００４９】Ｓ３０７の処理によって正規化対象顔画像
が選択されると、続くＳ３０８では顔画像正規化処理が
顔画像正規化部５０において行なわれる。この処理によ
って生成される正規化された顔画像が出力部６０から出
力されるとこの図６に示す処理が終了する。

【００５０】このＳ３０７の処理である顔画像正規化処
理の第一の例の処理内容を示すフローチャートは図７に
示されている。以下、同図に沿ってこの処理の処理内容
を説明する。まず、Ｓ４０１では、Ｓ３０３の両目位置
検出処理によって検出された、正規化対象顔画像におけ
る両目の位置情報（ｘ₁ ，ｙ₁ ）及び（ｘ₂ ，ｙ₂ ）が
正規化情報生成部５１において取得される。

【００５１】Ｓ４０２では、

【００５２】

【数２】

【００５３】なる計算が正規化情報生成部５１において
行なわれ、正規化対象顔画像における両目間の距離Ｄが
算出される。Ｓ４０３では、顔画像記憶部３０に記憶さ
れている、正規化処理の基礎となる登録顔画像が読み出
され、その登録顔画像における両目間の距離Ｄｓの算出
が上記の［数２］式に基づいて正規化情報生成部５１で
行なわれる。なお、この処理のため、前述した顔画像登
録処理において登録顔画像を顔画像記憶部３０に記憶さ
せるときに、登録顔画像における両目の位置を示す座標
の情報を顔画像記憶部３０に併せて記憶させておくよう
にしておくと有益である。このＳ４０３の処理において
はこの両目の位置を示す座標の情報を顔画像記憶部３０
から読み出すことにより、この座標の情報を改めて登録
顔画像から検出することなく距離Ｄｓの算出が可能とな
るので、処理負担が軽減されるからである。

【００５４】Ｓ４０４では、正規化対象顔画像に対して
Ｄｓ／Ｄ倍の拡大（若しくは縮小）変換が画像変換部５
２で行なわれる。Ｓ４０５では正規化対象顔画像におけ
る両目を結ぶ直線の仰角θを算出する処理が正規化情報
生成部５１で行なわれる。

【００５５】図８に示すように、この仰角θとは、正規
化対象顔画像における水平線とその顔画像における両目
を結ぶ直線とのなす角の角度のことであり、この角度
は、正規化対象顔画像における両目の位置を示す座標を
（ｘ₁ ，ｙ₁ ）及び（ｘ₂ ，ｙ ₂ ）とすると、下記の式
によって算出される。

【００５６】

【数３】

【００５７】Ｓ４０６では登録顔画像における両目を結
ぶ直線の仰角θs を算出する処理が正規化情報生成部５
１で行なわれる。このθs の算出法も正規化対象顔画像
についての仰角θの算出法と同様であり、登録顔画像に
おける両目の位置を示す座標の値を上記の［数３］に代
入することで算出される。

【００５８】Ｓ４０７では、正規化対象顔画像に対して
（θs −θ）の回転変換処理が画像変換部５２で施され
る。以上のＳ４０４の拡大（若しくは縮小）処理とＳ４
０７の回転変換処理とが画像変換部５２によって正規化
対象顔画像に施されることによって、正規化対象顔画像
から登録顔画像と同一の縮尺であって且つ同一の傾き角
度である正規化顔画像への変換が完了する。

【００５９】Ｓ４０８では、前ステップまでの処理によ
って得られた正規化顔画像が顔画像正規化部５０から出
力され、その後は図７の処理が終了して図６の処理へと
戻る。以上までの処理が顔画像正規化処理の第一の例で
ある。図６に示す顔画像登録処理は、上述した顔画像正
規化処理が終了すると処理が終了し、得られた正規化顔
画像が出力部６０から出力される。

【００６０】以上のようにして、本装置で顔画像の正規
化が行なわれる。次に、図７に示した顔画像正規化処理
の他の例について説明する。この顔画像正規化処理の第
二の例では、登録顔画像と正規化対象顔画像との各々に
対して以下の（１）から（５）までの手順に示す処理を
施すことによって顔画像の正規化を行なう。 （１）登録顔画像に複数のテンプレートＡ_i （但しｉ＝
１〜Ｎ、Ｎは２以上の整数）を定義して配置する。 （２）正規化対象顔画像内でＡ_i と同一形状の領域を走
査させながら、その領域内の画素データとＡ_i 内の画素
データとの相関係数を算出する。 （３）正規化対象顔画像内の矩形領域のうち、上述した
（２）の処理によって算出された相関係数が最大である
もの、すなわちＡ_i との相関が最も高いことを示したも
のを検出してテンプレートＢ_i とする。 （４）Ａ_i 相互の距離の平均とＢ_i 相互の距離の平均と
の比率に基づいて、正規化対象顔画像に対して拡大（若
しくは縮小）処理を施す。 （５）Ａ_i 相互を結ぶ直線の仰角の平均とＢ_i 相互を結
ぶ直線の仰角の平均との比率に基づいて、（４）の処理
が施された後の正規化対象顔画像に対して回転処理を施
す。

【００６１】図９は顔画像正規化処理の第二の例の処理
内容を示すフローチャートである。まず、Ｓ５０１で
は、顔画像記憶部３０に記憶されている登録顔画像が読
み出され、図１０（ａ）に例示するように、その登録顔
画像の任意の位置に所定サイズ・所定形状のテンプレー
トＡi （ｉ＝１，２，…）が所定枚数だけ正規化情報生
成部５１によって配置される。

【００６２】なお、図１０（ａ）の例においては同一サ
イズ・同一形状の３枚のテンプレートを登録顔画像に配
置しているが、このテンプレートのサイズ・形状・枚数
は任意で良く、各テンプレートで異なるサイズ・形状で
あってよい。但し、各テンプレートは相互に重なり合わ
ないように配置することが望ましい。

【００６３】Ｓ５０２では、Ａi と同一形状・同一サイ
ズのテンプレートを正規化対象顔画像上で走査させなが
ら、そのテンプレート内に含まれる画素データと登録顔
画像上に配置されているＡi 内に含まれている画素デー
タとの相関係数が正規化情報生成部５１で算出される。
そして、その相関係数の値が最大であったときのテンプ
レートの正規化対象顔画像上の位置がＢi として取得さ
れる。

【００６４】ここで、Ｓ５０２の処理において行なわれ
る相関係数の算出について説明する。なお、ここでは、
領域Ａと領域Ｂとの間の相関係数の算出について説明す
る。まず、領域Ａと領域Ｂのそれぞれに含まれる画素を
それぞれ、Ａ（ｉ、ｊ）、Ｂ（ｍ、ｎ）とする。但し、
領域Ａと領域Ｂのそれぞれに含まれる画素の総数は等し
くする。また、これらの画素についての濃淡を示す多階
調値である信号強度をそれぞれＸ_ij、Ｙ_mnとする。

【００６５】これらの信号強度を一般化してＺ_pqと表し
たとき、以下の式を定義する。

【００６６】

【数４】

【００６７】上式において、Ｎはその領域に含まれる画
素の総数を示す。また、上式において、Σはその領域に
含まれる画素の全てについての総和であることを示す。
つまり、上式はその領域に含まれる画素についての信号
強度の平均値を示すものである。

【００６８】次に、以下の式を更に定義する。

【００６９】

【数５】

【００７０】上式はその領域に含まれる画素についての
信号強度の２乗平均値を示すものである。ここで、領域
Ａと領域Ｂとの間の相関係数Ｃ_ABは、前述の式の定義を
用いて表される次式により算出できる。

【００７１】

【数６】

【００７２】上式を用いて両領域間の相関係数を算出す
る。なお、上式による相関係数の算出においては、領域
内の全ての画素の信号強度を用いて算出する代わりに、
例えば、その領域内の任意の１列の線上に並ぶ画素のみ
を用いての算出、その領域内の一部の領域に含まれる画
素のみを用いての算出、あるいは、その領域内から任意
に間引いて選択した画素のみを用いての算出を行なうよ
うにしてもよい。このような算出手法を用いると、相関
係数算出の対象とする画素数が減少するので計算量が削
減されるので、有益である。また、他の相関係数の算出
法を採用してもよい。

【００７３】以上のＳ５０２の処理の結果、図１０
（ａ）に示したＡi に対応する３枚のＢi が正規化対象
顔画像から検出された様子を示したものが図１０（ｂ）
に示す図である。Ｓ５０３では、Ａi 及びＢi の位置を
示す座標についての情報が正規化情報生成部５１に一旦
記憶される。

【００７４】Ｓ５０４では、登録顔画像に配置された全
てのＡi に対応するＢi が検出されたか否かが正規化情
報生成部５１で判別され、この判別結果がＹｅｓならば
Ｓ５０５に進む。一方、Ｓ５０５の判別結果がＮｏなら
ばＳ５０２へ処理が戻り、未検出であるＢi の検出が行
なわれる。

【００７５】Ｓ５０５では登録顔画像に配置されたＡi
のうちの２つが正規化情報生成部５１で選択される。Ｓ
５０６では、選択されたＡi 間の距離が正規化情報生成
部５１で算出され、算出された距離が変数ＤA に代入さ
れる。この距離の算出には前記の［数２］式が用いられ
る。

【００７６】Ｓ５０７では、選択されたＡi に対応する
２つのＢi 間の距離が正規化情報生成部５１で算出さ
れ、算出された距離が変数ＤB に代入される。この距離
の算出にも前記の［数２］式が用いられる。Ｓ５０８で
はＤA ／ＤB が正規化情報生成部５１で計算され、この
計算結果がＤｓ／Ｄとして一旦保存される。

【００７７】Ｓ５０９では、登録顔画像に配置されたＡ
i の全ての組み合わせが選択されてＳ５０６からＳ５０
８にかけての処理が行なわれたか否かが正規化情報生成
部５１で判別され、この判別結果がＹｅｓならばＳ５１
１に処理が進む。一方、この判別結果がＮｏならばＳ５
１０において、未選択であるＡi の組み合わせが選択さ
れ、その後は処理がＳ５０６へ戻って選択されたＡi の
組に対してＳ５０６からＳ５０８にかけての処理が行な
われる。

【００７８】Ｓ５１１では、Ｓ５０８の処理によって求
められたＤｓ／Ｄの平均が正規化情報生成部５１で算出
され、その平均の値がＤｓ／Ｄとされる。Ｓ５１２で
は、正規化対象顔画像に対してＤｓ／Ｄ倍の拡大（若し
くは縮小）変換が画像変換部５２で行なわれる。

【００７９】Ｓ５１３では登録顔画像に配置されたＡi
のうちの２つが正規化情報生成部５１で改めて選択され
る。Ｓ５１４では、選択されたＡi 同士を結ぶ直線の仰
角θA を算出する処理が正規化情報生成部５１で行なわ
れる。この仰角θA とは、正規化対象顔画像における水
平線と選択されたＡi 同士を結ぶ直線とのなす角の角度
のことであり、その算出には前記の［数３］式が用いら
れる。

【００８０】Ｓ５１５では、選択されたＡi に対応する
２つのＢi 同士を結ぶ直線の仰角θB を算出する処理が
正規化情報生成部５１で行なわれる。この仰角θB の算
出にも前記の［数３］式が用いられる。Ｓ５１６では、
θA −θB なる計算が正規化情報生成部５１で行なわ
れ、この算出結果がθD として一旦保存される。

【００８１】Ｓ５１７では、登録顔画像に配置されたＡ
i の全ての組み合わせが選択されてＳ５１４からＳ５１
６にかけての処理が行なわれたか否かが正規化情報生成
部５１で判別され、この判別結果がＹｅｓならばＳ５１
９に処理が進む。一方、この判別結果がＮｏならばＳ５
１８において、未選択であるＡi の組み合わせが選択さ
れ、その後は処理がＳ５１４へ戻って選択されたＡi の
組に対してＳ５１４からＳ５１６にかけての処理が行な
われる。

【００８２】Ｓ５１９では、Ｓ５１６の処理によって求
められたθD の平均が正規化情報生成部５１で算出さ
れ、その平均の値がθf とされる。Ｓ５２０では、正規
化対象顔画像に対してθf の回転変換処理が画像変換部
５２で施される。

【００８３】以上のＳ５１２の拡大（若しくは縮小）処
理とＳ５１９の回転変換処理とが画像変換部５２によっ
て正規化対象顔画像に施されることによって、正規化対
象顔画像から登録顔画像と同一の縮尺であって且つ同一
の傾き角度である正規化顔画像への変換が完了する。

【００８４】Ｓ５２１では、前ステップまでの処理によ
って得られた正規化顔画像が顔画像正規化部５０から出
力され、その後は図９の処理が終了して図６の処理へと
戻る。以上までの処理が顔画像正規化処理の第二の例で
ある。図６に示す顔画像登録処理は、上述した顔画像正
規化処理が終了すると処理が終了し、得られた正規化顔
画像が出力部６０から出力される。

【００８５】以上のようにしても本装置で顔画像の正規
化が行なわれる。なお、以上までに説明した顔画像の正
規化では、動画像取得部１０で取得された動画像から得
られた静止画像である顔画像に対して画像変換を行なっ
て縮尺や傾きを登録顔画像に合わせた正規化顔画像を取
得していた。しかし、登録顔画像に対して画像変換を行
なって動画像取得部１０で取得された動画像から得られ
た静止画像である顔画像に縮尺や傾きを行なう顔画像の
正規化を行なうようにしても、顔画像に基づく個人認証
の用途であれば適用可能である。

【００８６】また、以上までに説明した本装置によって
行なわれる顔画像登録処理及び正規化顔画像取得処理
を、前述したような標準的な構成を有するコンピュータ
を用いて構成するには、前述した図２、図３、図６、及
び図７又は図９に示した処理をコンピュータに行なわせ
るための制御プログラムを作成し、その制御プログラム
をそのコンピュータに読み込ませて実行させることで実
現できる。

【００８７】また、このような制御プログラムをコンピ
ュータで読み取り可能な記録媒体に記録させ、そのプロ
グラムを記録媒体からコンピュータに読み出させて実行
させることによって本発明をコンピュータで実施するこ
とも可能である。記録させた制御プログラムをコンピュ
ータで読み取ることの可能な記録媒体の例を図１１に示
す。同図に示すように、記録媒体としては、例えば、コ
ンピュータ７１に内蔵若しくは外付けの付属装置として
備えられるＲＯＭやハードディスク装置などの記憶装置
７２、あるいはフレキシブルディスク、ＭＯ（光磁気デ
ィスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった
携帯可能記録媒体７３等が利用できる。また、記録媒体
はネットワーク７４を介してコンピュータ７１と接続さ
れる、プログラムサーバ７５として機能するコンピュー
タが備えている記憶装置７６であってもよい。この場合
には、制御プログラムを表現するデータ信号で搬送波を
変調して得られる伝送信号を、プログラムサーバ７５か
ら伝送媒体であるネットワーク７４を通じて伝送するよ
うにし、コンピュータ７１では受信した伝送信号を復調
して制御プログラムを再生することで当該制御プログラ
ムを実行できるようになる。

【００８８】その他、本発明は、上述した実施形態に限
定されることなく、種々の改良・変更が可能である。

【００８９】

【発明の効果】以上詳細に説明したように、本発明は、
人の顔が表されている２枚の画像における縮尺又は傾き
の違いを減少させる正規化を行なうときに、両画像の各
々において人の目が表されている画像上の位置を示す情
報の取得を行ない、両画像に各々表されている人の両目
についての画像上の相対的な位置の違いに基づいて、両
画像のいずれか又は両者に対して拡大若しくは縮小又は
回転の画像変換を行なうようにする。

【００９０】こうすることにより、人の顔が表されてい
る２枚の画像の間で縮尺や傾きを一致させることができ
るようになり、顔画像に基づく個人認証の精度向上に寄
与する。

【図面の簡単な説明】

【図１】本発明を実施する顔画像正規化装置の構成を示
す図である。

【図２】顔画像登録処理の処理内容を示すフローチャー
トである。

【図３】両目位置検出処理の処理内容を示すフローチャ
ートである。

【図４】両目位置検出処理を説明する図である。

【図５】顔画像登録処理を説明する図である。

【図６】正規化顔画像取得処理の処理内容を示すフロー
チャートである。

【図７】顔画像正規化処理の第一の例の処理内容を示す
フローチャートである。

【図８】図７の処理内容を示す図である。

【図９】顔画像正規化処理の第二の例の処理内容を示す
フローチャートである。

【図１０】図９の処理内容を説明する図である。

【図１１】記録させたプログラムをコンピュータで読み
取ることの可能な記録媒体の例を示す図である。

【符号の説明】

１０ 動画像取得部 ２０ 静止画像取得部 ３０ 顔画像記憶部 ４０ 両目位置検出部 ５０ 顔画像正規化部 ５１ 正規化情報生成部 ５２ 画像変換部 ６０ 出力部 ７１ コンピュータ ７２、７６ 記憶装置 ７３ 携帯可能記録媒体 ７４ ネットワーク ７５ プログラムサーバ

フロントページの続き Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CD03 CD05 DA07 DC05 DC08 DC16 DC33 DC39 5L096 AA06 BA18 EA03 EA13 EA16 FA06 FA32 FA34 FA66 FA67 FA69 GA08 GA10 HA08 JA03 JA09 KA03

Claims (12)

【特許請求の範囲】
1. 【請求項１】 人の顔が各々表されている第一及び第二
   の画像における縮尺又は傾きの違いを減少させる正規化
   を行なう方法であって、 前記第一及び前記第二の画像の各々において人の目が表
   されている画像上の位置を示す情報の取得を行ない、 前記第一及び前記第二の画像に各々表されている人の両
   目についての画像上の相対的な位置の違いに基づいて、
   前記第一又は前記第二の画像に対して拡大若しくは縮小
   又は回転の画像変換を行なう、 ことを特徴とする顔画像の正規化方法。
2. 【請求項２】 前記画像変換においては、 前記第一の画像に表されている両目間の該第一の画像上
   における距離と前記第二の画像に表されている両目間の
   該第二の画像上における距離との違いに基づいて前記第
   一の画像と前記第二の画像との縮尺の違いを検出し、 前記縮尺の違いに基づいて前記拡大又は前記縮小の画像
   変換を行なう、 ことを特徴とする請求項１に記載の顔画像の正規化方
   法。
3. 【請求項３】 前記画像変換においては、 前記第一の画像における両目間を結ぶ直線の該第一の画
   像における傾きと前記第二の画像における両目間を結ぶ
   直線の該第二の画像における傾きとの違いを検出し、 前記傾きの違いに基づいて前記回転の画像変換を行な
   う、 ことを特徴とする請求項１に記載の顔画像の正規化方
   法。
4. 【請求項４】 前記情報の取得のために、 目を開いた人の顔が表されている静止画像と目を閉じた
   同一人の顔が表されている静止画像とからなる２枚の静
   止画像の各々を構成する各画素の輝度値の差の絶対値の
   算出を該静止画像上の位置が対応している画素毎に行な
   い、 前記画素毎に算出された差の絶対値を輝度値とする各画
   素を対応する位置に配置して構成される差分画像を作成
   し、 前記差分画像の一部である所定形状且つ所定サイズの領
   域であって、該領域に含まれる画素の輝度値の総和が最
   大である該領域の該差分画像上における位置を前記静止
   画像における第一の目の位置として検出し、 前記差分画像の一部である所定形状且つ所定サイズの領
   域であって、該領域に含まれる画素の輝度値の総和が二
   番目に大きい該領域の該差分画像上における位置を前記
   静止画像における第二の目の位置として検出する、 ことを特徴とする請求項１に記載の顔画像の正規化方
   法。
5. 【請求項５】 前記第一の画像は動画像であり、 前記第一の画像から抽出される２枚の静止画像の組み合
   わせのうち、該静止画像を構成する画素毎の輝度値の差
   の絶対値の全画素についての総和が最大となるときの該
   組み合わせを、目を開いた人の顔が表されている静止画
   像と目を閉じた同一人の顔が表されている静止画像とか
   らなる該第一の画像においての２枚の静止画像とする、 ことを特徴とする請求項４に記載の顔画像の正規化方
   法。
6. 【請求項６】 人の顔が各々表されている第一及び第二
   の画像における縮尺又は傾きの違いを減少させる正規化
   を行なう装置であって、 前記第一及び前記第二の画像の各々において人の目が表
   されている画像上の位置を示す情報の取得を行なう取得
   手段と、 前記第一及び前記第二の画像に各々表されている人の両
   目についての画像上の相対的な位置の違いに基づいて、
   前記第一又は前記第二の画像に対して拡大若しくは縮小
   又は回転の画像変換を行なう画像変換手段と、 を有することを特徴とする顔画像の正規化装置。
7. 【請求項７】 人の顔が各々表されている第一及び第二
   の画像における縮尺又は傾きの違いを減少させる正規化
   を行なう処理をコンピュータに行なわせるためのプログ
   ラムであって、 前記第一及び前記第二の画像の各々において人の目が表
   されている画像上の位置を示す情報の取得を行なう処理
   と前記第一及び前記第二の画像に各々表されている人の
   両目についての画像上の相対的な位置の違いに基づい
   て、前記第一又は前記第二の画像に対して拡大若しくは
   縮小又は回転の画像変換を行なう処理と、 をコンピュータに行なわせるためのプログラム。
8. 【請求項８】 人の顔が表されている動画像から人の目
   が表されている該動画像上の位置の検出を行なう方法で
   あって、 目を開いた人の顔が表されている静止画像と目を閉じた
   人の顔が表されている静止画像とからなる２枚の静止画
   像を前記動画像から抽出し、 抽出された２枚の静止画像の各々を構成する各画素の輝
   度値の差の絶対値の算出を該静止画像上の位置が対応し
   ている画素毎に行ない、 前記画素毎に算出された差の絶対値を輝度値とする各画
   素を対応する位置に配置して構成される差分画像を作成
   し、 前記差分画像の一部である所定形状且つ所定サイズの領
   域であって、該領域に含まれる画素の輝度値の総和が最
   大である該領域の該差分画像上における位置を前記動画
   像における第一の目の位置として検出する、 ことを特徴とする顔画像における目の位置の検出方法。
9. 【請求項９】 前記差分画像の一部である所定形状且つ
   所定サイズの領域であって、該領域に含まれる画素の輝
   度値の総和が二番目に大きい該領域の該差分画像上にお
   ける位置を前記動画像における第二の目の位置として更
   に検出することを特徴とする請求項８に記載の顔画像に
   おける目の位置の検出方法。
10. 【請求項１０】 前記２枚の静止画像の抽出では、前記
    動画像から抽出される２枚の静止画像の組み合わせのう
    ち、該静止画像を構成する各画素の輝度値の差の絶対値
    の全画素についての総和が最大となるときの該組み合わ
    せを、該抽出の結果とすることを特徴とする請求項８に
    記載の顔画像の正規化方法。
11. 【請求項１１】 人の顔が表されている動画像から人の
    目が表されている該動画像上の位置の検出を行なう装置
    であって、 目を開いた人の顔が表されている静止画像と目を閉じた
    人の顔が表されている静止画像とからなる２枚の静止画
    像を前記動画像から抽出する抽出手段と、 抽出された２枚の静止画像の各々を構成する各画素の輝
    度値の差の絶対値の算出を該静止画像上の位置が対応し
    ている画素毎に行なう算出手段と、 前記画素毎に算出された差の絶対値を輝度値とする各画
    素を対応する位置に配置して構成される差分画像を作成
    する作成手段と、 前記差分画像の一部である所定形状且つ所定サイズの領
    域であって、該領域に含まれる画素の輝度値の総和が最
    大である該領域の該差分画像上における位置を前記動画
    像における第一の目の位置として検出する検出手段と、 を有することを特徴とする顔画像における目の位置の検
    出装置。
12. 【請求項１２】 人の顔が表されている動画像から人の
    目が表されている該動画像上の位置の検出を行なう処理
    をコンピュータに行なわせるためのプログラムであっ
    て、 目を開いた人の顔が表されている静止画像と目を閉じた
    人の顔が表されている静止画像とからなる２枚の静止画
    像を前記動画像から抽出する処理と、 抽出された２枚の静止画像の各々を構成する各画素の輝
    度値の差の絶対値の算出を該静止画像上の位置が対応し
    ている画素毎に行なう処理と、 前記画素毎に算出された差の絶対値を輝度値とする各画
    素を対応する位置に配置して構成される差分画像を作成
    する処理と、 前記差分画像の一部である所定形状且つ所定サイズの領
    域であって、該領域に含まれる画素の輝度値の総和が最
    大である該領域の該差分画像上における位置を前記動画
    像における第一の目の位置として検出する処理と、 をコンピュータに行なわせるためのプログラム。