JP2004046567A - 画像照会用情報構築方法および画像照会方法 - Google Patents
画像照会用情報構築方法および画像照会方法 Download PDFInfo
- Publication number
- JP2004046567A JP2004046567A JP2002203710A JP2002203710A JP2004046567A JP 2004046567 A JP2004046567 A JP 2004046567A JP 2002203710 A JP2002203710 A JP 2002203710A JP 2002203710 A JP2002203710 A JP 2002203710A JP 2004046567 A JP2004046567 A JP 2004046567A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- input
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】入力された画像から得た顔画像について、サイズ変換等の所定の前処理を行なった後(S35)、目や口等の部位ごとのピクセルの値をベクトル化する。次に、そのベクトルを、認証システムの部位基底ベクトルデータベース201に記憶されている全ての顔の各部位から得られる固有ベクトルが基底する特徴空間に投射して、特徴パラメータを算出する(S36)。また、この特徴パラメータを用いて個人の特徴を抽出し、さらに入力された顔の各部位の重み係数を求める(S37)。そして、入力された顔と認証システムの人物パラメータデータベース202に登録されている顔との距離を重み係数を考慮して計算することで比較し(S38)、入力された顔の認証を行なう。
【選択図】 図4
Description
【発明の属する技術分野】
この発明は画像照会用情報構築方法および画像照会方法に関し、特に、精度の高い個人認証を行なうことのできる画像照会用情報構築方法および画像照会方法に関する。
【0002】
【従来の技術】
今日、セキュリティの分野において、バイオメタリクスの需要が高まっている。その中でも、顔による個人認証は、利用者に負担がかからないという点で重要な研究分野となっている。
【0003】
従来、画像内の人物の顔を認識する方法として、個人の顔のテンプレートマッチング方法が提案されている。例えば、米国特許第5164992号においては、圧縮モデルを用いた固有顔テンプレートマッチングについて開示されている。
【0004】
また、論文「View−based and Modular Eigenspaces for Face Recognition」(M.I.T Media Laboratory Perceptual Computing Section Technical Report No.245)においては、目などの部位の固有空間を用いた認証法が提案されている。
【0005】
また、「個人照合と身体特徴画像認識−顔パスシステム−」(映像情報 1996 vol.28)においては、目尻を基準点として大きさと傾きとを正規化した後に、目、鼻、および口に対して順番にテンプレートマッチングを行ない、テンプレートとの距離がしきい値以内に入らない部位があればリジェクトするシステムが提案されている。
【0006】
【発明が解決しようとする課題】
しかしながら、上述の米国特許第5164992号において提案されている固有顔テンプレートマッチングでは顔全体を用いてテンプレートマッチングを行なうため、照明等の変動や表情の変化、およびオクルージョン等に対して完全にロバストではないという問題があった。また、局所的な個人特有の特徴と利用した高精度の認証ができないという問題があった。
【0007】
また、上述の論文「View−based and Modular Eigenspaces for Face Recognition」や上述の「個人照合と身体特徴画像認識−顔パスシステム−」においては、各部位に関する情報を組合わせる認証法や個人特徴を抽出する認証法については言及されておらず、そのような認証法で得られるであろう高いロバスト性が得られないという問題があった。
【0008】
またさらに、上述の「個人照合と身体特徴画像認識−顔パスシステム−」において提案されているシステムでは、画像特徴としてピクセルごとの輝度値を利用するため、データベースの記憶容量が大量に必要であるという問題もあった。
【0009】
本発明はこれらの問題に鑑みてなされたものであって、ロバストに個人認証を行なう画像照会用情報構築方法および画像照会方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像照会用情報構築方法は、照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定ステップと、決定された特徴パラメータに関連する情報を記憶装置に格納する格納ステップとを備える。
【0011】
また、本発明の他の局面に従うと、画像照会用情報構築方法は、照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定手段と、決定された特徴パラメータに関連する情報を記憶装置に格納する格納手段とを備える画像照会システムにおける画像照会用情報構築方法であって、特徴パラメータに基づいて、複数の部分領域ごとに、照会対象の特異度を算出する算出ステップと、算出された複数の部分領域ごとの照会対象の特異度に関する情報を、照会対象の照会情報として記憶装置に登録する登録ステップとを備える。
【0012】
また、上述の登録ステップは、複数の部分領域の照会対象の特異度間の関係に応じて特異度に重み付けを付与し、重み付けが付与された特異度を、照会対象の照会情報として記憶装置に登録することが望ましい。
【0013】
また、特徴パラメータに関連する情報は、複数の部分領域の特徴パラメータ間の連結特徴パラメータであることが望ましい。
【0014】
本発明のさらに他の局面に従うと、画像照会方法は、照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定手段と、決定された特徴パラメータに関連する情報を記憶装置に格納する格納手段とを備える画像照会システムにおける画像照会方法であって、格納された特徴パラメータに関連する情報に基づいて、照会する照会対象を含む照会対象画像の、複数の部分領域ごとに特異度を算出する算出ステップと、算出された複数の部分領域ごとの特異度に関する情報に基づいて、照会する照会対象と記憶装置に予め登録されている照会対象との照合を行なう照合ステップとを備える。
【0015】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0016】
[第1の実施の形態]
図1は、第1の実施の形態における人物認証システムの構成の具体例を示す図である。図1を参照して、本実施の形態における人物認証システムは、画像を取得するカメラ2と、カメラ2から入力された画像の処理を行なうパーソナルコンピュータ等のコンピュータ(以下、PCと言う)1とから構成される。
【0017】
さらに図1を参照して、PC1は、CPU(Central Processing Unit)101によって制御され、カメラI/F(インタフェース)107(画像キャプチャ部とも言われる)を介してカメラ2から入力された画像の処理を行なう。CPU101で実行されるプログラムは、記憶部であるHDD(Hard Disk Drive)102またはROM(Read Only Memory)103に記憶される。そして、RAM(Random Access Memory)104は、CPU101でプログラムが実行される際の一時的な作業領域となる。また、RAM104は、人物認証のためのデータベースが格納されている領域でもある。ユーザは、キーボードやマウス等の入力部(Input Unit)105から情報や指示を入力する。また、入力部105は、フレキシブルディスク等の記録媒体から情報の入力を受付ることもできる。このように、カメラ2や記録媒体やユーザ等から受付けた画像やその処理結果、および情報等は、ディスプレイ106に表示される。なお、図1に示される構成は一般的なパーソナルコンピュータの構成であって、PC1の構成は図1に示される構成に限定されない。また、カメラ2は、画像を取得してPC1に入力する手段を備える一般的な装置であって、デジタルカメラ、デジタルビデオカメラ、スキャナ等のその他の装置であっても構わない。
【0018】
このような人物認証システムにおいてPC1では、図2に示される処理が実行される。図2を参照して、PC1は、カメラ2からカメラI/F107を介して画像の入力を受付ける(S01)。ステップS01では、カメラI/F107を介してカメラ2から直接画像の入力を受付けてもよいし、入力部105を介して記憶媒体に保存された画像の入力を受付けてもよい。そして、PC1は、入力した画像から顔領域を検索する(S02)。ステップS02では、入力した画像内にウィンド領域を定義し、そのウィンド領域と予め記憶されている顔画像テンプレートとを比較する。このウィンド領域を入力画像全体にわたって動かして入力画像全体から顔領域を検索する。なお、入力画像が動画像データである場合にはその差分画像を作成して、差分画像から動き領域を検出することによりウィンド領域の検索範囲を狭めることができる。
【0019】
さらに、PC1は、入力した画像から個人認証を行ない(S03)、認証結果である、登録された人物を示す名前や記憶画像や予め割振られている番号等のIDを、ディスプレイ106に出力する(S04)。あるいは、登録されていない人物である旨のメッセージや警告等をディスプレイ106に出力することもできる。
【0020】
上述の人物認証システムにおける処理は、PC1のCPU101が、HDD102またはROM103に記憶されるプログラムを読込み、RAM104上で実行することで実現される。CPU101は、上述の処理を行なうための構成要素(図示せず)を含み、それらを制御することで上述の処理を実行させる。
【0021】
さらに、人物認証システムでは、ステップS03に示される個人認証を行なう構成要素において、以下の2つのモジュールが実行される。すなわち、人物認証を行なうために、入力された画像を用いて学習する学習モジュールと、入力された画像から人物を認証する認証モジュールとが実行される。図3は、学習モジュールの処理の流れを示す図であり、図4は、認識モジュールの処理の流れを示す図である。
【0022】
図3を参照して、学習モジュールにおいては、ステップS02で検索された顔候補領域から、両目の位置を検出して、所定の顔の大きさに画像を正規化する前処理を行なう(S31)。次に、正規化された登録すべき多数の顔画像に対して、目や口等の部位領域(部分領域)内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに主成分分析を行なって固有ベクトルを算出する(S32)。さらに、登録すべき多数の顔画像の内の各人物に対して、ステップS32で算出された固有ベクトルを固有空間に射影(投影)し、部位ごとに特徴パラメータを算出する(S33)。そして、ステップS33で算出された部位ごとの特徴パラメータを用いて、個人特徴を示す特異度を算出する。また、特異度に基づいて、部位(部分領域)の重み係数を求める(S34)。
【0023】
さらに、ステップS32で得られる部位ごとの固有ベクトルは部位基底ベクトルデータベース201に格納され、ステップS33で得られる人物ごとの特徴パラメータおよびステップS34で得られる重み係数は人物パラメータデータベース202に格納される。このようにして、本実施の形態における人物認証システムでは人物の登録が実行される。そして、これらのデータベースに格納された情報に基づいて、入力された画像から人物の認証が行なわれる。
【0024】
次に、図4を参照して、認識モジュールにおいては、学習モジュールにおける処理と同様にして、ステップS02で検索された顔候補領域から前処理が行なわれる(S35)。次に、正規化された認識する顔画像に対して、目や口等の部位領域(部分領域)内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに特徴空間に射影して特徴パラメータを算出する(S36)。特徴空間を構成する基底ベクトルは、上述の学習モジュールで登録された多数の顔画像の各部位から得られる固有ベクトルに統計的な解析を施して得られるベクトルであって、部位基底ベクトルデータベース201に記憶されている。さらに、ステップS36で算出された部位ごとの特徴パラメータを用いて、学習モジュールにおける処理と同様にして、部位(部分領域)の重み係数を求める(S37)。このようにしてステップS36およびステップS37で得られた特徴パラメータおよび重み係数と、上述の学習モジュールで人物パラメータデータベース202に格納されている登録された人物の特徴パラメータおよび重み係数とを用いて、入力された顔画像と登録された顔画像との距離を計算して比較する(S38)。このようにして、本実施の形態における人物認証システムでは人物の認証が実行される。
【0025】
さらに、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の登録処理について、図5にフローチャートを挙げて説明する。図5のフローチャートに示される処理は、PC1のCPU101が、HDD102またはROM103に記憶されるプログラムを読込み、RAM104上で実行することで実現される。
【0026】
図5を参照して、まず、図5に示される処理は、PC1が画像の入力を受付けることで開始する。ここでの入力は、上述の如く、カメラI/F107を介した入力であってもよいし、入力部105で記憶媒体を読取ることによる入力であってもよいし、入力部105でユーザからの入力を受付けることであってもよい。
【0027】
始めに、入力した画像から両目を検出する(S101)。すなわち、ステップS101では、入力した画像から顔iを検出する。そして、入力した顔iに対して、検出した両目より黒目の中心座標を用いて両目の間の距離を一定にするような変換を行ない、顔画像の大きさと傾きとを正規化する(S104)。さらに、検出した両目領域より所定の位置移動した領域において口を検出する(S105)。以上のステップS101〜S105で行なう検出処理は上述のステップS31に示す前処理であって、認識モジュールでの前処理(ステップS35)と共に、後に詳細な説明を行なう。
【0028】
上述のステップS101〜S105で両目および口を検出すると、各部位(両目および口)ごとの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう(S106)。これによって、登録される顔iの各々の部位の特徴がベクトルで表わされる。
【0029】
上述のステップS103〜S106の処理をN個の入力した顔iの全てに対して実行する(S102,S107,S103でNo)。そして、N個の入力した顔iとすでに登録されている顔と(以下、これらの顔を単に全ての顔とのみ言う)の、部位ごとの特徴ベクトルの主成分分析を行なって固有ベクトルを算出し、各部位ごとに固有空間を生成する(S108)。ステップS108で生成される固有空間は、全ての顔の各部位の特徴を表わす空間である。このように主成分分析を行なって固有ベクトルを算出することで、特徴ベクトルの成分の数が主成分の数に圧縮される。なお、ステップS108で算出された固有ベクトルは、部位規定ベクトルデータベース201に記憶される。
【0030】
さらに、ステップS108で算出された全ての顔の部位ごとの固有ベクトルを用いて、入力された顔iの部位ごとの特徴パラメータ(固有空間展開係数)を計算する(S111)。すなわち、ステップS111では、上述の部位ごとの固定空間に、入力された顔iの部位ごとの特徴ベクトルを投影することで、入力された顔iの部位ごとの特徴パラメータを計算する。ステップS111で計算される特徴パラメータとは、全ての顔の部位tの固有空間において、入力された顔iの部位tの位置を表わす展開係数(固有係数とも言う)である。すなわち、全ての顔の部位tの特徴における、入力された顔iの部位tの特徴の位置を表わす係数であると言える。
【0031】
そして、ステップS111での計算を、N個の入力した顔iの全てに対して実行し(S109,S112,S110でNo)、入力した各々の顔iについての特徴パラメータを計算する。なお、ステップS111で計算された各部位の特徴パラメータは、入力された顔iごとに、人物パラメータデータベース202に記憶される。
【0032】
そして、ステップS111で計算した各部位の特徴パラメータに基づいて、入力した各々の顔iについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔iごとに各部位に対する重みを決定する。各部位に対する重みとは、顔iの全ての部位の特異度に対する、各部位の特異度の比率を示すものである。その具体例については、後述する。そして、計算された特異度は、人物パラメータデータベース202に記憶される(S113)。
【0033】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力されたに含まれる人物が、人物認証の対象として、人物認証システムのデータベースに記憶される。
【0034】
このように、本実施の形態における人物認証システムで人物の登録を行なう際には、データベース201,202に、顔の各部位の固有ベクトルと、顔ごとの特徴パラメータおよび特異度とのみが記憶される。すなわち、全ての顔の各部位の全体としての特徴(固有ベクトル)と、その特徴に対するその人物の顔の各部位の位置(特徴パラメータおよび特異度)とのみ記憶され、各人の画像等の情報が記憶されない。そのため、人物認証システムに備えるデータベースの記憶容量を小さくすることができる。
【0035】
なお、上述の登録処理においては、予めデータベース201,202に登録されている顔情報と入力された顔の情報とを比較したパラメータを登録する方法が示されているが、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【0036】
さらに、上述のステップS113での特異度の計算方法について、具体的な式を挙げて説明する。
【0037】
第1の計算方法においては、ステップS111である人物の顔k0から得られる部位tの特徴パラメータを
c=(c1 k0,c2 k0,・・・,cn k0)
とすると、顔k0の部位tの特異度Dt k0は、平均からの距離として以下の式(1)で定義することができる。
【0038】
【数1】
【0039】
第2の計算方法においては、分散情報を利用して、より厳密に特異度を定義することができる。すなわち、顔k0から得られる部位tの主成分ごとの固有値をλ1,λ2,・・・,λnとすると、ステップS111で得られる顔k0の部位tの特徴パラメータを、前記固有値λの分散を用いて正規化して、
【0040】
【数2】
【0041】
とすることができる。そして、この特徴パラメータc’に上述の式(1)を適用することでも顔k0の部位tの特異度Dt k0を定義することができる。
【0042】
さらに第3の計算方法においては、以下の式(2)に示すように、この正規化された特徴パラメータc’に対して、顔k0の特徴ベクトルを中心とする主軸ごとの2次モーメントを計算し、その和を特異度と定義することができる。
【0043】
【数3】
【0044】
なお、上述の式(2)において、pは全ての顔の数を表わす。
このように定義される特異度Dt k0を用いて上述のステップS113で決定される顔k0の部位tの重みωtは、以下の式(3)で定義することができる。
【0045】
【数4】
【0046】
なお、上述の式(3)において、Mは部位の数を表わしている。すなわち、本実施の形態においては、部位は両目および口であるため、M=3となる。
【0047】
次に、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の認識処理について、図6にフローチャートを挙げて説明する。図6のフローチャートに示される処理は、PC1のCPU101が、HDD102またはROM103に記憶されるプログラムを読込み、RAM104上で実行することで実現される。
【0048】
図6を参照して、図6に示される処理も図5に示される登録処理と同様に、PC1がある人物の顔の画像の入力を受付けることで開始する。ここでの入力もまた、上述の如く、カメラI/F107を介した入力であってもよいし、入力部105で記憶媒体を読取ることによる入力であってもよいし、入力部105でユーザからの入力を受付けることであってもよい。
【0049】
そして、入力した顔iに対して、上述の登録処理と同様の前処理を行なう(S201〜S203)。さらに、入力した顔iから検出した部位Iに関して、部位Iの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう(S204〜S206)。
【0050】
次に、部位基底ベクトルデータベース201に記憶されている全ての顔の各部位の固有ベクトルを基底ベクトルとする部位ごとの固有空間に、算出した顔iの部位Iの特徴ベクトルを投射することで、顔iの部位Iの特徴パラメータ(固有空間展開係数)を、各部位の固有空間ごとに得る(S207)。すなわち、当該人物認証システムに予め登録されている全ての顔の各部位の固有空間において、入力した顔iの部位Iの位置を表わす展開係数を得る。
【0051】
さらに、得られた顔iの部位Iの特徴パラメータと登録されている各部位の固有ベクトルとに基づいて、顔iの部位Iの特徴ベクトルを再構成する(S208)。ステップS208においては、登録されている各部位の数だけ、顔iの部位Iの特徴ベクトルが再構成される。
【0052】
そして、顔iの部位Iの特徴ベクトルを、記憶されている各部位Jの各固有空間に投射して、部位Jの固有空間内での顔iの部位Iの特徴ベクトルへの距離を計算する(S209)。上述の距離が、所定のしきい値以内であれば(S210でYes)、顔iの部位Iは、部位Jであるとマッチングすることができる(S211)。具体的には、部位Jが目である固有空間において、顔iの部位Iの特徴ベクトルへの距離が所定のしきい値内である場合には、顔iの部位Iは目であるとマッチングすることができる。
【0053】
上述のステップS206〜S211の処理を、ステップS201〜S203で顔iから得られたP個の部位について行なう(S204,S212,S205でNo)。そして、顔iの各部位の特徴パラメータに基づいて、入力された顔iのについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔iごとに各部位に対する重みを決定する。ここでの特異度の計算および重みの決定については、上述の登録処理での処理と同様であるため、詳細な説明は繰返さない。
【0054】
そして、人物パラメータデータベース202に特異度が記憶されている顔kと入力された顔iとの統合距離disk(k,i)を計算する(S213)。ステップS213で計算される統合距離disk(k,i)は、登録されている顔kと入力された顔iとの特徴ベクトル間の距離であって、各部位に対する重みを考慮して計算される距離である。このステップS213での統合距離disk(k,i)の計算を、人物パラメータデータベース202に特異度が記憶されているの顔ごとに実行し、登録されている顔を統合距離disk(k,i)が小さい順にソートする(S214)。
【0055】
以上で、本実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された顔iとの統合距離disk(k,i)が最も小さい顔の人物の名前や記憶画像や予め割振られている番号等のIDを、ディスプレイ106に出力する。また、統合距離disk(k,i)が所定のしきい値以上である場合には、入力された人物が登録されている人物でない旨のメッセージや警告等を出力することもできる。
【0056】
このように、本実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の、個人的特徴のみを用いて、データベースに登録されている特徴を示すパラメータと照会する。そのため、少ない計算量で、精度の高い個人認証を行なうことができる。また、個人の部位の特徴を考慮して類似度を算出するため、ロバストな個人認証を行なうことができる。
【0057】
なお、上述のステップS214での統合距離disk(k,i)の計算方法について、具体的な式を挙げて説明する。すなわち、人物パラメータデータベース202に記憶されている顔kの特徴パラメータと、入力された顔iの特徴パラメータとの統合距離disk(k,i)は、以下の式によって算出することができる。
【0058】
【数5】
【0059】
なお、上式において、ct kは登録されている顔kの部位tの特徴パラメータを示し、ct iは入力された顔iから得られる部位tの特徴パラメータを示す。また、Wt k,iは、部位tの重み係数を示す。
【0060】
さらに、重み係数Wt k,iは、登録されている顔kの部位tの重みωk tと、入力された顔iの部位tの重みδi tとを用いて次にように計算することができる。
【0061】
【数6】
【0062】
さらに、上述の登録処理および認証処理で実行される前処理(ステップS101〜S105,ステップS201〜S203)について、図7にフローチャートを挙げて、説明を行なう。
【0063】
図7を参照して、入力した画像から顔の部位を検出するにあたって、まず、目の中心を含む候補となる矩形領域(目中心候補矩形領域)を、入力画像上に固定する(S301)。そして、当該矩形領域において、水平方向にピクセルの輝度等の値の積分投影を行なう(S302)。積分投影の結果、極小値を検出することで、目の垂直位置を決定する(S303)。以上の処理を具体的に図8に示す。
【0064】
次に、上述の矩形領域において、鉛直方向にピクセルの輝度等の積分投影を行なう(S304)。積分投影の結果、極小値を検出することで、目の水平位置を決定する(S305)。以上の処理を具体的に図9に示す。
【0065】
上述の処理で、両目の垂直位置および水平位置が決定するので、入力画像のうちの顔を含む領域を、正規化する処理を行なう(S306)。具体的には、両目が上述の矩形領域に等分に配置されるように変換処理を行なう。また、両目が所定の間隔となるようにスケールの変換処理も行なう。例えば、正規化画像のサイズを80×80ピクセルと定めた場合には、入力画像のサイズを、そのサイズに変換する処理を行なう。さらに、両目が水平に並ぶように、回転の変換処理も行なう。
【0066】
さらに、両目の下に口を検出するために、矩形領域を移動(ワーピング)させ(S307)、口の中心の候補となる座標(口中心候補座標)に対して線形変換を行なう(S308)。すなわち、上述の目中心候補矩形領域が40×80ピクセルの領域である場合には、ステップS307で検出する領域を、その下の40×80ピクセルの領域も含め、80×80ピクセルの領域に移動する。そして、口の中心を含む候補領域(口中心候補矩形領域)を入力画像上に固定する(S309)。
【0067】
当該矩形領域に対して、上述の目の検出と同様に、水平方向にピクセルの輝度等の値の積分投影を行なう(S310)。積分投影の結果、極小値を検出することで、口の垂直位置を決定する(S311)。そして、上述の処理で得た両目の水平位置の中点をさらに口の水平位置として決定する。以上の口の検出処理を具体的に図10に示す。
【0068】
本実施の形態の人物認証システムで、人物の登録処理および認証処理を行なう際に上述の前処理を行なうことで、入力画像から人物の目や口等の部位を検出することができる。なお、検出する顔の部位は、目や口に限定されるものではない。具体的には、上述の前処理において、図11に示す顔マスクを用いて、任意の部位を検出することができる。すなわち、図11を参照して、顔マスクM1を入力画像に適用することで、入力された顔の下領域の例えば35×15ピクセルの領域において口の検出を行なうことができる。同様に、顔マスクM2を適用して、入力された顔の左上領域の例えば20×10ピクセルの領域にて右目の検出を行なうことができる。また、顔マスクM3を適用して、右目の検出を行なう領域から例えば40ピクセル右の領域にて左目の検出を行なうことができる。また、顔マスクM4を適用しても、同様に、鼻の検出を行なうことができる。また、顔マスクM5を適用して目および口を含まない顔を検出することができ、顔マスクM6を適用して顔全体を検出することができる。さらに、複数の部位を検出することもできる。すなわち、顔マスクM7、M8、M9およびM10を適用して両目、鼻と口、右眉と右目、および左眉と左目の検出を行なうことができる。
【0069】
[第2の実施の形態]
さらに、第2の実施の形態として、図1に構成が示される人物認証システムの、他の登録処理および認証処理について説明する。
【0070】
図12および図13は、第2の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。図12および図13のフローチャートに示される処理もまた、PC1のCPU101が、HDD102またはROM103に記憶されるプログラムを読込み、RAM104上で実行することで実現される。
【0071】
図12を参照して、ステップS401〜S411においては、第1の実施の形態において図5に示される登録処理のステップS101〜S111における処理と同様の処理が実行される。そして、入力された画像より検出されたN個の顔iの全てに対して部位ごとに、特徴パラメータ(固有空間展開係数)が計算される。
【0072】
さらに、本実施の形態における登録処理では、部位ごとに作成された特徴パラメータに基づいて、顔iについての混成ベクトルを生成する(S412)。ステップS412で生成される混成ベクトルは、検出される顔iごとに各部位の特徴パラメータが連結されることによって構成されるベクトルである。ステップS411およびステップS412の処理を、N個の顔iの全てに対して実行し(S409,S413,S410でNo)、N個の顔iについて混成ベクトルを生成する。これによって、顔iについて、各部位の特徴が連結された顔i自体の特徴が混成ベクトルで表わされる。
【0073】
次に図13を参照して、全ての顔から得られる混成ベクトルについての主成分分析を行なう(S414)。これによって、今回新しく登録する顔iも含む、全ての顔についての特徴が表わされる。
【0074】
さらに、ステップS414で得られる混成ベクトルの主成分に基底される混成ベクトル固有空間に、上述のステップS412で生成した顔iの混成ベクトルを投射することで、顔iの統合パラメータ(混成ベクトル固有空間における展開係数)を計算する(S417)。このステップS417の計算を、入力した各々の顔iに対して実行し(S415,S418,416でNo)、登録するN個の顔iの統合パラメータを計算する。そして、計算されたN個の統合パラメータを用いて、N個の顔iの全てについて、混成ベクトルの主成分軸に対する個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて、入力した各々の顔iごとに重みを決定する(S419)。なお、ステップS419での計算は、上述の第1の実施の形態の登録処理においてステップS113で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。ステップS418で決定される重みを用いて、顔iの混成ベクトルの、主成分軸からの統合距離を計算することができる。
【0075】
そして、ステップS408で計算された各部位の固有ベクトル、ステップS412で生成された混成ベクトル、およびステップS419で計算された統合パラメータを、人物パラメータデータベース202に記憶する(S420)。
【0076】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力された画像から認証された人物が、人物認証システムのデータベースに記憶される。
【0077】
このように、第2の実施の形態における人物認証システムで人物の登録を行なう際には、データベース201,202に、登録する顔の固有ベクトル、混成ベクトル、および統合パラメータのみが記憶される。すなわち、登録された顔全体に対するその人物の顔の特徴を示す係数のみ記憶され、画像等の情報等が記憶されない。そのため、記憶容量をさらに小さくすることができる。
【0078】
なお、第1の実施の形態における登録処理と同様に、入力された顔の情報を、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【0079】
次に、第2の実施の形態の人物認証システムにおいて、上述の登録処理で顔が登録されたデータベースを用いて行なわれる人物の認識処理について、図14にフローチャートを挙げて説明する。図14のフローチャートに示される処理もまた、PC1のCPU101が、HDD102またはROM103に記憶されるプログラムを読込み、RAM104上で実行することで実現される。
【0080】
図14を参照して、ステップS501〜S507においては、第1の実施の形態において図6に示される認識処理のステップS201〜S207における処理と同様の処理が実行される。そして、入力された顔iから、部位Iの特徴パラメータ(固有空間展開係数)を得る(S507)。ステップS506およびS507における処理を、入力した顔iから得たP個の全て部位Iについて行なう(S504,S508,S505でNo)。
【0081】
さらに、本実施の形態における認識処理では、得られたP個の部位に関する特徴パラメータに基づいて、混成ベクトルを生成する(S509)。これによって、入力された顔iについて、各部位の特徴が連結された顔i自体の特徴が混成ベクトルで表わされる。
【0082】
次に、ステップS509で生成した顔iの混成ベクトルを、人物パラメータデータベース202に登録されている全ての顔の混成ベクトルの主成分に基底される混成モデル固有空間に投射して、顔iの統合パラメータ(混成モデル固有空間展開係数)を計算する(S510)。さらに、計算された顔iの統合パラメータを用いて、登録されている全ての顔の混成ベクトルの主成分軸に対する顔iの個人特徴の強さを表わす特異度を計算する。そして、その特異度に基づいて重みを決定して、登録されている人物の顔kと、入力された顔iとの統合距離disk(k,i)を計算する(S511)。なお、ステップS511での計算は、上述の第1の実施の形態の認識処理においてステップS213で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。
【0083】
ステップS511での統合距離disk(k,i)の計算を、登録されている顔ごとに実行し、統合距離disk(k,i)が小さい順にソートする(S512)。
【0084】
以上で、第2の実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された画像に含まれる顔iとの統合距離disk(k,i)が最も小さい人物の名前や記憶画像や予め割振られている番号等のIDを、ディスプレイ106に出力する。また、統合距離disk(k,i)が所定のしきい値以上である場合には、登録されている人物でない旨のメッセージや警告等を出力することもできる。
【0085】
このように、第2の実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の特徴を連結した情報を用いて、データベースに登録されている特徴を示すパラメータと照会する。すなわち、ある人物の顔jが入力された際、その入力画像より得られる特徴ベクトルから特徴パラメータを算出し、さらに統合ベクトルを算出する。そして、入力された顔jの統合ベクトルの、記憶されている全ての顔の統合ベクトルからなる空間上での位置を求めて、その位置を比較することで、登録されている顔kとの類似度を求める。このように個人の特徴を考慮した計算を行なうことで、より精度の高い個人認証を行なうことができる。また、個人の部位間の特徴を考慮して類似度を算出するため、よりロバストな個人認証を行なうことができる。また、従来であればテンプレートマッチング等の複雑な処理が必要であった人物認証を、少ない処理で行なうことができる。
【0086】
なお、以上において、カメラ2から人物の画像を取得したPC1において上述の人物の登録処理および認識処理が実行されるものとして説明を行なったが、カメラ2が上述の処理を実行するためのプログラムを記憶して処理能力を有するCPUを備える場合には、カメラ2が上述の人物の登録処理および認識処理を実行してもよい。その場合、データベース201,202は、カメラ2に含まれていてもよいし、LAN(Local Area Network)等による通信や無線通信を行なって、他の装置にあるデータベースを用いてもよい。
【0087】
また、上述の処理においては、人物の顔の登録および認識処理について説明したが、登録および認識処理を行なう対象は人物の顔に限定されない。すなわち、複数の特徴ある部位を備える物体であれば同様の処理を行なうことができ、例えば製品検査等にも用いることもできる。
【0088】
さらに、上述の人物認証システムが行なう登録方法および認識方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【0089】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【0090】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】第1の実施の形態における人物認証システムの構成の具体例を示す図である。
【図2】人物認証システムで実行される処理の流れを示す図である。
【図3】学習モジュールの処理の流れを示す図である。
【図4】認識モジュールの処理の流れを示す図である。
【図5】第1の実施の形態における人物認証システムでの人物の登録処理について示すフローチャートである。
【図6】第1の実施の形態における人物認証システムでの人物の認識処理について示すフローチャートである。
【図7】登録処理および認証処理で実行される前処理について示すフローチャートである。
【図8】目の垂直位置を決定する処理を具体的に示す図である。
【図9】目の水平位置を決定する処理を具体的に示す図である。
【図10】口の検出処理を具体的を具体的に示す図である。
【図11】顔マスクの具体例を示す図である。
【図12】第2の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図13】第2の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図14】第2の実施の形態における人物認証システムでの人物の認識処理を示すフローチャートである。
【符号の説明】
1 PC、2 カメラ、101 CPU、102 HDD、103 ROM、104 RAM、105 入力部、106 ディスプレイ、107 カメラI/F、201 部位基底ベクトルデータベース、202 人物パラメータデータベース、M1〜M10 顔マスク。
Claims (5)
- 照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定ステップと、
前記決定された特徴パラメータに関連する情報を記憶装置に格納する格納ステップとを備える、画像照会用情報構築方法。 - 照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定手段と、
前記決定された特徴パラメータに関連する情報を記憶装置に格納する格納手段とを備える画像照会システムにおける画像照会用情報構築方法であって、
前記特徴パラメータに基づいて、前記複数の部分領域ごとに、前記照会対象の特異度を算出する算出ステップと、
前記算出された前記複数の部分領域ごとの前記照会対象の特異度に関する情報を、前記照会対象の照会情報として前記記憶装置に登録する登録ステップとを備える、画像照会用情報構築方法。 - 前記登録ステップは、前記複数の部分領域の前記照会対象の特異度間の関係に応じて前記特異度に重み付けを付与し、前記重み付けが付与された特異度を、前記照会対象の照会情報として前記記憶装置に登録する、請求項2に記載の画像照会用情報構築方法。
- 前記特徴パラメータに関連する情報は、前記複数の部分領域の特徴パラメータ間の連結特徴パラメータである、請求項1または2に記載の画像照会用情報構築方法。
- 照会対象を含む照会対象画像の、複数の部分領域ごとに特徴パラメータを決定する決定手段と、
前記決定された特徴パラメータに関連する情報を記憶装置に格納する格納手段とを備える画像照会システムにおける画像照会方法であって、
前記格納された前記特徴パラメータに関連する情報に基づいて、照会する照会対象を含む照会対象画像の、複数の部分領域ごとに特異度を算出する算出ステップと、
前記算出された前記複数の部分領域ごとの特異度に関する情報に基づいて、前記照会する照会対象と前記記憶装置に予め登録されている照会対象との照合を行なう照合ステップとを備える、画像照会方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002203710A JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002203710A JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004046567A true JP2004046567A (ja) | 2004-02-12 |
JP3988554B2 JP3988554B2 (ja) | 2007-10-10 |
Family
ID=31709509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002203710A Expired - Fee Related JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3988554B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102971729A (zh) * | 2010-04-14 | 2013-03-13 | 邓白氏公司 | 将可操作属性归于描述个人身份的数据 |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JP2022066540A (ja) * | 2016-06-03 | 2022-04-28 | マジック リープ, インコーポレイテッド | 拡張現実識別検証 |
CN116360603A (zh) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | 基于时序信号匹配的交互方法、设备、介质及程序产品 |
WO2023189195A1 (ja) * | 2022-03-30 | 2023-10-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2002
- 2002-07-12 JP JP2002203710A patent/JP3988554B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013524387A (ja) * | 2010-04-14 | 2013-06-17 | ザ ダン アンド ブラッドストリート コーポレーション | アクショナブルな属性を、個人識別を表すデータに帰する方法及びシステム |
US9442991B2 (en) | 2010-04-14 | 2016-09-13 | The Dun & Bradstreet Corporation | Ascribing actionable attributes to data that describes a personal identity |
CN102971729A (zh) * | 2010-04-14 | 2013-03-13 | 邓白氏公司 | 将可操作属性归于描述个人身份的数据 |
JP2022066540A (ja) * | 2016-06-03 | 2022-04-28 | マジック リープ, インコーポレイテッド | 拡張現実識別検証 |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JP2021144749A (ja) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | 人物照合装置、方法、及びプログラム |
JPWO2019111550A1 (ja) * | 2017-12-08 | 2020-11-19 | 日本電気株式会社 | 人物照合装置、方法、及びプログラム |
US11495057B2 (en) | 2017-12-08 | 2022-11-08 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11748864B2 (en) | 2017-12-08 | 2023-09-05 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11763435B2 (en) | 2017-12-08 | 2023-09-19 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11776098B2 (en) | 2017-12-08 | 2023-10-03 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
WO2023189195A1 (ja) * | 2022-03-30 | 2023-10-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN116360603A (zh) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | 基于时序信号匹配的交互方法、设备、介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
JP3988554B2 (ja) | 2007-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4443722B2 (ja) | 画像認識装置及び方法 | |
US6430307B1 (en) | Feature extraction system and face image recognition system | |
JP4560832B2 (ja) | 3次元物体モデルを用いた画像照合システム及び画像照合プログラム | |
US8515136B2 (en) | Image processing device, image device, image processing method | |
JP4483334B2 (ja) | 画像処理装置 | |
US20050226509A1 (en) | Efficient classification of three dimensional face models for human identification and other applications | |
Yan et al. | Multi-biometrics 2D and 3D ear recognition | |
US20070189584A1 (en) | Specific expression face detection method, and imaging control method, apparatus and program | |
JP2004005456A (ja) | 構成成分基盤pca/icaを利用した顔認識方法及びその装置 | |
JP2004005622A (ja) | 顔要素に基づく顔記述子を用いた顔認識方法及びその装置 | |
JP2007206833A (ja) | 生体照合方法および生体照合装置 | |
JP2000306095A (ja) | 画像照合・検索システム | |
JP2008538998A (ja) | 画像に含まれる人物を認識する際の時刻の利用 | |
JP2014182480A (ja) | 人物認識装置、及び方法 | |
JP4992289B2 (ja) | 認証システム、認証方法、及びプログラム | |
US20070050639A1 (en) | Authentication apparatus and authentication method | |
JP4087953B2 (ja) | パターン認識装置及びその方法 | |
JP2008204200A (ja) | 顔解析システム及びプログラム | |
JP2012221061A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
JP2001092963A (ja) | 画像照合方法および装置 | |
JP3729581B2 (ja) | パターン認識・照合装置 | |
JP3988554B2 (ja) | 画像照会用情報構築方法および画像照会方法 | |
JPH1185988A (ja) | 顔画像認識システム | |
JP2012221053A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
JP4222558B2 (ja) | 画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |