JP2007072620A - 画像認識装置及びその方法 - Google Patents

画像認識装置及びその方法 Download PDF

Info

Publication number
JP2007072620A
JP2007072620A JP2005257100A JP2005257100A JP2007072620A JP 2007072620 A JP2007072620 A JP 2007072620A JP 2005257100 A JP2005257100 A JP 2005257100A JP 2005257100 A JP2005257100 A JP 2005257100A JP 2007072620 A JP2007072620 A JP 2007072620A
Authority
JP
Japan
Prior art keywords
subspace
dictionary
image
input
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005257100A
Other languages
English (en)
Inventor
Tatsuo Kosakaya
達夫 小坂谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005257100A priority Critical patent/JP2007072620A/ja
Priority to US11/504,597 priority patent/US20070053590A1/en
Priority to CNB2006101285865A priority patent/CN100452084C/zh
Publication of JP2007072620A publication Critical patent/JP2007072620A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds

Abstract

【課題】認識対象物体の環境による変動を抑制し、高精度に認識処理を行う。
【解決手段】認識対象となる画像を入力する画像入力部12と、入力画像から物体を検出する物体検出部14と、認識対象の環境変動を表すモデル部分空間を保持する環境辞書20と、検出した物体から認識に用いる特徴量を抽出する入力特徴抽出部18と、前記入力特徴量とモデル部分空間を用いて両者を非類似にする射影変換を行う入力特徴変換部18と、予め登録してある登録辞書26との類似度を計算する類似度計算部28とを具備する。
【選択図】 図1

Description

本発明は、認識対象物体の環境による変動を予め学習した環境辞書により個人毎に抑制し、高精度に認識処理を行う装置及びその方法に関する。
顔画像を用いた認識は、物理的な鍵やパスワードと違い紛失や忘却の心配がないため、セキュリティの面で非常に有用な技術である。しかしながら、照明などの環境条件の変動を受けて認識対象の顔画像も多様に変動するため、高精度に認識を行うためには、環境変動を吸収しつつ、さらに個人間の差を抽出するような工夫が必要である。
非特許文献1によれば、取得過程(照明条件などの撮影環境)の異なる2つのタイプの画像が得られた場合に、それら2つの画像を考慮することで、環境変動に対してロバストに認識することができる。しかし、どのような環境で画像が撮影されるかは通常未知である。そのため、それら2種類の環境で撮影した顔画像を予め収集することも困難であり、利用できるシーンは限定される。
非特許文献2によれば、異なる複数の環境条件で撮影された画像について、撮影された環境毎に差分部分空間を計算し、また、個人の変動成分についても差分部分空間を計算し、それら差分部分空間から制約部分空間を計算し、この制約部分空間に辞書と入力を射影することで環境変動や自己変動を抑制して認識を行う。環境変動が既知でない場合についても、多様な環境で撮影した画像から制約部分空間を構築しておくことでロバストに認識することができる。しかし、多様な環境変動に対応するためには、多様な環境変動で撮影した画像を収集する必要がある。このように多様な画像を収集することは多大な労力を要する。さらに収集した画像には環境変動だけでなく、個人の変動も含まれるため、環境変動のみを抽出して抑制することは難しい。
特許文献1によると、予め保持している3次元形状情報に顔画像を重ね合わせた顔モデルを構築し、登録画像に対して照明などの変動を加味した画像を生成しておくことで、入力画像の環境変動に対してロバストに認識することができる。しかし、一般環境における照明変動を正しくコンピュータグラフィックス(以下、「CG」という)等で表現することは難しいため、登録画像に対して照明変動画像を生成しても、一般環境下で撮影された入力画像と同一の照明変動を表現できない場合が考えられる。また、生成した変動を抑制するような仕組みがないため、同様の処理を施した他人の画像との類似性が高くなり、誤認識に繋がる可能性がある。
相馬 正宣,長尾 健司,「取得過程の極端に異なる顔画像の照合」,信学論D−II Vol.J80−D−II,No.8,2225−2231,1997 福井 和広,山口 修,鈴木 薫,前田 賢一,「制約相互部分空間法を用いた環境変動にロバストな顔画像認識−照明変動の影響を抑える制約相互部分空間の学習−」.信学論D−II Vol.J82−D−II,No.4,613−620,1999 特開2003−323622公報
上述したように、認識対象の環境変動に対応するためには、多様な環境変動を含む画像を収集もしくは生成する方法が有効である。しかし、従来技術では、環境変動が既知という制限があったり、収集に多大な労力を要したり、生成した変動を抑制するような仕組みがないなどの問題点がある。
そこで、本発明は、上記従来技術の問題点を解決するためのものであり、環境変動を抑制して高精度に認識することが可能な画像認識装置及びその方法を提供することを目的とする。
本発明は、認識対象が写った画像を入力する画像入力部と、前記入力画像から入力部分空間を生成する入力部分空間生成部と、複数の異なる環境条件下における3次元認識対象モデルを表すモデル部分空間を保持する環境辞書部と、前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換部と、前記被認識対象に関する辞書部分空間を保持する登録辞書部と、前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算部と、前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識部と、を有することを特徴とする画像認識装置である。
このように本発明によれば、環境変動による影響のみを取り除いて、高精度に認識することが可能である。
(第1の実施形態)
以下、図1〜図3を参照して本発明に係わる第1の実施形態の画像認識装置10について述べる。
(1)画像認識装置10の構成
図1は、画像認識装置10の構成を表す図である。
図1に示すように、画像認識装置10は、対象となる人物の顔を入力する画像入力部12と、入力された画像内から人物の顔を検出する物体検出部14と、検出された顔から正規化画像を生成する画像正規化部16と、認識に用いる特徴量を抽出する入力特徴抽出部18と、環境変動に関する情報を持つ環境辞書20と、特徴量と環境辞書20から環境変動を抑制するような空間に射影する行列を計算する射影行列計算部22と、計算した射影行列を記憶する環境射影辞書23と、射影変換を行う射影変換部24と、予め人物の顔に関する辞書特徴量が登録してある登録辞書26と、前記辞書特徴量との類似度を計算する類似度計算部28とを備えている。
画像認識装置10の上記各部12,14,16,18,22,24,28の機能は、コンピュータに記憶されたプログラムによって実現する。
(2)画像認識装置10の動作
次に、図2のフローチャートを用いて、画像認識装置10の動作について説明する。
(2−1)画像入力部12の処理
ステップ1において、画像入力部12は、処理対象となる顔画像を入力する。
画像入力部12を構成する装置の一つの例として、USBカメラやデジタルカメラ等が挙げられる。また、予め撮影、保存された顔画像データを保存している記録装置やビデオテープ、DVD等を用いても良いし、顔写真をスキャンするスキャナーでも良い。ネットワーク等を経由して画像を入力してもよい。画像入力部12より得られた画像は逐次、物体検出部14に送られる。
(2−2)物体検出部14の処理
ステップ2において、物体検出部14が、顔特徴点として、画像中の目、鼻、口などの顔部位の顔特徴点の座標(xi ,yi )を検出する。
顔特徴点の検出はどのような方法を用いてもよいが、例えば、非特許文献3(福井、山口、「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」,信学論(D−II)Vol.J80−D−II,No.9,p.2170−2177,1997.)に記載されている方法を用いて検出することができる。
(2−3)画像正規化部16の処理
ステップ3において、画像正規化部16が、検出された顔特徴点に基づいて正規化画像を生成する。
正規化画像の生成は、例えば、検出された座標をもとにアフィン変換を用いることで、大きさや傾きを正規化して切り出すことができる。また、特徴点が同一平面上に存在せず、かつ、4点以上検出された場合は以下に示す方法により、3次元形状情報を用いて検出された顔の部位を正確に指定した位置に正規化することができる。
まず、物体検出部14から得られた顔特徴点(xi ,yi )と、対応する3次元形状上の顔特徴点(xi ,yi ,zi )を用いて、カメラ運動行列Mを(1)式、(2)式及び(3)式により定義する。
Figure 2007072620
次に算出されたカメラ運動行列Mを用いて、入力画像から3次元形状により規定される正規化画像を生成する。3次元形状上の任意の座標(x´,y´,z´)は、(5)式により対応する入力画像上の座標(s,t)に変換することができる。
Figure 2007072620
従って、3次元形状上の座標(x´,y´,z´)は、対応する正規化画像の画素値T(x´,y´)は、入力画像上の画素値I(x,y)を用いて(6)式によって定義される。
Figure 2007072620
(5)式及び(6)式について、3次元形状の正規化画像生成に必要な全ての座標について計算することで、正規化画像を得ることができる。
このように3次元形状情報を用いて正規化することで、顔の向きや大きさによらず正確に正規化画像を生成することができるが、その他のどのような正規化方法を用いて顔パターンを生成してもよい。
また、検出された特徴点位置を任意の方向に移動させるなどして摂動したり、切出し位置をずらしたり、パターン画像を回転や拡大・縮小することで複数の正規化画像を生成することができる。ビデオ入力のように画像が複数枚入力されてもよい。
(2−4)入力特徴抽出部18の処理
ステップ4において、入力特徴抽出部18が、生成された正規化画像をもとに、識別に必要な特徴量を抽出する。
例えば、正規化画像を、画素値を要素とする特徴ベクトルとみなして一般的に知られるK−L展開を行い、得られた正規直交ベクトルを入力画像に対応する人物の特徴量とする。人物の登録時には、この特徴量を記録しておく。
この特徴ベクトルの要素の選び方や生成方法はどのように行っても良いし、特徴ベクトルに対して微分処理やヒストグラム平坦化などのいかなる画像認識を行っても良いし、特徴量生成方法もこれに限らない。
(2−5)射影行列計算部22の処理
ステップ5において、射影行列計算部22が、予め保持された環境辞書20を用いて、入力特徴抽出部18で生成された特徴量から、環境変動による影響を抑制するような部分空間に射影する射影行列を計算して環境射影辞書23に記憶させる。
射影行列の計算は、どのような方法を用いてもよいが、例えば非特許文献2に記されている方法により実現することができる。非特許文献2によれば、複数の特徴量(部分空間)があったとき、それらの差分部分空間から求まる制約部分空間を計算し、射影変換を行うことで、2つの部分空間を非類似にすることができる。このように特徴量間の差を強調するような部分空間への射影行列を計算し、射影変換を行うことを、以後、簡単のため「直交化」と呼ぶこととする。そして、非類似にするとは、対象となる部分空間同士で定義される距離や角度などの評価基準を最大化または最小化させることをいう。なお、二つの部分空間の直交化空間を求めるとは、二つの部分空間で共通する成分を抑制した部分空間を求めることである。
また、他にも、例えば以下に示す式を用いて射影行列Oを計算することができる。
Figure 2007072620
環境辞書20については、抑制するべき環境変動が適切に記述されていれば、どのようなものを用いてもよい。ここでは便宜上、環境変動と呼称しているが、照明変動のような環境に依存する変動だけでなく、人間の経年変動や、眼鏡などの装飾品による変動などにも応用することができる。
例えば、照明変動に関する環境辞書20は、以下のような手順で生成することができる。
まず、CG技術を用いて作成した顔のモデルである3次元形状情報に基づいて、CG技術を用いて多様な方向から照明を当てた画像を生成する。図3は、CG技術を用いて異なる方向から照明を当てた画像の例である。環境辞書20の生成はオフライン処理ですることができるため、高度なCG技術を用いてより一般的な環境に近い照明条件を表現することができる。また、顔のモデルは、図3に示すように、個人的な特徴の差異を少なくするために、眉や髭などを取り除いた石膏像のような顔をCGで作成する。
得られたCG画像について入力特徴抽出部18と同一の処理を行い、抽出された特徴量をモデル特徴量として環境辞書20に登録する。
このように3次元形状とCGを用いて生成された環境辞書20のモデル特徴量は必要な環境変動のみを含むため、認識に必要な個人の特徴に影響を与えない。また、正規化画像生成に用いた3次元形状を環境辞書20のモデル特徴量の生成にも用いることもできる。
正規化画像と環境辞書20のモデル特徴量で共通の3次元形状を用いることで、正規化画像の照明変動をより適切に環境辞書20のモデル特徴量に表現することができる。
他の環境変動に関しても、同様に予め複数の環境変動に関する画像を収集し、上記の手順を踏むことで、環境辞書20のモデル特徴量を生成することができる。
(2−6)射影変換部24の処理
ステップ6において、射影変換部24では、射影行列計算部22で得られた射影行列に基づいて、入力された特徴量を射影変換して環境変動による影響を抑制した特徴量(以下、環境抑制特徴量という)を生成する。この射影変換を行った環境抑制特徴量を用いて認識を行う。
(2−7)類似度計算部28の処理
ステップ7において、類似度計算部28では、登録辞書26に記憶された人物の顔に関する辞書特徴量と、射影変換部24で計算された環境抑制特徴量との類似度を計算する。このとき、登録辞書26についても入力された特徴量に行ったのと同様に射影変換がされているものとする。
この類似度計算についてはどのような方法を用いてもよいが、例えば、非特許文献2に述べられている制約相互部分空間法のベースとなっている相互部分空間法などがある。このような認識方法により顔特徴量同士の類似度を算出することができる。その類似度をある所定の閾値で判定し、人物を同定する。閾値は事前の認識実験などで定めた値でも良いし、人物の特徴量に応じて増減させることもできる。
(3)第1の実施形態の効果
このように、第1の実施形態に係わる画像認識装置10によれば、予め生成した環境辞書20を用いることで、認識に重要な個人性を表す特徴を損なわず、環境変動による影響のみを取り除き、高精度に認識することが可能である。
(第2の実施形態)
次に、図4を参照して本発明に係わる第2の実施形態の画像認識装置10について述べる。
(1)画像認識装置10の構成
図4は、画像認識装置10の構成を表す図である。
画像認識装置10は、対象となる人物の顔を入力する画像入力部12と、入力された画像内から人物の顔を検出する物体検出部14と、検出された顔から正規化画像を生成する画像正規化部16と、認識に用いる特徴量を抽出する入力特徴抽出部18と、環境変動に関する情報を持つ環境辞書20と、特徴量と環境辞書20から環境変動を抑制するような空間に射影する行列を計算する第1射影行列計算部221と、計算した射影行列を記憶する環境射影辞書23と、環境変動を抑制するために射影変換を行う第1射影変換部241と、予め登録してある登録辞書26を用いて個人差を強調するような空間に射影する行列を計算する第2射影行列計算部222と、個人差を強調するために射影変換を行う第2射影変換部242と、予め登録してある登録辞書26との類似度を計算する類似度計算部28とを備えている。
(2)画像認識装置10の動作
画像入力部12、物体検出部14、画像正規化部16、環境辞書20、入力特徴抽出部18、登録辞書26、類似度計算部28は第1の実施形態に記載してあるものと同じである。
第1射影行列計算部221と第1射影変換部241は、第1の実施形態に記載した射影行列計算部22と射影変換部24と同じであり、入力特徴抽出部18から得られる入力に対する特徴量と環境辞書20の直交化して環境抑制特徴量を求める。
第2射影行列計算部222では、予め保存している登録辞書26を用いて、第1射影変換部241で得られた環境抑制特徴量について個人差を強調するように直交化して個人射影辞書30に登録する。
第2射影行列計算部222は、第1射影行列計算部221と同様に非特許文献2の方法を用いて、登録辞書26の差分部分空間から求まる制約部分空間を計算し、射影変換を行うことで直交化することもできるし、式(7)〜(9)を用いることもできるし、どのような方法を用いて計算してもよい。
このとき、登録辞書26についても予め環境辞書20と直交化しておくことで、非特許文献2などの従来方法と異なり、入力特徴と登録辞書26の両者について環境変動が抑制されているため、認識に有用な個人差をより効果的に抽出することができる。
第2射影変換部242では、第1射影変換部241から得られる環境抑制特徴量について、第2射影行列計算部222で求められた射影行列により射影変換を行い、個人差を強調した環境抑制特徴量を求める。
類似度計算部28では、第1の実施形態と同様に第2射影変換部242で得られた個人差を強調した環境抑制特徴量と、登録辞書26との類似度を計算する。
このように、第2の実施形態に係わる画像認識装置10によれば、予め生成した環境辞書20を用いて個人毎に環境変動を抑制した上で、さらに個人差を強調する空間を全体から生成することで、高精度に認識することが可能である。
(第3の実施形態)
次に、図5を参照して本発明に係わる第3の実施形態の画像認識装置10について述べる。
(1)画像認識装置10の構成
図5は、画像認識装置10の構成を表す図である。
画像認識装置10は、対象となる人物の顔を入力する画像入力部12と、入力された画像内から人物の顔を検出する物体検出部14と、検出された顔から正規化画像を生成する画像正規化部16と、認識に用いる特徴量を抽出する入力特徴抽出部18と、環境変動について入力画像を摂動させる環境摂動部32と、環境変動に関する情報を持つ環境辞書20と、特徴量と環境辞書20から環境変動を抑制するような空間に射影する行列を計算する射影行列計算部22と、計算した射影行列を記憶する環境射影辞書23と、射影変換を行う射影変換部24と、予め登録してある登録辞書26との類似度を計算する類似度計算部28とを備えている。
なお、本実施形態は第1の実施形態と比較して環境摂動部32を追加したものであり、その他の動作は第1の実施形態と同じである。
(2)環境摂動部32の動作
次に、環境摂動部32の動作について説明する。
環境摂動部32では、入力画像に対して環境変動を人為的に付与し、複数の環境変動から複数の入力環境変動画像を生成する。
この付与する環境変動は、環境辞書20と同種類の変動が好ましいが、特に制限は設けない。入力画像に環境変動を付与するためには、どのような方法を用いてもよいが、例えば以下に示すような方法がある。
まず、画像正規化部16で行う正規化処理を施した、環境変動を含むような画像を用意する。これは、環境辞書20の生成の際に用いた図2のような画像でもよい。
画像正規化部16で得られる入力画像に対する正規化画像と、先に述べた環境変動を含む正規化画像は、同じ正規化処理を行うことで画素毎に対応が取れているので、各画素について単純に積算することで、環境変動(図2の場合は照明変動)を含むような新しい正規化画像を得ることができる。
このような環境変動を含む正規化画像を複数用意する。つまり環境変動に関して摂動させることで、1枚の入力正規化画像から、複数の新しい正規化画像を生成することもできる。
環境変動に関する摂動の方法はこれに限るものではなく、例えば、環境変動に関する画像を予め主成分分析しておいて、それとの線形結合から求めても良いし、画像の一部をマスクするなどして環境変動との和を取るなどしても良い。また、登録辞書26に保存される特徴量についても、環境摂動部32を含む入力特徴量と同様の処理を行う。
このように、第3の実施形態に係わる画像認識装置10によれば、入力の特徴量と登録辞書26の特徴量の両者に環境摂動を加えることで、片方に環境変動の偏りがあった場合でも両者の環境変動をなるべく均質に保つことができ、後段の環境辞書20との射影変換において、個人性にかかわる情報を維持しながら、高精度に認識することが可能である。
(変更例)
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
(1)変更例1
変更例1について図6と図7に基づいて説明する。
第3の実施形態においては、射影行列計算部22に渡される特徴量と、射影変換部24に渡される特徴量は同一であり、どちらも環境摂動を加えられていたが、環境辞書20との射影行列生成に用いる特徴量と、射影変換を行い認識に用いる特徴量は、環境摂動を加えるかどうかは任意に選択することができる。
図6と図7は、それぞれ環境摂動の加え方を変更した場合の構成図である。
図6に示す構成図を持つような第1の変形例では、環境辞書20との射影行列計算においては環境摂動を加え、環境射影辞書との射影変換については、環境摂動を加えない特徴量を用いて、類似度の計算を行う。
また、図7に示す構成図を持つような第2の変形例では、環境辞書20との射影行列計算においては環境摂動を加えず、環境射影辞書との射影変換においては環境摂動を加えた特徴量を用いて、類似度の計算を行う。
(2)変更例2
変更例2について説明する。
第1の実施形態では、照明変動に関する環境辞書を準備して、射影変換を行ったが、これに加えて、経年変化の変動に関する環境辞書も準備してさらに射影変換を行っても良い。
また、複数の環境辞書を準備して、多段階で射影変換を行って、その環境変動を抑制してもよい。
本発明の第1の実施形態の構成を示すブロック図である。 第1の実施形態のフローチャートである。 3次元形状情報に環境変動を加えた例を示す図である。 本発明の第2の実施形態の構成を示すブロック図である。 本発明の第3の実施形態の構成を示すブロック図である。 本発明の第1の変形例の構成を示すブロック図である。 本発明の第2の変形例の構成を示すブロック図である。
符号の説明
10 画像認識装置
12 画像入力部
14 物体検出部
16 画像正規化部
18 入力特徴抽出部
20 環境辞書
22 射影行列計算部
24 射影変換部
26 登録辞書
28 類似度計算部

Claims (21)

  1. 認識対象が写った画像を入力する画像入力部と、
    前記入力画像から入力部分空間を生成する入力部分空間生成部と、
    複数の異なる環境条件下における3次元認識対象モデルを表すモデル部分空間を保持する環境辞書部と、
    前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換部と、
    前記被認識対象に関する辞書部分空間を保持する登録辞書部と、
    前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算部と、
    前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識部と、
    を有する
    ことを特徴とする画像認識装置。
  2. 前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求める辞書射影変換部をさらに有し、
    前記類似度計算部は、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
    ことを特徴とする請求項1記載の画像認識装置。
  3. 前記入力画像から前記認識対象の特徴点を抽出する特徴点検出部を有し、
    前記入力部分空間生成部は、前記特徴点から前記入力部分空間を生成する
    ことを特徴とする請求項1または2記載の画像認識装置。
  4. 前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
    ことを特徴とする請求項1または2記載の画像認識装置。
  5. 前記類似度計算部は、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
    ことを特徴とする請求項1または2記載の画像認識装置。
  6. 前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する環境摂動部を持つ
    ことを特徴とする請求項1または2記載の画像認識装置。
  7. 前記辞書射影変換部は、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
    ことを特徴とする請求項1または請求項2記載の画像認識装置。
  8. 前記認識対象が写った画像を入力し、
    前記入力画像から入力部分空間を生成し、
    異なる環境条件下における3次元認識対象モデルを表すモデル部分空間を保持し、
    前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求め、
    前記被認識対象に関する辞書部分空間を保持し、
    前記環境抑制部分空間と前記辞書部分空間との類似度を計算し、
    前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する
    ことを特徴とする画像認識方法。
  9. 前記類似度を計算する前に、前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求め、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
    ことを特徴とする請求項8記載の画像認識方法。
  10. 前記入力部分空間を生成するときに、
    前記入力画像から前記認識対象の特徴点を抽出し、前記特徴点から前記入力部分空間を生成する
    ことを特徴とする請求項8または9記載の画像認識方法。
  11. 前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
    ことを特徴とする請求項8または9記載の画像認識方法。
  12. 前記類似度を計算するときに、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
    ことを特徴とする請求項8または9記載の画像認識方法。
  13. 前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する
    ことを特徴とする請求項8または9記載の画像認識方法。
  14. 前記新たな環境抑制部分空間を求めるときに、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
    ことを特徴とする請求項8または請求項9記載の画像認識方法。
  15. 前記認識対象が写った画像を入力する画像入力機能と、
    前記入力画像から入力部分空間を生成する入力部分空間生成機能と、
    異なる環境条件下における3次元認識対象モデルを表すモデル部分空間を保持する環境辞書機能と、
    前記入力部分空間と前記モデル部分空間とで共通する成分を抑制する射影変換を前記入力部分空間に行って環境変動による影響を抑制した環境抑制部分空間を求める環境射影変換機能と、
    前記被認識対象に関する辞書部分空間を保持する登録辞書機能と、
    前記環境抑制部分空間と前記辞書部分空間との類似度を計算する類似度計算機能と、
    前記認識対象を、閾値より大きい類似度を持つ前記辞書部分空間に対応する前記被認識対象と同定する認識機能と、
    をコンピュータによって実現する
    ことを特徴とする画像認識プログラム。
  16. 前記辞書部分空間同士で共通する成分を抑制するように前記環境抑制部分空間を射影変換して、前記被認識対象間の差異を拡げた新たな環境抑制部分空間を求める辞書射影変換機能をさらに有し、
    前記類似度計算機能は、前記新たな環境抑制部分空間と前記辞書部分空間との類似度を計算する
    ことを特徴とする請求項15記載の画像認識プログラム。
  17. 前記入力画像から前記認識対象の特徴点を抽出する特徴点検出機能を有し、
    前記入力部分空間生成部は、前記特徴点から前記入力部分空間を生成する
    ことを特徴とする請求項15または16記載の画像認識プログラム。
  18. 前記環境条件とは、照明変化による条件、経年変化による条件、または、その両者による条件である
    ことを特徴とする請求項15または16記載の画像認識プログラム。
  19. 前記類似度計算機能は、前記環境抑制部分空間と前記辞書部分空間の間の角度を類似度として用いる
    ことを特徴とする請求項15または16記載の画像認識プログラム。
  20. 前記入力部分空間の生成に使われる画像、前記辞書部分空間の生成に使われる画像の両者に環境変動を付与する環境摂動機能を実現する
    ことを特徴とする請求項15または16記載の画像認識プログラム。
  21. 前記辞書射影変換機能は、前記辞書部分空間の間の差異を大きくする射影行列を求め、この射影行列を用いて前記環境抑制部分空間を射影変換して前記新たな環境抑制部分空間を求める
    ことを特徴とする請求項15または16記載の画像認識プログラム。
JP2005257100A 2005-09-05 2005-09-05 画像認識装置及びその方法 Abandoned JP2007072620A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005257100A JP2007072620A (ja) 2005-09-05 2005-09-05 画像認識装置及びその方法
US11/504,597 US20070053590A1 (en) 2005-09-05 2006-08-16 Image recognition apparatus and its method
CNB2006101285865A CN100452084C (zh) 2005-09-05 2006-09-05 图像识别装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005257100A JP2007072620A (ja) 2005-09-05 2005-09-05 画像認識装置及びその方法

Publications (1)

Publication Number Publication Date
JP2007072620A true JP2007072620A (ja) 2007-03-22

Family

ID=37830093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005257100A Abandoned JP2007072620A (ja) 2005-09-05 2005-09-05 画像認識装置及びその方法

Country Status (3)

Country Link
US (1) US20070053590A1 (ja)
JP (1) JP2007072620A (ja)
CN (1) CN100452084C (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231350A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 人物識別装置、そのプログラム、及び、その方法
JP2012138132A (ja) * 2012-04-24 2012-07-19 Universal Entertainment Corp 個人識別データ登録方法
JP2015032220A (ja) * 2013-08-05 2015-02-16 Kddi株式会社 画像識別装置及びプログラム
JP2019040503A (ja) * 2017-08-28 2019-03-14 沖電気工業株式会社 認証装置、プログラムおよび認証方法
JP2019096113A (ja) * 2017-11-24 2019-06-20 Kddi株式会社 キーポイントデータに関する加工装置、方法及びプログラム
KR20200083119A (ko) * 2018-12-31 2020-07-08 삼성전자주식회사 사용자 인증 장치 및 방법
US11403878B2 (en) * 2018-12-31 2022-08-02 Samsung Electronics Co., Ltd. Apparatus and method with user verification

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114331A1 (en) * 2003-11-26 2005-05-26 International Business Machines Corporation Near-neighbor search in pattern distance spaces
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
JP2008191816A (ja) * 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
EP2115662B1 (en) * 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US8229168B2 (en) * 2008-02-20 2012-07-24 International Business Machines Corporation Fast license plate verifier
JP4791598B2 (ja) * 2008-09-17 2011-10-12 富士通株式会社 画像処理装置および画像処理方法
CN102369549B (zh) * 2009-03-04 2014-09-03 日本电气株式会社 用于估计物体位置的信息创建设备、用于估计物体位置的信息创建方法
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP4940461B2 (ja) * 2010-07-27 2012-05-30 株式会社三次元メディア 3次元物体認識装置及び3次元物体認識方法
JP2012221053A (ja) * 2011-04-05 2012-11-12 Canon Inc 画像認識装置、画像認識方法、及びプログラム
US9361672B2 (en) * 2012-03-26 2016-06-07 Google Technology Holdings LLC Image blur detection
CN109684955B (zh) * 2018-12-13 2022-10-11 深圳市信义科技有限公司 一种基于深度学习的环境识别智能方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951078C2 (de) * 1999-10-23 2002-10-24 Cortologic Ag Verfahren zur Musterklassifizierung
JP4167390B2 (ja) * 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体
JP3790680B2 (ja) * 2001-05-25 2006-06-28 株式会社東芝 画像処理システム及びこれを用いた運転支援システム
US7330591B2 (en) * 2002-02-25 2008-02-12 Kabushiki Kaisha Toshiba Apparatus for generating a pattern recognition dictionary, a method thereof, a pattern recognition apparatus and a method thereof
JP2003281503A (ja) * 2002-03-20 2003-10-03 Fuji Heavy Ind Ltd 立体物の画像認識装置
EP1530157B1 (en) * 2002-07-10 2007-10-03 NEC Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
CN1209731C (zh) * 2003-07-01 2005-07-06 南京大学 一种基于每人一幅图像的自动人脸识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231350A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 人物識別装置、そのプログラム、及び、その方法
JP2012138132A (ja) * 2012-04-24 2012-07-19 Universal Entertainment Corp 個人識別データ登録方法
JP2015032220A (ja) * 2013-08-05 2015-02-16 Kddi株式会社 画像識別装置及びプログラム
JP2019040503A (ja) * 2017-08-28 2019-03-14 沖電気工業株式会社 認証装置、プログラムおよび認証方法
JP2019096113A (ja) * 2017-11-24 2019-06-20 Kddi株式会社 キーポイントデータに関する加工装置、方法及びプログラム
JP7015152B2 (ja) 2017-11-24 2022-02-15 Kddi株式会社 キーポイントデータに関する加工装置、方法及びプログラム
KR20200083119A (ko) * 2018-12-31 2020-07-08 삼성전자주식회사 사용자 인증 장치 및 방법
US11403878B2 (en) * 2018-12-31 2022-08-02 Samsung Electronics Co., Ltd. Apparatus and method with user verification
KR102483650B1 (ko) * 2018-12-31 2023-01-03 삼성전자주식회사 사용자 인증 장치 및 방법

Also Published As

Publication number Publication date
US20070053590A1 (en) 2007-03-08
CN1928895A (zh) 2007-03-14
CN100452084C (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
JP2007072620A (ja) 画像認識装置及びその方法
Li et al. Visual tracking via incremental log-euclidean riemannian subspace learning
US9053388B2 (en) Image processing apparatus and method, and computer-readable storage medium
JP4372051B2 (ja) 手形状認識装置及びその方法
JP5801601B2 (ja) 画像認識装置、画像認識装置の制御方法、およびプログラム
JP4947769B2 (ja) 顔照合装置および方法並びにプログラム
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
WO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
Lee et al. Head and body orientation estimation using convolutional random projection forests
JP2007213528A (ja) 行動認識システム
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
Shukla et al. An Introduction of Face Recognition and Face Detection for Blurred and Noisy Images
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
Kukharev et al. Methods of face photo-sketch comparison
KR100955255B1 (ko) 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
Arya et al. Very low resolution face recognition using fused visual and texture features
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
CN112990047A (zh) 一种结合面部角度信息的多姿态人脸验证方法
CN111353353A (zh) 跨姿态的人脸识别方法及装置
Betta et al. Metrological characterization of 3D biometric face recognition systems in actual operating conditions
Anusha et al. Analysis of Various Learning Approaches in Occluded Face Recognition
Freitas 3D face recognition under unconstrained settings using low-cost sensors
Bhatia et al. Facial Expression Recognition: Detection and Tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20100407