JP2001307096A - 画像認識装置及び方法 - Google Patents

画像認識装置及び方法

Info

Publication number
JP2001307096A
JP2001307096A JP2000123604A JP2000123604A JP2001307096A JP 2001307096 A JP2001307096 A JP 2001307096A JP 2000123604 A JP2000123604 A JP 2000123604A JP 2000123604 A JP2000123604 A JP 2000123604A JP 2001307096 A JP2001307096 A JP 2001307096A
Authority
JP
Japan
Prior art keywords
change
image
image information
modeling
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000123604A
Other languages
English (en)
Other versions
JP4443722B2 (ja
Inventor
Daiki Masumoto
大器 増本
Naoki Sashita
直毅 指田
Hironori Kitagawa
博紀 北川
Shigemi Osada
茂美 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000123604A priority Critical patent/JP4443722B2/ja
Priority to US09/772,924 priority patent/US6888955B2/en
Publication of JP2001307096A publication Critical patent/JP2001307096A/ja
Application granted granted Critical
Publication of JP4443722B2 publication Critical patent/JP4443722B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

(57)【要約】 【課題】 画像認識時における入力画像の撮影条件等に
依存せずに、登録されている物体モデルとの照合を精度
良く行うことができる画像認識装置及び方法を提供す
る。 【解決手段】 撮影環境の変動による物体の見え方の変
化を推定してモデル化し、得られた物体モデルを事前に
データベースへ登録しておくとともに、認識対象となる
物体の画像情報を入力し、事前に登録されている物体モ
デルと入力された画像情報を照合して、登録されている
物体モデルとの類似度を割り当て、割り当てられた物体
モデルの中で最も類似していると判断された認識対象と
なる物体の種別を出力し、物体の相対的な位置及び姿勢
を変化させて撮影した複数の画像情報を入力し、入力さ
れた複数の画像情報に基づいて将来起こりうる撮影環境
変動による物体の見え方の変化を推定してモデル化す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、物体の画像情報を
変換した物体モデルをデータベースに蓄積し、画像認識
時にデータベースを照会して物体を認識する画像認識装
置に関する。
【０００２】
【従来の技術】インターネット等に代表されるコンピュ
ータネットワークの進展に伴い、誰でも容易に様々な情
報へアクセスすることができるようになった反面、アク
セスしているのが本人であるかどうか確認する技術、す
なわち認証技術の重要性が高まっている。詐称者を本人
と誤らない、あるいは本人を詐称者として棄却する確率
を最小限にする必要があるからである。
【０００３】かかる技術分野で最近注目されている技術
の一つが、顔の画像による認証技術である。顔は指紋や
声紋と同様、本人に固有のものだからであり、画像処理
技術の進展によって識別判断の基準として用いる対象と
なりうるからである。
【０００４】顔画像を認証判断の基準とする方法につい
ては、従来から種々の方法が開示されている。例えば、
特願平１１−１１００２０号においては、入力画像から
撮影環境の状態を示す環境パラメータと対象物の状態を
示す対象状態パラメータ値とを推定し、その値を用い
て、入力画像の撮影環境及び対象物の状態が登録画像の
撮影環境及び対象物の状態に一致するように補正した
「照合用画像」を用いて認識を行う技術が開示されてい
る。
【０００５】以下、開示されている環境パラメータ及び
対象状態パラメータを用いた当該画像認識処理について
図１から図４を参照しながら説明する。まず図１は、当
該画像認識処理のデータベースへの登録フェーズにおけ
る処理の流れを示す。
【０００６】図１において、まず登録対象となる画像を
入力する（ステップＳ１１）。ここでの画像入力は、正
面から撮影した顔画像１枚で良いが、認識精度を高める
ためには、正面画像の他に、様々な方向から撮影した顔
画像を用意することが望ましい。
【０００７】次に、入力した画像から、顔領域を切り出
して（ステップＳ１２）、顔領域の画像を得る（ステッ
プＳ１３）。すなわち、図２に示すように、登録対象と
なる画像上で顔領域を矩形領域で切り出す。
【０００８】そして、得られた顔領域画像を各ピクセル
を要素に持つＮ次元ベクトルとみなし、そのベクトルを
ｎ次元（ｎ≦Ｎ）の部分空間に射影し（ステップＳ１
４）、その射影点をＰと表す。図２では、「ｓａｓｈｉ
ｄａ」の１点に射影されている。
【０００９】さらに、撮影環境の状態を示す環境パラメ
ータ値ｅ、対象物の状態を表す対象状態パラメータ値ｓ
を推定し、その値と射影点Ｐとをペアにしてデータベー
スに登録する（ステップＳ１５）。ここで、画像から撮
影環境の状態を示す環境パラメータ値ｅ、対象物の状態
を表す対象状態パラメータ値ｓを推定する一般性のある
方法は開示されていない。
【００１０】次に、図３は当該画像認識処理における認
識フェーズにおける処理の流れを示している。図３にお
いて、画像の入力から顔領域画像の切り出しまで（ステ
ップＳ３１〜ステップＳ３３）は、図１に示した登録フ
ェーズの場合（ステップＳ１１〜ステップＳ１３）と同
様になる。
【００１１】したがって、部分空間への射影は、図４に
示すように「ｓａｓｈｉｄａ」の１点に射影される。
【００１２】一方、入力画像から撮影環境の状態を示す
環境パラメータ値ｅと対象物の状態を表す対象状態パラ
メータ値ｓを推定する。次に、あらかじめ登録されてい
る登録画像の環境パラメータ値ｅと対象状態パラメータ
値ｓと一致するように、入力画像から推定したパラメー
タ値を調整する。この調整によって、入力画像の撮影環
境及び対象物の状態が、登録画像の撮影環境及び対象物
の状態に一致するような照合用画像を生成する。この照
合用画像を部分空間に射影して点Ｑを得る（ステップＳ
３４）。
【００１３】そうすることで、登録画像と照合用画像と
は、照明等の撮影環境、対象物の位置や姿勢等の状態に
ついて同一条件で比較することになる。しかし、パラメ
ータ値を調整して、入力画像の撮影環境及び対象物の状
態が、登録画像の撮影環境及び対象物の状態に一致する
ような照合用画像を生成する一般性のある方法は開示さ
れていない。
【００１４】次に、登録されているＰとＱの部分空間上
での距離を計算する（ステップＳ３５）。登録画像すべ
てについて、同様にして当該空間的距離を算出して、最
近接点Ｐmを探す（ステップＳ３６）。
【００１５】最後に、最近接点Ｐmに該当する登録画像
を入力画像に対応するものとして認識することになる
（ステップＳ３７）。
【００１６】
【発明が解決しようとする課題】しかし、上述したよう
な方法では、（１）画像から撮影環境の状態を示す環境
パラメータ値、対象物の状態を表す対象状態パラメータ
値を推定すること、（２）パラメータ値を調整して、入
力画像の撮影環境及び対象物の状態が、登録画像の撮影
環境及び対象物の状態に一致するような照合用画像を生
成することがポイントとなっているにもかかわらず、こ
れらの処理を実現する一般的な方法は知られていない。
【００１７】特願平１１−１１００２０号においては、
環境パラメータのうち照明パラメータを、顔領域画像の
輝度値の平均値、分散、ヒストグラムから推定すること
や、環境パラメータのうちカメラパラメータとして、撮
影に利用したカメラの解像度や、フォーカス、露出を用
いることが提案されている。また、対象状態パラメータ
を、顔領域画像内の肌色占有面積を利用して推定するこ
とが提案されている。
【００１８】しかし、（１）このようなパラメータ値を
正しく推定することは一般に困難である。さらに、
（２）１枚あるいは少数の画像からこれらのパラメータ
が変化したときに画像がどのように変化するかをモデル
化することも困難である。したがって、上述の方法を実
際に認識処理に適用するのは困難であると考えられる。
【００１９】そのため、画像登録時に正面から撮影した
顔画像を利用していることから、入力時に顔の向きが異
なっていたり、照明条件が異なっている場合には、本人
を詐称者であるものとして、あるいは詐称者を本人であ
るものとして誤認識する可能性があるという問題点があ
った。
【００２０】本発明は、上記問題点を解消するために、
画像認識時における入力画像の撮影条件に依存せずに、
登録画像との照合を精度良く行うことができる画像認識
装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】上記目的を達成するため
に本発明にかかる画像認識装置は、撮影環境の変動によ
る物体の見え方の変化を推定してモデル化する物体モデ
ル化実行部と、物体モデル化実行部において得られた物
体モデルを事前にデータベースへ登録しておく物体モデ
ル登録部とを有し、認識対象となる物体の画像情報を入
力する画像情報入力部と、物体モデル登録部において事
前に登録されている物体モデルと入力された画像情報を
照合して、登録されている物体モデルとの類似度を割り
当てる類似度判断部と、割り当てられた物体モデルの中
で最も類似していると判断された認識対象となる物体の
種別を出力する物体認識部とを含み、物体モデル化実行
部において、固定された画像情報入力部に対する物体の
相対的な位置及び姿勢を変化させて撮影した複数の画像
情報を入力し、入力された複数の画像情報に基づいて将
来起こりうる撮影環境変動による物体の見え方の変化を
推定してモデル化することを特徴とする。
【００２２】かかる構成により、物体モデル登録時と入
力画像認識時における物体の姿勢の相異による見え方の
変動や照明条件の相異による見え方の変動等に左右され
ることなく、登録されている物体モデルとの照合を精度
良く行うことが可能となる。
【００２３】また、本発明にかかる画像認識装置は、認
識対象となる物体の表面特性としてランバーシャン反射
モデルを仮定することが好ましい。照明変動による見え
方の変動を予測しやすいからである。
【００２４】また、本発明にかかる画像認識装置は、画
像情報入力部において、画像から認識対象となる物体が
存在する部分を切り出し、切り出された部分画像を用い
て認識対象となる物体のモデル化を行うことが好まし
い。余分な画像情報による誤認識を防止することができ
るからである。
【００２５】また、本発明にかかる画像認識装置は、画
像情報入力部において、画像から認識対象となる物体中
の特徴的な小領域を選択し、選択された小領域に含まれ
る情報と小領域の配置情報に基づいて認識対象となる物
体のモデル化を行うことが好ましい。特徴部分が画像に
よって部分的に隠された状態となっている場合も対応す
ることができるからである。
【００２６】また、サンプルデータが少ない場合、本発
明にかかる画像認識装置は、物体モデル化実行部におい
て、入力された画像情報に基づいて、物体の姿勢変化に
よる見え方の変動と照明条件の変化による見え方の変動
とを分離してモデル化を行うことが好ましい。サンプル
データが少ない場合であっても、正確に見え方の変動を
推定することができるからである。
【００２７】また、サンプルデータが十分に有る場合、
本発明にかかる画像認識装置は、物体モデル化実行部に
おいて、入力された画像情報に基づいて、物体の姿勢変
化による見え方の変動と照明条件の変化による見え方の
変動とを分離せずにモデル化を行うことが好ましい。サ
ンプルデータが十分にある場合においては、あえて分離
してモデル化を行うことによって、近似的にモデル化す
る必要はなく、直接的に見え方の変動を求めることがで
きるからである。
【００２８】また、本発明は、上記のような画像認識装
置の機能をコンピュータの処理ステップとして実行する
ソフトウェアを特徴とするものであり、具体的には、撮
影環境の変動による物体の見え方の変化を推定してモデ
ル化する工程と、得られた物体モデルを事前にデータベ
ースへ登録しておく工程とを有し、認識対象となる物体
の画像情報を入力する工程と、事前に登録されている物
体モデルと入力された画像情報を照合して、登録されて
いる物体モデルとの類似度を割り当てる工程と、割り当
てられた物体モデルの中で最も類似していると判断され
た認識対象となる物体の種別を出力する工程とを含み、
物体の相対的な位置及び姿勢を変化させて撮影した複数
の画像情報を入力し、入力された複数の画像情報に基づ
いて将来起こりうる撮影環境変動による物体の見え方の
変化を推定してモデル化する画像認識方法並びにそのよ
うな工程をプログラムとして記録したコンピュータ読み
取り可能な記録媒体であることを特徴とする。
【００２９】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、物体モデル登
録時と入力画像認識時における物体の姿勢の相異による
見え方の変動や照明条件の相異による見え方の変動等に
左右されることなく、登録されている物体モデルとの照
合を精度良く行うことができる画像認識装置を実現する
ことが可能となる。
【００３０】
【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態１にかかる画像認識装置について、図面を参
照しながら説明する。図５は本発明の実施の形態１にか
かる画像認識装置の構成図である。図５において、５１
は画像情報入力部を、５２は物体モデル化実行部を、５
３は物体モデル登録部を、５４は物体モデルデータベー
スを、５５は類似度判断部を、５６は物体認識部を、そ
れぞれ示す。
【００３１】図５において、画像情報入力部５１は、認
識対象となる画像を撮影するカメラや、当該カメラによ
って撮影された写真等を読み込むスキャナ、撮影された
画像を圧縮して磁気記録媒体に保存しているファイルの
読込装置等の、画像情報を入力するために用意された部
分を示している。そして、画像情報入力部５１から入力
された画像情報に基づいて、物体モデル化実行部５２に
おいて認識対象となるべき物体について、モデル化する
ことになる。
【００３２】物体モデル化実行部５２における画像情報
のモデル化手法には種々の方法が考えられる。例えば特
願平１１−１１００２０号においては、上述したように
特徴パラメータを用いて物体モデルを一義的に表す方法
が開示されている。
【００３３】しかし、このようなモデル化手法では、以
下の問題が発生する。まず、モデル化する際に入力する
画像が、一つの物体について一つのみであることから、
光源の位置や照度等の相異によって、同一の物体を同一
のカメラ位置で撮影した場合であっても、異なる物体で
あると誤認識されてしまう可能性が残されるという問題
である。
【００３４】また、光源の位置や照度等が同一であって
も、カメラと物体の位置が相異すれば、同様に異なる物
体であると認識されてしまう可能性が高いという問題で
ある。すなわち、カメラの角度やカメラとの距離が相異
すれば、撮影される画像の大小や角度が大きく変化し、
固有空間上の位置が大きく前後することで、異なる物体
であると誤認識されてしまう可能性が高くなることも十
分に予想されるからである。
【００３５】かかる問題を解決するため、本実施の形態
においては、登録時に、固定された画像情報入力部に対
して物体の姿勢を連続的に変化させて、その連続画像に
基づいて、入力時の環境変動、すなわち照明条件、対象
物体の状態（カメラとの相対姿勢や相対距離）の相異に
よって画像がどのように変化するのかを予測し、当該予
測に基づいた物体モデルを、部分空間として物体モデル
データベース５４に登録する点に特徴を有する。
【００３６】以下、本実施の形態にかかる画像認識装置
におけるモデル化手法について、図６及び図７を参照し
ながら説明する。まず、図６は本実施の形態にかかる画
像認識装置における登録フェーズのモデル化処理の流れ
を示している。
【００３７】図６に示すように、まず画像を入力するの
であるが（ステップＳ６１）、入力するのは一つの画像
自体ではなく、連続した複数の画像である。すなわち、
図７に示すように、顔画像であっても正面から撮影した
画像だけではなく、登録用の画像系列として徐々に首を
振った連続的な画像を入力することになる。
【００３８】次に、入力された画像系列について、各小
領域を連続した複数の画像について追跡することで、連
続した複数の画像から小領域の系列として選択すること
になる（ステップＳ６２）。すなわち、入力された画像
系列について、「目」なら「目」を表す小領域について
小領域系列として選択することになる。
【００３９】そして、選択された小領域系列に基づい
て、部分空間を新たに生成する（ステップＳ６３）。具
体的には、図７に示すように、連続した画像について対
応する部分、例えば顔画像で有れば「目の領域」につい
て、部分空間を同定し、それを窓部分空間と呼ぶ。
【００４０】当該窓部分空間においては、物体の位置や
姿勢等の幾何学的変動や照明の位置や照度等の変動によ
って生じる小領域画像の見え方の変動をカバーしてい
る。このような窓部分空間を、「目の領域」、「鼻の領
域」、・・のように個々の領域に対応して同定し、その
セットを、物体モデルとして物体モデルデータベース５
４に登録する（ステップＳ６４）。
【００４１】次に、入力された画像を実際に認識する際
の処理について図８及び図９を参照しながら説明する。
図８は当該画像認識処理における画像認識処理の流れ図
を示している。
【００４２】図８において、物体モデルデータベース５
４の照会対象となる画像を入力する（ステップＳ８
１）。次に、その画像から顔領域を切り出し（ステップ
Ｓ８２）、さらに、顔領域の中から特徴的な部分である
小領域（窓）を複数選択する（ステップＳ８３）。窓の
選択方法の具体例としては、特願平１１−１１００２０
号において実施形態２で用いられている「エッジ強度」
を用いる方法等が考えられる。そして、図９のように、
各窓の画素値を要素として持つベクトル（窓ベクトル）
を、物体モデルデータベース５４に登録されている各窓
部分空間に射影する（ステップＳ８４）。
【００４３】類似度判断部５５において、窓ベクトルを
窓部分空間に射影したときの垂線の足の長さを計算し、
その長さに基づいて小領域と窓部分空間との類似度を定
義する（ステップＳ８５）。そして、最も当該小領域に
近い窓部分空間を見出し（ステップＳ８６）、かかる部
分空間を有する登録物体モデルを入力画像中の物体の候
補とする。入力画像中のすべての窓について同様の処理
を行い、最終的に物体認識部５６で結果を統合して認識
を行う（ステップＳ８７）。
【００４４】なお、本実施の形態にかかる画像認識装置
におけるモデル化手法においては、光源がどこにあるの
か等はモデル化時点では問わない。しかし、連続画像撮
影時においては光源の位置や角度は変化させないことが
必要条件となる。変化してしまうと、入力時の撮影条件
の変化に対する画像変化の予測計算が困難になるからで
ある。
【００４５】次に、登録時の窓部分空間の同定につい
て、より詳細に説明する。まず、物体表面上の画素に対
応する小領域である面素Ｑiを考える。面素Ｑiは反射係
数ａiを有するランベーシャン面（Lambertian）である
ものと仮定する。ここでランベーシャン面とは、鏡面反
射のない反射面であることを意味する。
【００４６】一般に、登録時と同じ顔を撮影する場合で
あっても、面素Ｑiとカメラ位置の相対関係や照明条件
等が登録時に撮影したときの状況と一致することはまず
あり得ない。したがって、入力時の撮影条件の変化によ
って、対応する窓内の対応する位置の画素値も変化する
ことになる。
【００４７】例えば、窓を固定した座標系において、座
標ベクトルｘにおける変化前の画素値をＩ（ｘ）、変化
後の画素値をＩ’（ｘ）とする。照明変動がないものと
仮定した上で、選択された窓において回転量、サイズ変
化量等が小さい場合には、窓固定座標系において対応す
る点の移動量Δｘは（数１）で表される。なお、（数
１）において、Ａはアフィン変換のパラメータを要素と
して持つ２×２行列を、ｄはアフィン変換のパラメータ
を要素として持つ２×１の列ベクトルを、Ｄ＝Ｉ−Ａに
おいてＩは２×２の単位行列を、それぞれ示す。
【００４８】
【数１】
【００４９】かかるΔｘが微少であるという範囲内で有
ればアフィン変換で近似可能な非剛体変形も取り扱うこ
とが可能となる。移動の前後で画素値が保存されるもの
と仮定して、テイラー展開を行うと、変化後の画素値を
Ｉ’（ｘ）は変化前の画素値Ｉ（ｘ）を用いて（数２）
のように近似できる。
【００５０】
【数２】
【００５１】したがって、変化後の画素値をＩ’（ｘ）
は変化前の画素値をＩ（ｘ）を用いて（数３）のように
表すことができることから、右辺第２項を幾何学的変化
のみに基づいた窓内各画素値の変化量ベクトルΔＩgと
して、（数４）のように整理できる。
【００５２】
【数３】
【００５３】
【数４】
【００５４】以上より、変化量ベクトルΔＩgの自由度
は‘６’であり、窓画像空間における部分空間は（数
５）で表すことができる以下の６つの基底ベクトル
ω1、ω2、ω3、ω4、ω5、ω6で張ることができる。
【００５５】
【数５】
【００５６】一方、照明条件のみが変動する場合につい
て考えると、面素Ｑiのレンズ方向への放射光度Ｌiは
（数６）のように表すことができる。ここで、ベクトル
ｎiは面素Ｑiにおける法線ベクトルを、ベクトルｓは光
線ベクトルを、それぞれ意味する。
【００５７】
【数６】
【００５８】撮影するフォトディテクタの開口面積を
ｂ、ＣＣＤの光電変換特性が線形であると仮定し比例定
数をｋとすると、画素値Ｉ（ｘi）は（数７）のように
表すことができる。
【００５９】
【数７】
【００６０】ここで、ｄはレンズの直径、ｆは焦点距
離、ベクトルｕは光軸方向の単位ベクトル、ベクトルｖ
は面素Ｑiからレンズの中心に向かう単位ベクトルを意
味する。
【００６１】（数７）において、ベクトルｕ、ｂｋ、
ｆ、ｄはカメラが変更されない限り一定であり、窓が十
分に小さい場合にはベクトルｖは窓内のすべての画素に
ついて同一であるものと考えら、ベクトルｓも窓内すべ
ての画素について同一であるものと考えられることか
ら、画素値Ｉ（ｘi）は対応する面素の法線ベクトルｎi
にその面素の反射係数ａiを乗じたベクトルａiｎi＝
（ａiｎix、ａiｎiy、ａiｎiz）Tとベクトルｓとの内積
に共通の係数を乗じたものと考えられる。
【００６２】したがって、画素値Ｉ（ｘi）の自由度は
ベクトルａiｎiの有する自由度である‘３’であり、照
明変動のみの場合の窓画像ベクトルの変動は、（数８）
で表すことができる以下の３つの基底ベクトルνx、
νy、νzで張ることができる３次元の部分空間で表すこ
とができる。
【００６３】
【数８】
【００６４】したがって、照明条件が変化、あるいは画
素Ｑiとカメラ位置の相対関係が変化する場合はベクト
ルω1、ω2、ω3、ω4、ω5、ω6、νx、νy、νzによ
って形成される９次元の部分空間内で変動する。したが
って、画素Ｑiとカメラ位置の相対関係が変化する場合
について十分なサンプルデータを得ることによって、Ｋ
Ｌ変換を用いて９次元の窓部分空間を同定することが可
能となる。
【００６５】一例として、カメラ及び照明を固定して、
面素Ｑiとカメラ位置の相対関係が変化する場合につい
て説明する。まず面素Ｑiが形状変化せずに移動し、そ
の結果として法線ベクトルｎが（ｎ＋Δｎ）に、レンズ
中心への単位ベクトルｖが（ｖ＋Δｖ）に変化したもの
とする。また、面素Ｑの投影位置もベクトルｘtからｘ
に移動したものとする。
【００６６】また、面素Ｑiの投影位置もベクトルｘi＾
からｘiに移動したものとする。変化後の面素Ｑiのレン
ズ方向への表面放射光度Ｌi’は（数６）を用いて（数
９）のように表すことができる。
【００６７】
【数９】
【００６８】したがって、対応する画素の放射照度を求
めることで、画素値Ｉ’（ｘi）は（数１０）のように
表すことができる。ここでΔＩvをカメラとの相対位置
変化に基づく窓内各画素値の変化量ベクトルとし、ΔＩ
nをカメラとの相対位置変化による照明条件変化に基づ
く窓内各画素値の変化量ベクトルとする。
【００６９】
【数１０】
【００７０】ここで、先述した物体とカメラ位置の相対
変化のみによる画素値の変化の関係（数４）を考慮する
と、Ｉ（ｘi＾）＝Ｉ（ｘ）＋ΔＩgと考えることができ
るので、（数１０）は（数１１）のように表すことがで
きる。
【００７１】
【数１１】
【００７２】ここでΔＩgの自由度は‘６’であるのに
対して、ΔＩn及びΔＩvの自由度は‘３’であり、かつ
ΔＩn及びΔＩvの意味する部分空間は結局同一の部分空
間を表していることから、結局変化量ベクトルΔＩ＝
Ｉ’（ｘ）−Ｉ（ｘ）の変動範囲は、最大９次元の部分
空間内であることがわかる。
【００７３】この場合、サイズの変化や物体の回転に代
表される幾何学的な変動について、十分なサンプルデー
タを取得することは現実的には困難である。しかしなが
ら、ベクトルω1、ω2、ω3、ω4、ω5、ω6によって形
成される幾何学的変動に対応する部分空間（以下、「ジ
オメトリック変動部分空間」という。）については、一
枚の小領域のみから推定することが可能である。
【００７４】そこで、サンプルデータに基づいて、まず
ジオメトリック変動部分空間を求め、求めたジオメトリ
ック変動部分空間の成分を取り除いた成分の分布を求め
る。この分布をＫＬ変換することで、νx、νy、νzに
よって形成される測光学的変動に対応する部分空間（以
下、「フォトメトリック変動部分空間」という。）を求
めることができる。こうすることで、任意の部分空間を
ジオメトリック変動部分空間とフォトメトリック変動部
分空間とを用いて表すことが可能となる。
【００７５】また、部分空間の同定には大別して２つの
方法が考えられる。一つはジオメトリック変動部分空間
とフォトメトリック変動部分空間とが直交しているもの
と仮定する方法、今一つは十分なサンプルデータが有る
場合に用いるジオメトリック変動部分空間とフォトメト
リック変動部分空間とを分けずに直接同定する方法であ
る。
【００７６】まず、ジオメトリック変動部分空間とフォ
トメトリック変動部分空間とが直交しているものと仮定
する方法について説明する。初めに、顔画像に関するサ
ンプルデータの収集は、登録対象者に首を振ってもら
い、顔の姿勢を変化させることで行う。
【００７７】基準小領域は、小領域空間にプロットした
一つの小領域変化系列におけるデータ点分布の平均位
置、もしくは変動範囲の中心を基準とし、基準小領域ベ
クトルｘsとして保存する。かかる基準としたのは、サ
ンプルデータの中には偽りのデータも混在し、また幾何
学的変形の線形近似の限界やランベーシャン表面との仮
定からの逸脱、あるいは雑音の存在等によって、本来の
部分空間から逸脱しているデータも存在するからであ
る。
【００７８】求めた基準小領域ベクトルｘsから、ベク
トルω1、ω2、ω3、ω4、ω5、ω6を（数５）に基づい
て計算する。画素値の微分はソーベルフィルタ（Sobel
Filter）の畳み込みによって近似的に計算するものとす
る。
【００７９】このようにベクトルω1、ω2、ω3、ω4、
ω5、ω6が求まることで、ジオメトリック変動部分空間
ベクトルΩを同定することができる。ただし、これらの
ベクトルは必ずしも一次独立とは限らないので、行列Ｇ
＝［ω1、ω2、ω3、ω4、ω 5、ω6］Tを特異値分解す
ることで、部分空間ベクトルΩの正規直交基底ベクトル
ｕp（１≦ｐ≦６）を求める。ｐは行列Ｇの階数であ
る。
【００８０】次に、任意の窓画像ベクトルｘのジオメト
リック変動部分空間Ωと直交する成分は、図１０に従っ
て求めることができる。図１０において、ジオメトリッ
ク変動部分空間Ωの基準画像ベクトルをｘsとし、ベク
トルｘとベクトルｘsとの差をジオメトリック変動部分
空間Ωに直交射影したものをベクトルｘ’とする。
【００８１】ジオメトリック変動部分空間Ωの直交射影
行列Ｐは、正規直交基底ベクトルｕ p（１≦ｐ≦６）を
用いて（数１２）のように表すことができる。
【００８２】
【数１２】
【００８３】また、図６のベクトル関係より、ｘ’＝Ｐ
＊（ｘ−ｘs）である。ここで、記号‘＊’は行列とベ
クトルの乗算を意味するものとする。
【００８４】一方、ジオメトリック変動部分空間Ωの直
交補空間ΩTへの直交射影行列ＱはＱ＝Ｉ−Ｐ（Ｉは単
位行列）と表すことができることから、任意の小領域ベ
クトルｘのジオメトリック変動部分空間Ωと直交する成
分は、（ｘ−ｘs）−ｘ’＝Ｑ＊（ｘ−ｘs）として求め
ることができる。
【００８５】こうして求まったＱ＊（ｘ−ｘs）の分布
からＫＬ展開することによってフォトメトリック変動部
分空間Ψを同定する。まず、小領域変化系列に属する全
ての小領域ベクトルｘjからｙj＝Ｑ＊（ｘj−ｘs）（ｊ
は１≦ｊの自然数）を計算する。そして、（数１３）に
よって、ベクトルｙの自己相関行列Ｒを求める。
【００８６】
【数１３】
【００８７】求まった行列Ｒの固有値・固有ベクトルを
求め、降順にλ1、λ2、・・λNとし、各固有値に対応
する正規直交固有ベクトルをｖ1、ｖ2、・・、ｖNとす
る。ここで、固有値を降順に所定の個数ｎまで加算した
値が固有値の総和に対してしめる割合を累積寄与率と定
義すると、累積寄与率が所定のしきい値を超えたときの
ｑ（個数）を部分空間の次元数と定める。したがって、
フォトメトリック変動部分空間Ψの正規直交基底ベクト
ルはｖ1、ｖ2、・・、ｖqとなる。
【００８８】このように、ジオメトリック変動部分空間
Ωとフォトメトリック変動部分空間Ψが同定されるの
で、これらをベクトル結合することによって環境変動部
分空間Γと窓部分空間Λを同定する。すなわち、（数１
４）のように表すことができる。
【００８９】（数１４） Γ＝Ω＋Ψ Λ＝ｘs＋Γ
【００９０】よって、環境変動部分空間Γの正規直交基
底ベクトルは、ジオメトリック変動部分空間Ωの正規直
交基底ベクトルを並べた行列Ｕ＝［ｕ1、ｕ2、・・、ｕ
p］とフォトメトリック変動部分空間Ψの正規直交基底
ベクトルを並べた行列Ｖ＝［ｖ1、ｖ2、・・、ｖq］に
なる。したがって、ベクトルｗi＝ｕi（ｉは１≦ｉ≦ｐ
の自然数）、ベクトルｗp+j＝ｖj（ｊは１≦ｊ≦ｑの自
然数）として、環境変動部分空間Γの正規直交基底ベク
トルを並べた行列Ｗ＝［ｗ1、ｗ2、・・、ｗr］（ｒ＝
ｐ＋ｑ）を定めることで、環境変動部分空間Γとして部
分空間を定めることが可能となる。
【００９１】次に、十分なサンプルデータが有る場合に
おいては、ジオメトリック変動部分空間とフォトメトリ
ック変動部分空間とを分けずに直接部分空間を同定する
方法を用いる。
【００９２】この方法は、サンプルデータの収集や基準
小領域の決定手法は、上述した方法と同様である。部分
空間の同定は、ベクトル（ｘ−ｘs）の分布から直接Ｋ
Ｌ展開することによって同定する。
【００９３】まず、小領域変化系列に属する全ての小領
域ベクトルｘjからｙj＝Ｑ＊（ｘj−ｘs）（ｊは１≦ｊ
≦Ｍの自然数）を計算する。そして、ジオメトリック変
動部分空間とフォトメトリック変動部分空間とが直交し
ているものと仮定する方法と同様に、（数１３）によっ
てベクトルｙの自己相関行列Ｒを求める。
【００９４】求まった行列Ｒの固有値・固有ベクトルを
求め、降順にλ1、λ2、・・λNとし、各固有値に対応
する正規直交固有ベクトルをｖ1、ｖ2、・・、ｖNとす
る。ここで、固有値を降順に所定の個数ｎまで加算した
値が固有値の総和に対してしめる割合を累積寄与率と定
義すると、累積寄与率が所定のしきい値を超えたときの
ｒ（個数）を部分空間の次元数と定める。したがって、
環境変動部分空間Γの正規直交基底ベクトルを並べた行
列Ｗ＝［ｗ1、ｗ2、・・、ｗr］として部分空間を定め
ることが可能となる。
【００９５】このように、入力された画像と登録されて
いる物体モデルとの照合は、上述した方法のいずれかを
用いて物体モデルを同定することにより、入力された画
像に最も近接した部分空間を同定することによって行わ
れる。
【００９６】以上のように本実施の形態によれば、物体
モデル登録時と入力画像認識時における物体の姿勢の相
異による見え方の変動や照明条件の相異による見え方の
変動等に左右されることなく、登録されている物体モデ
ルとの照合を精度良く行うことが可能となる。
【００９７】また、本発明の実施の形態にかかる画像認
識装置を実現するプログラムを記憶した記録媒体は、図
１１に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１
１２−１やフロッピー（登録商標）ディスク１１２−２
等の可搬型記録媒体１１２だけでなく、通信回線の先に
備えられた他の記憶装置１１１や、コンピュータ１１３
のハードディスクやＲＡＭ等の記録媒体１１４のいずれ
でも良く、プログラム実行時には、プログラムはローデ
ィングされ、主メモリ上で実行される。
【００９８】また、本発明の実施の形態にかかる画像認
識装置により生成された物体モデルデータ等を記録した
記録媒体も、図１１に示す記録媒体の例に示すように、
ＣＤ−ＲＯＭ１１２−１やフロッピーディスク１１２−
２等の可搬型記録媒体１１２だけでなく、通信回線の先
に備えられた他の記憶装置１１１や、コンピュータ１１
３のハードディスクやＲＡＭ等の記録媒体１１４のいず
れでも良く、例えば本発明にかかる画像認識装置を利用
する際にコンピュータ１１３により読み取られる。
【００９９】
【発明の効果】以上のように本発明にかかる画像認識装
置によれば、物体モデル登録時と入力画像認識時におけ
る物体の姿勢の相異による見え方の変動や照明条件の相
異による見え方の変動等に左右されることなく、登録さ
れている物体モデルとの照合を精度良く行うことが可能
となる。
【図面の簡単な説明】
【図１】 従来の画像認識装置における物体モデル登録
処理の流れ図
【図２】 従来の画像認識装置における物体モデル登録
処理の概念図
【図３】 従来の画像認識装置における処理の流れ図
【図４】 従来の画像認識装置における処理の概念図
【図５】 本発明の実施の形態にかかる画像認識装置の
ブロック構成図
【図６】 本発明の実施の形態にかかる画像認識装置に
おける物体モデル登録処理の流れ図
【図７】 本発明の実施の形態にかかる画像認識装置に
おける物体モデル登録処理の概念図
【図８】 本発明の実施の形態にかかる画像認識装置に
おける処理の流れ図
【図９】 本発明の実施の形態にかかる画像認識装置に
おける処理の概念図
【図１０】 ジオメトリック変動部分空間と直交する小
領域ベクトルの求め方の説明図
【図１１】 記録媒体の例示図
【符号の説明】
５１ 画像情報入力部 ５２ 物体モデル化実行部 ５３ 物体モデル登録部 ５４ 物体モデルデータベース ５５ 類似度判断部 ５６ 物体認識部 １１１ 回線先の記憶装置 １１２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型
記録媒体 １１２−１ ＣＤ−ＲＯＭ １１２−２ フロッピーディスク １１３ コンピュータ １１４ コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 北川 博紀 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 長田 茂美 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 2F065 AA04 AA53 BB05 CC16 DD03 FF42 GG01 HH02 JJ03 JJ26 QQ17 QQ24 QQ33 QQ36 QQ38 RR02 RR05 4C038 VA07 VB03 VC05 5B043 AA09 BA04 DA05 EA02 FA07 GA03 GA05 5L096 BA18 CA04 FA67 FA76 JA03 KA13

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 撮影環境の変動による物体の見え方の変
    化を推定してモデル化する物体モデル化実行部と、 前記物体モデル化実行部において得られた物体モデルを
    事前にデータベースへ登録しておく物体モデル登録部と
    を有し、 認識対象となる物体の画像情報を入力する画像情報入力
    部と、 前記物体モデル登録部において事前に登録されている前
    記物体モデルと入力された前記画像情報を照合して、登
    録されている前記物体モデルとの類似度を割り当てる類
    似度判断部と、 割り当てられた前記物体モデルの中で最も類似している
    と判断された前記認識対象となる物体の種別を出力する
    物体認識部とを含み、 前記物体モデル化実行部において、固定された前記画像
    情報入力部に対する前記物体の相対的な位置及び姿勢を
    変化させて撮影した複数の前記画像情報を入力し、前記
    入力された複数の前記画像情報に基づいて将来起こりう
    る撮影環境変動による前記物体の見え方の変化を推定し
    てモデル化することを特徴とする画像認識装置。
  2. 【請求項２】 前記認識対象となる物体の表面特性とし
    てランバーシャン反射モデルを仮定する請求項１記載の
    画像認識装置。
  3. 【請求項３】 前記画像情報入力部において、画像から
    前記認識対象となる物体が存在する部分を切り出し、切
    り出された部分画像を用いて前記認識対象となる物体の
    モデル化を行う請求項１記載の画像認識装置。
  4. 【請求項４】 前記画像情報入力部において、画像から
    前記認識対象となる物体中の特徴的な小領域を選択し、
    選択された前記小領域に含まれる情報と前記小領域の配
    置情報に基づいて前記認識対象となる物体のモデル化を
    行う請求項１記載の画像認識装置。
  5. 【請求項５】 入力された前記画像情報に基づいて、前
    記物体の姿勢変化による見え方の変動と照明条件の変化
    による見え方の変動とを分離してモデル化を行う請求項
    １から４のいずれか一項に記載の画像認識装置。
  6. 【請求項６】 前記物体モデル化実行部において、入力
    された前記画像情報に基づいて、前記物体の姿勢変化に
    よる見え方の変動と照明条件の変化による見え方の変動
    とを分離せずにモデル化を行う請求項１から４のいずれ
    か一項に記載の画像認識装置。
  7. 【請求項７】 撮影環境の変動による物体の見え方の変
    化を推定してモデル化する工程と、 得られた物体モデルを事前にデータベースへ登録してお
    く工程とを有し、 認識対象となる物体の画像情報を入力する工程と、 事前に登録されている前記物体モデルと入力された前記
    画像情報を照合して、登録されている前記物体モデルと
    の類似度を割り当てる工程と、 割り当てられた前記物体モデルの中で最も類似している
    と判断された前記認識対象となる物体の種別を出力する
    工程とを含み、 前記物体の相対的な位置及び姿勢を変化させて撮影した
    複数の前記画像情報を入力し、前記入力された複数の前
    記画像情報に基づいて将来起こりうる撮影環境変動によ
    る前記物体の見え方の変化を推定してモデル化すること
    を特徴とする画像認識方法。
  8. 【請求項８】 撮影環境の変動による物体の見え方の変
    化を推定してモデル化するステップと、 得られた物体モデルを事前にデータベースへ登録してお
    くステップとを有し、 認識対象となる物体の画像情報を入力するステップと、 事前に登録されている前記物体モデルと入力された前記
    画像情報を照合して、登録されている前記物体モデルと
    の類似度を割り当てるステップと、 割り当てられた前記物体モデルの中で最も類似している
    と判断された前記認識対象となる物体の種別を出力する
    ステップとを含み、 前記物体の相対的な位置及び姿勢を変化させて撮影した
    複数の前記画像情報を入力し、前記入力された複数の前
    記画像情報に基づいて将来起こりうる撮影環境変動によ
    る前記物体の見え方の変化を推定してモデル化すること
    を特徴とするコンピュータに実行させるプログラムを記
    録したコンピュータ読み取り可能な記録媒体。
JP2000123604A 2000-04-25 2000-04-25 画像認識装置及び方法 Expired - Fee Related JP4443722B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000123604A JP4443722B2 (ja) 2000-04-25 2000-04-25 画像認識装置及び方法
US09/772,924 US6888955B2 (en) 2000-04-25 2001-01-31 Picture recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000123604A JP4443722B2 (ja) 2000-04-25 2000-04-25 画像認識装置及び方法

Publications (2)

Publication Number Publication Date
JP2001307096A true JP2001307096A (ja) 2001-11-02
JP4443722B2 JP4443722B2 (ja) 2010-03-31

Family

ID=18633881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000123604A Expired - Fee Related JP4443722B2 (ja) 2000-04-25 2000-04-25 画像認識装置及び方法

Country Status (2)

Country Link
US (1) US6888955B2 (ja)
JP (1) JP4443722B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003083774A1 (fr) * 2002-03-29 2003-10-09 Nec Corporation Creation de metadonnees faciales
JP2007521550A (ja) * 2003-06-30 2007-08-02 本田技研工業株式会社 顔認識システム及び方法
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2009053842A (ja) * 2007-08-24 2009-03-12 Aruze Corp 画像処理装置
US7593551B2 (en) 2001-12-14 2009-09-22 Nec Corporation Face meta-data generation and face similarity calculation
WO2010018669A1 (ja) 2008-08-11 2010-02-18 オムロン株式会社 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
WO2011143633A3 (en) * 2010-05-14 2012-02-16 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
CN108931209A (zh) * 2018-05-04 2018-12-04 长春理工大学 一种高适应性的彩色物体三维重建方法
CN109492121A (zh) * 2018-09-30 2019-03-19 深圳壹账通智能科技有限公司 智能识别图片的方法、装置、服务器及存储介质

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
DE60226754D1 (de) * 2001-09-25 2008-07-03 Matsushita Electric Ind Co Ltd Parameterschätzvorrichtung und datenkollationsvorrichtung
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US20060030985A1 (en) * 2003-10-24 2006-02-09 Active Recognition Technologies Inc., Vehicle recognition using multiple metrics
WO2006002320A2 (en) * 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
WO2008091483A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
EP1897033A4 (en) 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
WO2008091485A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Systems and methods for providing personal video services
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8553782B2 (en) 2007-01-23 2013-10-08 Euclid Discoveries, Llc Object archival systems and methods
WO2008104549A2 (en) * 2007-02-28 2008-09-04 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
JP4970557B2 (ja) 2007-03-05 2012-07-11 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド デジタル画像取込装置における顔検索及び検出
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN102027505A (zh) 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
JP5567021B2 (ja) * 2008-10-07 2014-08-06 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
JP5524692B2 (ja) * 2010-04-20 2014-06-18 富士フイルム株式会社 情報処理装置および方法ならびにプログラム
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP6013178B2 (ja) * 2012-12-28 2016-10-25 株式会社東芝 画像処理装置および画像処理方法
CN105359188B (zh) * 2013-07-01 2019-04-16 日本电气方案创新株式会社 属性估计系统
US9514354B2 (en) * 2013-12-18 2016-12-06 International Business Machines Corporation Facial analysis by synthesis and biometric matching
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN110532113B (zh) * 2019-08-30 2023-03-24 北京地平线机器人技术研发有限公司 信息处理方法、装置、计算机可读存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715325A (en) * 1995-08-30 1998-02-03 Siemens Corporate Research, Inc. Apparatus and method for detecting a face in a video image
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US5815325A (en) * 1996-10-31 1998-09-29 Eastman Kodak Company Optical assembly with drive linkage for a movable lens element
JPH10228543A (ja) 1996-12-11 1998-08-25 Matsushita Electric Ind Co Ltd パターン照合装置
JP3577908B2 (ja) 1997-09-04 2004-10-20 富士通株式会社 顔画像認識システム
JP2000306095A (ja) 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593551B2 (en) 2001-12-14 2009-09-22 Nec Corporation Face meta-data generation and face similarity calculation
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
KR100731937B1 (ko) * 2002-03-29 2007-06-25 닛본 덴끼 가부시끼가이샤 얼굴 메타 데이터 생성
WO2003083774A1 (fr) * 2002-03-29 2003-10-09 Nec Corporation Creation de metadonnees faciales
JP2010282640A (ja) * 2003-06-30 2010-12-16 Honda Motor Co Ltd 顔認識システム及び方法
US7783082B2 (en) 2003-06-30 2010-08-24 Honda Motor Co., Ltd. System and method for face recognition
JP2007521550A (ja) * 2003-06-30 2007-08-02 本田技研工業株式会社 顔認識システム及び方法
JP2009053842A (ja) * 2007-08-24 2009-03-12 Aruze Corp 画像処理装置
WO2010018669A1 (ja) 2008-08-11 2010-02-18 オムロン株式会社 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム
US8774456B2 (en) 2008-08-11 2014-07-08 Omron Corporation Detective information registration device and target object detection device for detecting an object in an image
EP2892027A1 (en) 2008-08-11 2015-07-08 Omron Corporation Detective information registration device, method of controlling detective information registration device and control program for detective information registration device
WO2011143633A3 (en) * 2010-05-14 2012-02-16 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
CN108931209A (zh) * 2018-05-04 2018-12-04 长春理工大学 一种高适应性的彩色物体三维重建方法
CN109492121A (zh) * 2018-09-30 2019-03-19 深圳壹账通智能科技有限公司 智能识别图片的方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
US6888955B2 (en) 2005-05-03
US20010038714A1 (en) 2001-11-08
JP4443722B2 (ja) 2010-03-31

Similar Documents

Publication Publication Date Title
JP2001307096A (ja) 画像認識装置及び方法
Narzillo et al. Peculiarities of face detection and recognition
US7995805B2 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
JP4505733B2 (ja) テクストンを用いる対象物認識方法及び装置
JP5174045B2 (ja) 分類器チェーンを用いた照明検出
US8300950B2 (en) Image processing apparatus, image processing method, program, and storage medium
US8542887B2 (en) Object identification apparatus and object identification method
US9053388B2 (en) Image processing apparatus and method, and computer-readable storage medium
JP5010905B2 (ja) 顔認証装置
JP4604439B2 (ja) 画像処理装置及び画像処理方法、並びに記録媒体
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
US20040252882A1 (en) Object recognition using binary image quantization and Hough kernels
US20070177807A1 (en) Method and device for collating biometric information
JP5675145B2 (ja) パターン認識装置及びパターン認識方法
JP2003323622A (ja) 画像認識システム及びその認識方法並びにプログラム
KR20160058129A (ko) 홍채 기반 생체 인식을 위한 방법 및 장치
JP5241606B2 (ja) オブジェクト識別装置及びオブジェクト識別方法
WO2019102608A1 (en) Image processing device, image processing method, and image processing program
WO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP2012221061A (ja) 画像認識装置、画像認識方法、及びプログラム
JP2008251039A (ja) 画像認識システム及びその認識方法並びにプログラム
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
Sahbi et al. Robust face recognition using dynamic space warping
JPH1185988A (ja) 顔画像認識システム
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100113

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees