JP2000306099A - 三次元物体の認識方法及びシステム、記録媒体 - Google Patents

三次元物体の認識方法及びシステム、記録媒体

Info

Publication number
JP2000306099A
JP2000306099A JP11112834A JP11283499A JP2000306099A JP 2000306099 A JP2000306099 A JP 2000306099A JP 11112834 A JP11112834 A JP 11112834A JP 11283499 A JP11283499 A JP 11283499A JP 2000306099 A JP2000306099 A JP 2000306099A
Authority
JP
Japan
Prior art keywords
image
recognition
dimensional
known object
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11112834A
Other languages
English (en)
Inventor
Naoki Takegawa
直樹 武川
Ei Sakano
鋭 坂野
Satoshi Haruyama
智 春山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP11112834A priority Critical patent/JP2000306099A/ja
Publication of JP2000306099A publication Critical patent/JP2000306099A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 物体の姿勢変化や照明の変化に影響されず
に、物体の認識を行うことができる物体認識システムを
提供する。 【解決手段】 単一光源のもとで異なる姿勢で撮影され
た三次元の既知物体についての複数の二次元画像の各々
からそれぞれ既知物体に特有の特徴点に基づいて生成さ
れた複数の基底画像を物体毎に基底画像DB16に登録
しておく。認識時には、未知画像が映っている入力画像
に相当する既知物体毎の合成画像を合成画像生成部25
で生成する。画像比較部26及び認識処理部27は、入
力画像と合成画像とを比較し、未知物体が既知物体のい
ずれかと同一かどうかを判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像認識技術に属
し、例えば光の照射方向や撮影時の物体の姿勢の相違の
ような変動要因にロバストな三次元物体の認識技術に関
する。
【0002】
【従来の技術】三次元物体を様々な方向から撮影し、こ
れにより得られた二次元画像をもとに辞書画像を作成
し、この辞書画像と入力画像とを比較することで未知物
体の認識を行う物体認識システムが知られている。この
種の物体認識システムでは、図8に示すように、いろん
な向きの既知物体(A〜D)の画像をそれぞれ複数枚登
録しておく。これらの複数の登録画像に対して、主成分
分析等の統計処理を行い、向きの変動を考慮した辞書画
像を生成する。未知物体が映っている認識対象画像が入
力されたときは、その認識対象画像の特徴がどの既知物
体の辞書画像に最も近いかを判定することで、物体認識
を行う。図示の例において、認識対象画像が物体Cの辞
書画像に最も近ければ、その認識対象画像は、物体Cを
撮影した画像と判定される。
【0003】このような物体認識方法については、例え
ば、「H.Murase and S.Nayer,"Visual Leaning and rec
ognition of 3D objects from appearance" internatio
nalJournal of Computer Vision,14:5-24,1995」あるい
は、「M.Turk and A.P.Pentland,"Face recognition us
ing eigenfaces"Proc.Computer Vision and PatternRec
ongnition 11,pp.453-458,1993」の記載を参考にするこ
とができる。
【0004】
【発明が解決しようとする課題】従来の物体認識システ
ムでは、辞書画像と同一条件で撮影された認識対象画像
が入力されることが前提となる。そのため、未知物体の
姿勢や光源が、既知物体の撮影時と異なる場合は、それ
を撮影して得た認識対象画像が辞書画像と一致しなくな
り、本来は認識されるべき物体が正しく認識されない。
このように、従来、物体認識精度を一定値以上に保つた
めには、物体に対する光源が一定の場合やその物体が姿
勢が変化しない場合に限られる等、使用環境が著しく制
約されてしまうという問題があった。
【0005】そこで本発明の課題は、変動要因にロバス
トな物体認識を可能にする三次元物体の認識方法を提供
することにある。本発明の他の課題は、三次元物体の認
識方法の実施に適した認識システム及び記録媒体を提供
することにある。
【0006】
【課題を解決するための手段】本発明の三次元物体の認
識方法は、単一光源のもとで異なる姿勢で撮影された三
次元の既知物体についての複数の画像を物体毎に登録し
ておき、未知物体が映っている認識対象画像の入力を契
機に、前記未知物体と相対的に同一位置関係となる既知
物体についての特徴をそれぞれ当該既知物体全体につい
て合成して合成画像を生成し、各既知物体についての合
成画像と前記認識対象画像とを比較することで、物体認
識を行うことを特徴とする。
【0007】例えば、以下の過程を経ることによって、
物体撮影時の変動要因を吸収する。 (1)単一光源のもとで三次元の既知物体を異なる姿勢
で撮影して得た複数の二次元画像を取得する過程、
(2)前記複数の二次元画像の各々から前記既知物体に
特有の特徴点をその位置情報と共に抽出する過程、
(3)1つの二次元画像における前記特徴点及び位置情
報を基準として他の二次元画像における前記特徴点の変
位を検出する過程、(4)前記変位している特徴点のみ
について前記二次元画像の輝度値に基づく基底画像を生
成するとともに各基底画像の線形結合係数を導出する過
程、(5)前記基底画像及び線形結合係数に基づいて前
記特徴点を含む画像全体の複数の基底画像を再生成し、
再生成した各基底画像をその既知物体の識別データと共
に保持する過程、(6)未知物体が映っている認識対象
画像から前記既知物体に対応する前記未知物体に特有の
特徴点の位置情報を抽出する過程、(7)前記抽出され
た未知物体について特徴点の位置情報に基づき、前記基
準として用いた1つの二次元画像内の既知物体の姿勢位
置を基準とした未知物体の姿勢変位量を検出する過程、
(8)前記検出した姿勢変位に対応する特徴点が含まれ
る前記既知物体の基底画像を読み出し、読み出した基底
画像と前記認識対象画像との内積により線形結合係数を
導出し、さらに、この線形結合係数と前記読み出した基
底画像とから当該特徴点を含む既知物体の全領域の合成
画像を生成する過程、(9)この合成画像と前記認識対
象画像との一致性の程度、例えば前記合成画像と前記認
識対象画像とを対応画素ごとに比較し、画素輝度の差分
の2乗和がどうの程度かを判定し、この2乗和が一定値
以下のときに、前記未知物体が当該合成画像に対応する
既知物体と認識する過程。
【0008】前記複数の二次元画像は、例えば、照明条
件が既知である光源及び撮影機を固定した状態で前記既
知物体を変位させながら前記撮影機で撮影された画像で
ある。好ましくは、個々の既知物体の前後左右から撮影
し、各々の画像から前記光源に基づく輝度抽出が可能な
ようにする。
【0009】上記他の課題を解決する本発明の三次元物
体の認識システムは、単一光源のもとで異なる姿勢で撮
影された三次元の既知物体についての複数の二次元画像
の各々からそれぞれ当該既知物体に特有の特徴点に基づ
いて生成された複数の基底画像を物体毎に保持する画像
保持手段と、未知画像が映っている認識対象画像の入力
を契機に、当該認識対象画像に対する前記保持された基
底画像の線形結合係数を導出するとともに各基底画像を
前記線形結合係数で重み付けして前記認識対象画像に相
当する既知物体毎の合成画像を生成する合成画像生成手
段と、前記認識対象画像と前記生成された合成画像とを
比較することにより前記未知物体が前記既知物体と同一
であるかどうかを認識する画像認識手段とを有すること
を特徴とする。
【0010】より具体的には、光の照射方向及び姿勢の
変動を考慮した参照用の物体画像に関わる情報を登録す
る辞書登録装置と、辞書登録装置に登録された情報を用
いて未知物体が映った認識対象画像の認識を行う画像認
識装置とを具えて物体認識システムを構成する。前記辞
書登録装置は、同一の既知物体について異なる姿勢で撮
影された複数の二次元画像の各々から前記既知物体に特
有の特徴点をその位置情報と共に抽出する特徴点抽出手
段と、1つの二次元画像における前記特徴点及び位置情
報を基準として他の二次元画像における前記特徴点の変
位を検出する変位検出手段と、前記変位している特徴点
のみについて前記二次元画像の輝度値に基づく基底画像
を生成するとともに各基底画像の線形結合係数を導出す
る係数等推定手段と、前記基底画像及び線形結合係数に
基づいて前記特徴点を含む画像全体の複数の基底画像を
生成する基底画像導出手段と、生成された各基底画像を
その既知物体の識別データと共に保持する画像保持手段
とを含んで構成される。また、前記画像認識装置は、前
記認識対象画像から前記既知物体に対応する前記未知物
体に特有の特徴点の位置情報を抽出する特徴点抽出手段
と、前記抽出された未知物体について特徴点の位置情報
に基づき、前記基準として用いた1つの二次元画像内の
既知物体の姿勢位置を基準とした未知物体の姿勢変位量
を検出する姿勢変位量検出手段と、前記未知物体の姿勢
変位量に対応する特徴点が含まれる前記既知物体の基底
画像を読み出し、読み出した基底画像と前記認識対象画
像との内積により線形結合係数を導出する係数等推定手
段と、この線形結合係数と前記読み出した基底画像とか
ら当該特徴点を含む既知物体の全領域の合成画像を生成
する合成画像生成手段と、この合成画像と前記認識対象
画像との一致性の程度を判定することにより物体認識を
行う認識手段とを含んで構成される。
【0011】上記他の課題を解決する本発明の記録媒体
は、単一光源のもとで位置を変えて撮影された既知物体
の複数の画像を物体毎に登録しておく処理、未知物体が
映っている認識対象画像を入力する処理、前記認識対象
画像の入力を契機に、前記未知物体と相対的に同一位置
関係となる既知物体についての特徴をそれぞれ当該既知
物体全体について合成して合成画像を生成する処理、各
既知物体についての合成画像と前記認識対象画像とを比
較することで、物体認識を行う処理を、コンピュータに
実行させるためのプログラムコードが記録された、コン
ピュータ読み取り可能な記録媒体である。
【0012】
【発明の実施の形態】次に、図面を参照して本発明の実
施の形態を詳細に説明する。図1は、本発明を適用した
物体認識システムの構成図である。この物体認識システ
ム1は、例えばパーソナルコンピュータやワークステー
ション等のコンピュータ(あるいはコンピュータシステ
ム)により実現されるもので、大別して、辞書登録装置
10と画像認識装置20とを有している。
【0013】<辞書登録装置>辞書登録装置10は、光
の照射方向及び物体姿勢の変動を考慮した参照用の既知
物体に関わる情報を登録するものである。ここでは、図
2に示したように、照明条件が既知の単一光源40及び
撮影機50を固定し、既知物体30を動かしながら撮影
することで、複数の二次元モノクロ画像、つまり登録用
の濃淡画像を得る。これらの登録用画像は、画像入力部
11を通じて辞書登録装置10に入力される。登録用画
像は、個々の既知物体ごとにそれぞれ前後左右で全方向
を表す4枚とし、これらの4枚の登録用画像をIj(j
=1〜4)とする。
【0014】特徴点抽出部12は、これらの登録用画像
Ijからその既知物体に特有の特徴点を抽出する。例え
ば、既知物体の表面部の右端(座標X1,Y1:特徴番
号#1)、その表面部の中央(座標X2,Y2:特徴番
号#2)、その表面部の左端(座標X3,Y3:特徴番
号#3)・・・のように抽出する。既知物体が人間の顔
の場合は、特徴点を右目、左目、鼻・・・のように選定
することができる。
【0015】運動パラメータ推定部13は、特徴番号と
それらの位置情報とにより、最初の登録用画像I1を基
準として、残りの登録用画像I2〜I4間で、既知物体の
回転パラメータMj(j=2,3,4)と移動パラメータtjと
を算出し、出力する。この運動パラメータからは、既知
物体の姿勢を変位させた後の任意の既知画像の座標を求
めることができる。つまり、回転パラメータMj、移動
パラメータtjと最初の登録用画像(以下、「基準画
像」と称する場合がある)I1の特徴点の座標から、任
意の登録用画像Ij上での特徴点の座標が計算できる。
例えば、2枚目の登録用画像I2上での「物体の表面の
中央」の座標は、基準画像I1上での「物体の表面の中
央」の座標と回転パラメータM2、移動パラメータt2か
ら計算できる。
【0016】ところで、登録用画像I1〜I4は、それぞ
れ画素(点)の集合であり、各画素は、画素の色の値
(ディジタル値)で表されるので、登録用画像I1〜I4
は、碁盤目状に並んだ数字の羅列で表される。このと
き、碁盤目状の各数字を左上から辿って一列に並べてや
ることを考えると、例えば横640画素、縦480画素
の画像ならば、640×480個の一列の数字の羅列と
なる。これを640×480次元の一次元配列と考え、
計算の便宜上、640×480次元のベクトルと考え
る。本実施形態で扱っている登録用画像I1〜I4は濃淡
画像であるから、各画素の値は輝度値のみであり、64
0×480次元の「輝度を表すベクトルI」となる。そ
こで係数等推定部14で、上記特徴点のみについて3枚
の画像から「ベクトルI=ベクトルBa」の関係に基づ
いて、3枚の基底画像Bと係数(線形結合係数)ベクト
ルaを求める。但し、ベクトルIは、3枚の画像の輝度
を表すベクトル、ベクトルBは反射率と物体の法線方向
ベクトルの積を表すものである。
【0017】基底画像生成部15は、先に得られた特徴
点の基底画像B(ベクトル)と係数ベクトルaが特徴点
以外でも適用できるとみなし、4枚の登録用画像を用い
て、密な基底画像3枚を求める。基底画像DB(データ
ベース)16は、得られた基底画像を、その物体の名称
と共に保存するものであり、出力部17は、辞書データ
(基底画像と物体の名称)を出力するものである。
【0018】なお、運動パラメータ及び基底画像の求め
方については、例えば「A.Maki,M.Watanabe and C.Wile
s,"Geotensity:Combining motion and lighting for 3-
D surface reconstruction" Proc.International Confe
rence on computer Vision 1998,pp.1053-1060(Jan.199
8) 第4章」に詳細に記載されている。この文献は、三
次元物体の奥行きを含む形状推定を行うための技術を紹
介した論文であるが、ここで紹介された要素技術の一部
は、本実施形態の物体認識システム1にも適用が可能な
ものである。
【0019】<画像認識装置>画像認識装置20は、辞
書登録装置10に登録されている情報、例えば基底画像
を用いて未知物体が映った認識対象画像の認識を行うも
ので、認識対象画像を入力する画像入力部21、入力さ
れた認識対象画像の特徴点の位置情報を検出する特徴点
検出部22、認識対象画像の運動パラメータを推定する
運動パラメータ推定部23、係数ベクトルを推定する係
数等推定部24、既知物体ごとの合成画像を生成する合
成画像生成部25、各既知物体の合成画像と認識対象画
像とを比較する画像比較部26、物体認識を行う認識処
理部27、辞書データ入力部28、出力部29の機能を
有している。
【0020】特徴点抽出部22は、辞書登録装置10の
特徴点抽出部12と同一機能のものであり、複雑な構造
の未知物体を対象とする場合には、形状抽出とパターン
照合の組み合わせによってその特徴点の位置情報を抽出
する。この機能については、電子情報通信学会論文紙
(D-II、福井和弘ほか、「形状抽出とパターン照合の組
み合わせによる顔特徴点抽出」Vol.J80-DII No.8 pp.21
70-2177(1997年8月))の記載を参考にすることができ
る。
【0021】運動パラメータ推定部23も辞書登録装置
10の運動パラメータ推定部13と同一機能のものであ
る。係数等推定部24は、回転パラメータMj、移動パ
ラメータtjによって対応付けられた特徴点において、
辞書データ入力部28を介して基底辞書DB16から取
得した基底画像と認識対象画像との内積により係数ベク
トルを求めるものである。
【0022】合成画像生成部25は、運動パラメータ推
定部23で求めた係数ベクトルと基底画像とに基づい
て、認識対象画像と同じ撮影条件であることが推定され
る登録用画像中における既知物体の全領域の合成画像を
生成するものである。
【0023】画像比較部26は、認識対象画像と合成画
像とを比較するものである。同一の物体であれば、光源
の環境が異なっていても、その画像は、原理的に一致す
る。そこで、ここでは、認識対象画像と合成画像とを対
応する画素毎に比較し、その輝度の差分の2乗和を計算
して出力する。認識処理部27は、差分2乗和がその物
体として判断するために事前に決められたある閾値より
小さいとき、辞書に登録されている物体と判定し、大き
いときは異なるものと判定し、この判定結果を出力部2
9を介して外部装置に出力するものである。
【0024】<認識処理>次に、辞書登録装置10に登
録された画像を用いて画像認識装置20において行う物
体認識処理について説明する。この物体認識処理の概要
は、図3に示すとおりであり、認識対象画像と各既知画
像についての合成画像との類似性を判定するものであ
る。この場合の画像認識装置20が行う処理は、図4に
示すとおりである。
【0025】図4において、まず、認識対象画像を画像
入力部21で受け付ける(ステップS101)。この認
識対象画像は、未知物体をある姿勢で撮影して得た1枚
の画像である。特徴点抽出部22は、この認識対象画像
から未知物体に特有の特徴点を複数抽出する(ステップ
S102)。抽出結果は、各特徴点の特徴番号と認識対
象画像上の位置情報として運動パラメータ推定部23に
出力される(ステップS103)。
【0026】運動パラメータ推定部23は、特徴番号と
それらの位置情報とにより、基底画像DB16中にある
基準画像I1の既知物体の位置姿勢を基準として、認識
対象画像中の未知物体についての回転パラメータM(ベ
クトル)と移動パラメータt(ベクトル)とを算出す
る。これにより、基準画像における既知物体に対する認
識対象画像における未知物体の特徴点の変位量が判る。
回転パラメータM等は係数等推定部24に出力される
(ステップS104)。
【0027】係数等推定部24は、回転パラメータM等
によって対応付けられた特徴点において、基底画像DB
16より取得した基底画像と認識対象画像との内積によ
り、係数ベクトルを求める(ステップS105)。この
係数ベクトルと基底画像とに基づいて、合成画像生成部
25で各既知物体の全領域の合成画像を生成する(ステ
ップS106)。
【0028】これらの合成画像は、合成画像比較部25
でそれぞれ認識対象画像と対応する画素ごとに比較され
る(ステップS107)。画像認識処理部27は、各画
素における輝度の差分2乗和が閾値よりも小さいとき
は、未知物体が基底辞書DB16に登録されている既知
物体であると認識する(ステップS108:Yes、S1
09)。一方、差分2乗和が閾値より大きいときは、該
当する既知物体がないと判定する(ステップS108:
No、S110)。
【0029】このように、本実施形態の物体認識システ
ム1では、撮影時の未知物体の姿勢が既知物体と異なっ
たり、あるいは、未知物体を照らしている照明の条件
が、既知物体の場合と異なっていても、同じ条件と推定
される画像を合成した合成画像と比較することにより、
未知物体を正しく認識できるようになる。
【0030】なお、本実施形態の物体認識システム1に
おける上述の各機能ブロックあるいはそれらによる処理
は、前述のコンピュータ(あるいはコンピュータシステ
ム)が、所定のプログラムコードを読み込んで実行する
ことにより実現される。このプログラムコードは、通
常、コンピュータが備える記憶装置に格納され、そのコ
ンピュータのCPUに随時読み取られて実行されるよう
になっている。但し、コンピュータにおいて上記各機能
ブロックを形成できれば、本発明を実施することができ
るので、その記録形態は任意であって良い。例えば、コ
ンピュータとは分離可能なCD−ROMやFD等の可搬
性記録媒体、あるいはネットワークに接続されたプログ
ラムサーバ等に記録され、使用時に読み込まれて、上記
コンピュータの記憶装置にインストールされて随時実行
に供されるようにしても良い。
【0031】また、上記機能ブロック及びそれによる処
理は、コンピュータが搭載したOSや他のAPにその一
部を代行させたり、あるいはOS等の機能を一部利用す
ることによって実現されるものであっても良い。この場
合は、上記プログラムコードと共に、あるいはプログラ
ムコード内にOS等の機能の一部を呼び出すためのコー
ド情報を上記可搬性記録媒体等に記録しておく。
【0032】
【発明の効果】以上の説明から明らかなように、本発明
によれば、変動要因にロバストな物体の認識が可能にな
るという、特有の効果がある。
【図面の簡単な説明】
【図1】本発明を適用した物体認識システムの構成図。
【図2】既知物体ごとの登録用画像を撮影する際の状態
を示した説明図。
【図3】本実施形態の物体認識システムによる認識処理
の概要図。
【図4】本実施形態による画像認識装置の処理手順図。
【図5】従来の物体認識システムによる認識処理の概要
図。
【符号の説明】
1 物体認識システム 10 辞書登録装置 11 画像入力部 12 特徴点検出部 13 運動パラメータ推定部 14 係数等推定部 15 基底画像生成部 16 基底画像DB 17 辞書データ出力部 20 画像認識装置 21 画像入力部 22 特徴点検出部 23 運動パラメータ推定部 24 係数等推定部 25 合成画像生成部 26 画像比較部 27 認識処理部 28 辞書データ入力部 29 出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 春山 智 東京都江東区豊洲三丁目3番3号 株式会 社エヌ・ティ・ティ・データ内 Fターム(参考) 2F065 AA51 BB05 FF01 FF04 JJ03 QQ31 UU05 5B057 AA20 BA02 CA02 CA08 CA12 CA16 DA11 DB03 DB05 DB09

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 単一光源のもとで異なる姿勢で撮影され
    た三次元の既知物体についての複数の画像を物体毎に登
    録しておき、 未知物体が映っている認識対象画像の入力を契機に、前
    記未知物体と相対的に同一位置関係となる既知物体につ
    いての特徴をそれぞれ当該既知物体全体について合成し
    て合成画像を生成し、 各既知物体についての合成画像と前記認識対象画像とを
    比較することで、物体認識を行うことを特徴とする、 三次元物体の認識方法。
  2. 【請求項2】 単一光源のもとで三次元の既知物体を異
    なる姿勢で撮影して得た複数の二次元画像を取得する過
    程と、 前記複数の二次元画像の各々から前記既知物体に特有の
    特徴点をその位置情報と共に抽出する過程と、 1つの二次元画像における前記特徴点及び位置情報を基
    準として他の二次元画像における前記特徴点の変位を検
    出する過程と、 前記変位している特徴点のみについて前記二次元画像の
    輝度値に基づく基底画像を生成するとともに各基底画像
    の線形結合係数を導出する過程と、 前記基底画像及び線形結合係数に基づいて前記特徴点を
    含む画像全体の複数の基底画像を再生成し、再生成した
    各基底画像をその既知物体の識別データと共に保持する
    過程と、 未知物体が映っている認識対象画像から前記既知物体に
    対応する前記未知物体に特有の特徴点の位置情報を抽出
    する過程と、 前記抽出された未知物体について特徴点の位置情報に基
    づき、前記基準として用いた1つの二次元画像内の既知
    物体の姿勢位置を基準とした未知物体の姿勢変位量を検
    出する過程と、 前記検出した姿勢変位に対応する特徴点が含まれる前記
    既知物体の基底画像を読み出し、読み出した基底画像と
    前記認識対象画像との内積により線形結合係数を導出
    し、さらに、この線形結合係数と前記読み出した基底画
    像とから当該特徴点を含む既知物体の全領域の合成画像
    を生成する過程と、 この合成画像と前記認識対象画像との一致性の程度を判
    定することにより物体認識を行う過程とを含む、三次元
    物体の認識方法。
  3. 【請求項3】 前記複数の二次元画像は、照明条件が既
    知である光源及び撮影機を固定した状態で前記既知物体
    を変位させながら前記撮影機で撮影された画像であるこ
    とを特徴とする、 請求項2記載の認識方法。
  4. 【請求項4】 前記複数の二次元画像は、個々の既知物
    体の前後左右から撮影して得た少なくとも4つの画像で
    あり、各々の画像から前記光源に基づく輝度抽出が可能
    なものであることを特徴とする、 請求項2又は3記載の認識方法。
  5. 【請求項5】 前記物体認識を行う過程は、前記認識対
    象画像と前記合成画像とを対応画素ごとに比較し、画素
    輝度の差分の2乗和が一定値以下のときに、前記未知物
    体が当該合成画像に対応する既知物体と認識する過程で
    あることを特徴とする、 請求項2記載の認識方法。
  6. 【請求項6】 単一光源のもとで異なる姿勢で撮影され
    た三次元の既知物体についての複数の二次元画像の各々
    からそれぞれ当該既知物体に特有の特徴点に基づいて生
    成された複数の基底画像を物体毎に保持する画像保持手
    段と、 未知画像が映っている認識対象画像の入力を契機に、当
    該認識対象画像に対する前記保持された基底画像の線形
    結合係数を導出するとともに各基底画像を前記線形結合
    係数で重み付けして前記認識対象画像に相当する既知物
    体毎の合成画像を生成する合成画像生成手段と、 前記認識対象画像と前記生成された合成画像とを比較す
    ることにより前記未知物体が前記既知物体と同一である
    かどうかを認識する画像認識手段とを有することを特徴
    とする、物体認識システム。
  7. 【請求項7】 光の照射方向及び姿勢の変動を考慮した
    参照用の物体画像に関わる情報を登録する辞書登録装置
    と、この辞書登録装置に登録された情報を用いて未知物
    体が映った認識対象画像の認識を行う画像認識装置とを
    具え、 前記辞書登録装置は、 同一の既知物体について異なる姿勢で撮影された複数の
    二次元画像の各々から前記既知物体に特有の特徴点をそ
    の位置情報と共に抽出する特徴点抽出手段と、 1つの二次元画像における前記特徴点及び位置情報を基
    準として他の二次元画像における前記特徴点の変位を検
    出する変位検出手段と、 前記変位している特徴点のみについて前記二次元画像の
    輝度値に基づく基底画像を生成するとともに各基底画像
    の線形結合係数を導出する係数等推定手段と、 前記基底画像及び線形結合係数に基づいて前記特徴点を
    含む画像全体の複数の基底画像を生成する基底画像導出
    手段と、 生成された各基底画像をその既知物体の識別データと共
    に保持する画像保持手段とを含んで構成され、 前記画像認識装置は、 前記認識対象画像から前記既知物体に対応する前記未知
    物体に特有の特徴点の位置情報を抽出する特徴点抽出手
    段と、 前記抽出された未知物体について特徴点の位置情報に基
    づき、前記基準として用いた1つの二次元画像内の既知
    物体の姿勢位置を基準とした未知物体の姿勢変位量を検
    出する姿勢変位量検出手段と、 前記未知物体の姿勢変位量に対応する特徴点が含まれる
    前記既知物体の基底画像を読み出し、読み出した基底画
    像と前記認識対象画像との内積により線形結合係数を導
    出する係数等推定手段と、 この線形結合係数と前記読み出した基底画像とから当該
    特徴点を含む既知物体の全領域の合成画像を生成する合
    成画像生成手段と、 この合成画像と前記認識対象画像との一致性の程度を判
    定することにより物体認識を行う認識手段とを含んで構
    成されることを特徴とする、 物体認識システム。
  8. 【請求項8】 前記認識手段は、前記認識対象画像と前
    記合成画像とを対応画素ごとに比較し、画素輝度の差分
    の2乗和が一定値以下のときに、前記未知物体が当該合
    成画像に対応する既知物体と認識するように構成されて
    いることを特徴とする、 請求項7記載の物体認識システム。
  9. 【請求項9】 単一光源のもとで位置を変えて撮影され
    た既知物体の複数の画像を物体毎に登録しておく処理、 未知物体が映っている認識対象画像を入力する処理、 前記認識対象画像の入力を契機に、前記未知物体と相対
    的に同一位置関係となる既知物体についての特徴をそれ
    ぞれ当該既知物体全体について合成して合成画像を生成
    する処理、 各既知物体についての合成画像と前記認識対象画像とを
    比較することで、物体認識を行う処理を、コンピュータ
    に実行させるためのプログラムコードが記録された、コ
    ンピュータ読み取り可能な記録媒体。
JP11112834A 1999-04-20 1999-04-20 三次元物体の認識方法及びシステム、記録媒体 Pending JP2000306099A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11112834A JP2000306099A (ja) 1999-04-20 1999-04-20 三次元物体の認識方法及びシステム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11112834A JP2000306099A (ja) 1999-04-20 1999-04-20 三次元物体の認識方法及びシステム、記録媒体

Publications (1)

Publication Number Publication Date
JP2000306099A true JP2000306099A (ja) 2000-11-02

Family

ID=14596709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11112834A Pending JP2000306099A (ja) 1999-04-20 1999-04-20 三次元物体の認識方法及びシステム、記録媒体

Country Status (1)

Country Link
JP (1) JP2000306099A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US7545973B2 (en) 2002-07-10 2009-06-09 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
JP2012226539A (ja) * 2011-04-19 2012-11-15 Univ Of Aizu ホルダ認証システム、ホルダ認証端末、基底画像生成装置およびホルダであることの認証に利用される記録媒体
CN112005197A (zh) * 2018-04-27 2020-11-27 索尼公司 信息处理装置、信息处理方法和程序

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545973B2 (en) 2002-07-10 2009-06-09 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US7873208B2 (en) 2002-07-10 2011-01-18 Nec Corporation Image matching system using three-dimensional object model, image matching method, and image matching program
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8379986B2 (en) 2007-09-18 2013-02-19 Sony Corporation Device, method, and computer-readable storage medium for recognizing an object in an image
US9098770B2 (en) 2007-09-18 2015-08-04 Sony Corporation Image processing device and image processing method, and program
US9968845B2 (en) 2007-09-18 2018-05-15 Sony Corporation Image processing device and image processing method, and program
JP2012226539A (ja) * 2011-04-19 2012-11-15 Univ Of Aizu ホルダ認証システム、ホルダ認証端末、基底画像生成装置およびホルダであることの認証に利用される記録媒体
CN112005197A (zh) * 2018-04-27 2020-11-27 索尼公司 信息处理装置、信息处理方法和程序
CN112005197B (zh) * 2018-04-27 2024-02-09 索尼公司 信息处理装置、信息处理方法和程序
US11954240B2 (en) 2018-04-27 2024-04-09 Sony Corporation Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
Kose et al. Countermeasure for the protection of face recognition systems against mask attacks
US6658136B1 (en) System and process for locating and tracking a person or object in a scene using a series of range images
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
US6771818B1 (en) System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
US6445810B2 (en) Method and apparatus for personnel detection and tracking
US8086027B2 (en) Image processing apparatus and method
JP4894741B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに記録媒体
EP0967574A2 (en) Method for robust human face tracking in presence of multiple persons
JP4774818B2 (ja) 画像処理装置及び画像処理方法
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2007310707A (ja) 姿勢推定装置及びその方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JPWO2006049237A1 (ja) 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
WO2009128783A1 (en) An image synthesis method
JP2006350506A (ja) 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法
JP4946878B2 (ja) 画像識別装置及びプログラム
Tang et al. Automatic construction of 3D human face models based on 2D images
JP2002024811A (ja) 影成分除去装置
KR100930722B1 (ko) 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체
JP4043973B2 (ja) 顔検出システムとその方法
JP3577908B2 (ja) 顔画像認識システム
JP2010504575A (ja) 顔を認識するための方法と装置及び顔認識モジュール
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
JP2000306099A (ja) 三次元物体の認識方法及びシステム、記録媒体