JP2004326693A - 画像認識装置及び方法、並びにロボット装置 - Google Patents
画像認識装置及び方法、並びにロボット装置 Download PDFInfo
- Publication number
- JP2004326693A JP2004326693A JP2003124225A JP2003124225A JP2004326693A JP 2004326693 A JP2004326693 A JP 2004326693A JP 2003124225 A JP2003124225 A JP 2003124225A JP 2003124225 A JP2003124225 A JP 2003124225A JP 2004326693 A JP2004326693 A JP 2004326693A
- Authority
- JP
- Japan
- Prior art keywords
- model
- feature point
- image
- candidate corresponding
- point pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
【解決手段】画像認識装置1において、特徴点抽出部10a,10bは、モデル画像及びオブジェクト画像から特徴点を抽出し、特徴量保持部11a,11bは、各特徴点について特徴量を抽出し、特徴点の位置情報と共に保持する。特徴量比較部12は、特徴量同士を比較して類似度又は相違度を計算し、対応する可能性の高い候補対応特徴点ペアを生成する。モデル姿勢推定部13は、候補対応特徴点ペア群からランダムに選択した3ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成された最多メンバ数を持つクラスタの各メンバをインライヤとし、インライヤを用いた最小自乗推定によりアフィン変換パラメータを求め、このアフィン変換パラメータで決定されるモデル姿勢を出力する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、複数のオブジェクトを含むオブジェクト画像から検出対象となるモデルを抽出する画像認識装置及びその方法、並びにそのような画像認識機能を搭載したロボット装置に関する。
【0002】
【従来の技術】
現在、実用化されている対象物認識技術の多くは、残差逐次検定法や相互相関係数によるテンプレートマッチング手法を用いている。しかしながら、このテンプレートマッチング手法は、検出対象物体が入力画像中に変形なく出現すると仮定できる特殊な場合には有効であるが、視点や照明状態の一定でない一般的な画像からの対象物認識環境においては有効でない。
【0003】
また、検出対象物体の形状特徴と画像分割手法によって切り出された入力画像中の各領域の形状特徴とをマッチングする形状マッチング手法も提案されているが、上述のような一般的な対象物認識環境においては領域分割の結果が安定せず、入力画像中の物体の良質な形状記述が難しくなる。特に、検出対象物体が他の物体に部分的に隠されている場合などは認識が非常に困難になる。
【0004】
さらに、以上のような入力画像或いはその部分領域の全体的な特徴を用いたマッチング手法に対し、入力画像から特徴的な点(特徴点)やエッジを抽出し、それらが構成する線分集合やエッジ集合の空間的位置関係を線図形やグラフとして表現し、線図形間或いはグラフ間の構造類似性に基づいてマッチングを行う方法も提案されている。しかしながら、この手法はある特化した対象物に対しては上手く作用するが、画像の変形により安定した特徴点間構造が抽出されない場合があり、特に上述したような部分的に隠される場合などにおける認識は困難となる。
【0005】
一方で、画像から特徴点を抽出し、特徴点とその局所近傍の画像情報から得られる特徴量を用いたマッチング手法も存在する。例えば、C.シュミット及びR.ムーアは、下記非特許文献1において、Harrisコーナー検出器を用いて検出されたコーナーを特徴点とし、その特徴点付近の回転不変特徴量を用いたマッチング手法を提案している。このような特徴点の部分的画像変形に対して不変な局所特徴量を用いるマッチング手法では、上述の手法と比較して画像の変形に対しても検出対象が部分的に隠されるような場合にも安定した検出が可能となる。しかしながら、この非特許文献1で用いられている特徴量は、画像の拡大縮小変換に対して不変性を持たないものであるため、拡大縮小変換のある場合には認識が困難となる。
【0006】
これに対して、D.ロウは、下記非特許文献2において、画像の拡大縮小変換に対しても不変であるような特徴点及び特徴量を用いたマッチング手法を提案している。このD.ロウの提案した画像認識装置について、図14を用いて説明する。
【0007】
図14に示す画像認識装置400において、特徴点抽出部401a,401bは、特徴点抽出対象画像(モデル画像又はオブジェクト画像)から得られた画像の多重解像度表現(スケールスペース表現。文献「Lindeberg T.,“Scale−space: A framework for handling image structures at multiple scales.”,Journal of Applied Statistics, vol.21, no.2, pp.224−270,1994」参照)の各解像度画像に対してDoG(Difference of Gaussian)フィルタを適用し、DoGフィルタ出力画像の局所点(局所極大点及び局所極小点)のうち、所定の範囲内の解像度変化によって位置の変化がないような点を特徴点として検出する。ここで、解像度の階層数は予め設定しておく。
【0008】
続いて特徴量保持部402a,402bは、特徴点抽出部401a,401bにて抽出された各特徴点について特徴量を抽出し、保持する。この際、特徴点抽出部401a,401bは、特徴点近傍領域のカノニカル・オリエンテーション(canonical orientation;支配的方向)と、オリエンテーション・プレーン(orientation plane)とを用いる。ここで、カノニカル・オリエンテーションは、ガウス重み付き勾配強度を累積した方向ヒストグラムのピーク値を与える方向であり、特徴量保持部402a,402bは、このカノニカル・オリエンテーションを特徴量として保持する。また、特徴量保持部402a,402bは、特徴点近傍領域の勾配強度情報をカノニカル・オリエンテーションで正規化、すなわちカノニカル・オリエンテーションを0deg として方向補正し、近傍領域内各点の勾配強度情報を位置情報と共に勾配方向で分類する。例えば、45deg 毎の全部で8つのオリエンテーション・プレーンに近傍領域内各点の勾配強度情報を分類する場合、近傍領域の局所座標系上の点(x、y)における方向93deg 、強度mの勾配情報は、90deg のラベルを持つと共に近傍領域と同一の局所座標系を持つオリエンテーション・プレーンの位置(x、y)に強度mの情報としてマッピングされる。その後、各オリエンテーション・プレーンは、解像度のスケールに応じたぼかし及びリサンプリングが施される。特徴量保持部402a,402bは、このようにして求めた(解像度数)×(オリエンテーション・プレーン数)×(各オリエンテーション・プレーンのサイズ)次元の特徴量ベクトルを保持する。
【0009】
続いて、特徴量比較部403は、各オブジェクト特徴点の特徴量と最も特徴量の類似するモデル特徴点をk−d tree法(検索効率のよい特徴空間上のNearest Neighbor探索法)を用いて検索し、得られた候補対応特徴点ペアを候補対応特徴点ペア群として保持する。
【0010】
一方で、モデル姿勢粗推定部404は、一般化ハフ変換により、モデル特徴点とオブジェクト特徴点との空間的位置関係からモデルのオブジェクト画像上での姿勢(回転角度,拡大縮小率,平行移動量の画像変換パラメータ)を推定する。この際、一般化ハフ変換のパラメータ参照テーブル(Rテーブル)のインデックスとして、上述した各特徴点のカノニカル・オリエンテーションが用いられると予想される。このモデル姿勢粗推定部404の出力は、画像変換パラメータ空間上への投票結果であり、最多投票数を獲得したパラメータがモデル姿勢の粗い推定を与える。
【0011】
そこで、候補対応特徴点ペア選択部405は、そのパラメータに投票を行ったオブジェクト特徴点をメンバに持つ候補対応特徴点ペアのみを選択することにより、候補対応特徴点ペア群の絞り込みを行う。
【0012】
最後に、モデル姿勢推定部406は、「検出されるモデルはオブジェクト画像上へのアフィン変換による画像変形が施されている」という拘束条件の下、対応特徴点ペア群の空間的配置から最小自乗推定によりアフィン変換パラメータを推定する。そして、モデル姿勢推定部406は、候補対応特徴点ペア群の各モデル特徴点をこのアフィン変換パラメータによりオブジェクト画像上に変換し、対応するオブジェクト特徴点との位置のずれ(空間的距離)を求め、このずれが著しいペアを排除し、候補対応特徴点ペア群を更新する。この際、モデル姿勢推定部406は、候補対応特徴点ペア群が2組以下の場合には「モデル検出不可」と出力して終了し、そうでなければ所定の終了条件が満たされるまでこの操作を繰り返し、終了条件を満たした際のアフィン変換パラメータで決定されるモデル姿勢をモデル認識結果として出力する。
【0013】
【非特許文献1】
C.シュミット(C. Schmid)、R.ムーア(R. Mohr),「画像検索のための局所グレイバリュー不変量(Local grayvalue invariants for image retrieval)」,(米国),電気・電子通信学会報,(IEEE PAMI),1997年,第19巻,第5号,p.530−534
【非特許文献2】
D.ロウ(D. Lowe),「スケール不変な局所特徴量を用いた物体認識(Object recognition from local scale−invariant features)」,(ギリシャ),コンピュータ画像に関する国際会議録(Proc. of the International Conference on Computer Vision),1999年9月,第2巻,p.1150−1157
【0014】
【発明が解決しようとする課題】
しかしながら、この非特許文献2に記載されたD.ロウの手法には幾つかの問題点がある。
【0015】
先ず第1に、特徴点におけるカノニカル・オリエンテーションの抽出に問題がある。上述したように、カノニカル・オリエンテーションは、特徴点近傍領域の局所勾配情報から求めた、ガウス重み付き勾配強度を累積した方向ヒストグラムのピーク値を与える方向により求まる。ここで、非特許文献2の手法では、物体のコーナーの若干内側に特徴点が検出される傾向があるが、このような特徴点の近傍の方向ヒストグラムには、2つのピークがそれぞれエッジに直交する方向に出現するため、複数の競合するカノニカル・オリエンテーションが検出されうるが、後段の特徴量比較部403及びモデル姿勢粗推定部404ではこのような場合を想定しておらず、対処できない。また、ガウス重み関数のパラメータに依存して方向ヒストグラムの形状が変化し、カノニカル・オリエンテーションの安定した抽出ができないという問題点もある。その一方で、このカノニカル・オリエンテーションは、後段の特徴量比較部403及びモデル姿勢粗推定部404で用いられるため、不適切なカノニカル・オリエンテーションの抽出は特徴量マッチングの結果に重大な影響を与えてしまう。
【0016】
第2に、オリエンテーション・プレーンによる特徴量比較において、局所領域内各点の濃度勾配強度情報による特徴量マッチングを行っているが、一般に勾配強度は明度の変化に対して不変な特徴量ではないため、モデル画像とオブジェクト画像との間に明度差がある場合には、安定なマッチングが保証されないという問題がある。
【0017】
第3に、各オブジェクト特徴点に対して、特徴空間上での距離が最短ではないが十分小さい、すなわち特徴量が十分類似するモデル特徴点が複数存在し、その中に真の特徴点ペア(インライヤ)が含まれている場合が想定されるが、特徴量比較部403においては、各オブジェクト特徴点は特徴空間上で最短距離を与えるモデル特徴点のみとペアが組まれるため、先のようなインライヤが候補対応ペアとして考慮されていない点も問題として挙げられる。
【0018】
第4に、モデル姿勢推定部406におけるアフィン変換パラメータ推定の際に問題が起こり得る。ここで、候補対応特徴点ペア選択部405で絞り込みを受けた対応特徴点ペア群の中には偽の特徴点ペア(アウトライヤ)が含まれているが、候補対応特徴点ペア群中のアウトライヤが多い場合や真のアフィン変換パラメータから極端に逸脱したアウトライヤが存在する場合には、アフィン変換パラメータ推定はアウトライヤに影響を受け、場合によっては繰り返し操作によってインライヤが次第に排除されてアウトライヤが残り、誤ったモデル姿勢を出力してしまうという問題も起こり得る。
【0019】
本発明は、このような従来の実情に鑑みて提案されたものであり、複数の物体を含み、物体同士が部分的に重なり合っているような画像からも対象物を検出可能であり、さらに視点の変化(平行移動,拡大縮小,回転,ストレッチを含む画像変化)、明度変化、ノイズによる画像情報の変形がある場合であっても安定に対象物を検出可能である画像認識装置及びその方法、並びにそのような画像認識機能を搭載したロボット装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像認識装置及びその方法は、複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出するものであり、上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段(工程)と、上記オブジェクト画像及び上記モデル画像の各々について、少なくとも上記特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として抽出して保持する特徴量保持手段(工程)と、上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段(工程)と、上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段(工程)とを有し、上記特徴量比較手段(工程)は、比較対象となる特徴点同士の上記濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、上記候補対応特徴点ペアを生成するものである。
【0021】
このような画像認識装置及びその方法では、特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として特徴量マッチングを行う際に、比較対象となる特徴点同士の濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、距離の類似する特徴点同士で候補対応特徴点ペアを生成する。
【0022】
また、上述した目的を達成するために、本発明に係る画像認識装置及びその方法は、複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出するものであり、上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段(工程)と、上記オブジェクト画像及び上記モデル画像の各々について、上記特徴点の近傍領域における特徴量を抽出して保持する特徴量保持手段(工程)と、上記オブジェクト画像の各特徴点と上記モデル画像の各特徴量とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段(工程)と、上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段(工程)とを有し、上記モデル姿勢推定手段(工程)は、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求めるものである。
【0023】
このような画像認識装置及びその方法では、特徴量が類似するとして生成された候補対応特徴点ペアを用いて上記オブジェクト画像上のモデルの有無を検出し、モデルが存在する場合に該モデルの位置及び姿勢を推定する際に、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求める。
【0024】
また、本発明に係るロボット装置は、上述したような画像認識機能を搭載したものである。
【0025】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、複数のオブジェクトを含む入力画像であるオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、オブジェクト画像からモデルを抽出する画像認識装置に適用したものである。
【0026】
先ず、本実施の形態における画像認識装置の概略構成を図1に示す。図1に示す画像認識装置1において、特徴点抽出部10a,10bは、モデル画像及びオブジェクト画像からそれぞれモデル特徴点及びオブジェクト特徴点を抽出し、特徴量保持部11a,11bは、抽出された各特徴点について後述する特徴量を抽出し、特徴点の位置情報と共に保持する。そして特徴量比較部12は、各モデル特徴点の特徴量と各オブジェクト特徴点の特徴量とを比較して類似度又は相違度を計算し、この類似尺度を用いて特徴量が類似する、すなわち対応する可能性の高いモデル特徴点及びオブジェクト特徴点のペア(候補対応特徴点ペア)を生成する。
【0027】
モデル姿勢推定部13は、生成された候補対応特徴点ペア群を用いてオブジェクト画像上のモデルの有無を検出し、「モデル有」の判定結果の場合には、「検出されるモデルはオブジェクト画像上へのアフィン変換による画像変形が施されている」という拘束条件の下、候補対応特徴点ペア群からランダムに選択した3ペアにより決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタの各メンバを真の特徴点ペア(インライヤ)とし、このインライヤを用いた最小自乗推定によりアフィン変換パラメータを求める。そして、モデル姿勢推定部13は、このアフィン変換パラメータで決定されるモデル姿勢をモデル認識結果として出力する。
【0028】
以下、上記画像認識装置1の各ブロックについて詳細に説明する。なお、以下では、画像の水平方向をX軸、垂直方向をY軸として説明する。
【0029】
特徴点抽出部10a,10bは、特徴点抽出対象画像(モデル画像又はオブジェクト画像)に対し、先ず平滑化フィルタリング、例えば以下の式(1)で示す2次元ガウス関数による畳み込み積(ガウスフィルタリング)と、双2次線形補間リサンプリングによる画像縮小とを繰り返し交互に適用することで、画像の多重解像度ピラミッド構造を構築する。ここで、リサンプリングファクタとしては、式(1)のガウスフィルタで用いたσを用いる。
【0030】
【数1】
【0031】
すなわち、図2に示すように、例えば入力画像Iにσ=√2であるガウスフィルタg(x、y)を施すことにより第1レベル(最高解像度)の画像I1を生成し、さらにガウスフィルタを施すことにより画像g*I1を生成する。そして、この画像g*I1をリサンプリングしてガウスフィルタを施すことにより第2レベルの画像I2,g*I2を生成し、同様にして画像g*I2から第3レベルの画像I3,g*I3を生成する。
【0032】
続いて、特徴点抽出部10a,10bは、各レベル(各解像度)の画像に対して、DoG(Difference of Gaussian)フィルタを適用する。このDoGフィルタは、画像の輪郭強調のために用いられる2次微分フィルタの一種であり、人間の視覚系で網膜からの情報が外側膝状体で中継されるまでに行われている処理の近似モデルとして、LoG(Laplacian of Gaussian)フィルタと共によく用いられるものである。DoGフィルタの出力は、2つのガウスフィルタ出力画像の差分を取ることにより容易に得られる。すなわち、図2に示すように、第1レベルの画像について画像DI1(=I1−g*I1)が得られ、第2レベル,第3レベルの画像について画像DI2(=I2−g*I2),画像DI3(=I3−g*I3)が得られる。
【0033】
そして、特徴点抽出部10a,10bは、各レベルにおけるDoGフィルタ出力画像DI1,DI2,DI3・・・の局所点(局所極大点及び局所極小点)のうち、所定の範囲内の解像度変化によって位置の変化がないような点を特徴点として検出する。これにより、画像の拡大縮小操作に対してロバストな特徴点間のマッチングが実現できる。
【0034】
ここで、多重解像度ピラミッド構造の第Lレベル、すなわちσの(L−1)乗ファクタまでの解像度変化によって位置の変化がないような特徴点を検出する際の処理について図3のフローチャートを用いて説明する。
【0035】
先ずステップS1において、第1レベル(最高解像度)におけるDoGフィルタ出力画像DI1の局所点(局所極大点及び局所極小点)を検出する。なお、局所近傍としては、例えば3×3直接近傍を用いることができる。
【0036】
次にステップS2において、検出された各局所点について、その1つ上位レベル(解像度の1つ低い層)における対応点を解像度減少に伴う画像縮小を考慮して求め、この対応点が局所点か否かを判別する。局所点である場合(Yes)にはステップS3に進み、局所点でない場合(No)には探索を終了する。
【0037】
続いてステップS3では、第Lレベルまで探索が成功したか否かを判別する。第Lレベルまで探索を行っていない場合(No)にはステップS2に戻ってさらに上位レベルの探索を行い、第Lレベルまで探索が成功した場合(Yes)には特徴点であるとして、ステップS4においてその位置情報を保持する。
【0038】
例えば第3レベルまでの解像度変化によって位置の変化がないような特徴点を検出する場合、図4に示すように、第1レベルの画像DI1において検出された局所点FP1,FP2のうち、FP1は第3レベルの画像DI3まで対応点が存在するため特徴点とされ、FP2は第2レベルまでしか対応点が存在しないため特徴点でないとされる。
【0039】
なお、この特徴点抽出部10a,10bでは、DoGフィルタの代わりにLoGフィルタを用いるようにしても構わない。また、文献「Harris C. and Stephens M.,“A combined corner and edge detector.”, in Proc. Alvey Vision Conf., pp.147−151, 1988」で物体のコーナー検出に用いられているcorner−ness 関数の出力値をDoGフィルタ出力の代わりに用いるようにしても構わない。
【0040】
次に、特徴量保持部11a,11b(図1)は、特徴点抽出部10a,10bにて抽出された各特徴点について特徴量を抽出し、保持する。特徴量としては、多重解像度ピラミッド構造の各レベルの画像(Il,l=1,…,L)の画像情報から導出される特徴点の近傍領域各点の濃度勾配情報(勾配強度及び勾配方向)を用いる。点(x、y)における勾配強度Mx,y及び勾配方向Rx,yは以下の式(2),(3)により与えられる。
【0041】
【数2】
【0042】
ここで、特徴量を算出する特徴点近傍領域としては、回転変化に対して構造の変わらないような、特徴点に関して対称なものを選択することが好ましい。これにより、回転変化に対するロバスト性を実現することができる。例えば、(i)特徴点から半径rピクセルの範囲内を特徴点近傍領域とする手法や、(ii)特徴点を中心に幅σの特徴点に関して対称な2次元ガウス重みを濃度勾配に掛ける手法を用いることができる。
【0043】
特徴点から半径3.5ピクセルの範囲内を近傍領域とした場合における特徴点近傍領域の濃度勾配情報の例を図5(A)に示す。ここで、図5(A)において矢印の長さは勾配強度を表し、矢印の方向は勾配方向を表す。
【0044】
また、特徴量保持部11a,11bは、特徴点近傍の勾配方向に関するヒストグラム(方向ヒストグラム)も特徴量として保持する。図5(A)の濃度勾配情報から得られる勾配方向ヒストグラムの例を図5(B)に示す。ここで、図5(B)における階級幅Δθは10deg であり、階級数Nは36(=360deg /10deg )である。
【0045】
続いて、特徴量比較部12(図1)は、各モデル特徴点の特徴量と各オブジェクト特徴点の特徴量とを比較し、類似する特徴量を有するモデル特徴点及びオブジェクト特徴点のペア(候補対応特徴点ペア)を生成する。
【0046】
この特徴量比較部12における処理の詳細について、図6のフローチャートを用いて説明する。先ず、ステップS10において、特徴量比較部12は、各モデル特徴点の方向ヒストグラムと各オブジェクト特徴点の方向ヒストグラムとを比較してヒストグラム間の距離(相違度)を計算すると共に、モデル−オブジェクト間の推定回転角度を求める。
【0047】
ここで、階級幅Δθと階級数Nとが同一である2つの方向ヒストグラムH1={h1(n),n=1,…,N}及びH2={h2(n),n=1,…,N}を想定し、h1(n),h2(n)が階級nにおける度数を示すものとすると、ヒストグラムH1とヒストグラムH2との間の距離d(H1,H2)は、例えば以下の式(4)で与えられる。ここで、式(4)におけるrとしては、r=1,2,∞が一般的に用いられる。
【0048】
【数3】
【0049】
この式(4)を用いて各モデル特徴点及び各オブジェクト特徴点の方向ヒストグラム間の相違度を計算するが、(i)モデル−オブジェクト間のスケール比がマッチング段階で未知であるため、モデル特徴点の各レベルとオブジェクト特徴点の各レベル間で方向ヒストグラム間のマッチングを行う必要がある。また、(ii)方向ヒストグラム間のマッチングに関しては、モデル−オブジェクト間の回転変換量を考慮する必要がある。
【0050】
モデル特徴点mのレベルLVにおける方向ヒストグラムHm LV={hm LV(n),n=1,…,N}と、オブジェクト特徴点oのレベルlvにおける方向ヒストグラムHo lv={ho lv(n),n=1,…,N}との相違度を求める場合を考える。方向ヒストグラムは回転変換に対して巡回的に変化するため、Ho lvを巡回的に階級を1つずつシフトさせながら式(4)の計算を行い、その最小値をHm LVとHo lvとの間の相違度とする。このとき、相違度の最小値を与えた時のシフト量(ずらした階級数)からオブジェクト特徴点の回転角度を推定することができる。なお、この手法は方向ヒストグラム交差法として知られている。
【0051】
Ho lvをk階級分シフトさせた方向ヒストグラムをHo lv(k)とすると、方向ヒストグラム交差法による方向ヒストグラム間相違度dissimilarity(Hm LV,Ho lv(k))は、以下の式(5)で与えられる。
【0052】
【数4】
【0053】
また、最小のd(Hm LV,Ho lv(k))を与えるkをk’とすると、オブジェクト特徴点oの近傍領域における推定回転角度θ(m,LV,o,lv)は以下の式(6)で与えられる。
【0054】
【数5】
【0055】
上述の(i)を考慮すると、モデル特徴点mとオブジェクト特徴点oとの方向ヒストグラム間相違度dissimilarity(Hm,Ho)は、以下の式(7)のようになる。
【0056】
【数6】
【0057】
特徴量比較部12は、モデル特徴点mとオブジェクト特徴点oとの各ペア(m、n)に対し、最小の方向ヒストグラム間相違度dissimilarity(Hm,Ho)を与えるレベルLV,lv(以下、それぞれLVm *,lvo *と表記する。)と、その推定回転角度θ(m,LVm *,o,lvo *)とを、方向ヒストグラム間相違度dissimilarity(Hm,Ho)と共に保持する。
【0058】
次にステップS11(図6)において、特徴量比較部12は、各モデル特徴点mに対し方向ヒストグラム間相違度の小さい順にK個のオブジェク特徴点om1,…,omKを選択し、候補対応特徴点ペアを組ませる。すなわち、各モデル特徴点mに対してK個の候補対応特徴点ペア(m、om1),…,(m、omk),…,(m、omK)が組まれる。また、各候補対応特徴点ペア(m、omk)には対応するレベルLVm *,lvomk *と推定回転角度θ(m,LVm
*,o,lvomk *)との情報が保持される。
【0059】
以上のようにして、全モデル特徴点に対し候補対応特徴点ペアを組ませることで得られたペア群が、候補対応特徴点ペア群となる。
【0060】
このように、特徴量比較部12では、ヒストグラム度数に勾配強度を累積しておらず、単に勾配方向のみに注目しているため、明度変化に対してロバストな特徴量マッチングが可能になる。また、前述した非特許文献2の手法では、カノニカル・オリエンテーションのように抽出が不安定な特徴量を元にマッチングを行っているのに対して、本実施の形態では方向ヒストグラムの形状を考慮したより安定なマッチングを行うことができる。また、二次的に安定した特徴量(推定回転角度)を得ることができる。
【0061】
なお、上述のステップS11では、各モデル特徴点mに対してK個の候補対応特徴点ペアを選択するものとして説明したが、これに限定されるものではなく、方向ヒストグラム間相違度が閾値を下回るペア全てを選択するようにしても構わない。
【0062】
ここで、上述の操作で生成された候補対応特徴点ペア群は、方向ヒストグラムが類似するものの濃度勾配の空間的特徴が異なっているような対応点ペアも含んでいる。そこで、続くステップS12(図6)では、濃度勾配ベクトル間類似度によるペアの選択、候補対応特徴点ペア群の更新を行う。
【0063】
具体的には、モデル特徴点mの近傍のレベルLVm *における濃度勾配ベクトルをUmとし、このモデル特徴点mと対応点ペアを組むオブジェクト特徴点oの近傍のレベルlvomk *における濃度勾配ベクトルをUoとしたとき、UmとUoとの類似度が閾値を下回るペアを排除し、候補対応特徴点ペア群を更新する。
【0064】
濃度勾配ベクトルUm,Uo間の類似度の計算手法を図7に示す。先ず、Umを空間的に4領域Ri(i=1,…,4)に分割し、各領域の平均濃度勾配ベクトルV i(i=1,…,4)を求める。このV iをまとめた8次元ベクトル
VでUmが表現される。一方、回転変換を考慮した濃度勾配情報のマッチング
を行うために、Uoの勾配方向を先に求めた推定回転角度θ(m,LVm *,o,lvomk *)で補正し、Uo *を得る。この際、中間位置の値は、双2次線形補間により求める。先と同様にUo *を4領域Ri(i=1,…,4)に分割し、各領域の平均濃度勾配ベクトルW i(i=1,…,4)を求める
。このW iをまとめた8次元ベクトルWでUoが表現される。このとき、U
mとUoとの類似度similarity(Um、Uo)∈[0,1]は、平均濃度勾配ベクトルVとWとの類似度として解釈され、例えばコサイン相関値を用いて以
下の式(8)により求められる。ここで、式(8)において(V・W)は
VとWとの内積を表す。
【0065】
【数7】
【0066】
特徴量比較部12は、各候補対応特徴点ペアに対して上記式(8)で得られる平均濃度勾配ベクトル間の類似度を求め、類似度が閾値δを下回るペアを候補対応特徴点ペア群から排除し、候補対応特徴点ペア群を更新する。
【0067】
このように、特徴量比較部12では、部分領域の平均濃度勾配ベクトルを用いて特徴量の比較を行っているため、特徴点位置や推定回転角度の微妙なずれや、明度の変化による濃度勾配情報の変化に対してロバストなマッチングを実現することができ、計算量の削減にもなる。
【0068】
以上の操作により、特徴点近傍の局所的な濃度勾配情報が類似する(モデル特徴点−オジェクト特徴点)ペア群を抽出することができるが、巨視的に見ると、このように得られたペア群は、対応特徴点間の空間的位置関係がモデルのオブジェクト画像上での姿勢(モデル姿勢)と矛盾するような「偽の特徴点ペア(アウトライヤ)」を含んでしまっている。
【0069】
ここで、候補対応特徴点ペアが3組以上ある場合には、最小自乗推定により近似アフィン変換パラメータの推定が可能であり、推定モデル姿勢と空間的位置関係の矛盾する対応ペアを排除し、残ったペアで再びモデル姿勢推定を行うという操作を繰り返すことで、モデル姿勢を認識することができる。
【0070】
しかしながら、候補対応特徴点ペア群中のアウトライヤが多い場合や真のアフィン変換パラメータから極端に逸脱したアウトライヤが存在する場合には、最小自乗推定による推定結果は一般的に満足のいくものではないことが知られている(Hartley R., Zisserman A.,“Multiple View Geometry in Computer Vision.”, Chapter 3, pp.69−116, Cambridge University Press, 2000)ため、本実施の形態におけるモデル姿勢推定部13(図1)では、アフィン変換拘束の下、候補対応特徴点ペア群の空間的位置関係から「真の特徴点ペア(インライヤ)」を抽出し、抽出されたインライヤを用いてモデル姿勢(平行移動量,回転,拡大縮小,ストレッチを決定するアフィン変換パラメータ)を推定する。
【0071】
以下、このモデル姿勢推定部13における処理について説明する。上述したように、候補対応特徴点ペアが3組以上なければアフィン変換パラメータを決定できないため、候補対応特徴点ペアが2組以下の場合、モデル姿勢推定部13は、オブジェクト画像中にモデルが存在しない、又はモデル姿勢検出に失敗したとして、「認識不可」と出力し処理を終了する。一方、候補対応特徴点ペアが3組以上ある場合、モデル姿勢推定部13は、モデル姿勢を検出可能であるとし、アフィン変換パラメータの推定を行う。なお、モデル姿勢推定部13は、モデル画像及びオブジェクト画像の例えば第1レベル(最高解像度)における特徴点の空間的位置を元にモデル姿勢を推定するものとする。
【0072】
ここで、モデル特徴点[x y]Tのオブジェクト特徴点[u v]Tへのアフィン変換は、以下の式(9)で与えられる。
【0073】
【数8】
【0074】
この式(9)において、ai(i=1,…,4)は回転,拡大縮小,ストレッチを決定するパラメータを表し、[b1 b2]Tは平行移動パラメータを表す。決定すべきアフィン変換パラメータはa1,…,a4及びb1,b2の6つであるため、候補対応特徴点ペアが3組あればアフィン変換パラメータを決定することができる。
【0075】
3組の候補対応特徴点ペアで構成されるペア群Pを([x1 y1]T,[u1 v1]T),([x2 y2]T,[u2 v2]T),([x3 y3]T,[u3 v3]T)とすると、ペア群Pとアフィン変換パラメータとの関係は、以下の式(10)に示す線形システムで表現することができる。
【0076】
【数9】
【0077】
この式(10)をAx=bのように書き直すと、アフィン変換パラメータxの最小自乗解は以下の式(11)で与えられる。
【0078】
【数10】
【0079】
さて、候補対応特徴点ペア群からアウトライヤが1つ以上混入するように繰り返しランダムにペア群Pを選択した場合、そのアフィン変換パラメータはパラメータ空間上に散らばって投射される。一方、インライヤのみから構成されるペア群Pを繰り返しランダムに選択した場合、そのアフィン変換パラメータは、何れもモデル姿勢の真のアフィン変換パラメータに極めて類似した、すなわちパラメータ空間上で距離の近いものとなる。したがって、候補対応特徴点ペア群からランダムにペア群Pを選択し、そのアフィン変換パラメータをパラメータ空間上に投射していく操作を繰り返すと、インライヤはパラメータ空間上で密度の高い(メンバ数の多い)クラスタを形成し、アウトライヤは散らばって出現することになる。このことから、パラメータ空間上でクラスタリングを行い、最多メンバ数を持つクラスタの要素がインライヤとなる。
【0080】
モデル姿勢推定部13における処理の詳細を図8のフローチャートを用いて説明する。なお、このモデル姿勢推定部13におけるクラスタリング手法としては、NN(Nearest Neighbor)法を用いるものとする。この際、上述したb1,b2は、認識対象画像により様々な値を取り得るため、x空間でもクラスタリングにおいてクラスタリング閾値の選択が認識対象に依存してしまう。そこで、モデル姿勢推定部13では、「真のパラメータとa1,…,a4は類似するがb1,b2が異なるようなアフィン変換パラメータを与えるペア群Pは殆ど存在しない」という仮定の下、パラメータa1,…,a4(以下、aと表記する。)で張られるパラメータ空間上のみでクラスタリングを行う。なお、上記仮定が成り立たない状況が生じたとしても、a空間とは独立にb1,b2で張られるパラメータ空間でクラスタリングを行いその結果を考慮することで、容易に問題を回避することができる。
【0081】
先ず図8のステップS20において初期化を行う。具体的には、繰り返し数のカウント値cntをcnt=1とし、候補対応特徴点ペア群からランダムにペア群P 1を選択し、アフィン変換パラメータa 1を求める。また、クラスタ数NをN=1とし、アフィン変換パラメータ空間a上でa 1を中心とするクラスタC1を作る。このクラスタC1のセントロイドc 1をc 1=a 1とし、メンバ数nc1をnc1=1とする。
【0082】
次にステップS21において、モデル姿勢推定部13は、候補対応特徴点ペア群からランダムにペア群P cntを選択し、アフィン変換パラメータa cntを求める。
【0083】
続いてステップS22において、モデル姿勢推定部13は、NN法を用いてアフィン変換パラメータ空間のクラスタリングを行う。具体的には、先ず以下の式(12)に従ってアフィン変換パラメータa cntと各クラスタCiのセントロイドc i(i=1,…,N)との距離d(a cnt、c i)のうち、最初の距離dminを求める。
【0084】
【数11】
【0085】
そして、所定の閾値τ(例えばτ=0.1)に対してdmin<τであればdminを与えるクラスタCiにa cntを属させ、a cntを含めた全メンバでクラスタCiのセントロイドc iを更新する。また、クラスタCiのメンバ数nciをnci=nci+1とする。一方、dmin≧τであればクラスタ数NをN=N+1とし、アフィン変換パラメータ空間a上でa cntをセントロイドc N+1とする新しいクラスタCN+1を作り、メンバ数ncN+1をncN+1=1とする。
【0086】
続いてステップS23では、繰り返し終了条件を満たすか否かが判別される。ここで、繰り返し終了条件としては、例えば最多メンバ数が所定の閾値(例えば15)を超え、且つ最多メンバ数と2番目に多いメンバ数との差が所定の閾値(例えば3)を超える場合、或いは繰り返し数カウンタのカウント値cntが所定の閾値(例えば5000回)を超える場合に終了するように設定することができる。ステップS23において、繰り返し終了条件を満たさない場合(No)には、ステップS24で繰り返し数のカウント値cntをcnt=cnt+1とした後、ステップS21に戻る。一方、繰り返し終了条件を満たす場合(Yes)にはステップS25に進む。
【0087】
最後にステップS25において、モデル姿勢推定部13は、以上で得られたインライヤを用いて、最小自乗法によりモデル姿勢を決定するアフィン変換パラメータを推定する。
【0088】
ここで、インライヤを([xIN1 yIN1]T,[uIN1 vIN1]T),([xIN2 yIN2]T,[uIN2 vIN2]T),…とすると、インライヤとアフィン変換パラメータとの関係は、以下の式(13)に示す線形システムで表現することができる。
【0089】
【数12】
【0090】
この式(13)をA IN x IN=b INのように書き直すと、アフィン変換パラメータx INの最小自乗解は以下の式(14)で与えられる。
【0091】
【数13】
【0092】
そしてステップS25では、このアフィン変換パラメータx INで決定されるモデル姿勢をモデル認識結果として出力する。
【0093】
なお、以上の説明では、閾値τが定数値であるものとしたが、ステップS21乃至ステップS24の繰り返し処理を行う際に、始めは比較的大きな閾値τを用いて大雑把なインライヤ抽出を行い、繰り返し回数が増える毎に次第に小さい閾値τを用いる、いわゆる「焼きなまし法」のような手法を適用してもよい。これにより、精度よくインライヤを抽出することができる。
【0094】
また、以上の説明では、候補対応特徴点ペア群からランダムにペア群Pを選択し、そのアフィン変換パラメータをパラメータ空間上に投射していく操作を繰り返し、パラメータ空間上で最多メンバ数を持つクラスタの要素をインライヤとして、最小自乗法によりモデル姿勢を決定するアフィン変換パラメータを推定したが、これに限定されるものではなく、例えば最多メンバ数を持つクラスタのセントロイドを、モデル姿勢を決定するアフィン変換パラメータとしても構わない。
【0095】
ところで、特徴量比較部12で生成された候補対応特徴点ペア群中のアウトライヤの比率が大きくなるほどモデル姿勢推定部13におけるインライヤの選択確率が低下し、モデル姿勢を推定する際に多くの繰り返し回数が必要となるため、計算時間が増大してしまう。したがって、この検出可能判定部13に入力される候補対応特徴点ペア群からできる限りアウトライヤを排除しておくことが望ましい。そこで、本実施の形態における画像認識装置1では、図9に示すように、特徴量比較部12とモデル姿勢推定部13との間に以下に説明するような候補対応特徴点ペア選択部14を追加することができる。
【0096】
この候補対応特徴点ペア選択部14は、第1の手法として、推定回転角度ヒストグラムを作成することにより候補対応特徴点ペアを選択する。具体的に、図10(A)に示すようなモデルmdを含むモデル画像及びオブジェクトob1,ob2を含むオブジェクト画像を想定して説明する。特徴量比較部12では、モデル特徴点mとオブジェクト特徴点oとの間で、図10(A)に示すような候補対応特徴点ペア群P1,…,P6が生成される。このうち、P1,P2,P5,P6はインライヤであり、P3,P4はアウトライヤであるものとする。
【0097】
ここで、特徴量比較部12で生成された各候補対応特徴点ペアには、モデルのオブジェクト画像上での推定回転角度情報が保持されているが、図10(B)に示すように、インライヤの推定回転角度が何れも近い値(例えば40deg )を有するのに対し、アウトライヤの推定回転角度は様々な値(例えば110deg 、260deg )を有する。したがって、図10(C)に示すような推定回転角度ヒストグラムを作成すると、そのピークを与える推定回転角度を有するペアは、インライヤ(及び推定回転角度がインライヤと一致する極少数のアウトライヤ)となる。
【0098】
そこで、候補対応特徴点ペア選択部14は、特徴量比較部12で生成された候補対応特徴点ペア群のうち、推定回転角度ヒストグラムのピークを与える推定回転角度を有するペアを選択し、モデル姿勢推定部13に供給する。これにより、安定且つ精密にモデル姿勢のアフィン変換パラメータを推定することが可能となる。但し、モデルに対するストレッチ変換が著しい場合、画像中の各点における回転角度は一定ではなくなるため、この第1の手法は、著しいストレッチ変換を想定していない場合にのみ有効である。
【0099】
また、候補対応特徴点ペア選択部14は、第2の手法として、一般化ハフ変換を用いてモデル姿勢の粗推定を行う。具体的には、特徴量比較部12で生成された候補対応特徴点ペア群について、回転,拡大縮小率,平行移動(x、y方向)の4つの画像変換パラメータを特徴空間(投票空間)とした一般化ハフ変換を行う。最も投票の多かった画像変換パラメータ(最多投票パラメータ)によりモデルのオブジェクト画像上での粗い推定モデル姿勢が決定されるが、一方で最多投票パラメータに投票した候補対応特徴点ペア群が、この粗い推定モデル姿勢をサポートするインライヤ(及び極少数のアウトライヤ)となっている。
【0100】
そこで、候補対応特徴点ペア選択部14は、最多投票パラメータに投票した候補対応特徴点ペア群をモデル姿勢推定部13に供給する。これにより、安定且つ精密にモデル姿勢のアフィン変換パラメータを推定することが可能となる。
【0101】
なお、候補対応特徴点ペア選択部14は、上述した第1,第2の手法を併用するようにしても構わない。
【0102】
以上説明したように、本実施の形態における画像認識装置1によれば、複数の物体を含み、物体同士が部分的に重なり合っているようなオブジェクト画像からもモデルを検出可能であり、さらに視点の変化(平行移動,拡大縮小,回転,ストレッチを含む画像変化)、明度変化、ノイズによる画像情報の変形に対してもロバストである。
【0103】
ここで、この画像認識装置1は、例えば図11に示すようなロボット装置に搭載することができる。この図11に示す2足歩行タイプのロボット装置30は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態(怒り、悲しみ、喜び、楽しみ等)に応じて行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
【0104】
図11に示すように、ロボット装置30は、体幹部ユニット31の所定の位置に頭部ユニット32が連結されると共に、左右2つの腕部ユニット33R/Lと、左右2つの脚部ユニット34R/Lが連結されて構成されている(但し、R及びLの各々は、右及び左の各々を示す接尾辞である。以下において同じ。)。
【0105】
このロボット装置30が具備する関節自由度構成を図12に模式的に示す。頭部ユニット102を支持する首関節は、首関節ヨー軸101と、首関節ピッチ軸102と、首関節ロール軸103という3自由度を有している。
【0106】
また、上肢を構成する各々の腕部ユニット33R/Lは、、肩関節ピッチ軸107と、肩関節ロール軸108と、上腕ヨー軸109と、肘関節ピッチ軸110と、前腕ヨー軸111と、手首関節ピッチ軸112と、手首関節ロール軸113と、手部114とで構成される。手部114は、実際には、複数本の指を含む多関節・多自由度構造体である。ただし、手部114の動作は、ロボット装置1の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は7自由度を有するとする。
【0107】
また、体幹部ユニット2は、体幹ピッチ軸104と、体幹ロール軸105と、体幹ヨー軸106という3自由度を有する。
【0108】
また、下肢を構成する各々の脚部ユニット34R/Lは、股関節ヨー軸115と、股関節ピッチ軸116と、股関節ロール軸117と、膝関節ピッチ軸118と、足首関節ピッチ軸119と、足首関節ロール軸120と、足部121とで構成される。本明細書中では、股関節ピッチ軸116と股関節ロール軸117の交点は、ロボット装置30の股関節位置を定義する。人体の足部121は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置30の足底は、ゼロ自由度とする。したがって、各脚部は、6自由度で構成される。
【0109】
以上を総括すれば、ロボット装置30全体としては、合計で3+7×2+3+6×2=32自由度を有することになる。ただし、エンターテインメント向けのロボット装置30が必ずしも32自由度に限定されるわけではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。
【0110】
上述したようなロボット装置30がもつ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、2足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型且つ軽量であることが好ましい。また、アクチュエータは、ギア直結型で且つサーボ制御系をワンチップ化してモータユニット内に搭載したタイプの小型ACサーボ・アクチュエータで構成することがより好ましい。
【0111】
図13には、ロボット装置30の制御システム構成を模式的に示している。図13に示すように、制御システムは、ユーザ入力などに動的に反応して情緒判断や感情表現を司る思考制御モジュール200と、アクチュエータ350の駆動などロボット装置1の全身協調運動を制御する運動制御モジュール300とで構成される。
【0112】
思考制御モジュール200は、情緒判断や感情表現に関する演算処理を実行するCPU(Central Processing Unit)211や、RAM(Random Access Memory)212、ROM(Read Only Memory)213、及び、外部記憶装置(ハード・ディスク・ドライブなど)214で構成される、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。
【0113】
この思考制御モジュール200は、画像入力装置251から入力される画像データや音声入力装置252から入力される音声データなど、外界からの刺激などに従って、ロボット装置30の現在の感情や意思を決定する。ここで、画像入力装置251は、例えばCCD(Charge Coupled Device)カメラを複数備えており、また、音声入力装置252は、例えばマイクロホンを複数備えている。
【0114】
また、思考制御モジュール200は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール300に対して指令を発行する。
【0115】
一方の運動制御モジュール300は、ロボット装置30の全身協調運動を制御するCPU311や、RAM312、ROM313、及び外部記憶装置(ハード・ディスク・ドライブなど)314で構成される、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。外部記憶装置314には、例えば、オフラインで算出された歩行パターンや目標とするZMP軌道、その他の行動計画を蓄積することができる。ここで、ZMPとは、歩行中の床反力によるモーメントがゼロとなる床面上の点のことであり、また、ZMP軌道とは、例えばロボット装置30の歩行動作期間中にZMPが動く軌跡を意味する。なお、ZMPの概念並びにZMPを歩行ロボットの安定度判別規範に適用する点については、Miomir Vukobratovic 著“LEGGED LOCOMOTION ROBOTS”(加藤一郎外著『歩行ロボットと人工の足』(日刊工業新聞社))に記載されている。
【0116】
運動制御モジュール300には、図12に示したロボット装置30の全身に分散するそれぞれの関節自由度を実現するアクチュエータ350、体幹部ユニット2の姿勢や傾斜を計測する姿勢センサ351、左右の足底の離床又は着床を検出する接地確認センサ352,353、バッテリなどの電源を管理する電源制御装置354などの各種の装置が、バス・インターフェース(I/F)301経由で接続されている。ここで、姿勢センサ351は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ352,353は、近接センサ又はマイクロ・スイッチなどで構成される。
【0117】
思考制御モジュール200と運動制御モジュール300は、共通のプラットフォーム上で構築され、両者間はバス・インターフェース201,301を介して相互接続されている。
【0118】
運動制御モジュール300では、思考制御モジュール200から指示された行動を体現すべく、各アクチュエータ350による全身協調運動を制御する。すなわち、CPU311は、思考制御モジュール200から指示された行動に応じた動作パターンを外部記憶装置314から取り出し、又は、内部的に動作パターンを生成する。そして、CPU311は、指定された動作パターンに従って、足部運動、ZMP軌道、体幹運動、上肢運動、腰部水平位置及び高さなどを設定するとともに、これらの設定内容に従った動作を指示する指令値を各アクチュエータ350に転送する。
【0119】
また、CPU311は、姿勢センサ351の出力信号によりロボット装置30の体幹部ユニット31の姿勢や傾きを検出するとともに、各接地確認センサ352,353の出力信号により各脚部ユニット5R/Lが遊脚又は立脚のいずれの状態であるかを検出することによって、ロボット装置30の全身協調運動を適応的に制御することができる。
【0120】
また、CPU311は、ZMP位置が常にZMP安定領域の中心に向かうように、ロボット装置1の姿勢や動作を制御する。
【0121】
さらに、運動制御モジュール300は、思考制御モジュール200において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール200に返すようになっている。
【0122】
このようにしてロボット装置30は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。
【0123】
このロボット装置30において、上述した画像認識機能をインプリメントしたプログラム(データを含む)は、例えば思考制御モジュール200のROM213に格納される。この場合、思考制御モジュール200のCPU211によって画像認識プログラムが実行される。
【0124】
このようなロボット装置30に上述した画像認識機能を組み込むことにより、ロボット装置30は、画像入力装置251を介して入力される画像データから予め記憶しているモデルを精度よく抽出することができる。特に、ロボット装置30が自律的に歩行している際に画像入力装置251のCCDカメラで撮像した周囲の画像から所望のモデルを検出するような場合、他の障害物によってそのモデルが部分的に隠れていることが多々あり、視点や明度も一定ではないが、上述した画像認識手法によれば、このような場合においてもモデルを精度よく抽出することができる。
【0125】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0126】
【発明の効果】
以上詳細に説明したように、本発明に係る画像認識装置及びその方法は、複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出するものであり、上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段(工程)と、上記オブジェクト画像及び上記モデル画像の各々について、少なくとも上記特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として抽出して保持する特徴量保持手段(工程)と、上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段(工程)と、上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段(工程)とを有し、上記特徴量比較手段(工程)は、比較対象となる特徴点同士の上記濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、上記候補対応特徴点ペアを生成するものである。
【0127】
このような画像認識装置及びその方法によれば、特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として特徴量マッチングを行う際に、比較対象となる特徴点同士の濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、距離の類似する特徴点同士で候補対応特徴点ペアを生成する。このように、ヒストグラム度数に勾配強度を累積せず、単に勾配方向のみに注目しているため、明度変化に対してロバストな特徴量マッチングが可能になる。また、方向ヒストグラムの形状を考慮したより安定なマッチングを行うことができると共に、二次的に安定した特徴量(推定回転角度)を得ることができる。
【0128】
また、本発明に係る画像認識装置及びその方法は、複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出するものであり、上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段(工程)と、上記オブジェクト画像及び上記モデル画像の各々について、上記特徴点の近傍領域における特徴量を抽出して保持する特徴量保持手段(工程)と、上記オブジェクト画像の各特徴点と上記モデル画像の各特徴量とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段(工程)と、上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段(工程)とを有し、上記モデル姿勢推定手段(工程)は、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求めるものである。
【0129】
このような画像認識装置及びその方法によれば、特徴量が類似するとして生成された候補対応特徴点ペアを用いて上記オブジェクト画像上のモデルの有無を検出し、モデルが存在する場合に該モデルの位置及び姿勢を推定する際に、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求める。このように、最小自乗推定を用いてモデルの位置及び姿勢を決定するアフィン変換パラメータを求めるのではなく、アフィン変換パラメータを投射したパラメータ空間上で最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいてアフィン変換パラメータを求めることにより、候補対応特徴点ペアに偽の対応点ペア含まれている場合であっても、安定してモデルの位置及び姿勢を推定することができる。
【0130】
また、本発明に係るロボット装置は、上述したような画像認識機能を搭載したものであり、入力される画像データから予め記憶しているモデルを精度よく抽出することができる。
【図面の簡単な説明】
【図1】本実施の形態における画像認識装置の概略構成を示す図である。
【図2】同画像認識装置の特徴点抽出部における画像の多重解像度ピラミッド構造の構築方法を説明する図である。
【図3】第Lレベルまでの解像度変化によって位置の変化がないような特徴点の検出処理を説明するフローチャートである。
【図4】第3レベルまでの解像度変化によって位置の変化がないような特徴点を検出する場合の例を示す図である。
【図5】同画像認識装置の特徴量保持部における処理を説明する図であり、同図(A)は、特徴点から半径3.5ピクセルの範囲内を近傍構造とした場合における特徴点近傍の濃度勾配情報の例を示し、同図(B)は、同図(A)の濃度勾配情報から得られる勾配方向ヒストグラムの例を示す。
【図6】同画像認識装置の特徴量比較部における処理の詳細を説明するフローチャートである。
【図7】濃度勾配ベクトルUm,Uo間の類似度の計算手法を説明する図である。
【図8】同画像認識装置のモデル姿勢推定部における処理の詳細を説明するフローチャートである。
【図9】候補対応特徴点ペア選択部を有する画像認識装置の概略構成を示す図である。
【図10】同画像認識装置の候補対応特徴点ペア選択部における第1の手法を説明する図であり、同図(A)は、候補対応特徴点ペア群の例を示し、同図(B)は、各候補対応特徴点ペアに保持されている推定回転角度を示し、同図(C)は、推定回転角度ヒストグラムを示す。
【図11】本実施の形態におけるロボット装置の外観構成を示す斜視図である。
【図12】同ロボット装置の自由度構成モデルを模式的に示す図である。
【図13】同ロボット装置のシステム構成を示す図である。
【図14】従来の画像認識装置の概略構成を示す図である。
【符号の説明】
1 画像認識装置、10a,10b 特徴点抽出部、11a,11b 特徴量保持部、12 特徴量比較部、13 モデル姿勢推定部、14 候補対応特徴点ペア選択部、30 ロボット装置、251 画像入力装置
Claims (19)
- 複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出する画像認識装置であって、
上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段と、
上記オブジェクト画像及び上記モデル画像の各々について、少なくとも上記特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として抽出して保持する特徴量保持手段と、
上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段と、
上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段とを備え、
上記特徴量比較手段は、比較対象となる特徴点同士の上記濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、上記候補対応特徴点ペアを生成する
ことを特徴とする画像認識装置。 - 上記特徴量保持手段は、さらに上記近傍領域を複数の部分領域に分割した各部分領域毎の平均濃度勾配ベクトルを上記特徴量として抽出して保持し、
上記特徴量比較手段は、上記比較対象となる特徴点同士の上記濃度勾配方向ヒストグラム間の距離と、上記部分領域毎の平均濃度勾配ベクトルを上記近傍領域でまとめた特徴ベクトル間の類似度とに基づいて、上記候補対応特徴点ペアを生成する
ことを特徴とする請求項1記載の画像認識装置。 - 上記特徴量比較手段は、上記比較対象となる特徴点同士の上記濃度勾配方向ヒストグラム間の距離に基づき暫定的な候補対応特徴点ペアを生成し、上記特徴ベクトル間の類似度に基づき該暫定的な候補対応特徴点ペアから上記候補対応特徴点ペアを選択することを特徴とする請求項2記載の画像認識装置。
- 上記特徴量比較手段は、上記最小の距離を与えるシフト量に相当する回転角度で上記近傍領域における濃度勾配ベクトルの濃度勾配方向を補正し、補正後の近傍領域における上記特徴ベクトル間の類似度に基づき上記暫定的な候補対応特徴点ペアから上記候補対応特徴点ペアを選択することを特徴とする請求項3記載の画像認識装置。
- 上記モデル姿勢推定手段は、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求めることを特徴とする請求項1記載の画像認識装置。
- 上記モデル姿勢推定手段は、上記最多メンバ数を持つクラスタのセントロイドを上記モデルの位置及び姿勢を決定するアフィン変換パラメータとすることを特徴とする請求項5記載の画像認識装置。
- 上記モデル姿勢推定手段は、上記最多メンバ数を持つクラスタに属するアフィン変換パラメータを与えた候補対応特徴点ペアを真の候補対応特徴点ペアとし、該真の候補対応特徴点ペアを用いて最小自乗推定により上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求めることを特徴とする請求項5記載の画像認識装置。
- 上記最小の距離を与えるシフト量に相当する回転角度に関する回転角度ヒストグラムを作成し、上記特徴量比較手段によって生成された上記候補対応特徴点ペアから上記回転角度ヒストグラムのピークにおける回転角度を与えた候補対応特徴点ペアを選択する候補対応特徴点ペア選択手段をさらに備え、
上記モデル姿勢推定手段は、上記候補対応特徴点ペア選択手段によって選択された候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定する
ことを特徴とする請求項1記載の画像認識装置。 - 上記特徴量比較手段によって生成された候補対応特徴点ペアに対して、回転角度、拡大縮小率並びに水平及び垂直方向の平行移動量をパラメータ空間とした一般化ハフ変換を行い、上記特徴量比較手段によって生成された候補対応特徴点ペアから最多投票パラメータに投票した候補対応特徴点ペアを選択する候補対応特徴点ペア選択手段をさらに備え、
上記モデル姿勢推定手段は、上記候補対応特徴点ペア選択手段によって選択された候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定する
ことを特徴とする請求項1記載の画像認識装置。 - 上記特徴点抽出手段は、上記オブジェクト画像又は上記モデル画像に対して平滑化フィルリングと縮小リサンプリングとを繰り返し適用して得られる多重解像度ピラミッド構造において、各解像度における2次微分系フィルタ出力画像の局所極大点又は局所極小点のうち、所定の範囲内の解像度変化によって位置の変化がない点を上記特徴点として抽出することを特徴とする請求項1記載の画像認識装置。
- 複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出する画像認識装置であって、
上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段と、
上記オブジェクト画像及び上記モデル画像の各々について、上記特徴点の近傍領域における特徴量を抽出して保持する特徴量保持手段と、
上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段と、
上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段とを備え、
上記モデル姿勢推定手段は、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求める
ことを特徴とする画像認識装置。 - 上記モデル姿勢推定手段は、上記最多メンバ数を持つクラスタのセントロイドを上記モデルの位置及び姿勢を決定するアフィン変換パラメータとすることを特徴とする請求項11記載の画像認識装置。
- 上記モデル姿勢推定手段は、上記最多メンバ数を持つクラスタに属するアフィン変換パラメータを与えた候補対応特徴点ペアを真の候補対応特徴点ペアとし、該真の候補対応特徴点ペアを用いて最小自乗推定により上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求めることを特徴とする請求項11記載の画像認識装置。
- 上記特徴量比較手段によって生成された候補対応特徴点ペアに対して、回転角度、拡大縮小率並びに水平及び垂直方向の平行移動量をパラメータ空間とした一般化ハフ変換を行い、上記特徴量比較手段によって生成された候補対応特徴点ペアから最多投票パラメータに投票した候補対応特徴点ペアを選択する候補対応特徴点ペア選択手段をさらに備え、
上記モデル姿勢推定手段は、上記候補対応特徴点ペア選択手段によって選択された候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定する
ことを特徴とする請求項11記載の画像認識装置。 - 上記特徴点抽出手段は、上記オブジェクト画像又は上記モデル画像に対して平滑化フィルリングと縮小リサンプリングとを繰り返し適用して得られる多重解像度ピラミッド構造において、各解像度における2次微分系フィルタ出力画像の局所極大点又は局所極小点のうち、所定の範囲内の解像度変化によって位置の変化がない点を上記特徴点として抽出することを特徴とする請求項11記載の画像認識装置。
- 複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出する画像認識方法であって、
上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出工程と、
上記オブジェクト画像及び上記モデル画像の各々について、少なくとも上記特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として抽出して保持する特徴量保持工程と、
上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較工程と、
上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定工程とを有し、
上記特徴量比較工程では、比較対象となる特徴点同士の上記濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、上記候補対応特徴点ペアを生成する
ことを特徴とする画像認識方法。 - 複数のオブジェクトを含むオブジェクト画像と検出対象となるモデルを含むモデル画像とを比較し、上記オブジェクト画像から上記モデルを抽出する画像認識方法であって、
上記オブジェクト画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出工程と、
上記オブジェクト画像及び上記モデル画像の各々について、上記特徴点の近傍領域における特徴量を抽出して保持する特徴量保持工程と、
上記オブジェクト画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較工程と、
上記候補対応特徴点ペアを用いて上記オブジェクト画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定工程とを有し、
上記モデル姿勢推定工程では、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求める
ことを特徴とする画像認識方法。 - 入力画像と検出対象となるモデルを含むモデル画像とを比較し、上記入力画像から上記モデルを抽出することが可能な自律型のロボット装置であって、
外部環境を撮像し、上記入力画像とする画像入力手段と、
上記入力画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段と、
上記入力画像及び上記モデル画像の各々について、少なくとも上記特徴点の近傍領域における濃度勾配情報から得られる濃度勾配方向ヒストグラムを特徴量として抽出して保持する特徴量保持手段と、
上記入力画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段と、
上記候補対応特徴点ペアを用いて上記入力画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段とを備え、
上記特徴量比較手段は、比較対象となる特徴点同士の上記濃度勾配方向ヒストグラムの一方を濃度勾配方向に巡回的にシフトさせながら該濃度勾配方向ヒストグラム間の距離を求め、最小の距離を該濃度勾配方向ヒストグラム間の距離として、上記候補対応特徴点ペアを生成する
ことを特徴とするロボット装置。 - 入力画像と検出対象となるモデルを含むモデル画像とを比較し、上記入力画像から上記モデルを抽出することが可能な自律型のロボット装置であって、
外部環境を撮像し、上記入力画像とする画像入力手段と、
上記入力画像及び上記モデル画像の各々から特徴点を抽出する特徴点抽出手段と、
上記入力画像及び上記モデル画像の各々について、上記特徴点の近傍領域における特徴量を抽出して保持する特徴量保持手段と、
上記入力画像の各特徴点と上記モデル画像の各特徴点とを比較し、類似する特徴量を有する候補対応特徴点ペアを生成する特徴量比較手段と、
上記候補対応特徴点ペアを用いて上記入力画像上の上記モデルの有無を検出し、上記モデルが存在する場合に該モデルの位置及び姿勢を推定するモデル姿勢推定手段とを備え、
上記モデル姿勢推定手段は、ランダムに選択した3組の候補対応特徴点ペアから決定されるアフィン変換パラメータをパラメータ空間に投射する操作を繰り返し、パラメータ空間上で形成されたクラスタのうち最多メンバ数を持つクラスタに属するアフィン変換パラメータに基づいて上記モデルの位置及び姿勢を決定するアフィン変換パラメータを求める
ことを特徴とするロボット装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003124225A JP4492036B2 (ja) | 2003-04-28 | 2003-04-28 | 画像認識装置及び方法、並びにロボット装置 |
CNB2007101383453A CN100573558C (zh) | 2003-04-28 | 2004-04-22 | 图像识别设备、方法和机器人设备 |
PCT/JP2004/005784 WO2004097742A1 (ja) | 2003-04-28 | 2004-04-22 | 画像認識装置及び方法、並びにロボット装置 |
CNB2004800004098A CN100365662C (zh) | 2003-04-28 | 2004-04-22 | 图像识别设备、方法和机器人设备 |
EP04728905A EP1515277A4 (en) | 2003-04-28 | 2004-04-22 | IMAGE IDENTIFICATION DEVICE AND METHOD AND ROBOTIC DEVICE |
US10/517,615 US7627178B2 (en) | 2003-04-28 | 2004-04-22 | Image recognition device using feature points, method for recognizing images using feature points, and robot device which recognizes images using feature points |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003124225A JP4492036B2 (ja) | 2003-04-28 | 2003-04-28 | 画像認識装置及び方法、並びにロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004326693A true JP2004326693A (ja) | 2004-11-18 |
JP4492036B2 JP4492036B2 (ja) | 2010-06-30 |
Family
ID=33410154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003124225A Expired - Fee Related JP4492036B2 (ja) | 2003-04-28 | 2003-04-28 | 画像認識装置及び方法、並びにロボット装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7627178B2 (ja) |
EP (1) | EP1515277A4 (ja) |
JP (1) | JP4492036B2 (ja) |
CN (2) | CN100365662C (ja) |
WO (1) | WO2004097742A1 (ja) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006073076A1 (ja) * | 2005-01-07 | 2006-07-13 | Sony Corporation | 画像処理システム、学習装置および方法、並びにプログラム |
JP2006338082A (ja) * | 2005-05-31 | 2006-12-14 | Sony Corp | 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム |
JP2007128195A (ja) * | 2005-11-02 | 2007-05-24 | Sony Corp | 画像処理システム |
JP2007140613A (ja) * | 2005-11-14 | 2007-06-07 | National Institute Of Advanced Industrial & Technology | 映像内の複数広告看板の認識方法 |
JP2008077626A (ja) * | 2006-03-31 | 2008-04-03 | Sony Corp | 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム |
JP2008257649A (ja) * | 2007-04-09 | 2008-10-23 | Denso Corp | 画像認識装置 |
JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2009087087A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | ナンバープレート情報処理装置及びナンバープレート情報処理方法 |
JP2009116385A (ja) * | 2007-11-01 | 2009-05-28 | Sony Corp | 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム |
KR100930626B1 (ko) | 2007-08-23 | 2009-12-09 | 전자부품연구원 | 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법 |
EP2136319A2 (en) | 2008-06-20 | 2009-12-23 | Sony Corporation | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
JP2010062911A (ja) * | 2008-09-04 | 2010-03-18 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
JP2010079545A (ja) * | 2008-09-25 | 2010-04-08 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
JP2010204718A (ja) * | 2009-02-27 | 2010-09-16 | Fujitsu Semiconductor Ltd | 画像処理プログラム、画像処理装置および画像処理方法 |
JP2010204908A (ja) * | 2009-03-03 | 2010-09-16 | Kddi Corp | 画像検索システム |
WO2010134539A1 (ja) * | 2009-05-19 | 2010-11-25 | 国立大学法人東京大学 | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム |
JP2011008507A (ja) * | 2009-06-25 | 2011-01-13 | Kddi Corp | 画像検索方法およびシステム |
US8160366B2 (en) | 2008-06-20 | 2012-04-17 | Sony Corporation | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
KR20120052042A (ko) * | 2010-11-15 | 2012-05-23 | 삼성테크윈 주식회사 | 로봇 위치 추정 장치 및 방법 |
JP2012098983A (ja) * | 2010-11-04 | 2012-05-24 | Fujitsu Ltd | 物体検出装置、物体検出方法及びプログラム |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
JP2012128744A (ja) * | 2010-12-16 | 2012-07-05 | Canon Inc | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム |
US8401308B2 (en) | 2006-06-19 | 2013-03-19 | Sony Corporation | Information processing device, information processing method, and program |
WO2013038734A1 (ja) | 2011-09-15 | 2013-03-21 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP2013514581A (ja) * | 2009-12-16 | 2013-04-25 | トムソン ライセンシング | ヒューマンインタラクションによる軌跡に基づいたシステム |
US8774508B2 (en) | 2012-02-27 | 2014-07-08 | Denso It Laboratory, Inc. | Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point |
JP2014186659A (ja) * | 2013-03-25 | 2014-10-02 | Hitachi Omron Terminal Solutions Corp | 画像照合装置、画像照合方法、画像照合プログラム |
WO2017006852A1 (ja) * | 2015-07-06 | 2017-01-12 | 日本電信電話株式会社 | 画像照合装置、画像照合方法、及びプログラム |
WO2018155783A1 (ko) * | 2017-02-24 | 2018-08-30 | 영남대학교 산학협력단 | 센서 기반 이동체 위치 추정 시스템 및 방법 |
JP2019207597A (ja) * | 2018-05-30 | 2019-12-05 | 川崎重工業株式会社 | 目標識別装置およびこれを備える特定動作装置 |
JP2020181290A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
JP2021530816A (ja) * | 2018-07-24 | 2021-11-11 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 角検出のための方法および装置 |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6912309B2 (en) * | 2003-03-06 | 2005-06-28 | Lockheed Martin Corporation | Method and system for identifying objects in an image |
US7382897B2 (en) * | 2004-04-27 | 2008-06-03 | Microsoft Corporation | Multi-image feature matching using multi-scale oriented patches |
US20050285947A1 (en) * | 2004-06-21 | 2005-12-29 | Grindstaff Gene A | Real-time stabilization |
AU2006237611B2 (en) * | 2005-04-15 | 2011-04-14 | Intelligent Virus Imaging Inc. | Method of analyzing cell structures and their components |
US8712140B2 (en) * | 2005-04-15 | 2014-04-29 | Intelligent Virus Imaging Inc. | Method of analyzing cell structures and their components |
US20070173974A1 (en) * | 2006-01-25 | 2007-07-26 | Chyi-Yeu Lin | Device and method for interacting with autonomous robot |
US7949186B2 (en) * | 2006-03-15 | 2011-05-24 | Massachusetts Institute Of Technology | Pyramid match kernel and related techniques |
KR100780057B1 (ko) * | 2006-04-25 | 2007-11-29 | 삼성전자주식회사 | 동영상 그레쥬얼 샷 변환 장치 및 그 방법 |
JP4046753B2 (ja) * | 2006-06-22 | 2008-02-13 | 株式会社コナミデジタルエンタテインメント | 線形状処理装置、線形状処理方法、ならびに、プログラム |
JP5161435B2 (ja) * | 2006-06-26 | 2013-03-13 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理システム、コンピュータの制御方法及びプログラム |
KR100801087B1 (ko) | 2006-07-05 | 2008-02-11 | 삼성전자주식회사 | 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇 |
GB0616293D0 (en) | 2006-08-16 | 2006-09-27 | Imp Innovations Ltd | Method of image processing |
JP4393556B2 (ja) * | 2007-03-06 | 2010-01-06 | シャープ株式会社 | 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体 |
JP4929506B2 (ja) * | 2007-03-29 | 2012-05-09 | 本田技研工業株式会社 | 脚式移動ロボット |
JP2008252317A (ja) * | 2007-03-29 | 2008-10-16 | Olympus Imaging Corp | デジタルカメラ |
US7903883B2 (en) * | 2007-03-30 | 2011-03-08 | Microsoft Corporation | Local bi-gram model for object recognition |
US8064639B2 (en) * | 2007-07-19 | 2011-11-22 | Honeywell International Inc. | Multi-pose face tracking using multiple appearance models |
JP2009031876A (ja) * | 2007-07-24 | 2009-02-12 | Sharp Corp | 画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 |
CN101796550B (zh) * | 2007-09-07 | 2012-12-12 | 光荣株式会社 | 纸张类识别装置和纸张类识别方法 |
DE102007051612B4 (de) * | 2007-10-24 | 2009-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten |
JP4894741B2 (ja) * | 2007-12-03 | 2012-03-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
US8086043B2 (en) * | 2007-12-21 | 2011-12-27 | Ati Technologies Ulc | System and method of image correlation based on image structure |
KR101081859B1 (ko) | 2008-04-28 | 2011-11-09 | 한양대학교 산학협력단 | 동적 환경에서의 위치 추정 방법 및 그 장치 |
CN101727452B (zh) * | 2008-10-22 | 2012-09-19 | 富士通株式会社 | 图像处理方法和设备 |
KR101553522B1 (ko) * | 2008-12-29 | 2015-09-16 | 삼성전자 주식회사 | 로봇 및 그 제어 방법 |
US20100179689A1 (en) * | 2009-01-09 | 2010-07-15 | National Taiwan University Of Science And Technology | Method of teaching robotic system |
CN101807244B (zh) * | 2009-02-13 | 2012-02-08 | 北京邮电大学 | 机器识别和重构方法 |
JP5075861B2 (ja) * | 2009-03-16 | 2012-11-21 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
US8731238B2 (en) * | 2009-06-10 | 2014-05-20 | Honeywell International Inc. | Multiple view face tracking |
KR101622110B1 (ko) * | 2009-08-11 | 2016-05-18 | 삼성전자 주식회사 | 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법 |
KR101611504B1 (ko) * | 2009-09-25 | 2016-04-11 | 삼성전자 주식회사 | 로봇 시스템 및 그 영상 처리 방법 |
JP5507962B2 (ja) * | 2009-11-05 | 2014-05-28 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
TWI405143B (zh) * | 2009-11-27 | 2013-08-11 | Altek Corp | 用於辨識的物件影像校正裝置與其方法 |
JP5526942B2 (ja) * | 2010-03-31 | 2014-06-18 | ソニー株式会社 | ロボット装置、ロボット装置の制御方法およびプログラム |
JP5495934B2 (ja) * | 2010-05-18 | 2014-05-21 | キヤノン株式会社 | 画像処理装置、その処理方法及びプログラム |
US8842191B2 (en) * | 2010-06-03 | 2014-09-23 | Recognition Robotics, Inc. | System and method for visual recognition |
US8189961B2 (en) * | 2010-06-09 | 2012-05-29 | Microsoft Corporation | Techniques in optical character recognition |
DE102010032193A1 (de) * | 2010-07-24 | 2012-01-26 | Chronos Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augentorsion |
JP2012033022A (ja) * | 2010-07-30 | 2012-02-16 | Panasonic Corp | 空間における変化領域検出装置及び方法 |
US8792728B2 (en) * | 2010-09-27 | 2014-07-29 | Hewlett-Packard Development Company, L.P. | Near-duplicate image detection |
TWI420906B (zh) | 2010-10-13 | 2013-12-21 | Ind Tech Res Inst | 興趣區域之追蹤系統與方法及電腦程式產品 |
US8965130B2 (en) * | 2010-11-09 | 2015-02-24 | Bar-Ilan University | Flexible computer vision |
US8490877B2 (en) | 2010-11-09 | 2013-07-23 | Metrologic Instruments, Inc. | Digital-imaging based code symbol reading system having finger-pointing triggered mode of operation |
TW201222476A (en) * | 2010-11-26 | 2012-06-01 | Chung-Chiu Wu | Image processing system and method thereof, computer readable storage media and computer program product |
JP5837508B2 (ja) * | 2010-12-09 | 2015-12-24 | パナソニック株式会社 | 姿勢状態推定装置および姿勢状態推定方法 |
US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
KR101165357B1 (ko) * | 2011-02-14 | 2012-07-18 | (주)엔써즈 | 이미지 특징 데이터 생성 장치 및 방법 |
JP5776255B2 (ja) | 2011-03-25 | 2015-09-09 | ソニー株式会社 | 端末装置、物体識別方法、プログラム及び物体識別システム |
JP5773736B2 (ja) * | 2011-05-10 | 2015-09-02 | アズビル株式会社 | 照合装置 |
US8948518B2 (en) * | 2011-07-14 | 2015-02-03 | Futurewei Technologies, Inc. | Scalable query for visual search |
US8805117B2 (en) * | 2011-07-19 | 2014-08-12 | Fuji Xerox Co., Ltd. | Methods for improving image search in large-scale databases |
US9870517B2 (en) * | 2011-12-08 | 2018-01-16 | Excalibur Ip, Llc | Image object retrieval |
CN103186896B (zh) * | 2011-12-27 | 2018-06-01 | 联想(北京)有限公司 | 用于空间地图构建的空间不变量二次检测方法和设备 |
KR101833953B1 (ko) * | 2012-01-02 | 2018-03-02 | 텔레콤 이탈리아 소시에떼 퍼 아찌오니 | 이미지들을 비교하는 방법 및 시스템 |
JP5899951B2 (ja) | 2012-01-18 | 2016-04-06 | セイコーエプソン株式会社 | ロボット装置および位置姿勢検出方法 |
CN102663776B (zh) * | 2012-03-31 | 2014-10-29 | 北京智安邦科技有限公司 | 基于特征点分析的剧烈运动检测的方法及装置 |
JP5898014B2 (ja) * | 2012-07-26 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
US9008362B1 (en) * | 2012-10-10 | 2015-04-14 | Lockheed Martin Corporation | Correlation of 3-D point images |
WO2015089115A1 (en) | 2013-12-09 | 2015-06-18 | Nant Holdings Ip, Llc | Feature density object classification, systems and methods |
CN103753585A (zh) * | 2014-01-10 | 2014-04-30 | 南通大学 | 一种基于视觉图像分析的机械手及抓紧力智能调节方法 |
CN104881860B (zh) | 2014-02-28 | 2019-01-08 | 国际商业机器公司 | 基于照片进行定位的方法和装置 |
US9569692B2 (en) * | 2014-10-31 | 2017-02-14 | The Nielsen Company (Us), Llc | Context-based image recognition for consumer market research |
US10510038B2 (en) | 2015-06-17 | 2019-12-17 | Tata Consultancy Services Limited | Computer implemented system and method for recognizing and counting products within images |
WO2017002475A1 (ja) * | 2015-06-30 | 2017-01-05 | 日本電気株式会社 | 個体識別子抽出装置 |
JP6624877B2 (ja) * | 2015-10-15 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017104712A1 (ja) * | 2015-12-14 | 2017-06-22 | ヤマハ発動機株式会社 | 車両用ロール角推定システム、車両、車両用ロール角推定方法及びプログラム |
CN106372111B (zh) * | 2016-08-22 | 2021-10-15 | 中国科学院计算技术研究所 | 局部特征点筛选方法及系统 |
US10013798B2 (en) | 2016-08-30 | 2018-07-03 | The Boeing Company | 3D vehicle localizing using geoarcs |
US10402675B2 (en) * | 2016-08-30 | 2019-09-03 | The Boeing Company | 2D vehicle localizing using geoarcs |
JP6904430B2 (ja) * | 2017-11-07 | 2021-07-14 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US10565714B2 (en) | 2018-05-25 | 2020-02-18 | Denso Corporation | Feature tracking for visual odometry |
CN110751283B (zh) * | 2018-07-05 | 2022-11-15 | 第四范式(北京)技术有限公司 | 模型解释方法、装置、设备及存储介质 |
CN108965859B (zh) * | 2018-07-09 | 2020-05-22 | 歌尔科技有限公司 | 投影方式识别方法、视频播放方法、装置及电子设备 |
EP3629290B1 (en) * | 2018-09-26 | 2023-01-04 | Apple Inc. | Localization for mobile devices |
JP6863946B2 (ja) * | 2018-10-31 | 2021-04-21 | ファナック株式会社 | 画像処理装置 |
US11386636B2 (en) | 2019-04-04 | 2022-07-12 | Datalogic Usa, Inc. | Image preprocessing for optical character recognition |
CN110136051A (zh) | 2019-04-30 | 2019-08-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
JP7316134B2 (ja) * | 2019-07-22 | 2023-07-27 | ファナック株式会社 | 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム |
JP7488033B2 (ja) * | 2019-08-22 | 2024-05-21 | ファナック株式会社 | 物体検出装置及び物体検出用コンピュータプログラム |
CN110766025B (zh) * | 2019-10-09 | 2022-08-30 | 杭州易现先进科技有限公司 | 绘本识别方法、装置、系统及存储介质 |
US11783207B2 (en) | 2020-02-18 | 2023-10-10 | International Business Machines Corporation | Robotic Toxicodendron weeding |
JP2022096379A (ja) * | 2020-12-17 | 2022-06-29 | 富士通株式会社 | 画像出力プログラム,画像出力方法および画像出力装置 |
CN112990330B (zh) * | 2021-03-26 | 2022-09-20 | 国网河北省电力有限公司营销服务中心 | 用户用能异常数据检测方法及设备 |
CN116385480B (zh) * | 2023-02-03 | 2023-10-20 | 腾晖科技建筑智能(深圳)有限公司 | 一种针对塔吊下方运动目标的检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008012A (ja) * | 2000-06-26 | 2002-01-11 | National Institute Of Advanced Industrial & Technology | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 |
JP2002175528A (ja) * | 2000-09-29 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 画像情報抽出方法および画像情報抽出装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5832110A (en) * | 1996-05-28 | 1998-11-03 | Ricoh Company, Ltd. | Image registration using projection histogram matching |
US5815591A (en) * | 1996-07-10 | 1998-09-29 | R2 Technology, Inc. | Method and apparatus for fast detection of spiculated lesions in digital mammograms |
JP3377465B2 (ja) * | 1999-04-08 | 2003-02-17 | ファナック株式会社 | 画像処理装置 |
US6804683B1 (en) * | 1999-11-25 | 2004-10-12 | Olympus Corporation | Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database |
JP2008028012A (ja) * | 2006-07-19 | 2008-02-07 | Konica Minolta Opto Inc | アクチュエータ素子、及びアクチュエータ素子の製造方法 |
-
2003
- 2003-04-28 JP JP2003124225A patent/JP4492036B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-22 US US10/517,615 patent/US7627178B2/en not_active Expired - Fee Related
- 2004-04-22 CN CNB2004800004098A patent/CN100365662C/zh not_active Expired - Fee Related
- 2004-04-22 CN CNB2007101383453A patent/CN100573558C/zh not_active Expired - Fee Related
- 2004-04-22 EP EP04728905A patent/EP1515277A4/en not_active Withdrawn
- 2004-04-22 WO PCT/JP2004/005784 patent/WO2004097742A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008012A (ja) * | 2000-06-26 | 2002-01-11 | National Institute Of Advanced Industrial & Technology | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 |
JP2002175528A (ja) * | 2000-09-29 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 画像情報抽出方法および画像情報抽出装置 |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006073076A1 (ja) * | 2005-01-07 | 2006-07-13 | Sony Corporation | 画像処理システム、学習装置および方法、並びにプログラム |
JP2006190201A (ja) * | 2005-01-07 | 2006-07-20 | Sony Corp | 画像処理システム、学習装置および方法、並びにプログラム |
JP4613617B2 (ja) * | 2005-01-07 | 2011-01-19 | ソニー株式会社 | 画像処理システム、学習装置および方法、並びにプログラム |
US8582887B2 (en) | 2005-01-07 | 2013-11-12 | Sony Corporation | Image processing system, learning device and method, and program |
JP2006338082A (ja) * | 2005-05-31 | 2006-12-14 | Sony Corp | 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム |
JP4596253B2 (ja) * | 2005-05-31 | 2010-12-08 | ソニー株式会社 | 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム |
JP2007128195A (ja) * | 2005-11-02 | 2007-05-24 | Sony Corp | 画像処理システム |
JP4618098B2 (ja) * | 2005-11-02 | 2011-01-26 | ソニー株式会社 | 画像処理システム |
JP2007140613A (ja) * | 2005-11-14 | 2007-06-07 | National Institute Of Advanced Industrial & Technology | 映像内の複数広告看板の認識方法 |
JP2008077626A (ja) * | 2006-03-31 | 2008-04-03 | Sony Corp | 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム |
US8009879B2 (en) | 2006-03-31 | 2011-08-30 | Sony Corporation | Object recognition device, object recognition method, object recognition program, feature registration device, feature registration method, and feature registration program |
JP4518092B2 (ja) * | 2006-03-31 | 2010-08-04 | ソニー株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム |
US8401308B2 (en) | 2006-06-19 | 2013-03-19 | Sony Corporation | Information processing device, information processing method, and program |
JP2008257649A (ja) * | 2007-04-09 | 2008-10-23 | Denso Corp | 画像認識装置 |
JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
KR100930626B1 (ko) | 2007-08-23 | 2009-12-09 | 전자부품연구원 | 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법 |
JP2009087087A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | ナンバープレート情報処理装置及びナンバープレート情報処理方法 |
JP2009116385A (ja) * | 2007-11-01 | 2009-05-28 | Sony Corp | 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム |
US8374437B2 (en) | 2007-11-01 | 2013-02-12 | Sony Corporation | Information processing apparatus, information processing method, image identifying apparatus, image identifying method, and program |
EP2136319A2 (en) | 2008-06-20 | 2009-12-23 | Sony Corporation | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
US8160366B2 (en) | 2008-06-20 | 2012-04-17 | Sony Corporation | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method |
JP2010062911A (ja) * | 2008-09-04 | 2010-03-18 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
US8515177B2 (en) | 2008-09-04 | 2013-08-20 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US8416982B2 (en) | 2008-09-25 | 2013-04-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program |
JP2010079545A (ja) * | 2008-09-25 | 2010-04-08 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
JP2010204718A (ja) * | 2009-02-27 | 2010-09-16 | Fujitsu Semiconductor Ltd | 画像処理プログラム、画像処理装置および画像処理方法 |
JP2010204908A (ja) * | 2009-03-03 | 2010-09-16 | Kddi Corp | 画像検索システム |
JP2010271787A (ja) * | 2009-05-19 | 2010-12-02 | Univ Of Tokyo | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム |
WO2010134539A1 (ja) * | 2009-05-19 | 2010-11-25 | 国立大学法人東京大学 | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム |
JP2011008507A (ja) * | 2009-06-25 | 2011-01-13 | Kddi Corp | 画像検索方法およびシステム |
US8977109B2 (en) | 2009-12-16 | 2015-03-10 | Thomson Licensing | Human interaction trajectory-based system |
JP2013514581A (ja) * | 2009-12-16 | 2013-04-25 | トムソン ライセンシング | ヒューマンインタラクションによる軌跡に基づいたシステム |
JP2012098983A (ja) * | 2010-11-04 | 2012-05-24 | Fujitsu Ltd | 物体検出装置、物体検出方法及びプログラム |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
KR20120052042A (ko) * | 2010-11-15 | 2012-05-23 | 삼성테크윈 주식회사 | 로봇 위치 추정 장치 및 방법 |
KR101665386B1 (ko) | 2010-11-15 | 2016-10-12 | 한화테크윈 주식회사 | 로봇 위치 추정 장치 및 방법 |
JP2012128744A (ja) * | 2010-12-16 | 2012-07-05 | Canon Inc | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム |
US8965114B2 (en) | 2010-12-16 | 2015-02-24 | Canon Kabushiki Kaisha | Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system |
WO2013038734A1 (ja) | 2011-09-15 | 2013-03-21 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
US8774508B2 (en) | 2012-02-27 | 2014-07-08 | Denso It Laboratory, Inc. | Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point |
JP2014186659A (ja) * | 2013-03-25 | 2014-10-02 | Hitachi Omron Terminal Solutions Corp | 画像照合装置、画像照合方法、画像照合プログラム |
WO2017006852A1 (ja) * | 2015-07-06 | 2017-01-12 | 日本電信電話株式会社 | 画像照合装置、画像照合方法、及びプログラム |
JPWO2017006852A1 (ja) * | 2015-07-06 | 2017-12-28 | 日本電信電話株式会社 | 画像照合装置、画像照合方法、及びプログラム |
US10572766B2 (en) | 2015-07-06 | 2020-02-25 | Nippon Telegraph And Telephone Corporation | Image collation device, image collation method, and program |
WO2018155783A1 (ko) * | 2017-02-24 | 2018-08-30 | 영남대학교 산학협력단 | 센서 기반 이동체 위치 추정 시스템 및 방법 |
JP2019207597A (ja) * | 2018-05-30 | 2019-12-05 | 川崎重工業株式会社 | 目標識別装置およびこれを備える特定動作装置 |
JP2021530816A (ja) * | 2018-07-24 | 2021-11-11 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 角検出のための方法および装置 |
JP7459051B2 (ja) | 2018-07-24 | 2024-04-01 | マジック リープ, インコーポレイテッド | 角検出のための方法および装置 |
JP2020181290A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
JP7186128B2 (ja) | 2019-04-24 | 2022-12-08 | 株式会社日立製作所 | 物品認識システムおよび物品認識方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1698067A (zh) | 2005-11-16 |
US7627178B2 (en) | 2009-12-01 |
US20050213818A1 (en) | 2005-09-29 |
CN100573558C (zh) | 2009-12-23 |
JP4492036B2 (ja) | 2010-06-30 |
WO2004097742A1 (ja) | 2004-11-11 |
CN101159020A (zh) | 2008-04-09 |
EP1515277A4 (en) | 2012-04-04 |
EP1515277A1 (en) | 2005-03-16 |
CN100365662C (zh) | 2008-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4492036B2 (ja) | 画像認識装置及び方法、並びにロボット装置 | |
Sabe et al. | Obstacle avoidance and path planning for humanoid robots using stereo vision | |
JP4609584B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
Wan et al. | Teaching robots to do object assembly using multi-modal 3d vision | |
US7672503B2 (en) | Direction-recognizing apparatus, direction-recognizing method, direction-recognizing system, and robot apparatus | |
Roy et al. | Active recognition through next view planning: a survey | |
JP4636016B2 (ja) | 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置 | |
US9019278B2 (en) | Systems and methods for animating non-humanoid characters with human motion data | |
Klank et al. | Real-time cad model matching for mobile manipulation and grasping | |
US8761925B2 (en) | Robot and method of building map therefor | |
JP2003269937A (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
Anzai et al. | Deep gated multi-modal learning: In-hand object pose changes estimation using tactile and image data | |
Rodriguez et al. | Transferring grasping skills to novel instances by latent space non-rigid registration | |
JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
Hirano et al. | Image-based object recognition and dexterous hand/arm motion planning using rrts for grasping in cluttered scene | |
JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
Wang et al. | A generative human-robot motion retargeting approach using a single depth sensor | |
JP4449410B2 (ja) | ロボット装置及びその物体学習方法 | |
Drwięga | Features matching based merging of 3D maps in multi-robot systems | |
Baird III et al. | Three-dimensional object recognition using gradient descent and the universal 3-D array grammar | |
Najmaei et al. | A new sensory system for modeling and tracking humans within industrial work cells | |
JP4407244B2 (ja) | ロボット装置及びその物体学習方法 | |
LIU et al. | Robot intelligence for real world applications | |
Muravyev et al. | PRISM-TopoMap: Online Topological Mapping with Place Recognition and Scan Matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4492036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |