JP2002157591A - 対象物認識システム及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 オクルージョン不変及びクラッタ不変の対象
物認識のための改善された視覚的認識システムを提供す
る。 【解決手段】 イメージ内のユーザが定義したモデル対
象物を認識する方法が提供され、それは、オクルージョ
ン（即ち、見つけられるべき対象物が部分的にのみ見え
る）、クラッタ（即ち、モデル対象物内ですらイメージ
内に他の対象物があり得る）、非線形照明変更及び大域
的又は局所的コントラスト反転に対して不変である。見
つけられるべき対象物は、ある一定のクラスの幾何学的
変換、例えば、平行移動、固定変換（平行移動及び回
転）、相似変換（平行移動、回転及び均一スケーリン
グ）、又は任意のアフィン変換により、モデルになぞら
えて歪まされてしまう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的に機械視覚
システムに関し、詳細には、部分オクルージョン（ｏｃ
ｃｌｕｓｉｏｎ）、クラッタ、又は非線形コントラスト
変化の下での対象物の視覚認識に関する。

【０００２】

【従来の技術】対象物の認識において、そして特に、多
くの機械視覚タスクにおいて、人は、イメージの中のユ
ーザ定義モデル対象物を認識することに関心がある。イ
メージの中の対象物は、ある一定クラスの幾何学的変換
の任意変換を受けてしまっている場合がある。変換のク
ラスが平行移動のクラスである場合、人は、イメージ中
のモデルの位置を得ることに関心がある。平行移動のク
ラスは、通常、モデルが常にイメージの中で同じ回転及
び大きさで生じることを保証することができる場合用い
られる。それは、例えば、モデルがｘ−ｙステージ上に
固定角度で取り付けられ、そしてカメラがそのステージ
に対して垂直の固定位置に取り付けられるからである。
変換のクラスが固定変換のクラスである場合、更にイメ
ージ中の対象物の回転が望まれる。このクラスの変換
は、例えば、カメラがステージに対して垂直に取り付け
られるが、しかし対象物の角度が固定状態に保つことが
できない場合用いることができる。変換のクラスが類似
の変換のクラスである場合、更にイメージ中の対象物の
サイズが変わり得る。このクラスの変換は、例えば、カ
メラと対象物との距離を固定状態に保つことができない
場合、又は対象物自体がサイズの変化を受け得る場合、
生じることができる。対象物に対するカメラの位置も３
Ｄ回転も固定状態に保つことができない場合、対象物
は、イメージの中で一般的透視変換を受けるであろう。
カメラの内部向きが未知である場合、２つの面（即ち、
対象物の表面及びイメージ面）間の透視投影は、同次座
標における３×３マトリックスにより表すことができ
る。即ち、

【０００３】

【数１】 マトリックス及びベクトルは、全目盛係数まで決定され
るのみである（Ｈａｒｔｌｅｙ及びＺｉｓｓｅｒｍａｎ
ｎ（２０００）［Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ及び
Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎｎ著「コンピュータ
・ビジョンにおける多重ビュー・ジオメトリ（Ｍｕｌｔ
ｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙｉｎ Ｃｏｍｐ
ｕｔｅｒ Ｖｉｓｉｏｎ）」ケンブリッジ大学出版発
行、２０００年］１．１−１．４章参照）。従って、対
象物の姿勢（ポーズ）を決定するマトリックスは、８の
自由度を有する。カメラの内部向きが既知である場合、
これらの８の自由度は、カメラに対する対象物の姿勢の
６の自由度（平行移動に対して３でそして回転に対して
３）に低減する。

【０００４】多くの場合、このタイプの変換は、一般的
２Ｄアフィン変換、即ち出力点（ｘ′，ｙ′）^Tが入力
点（ｘ，ｙ）^Tから次の公式により得られる変換により
近似される。

【０００５】

【数２】 一般的アフィン変換は、例えば、次の幾何学的直観的変
換、即ち、異なる目盛係数ｓ_x及びｓ_yによる元のｘ及び
ｙのスケーリング、ｘ軸に対するｙ軸のスキュー（斜
め）変換、即ちｘ軸が固定されたままでｙ軸の角度θの
回転、両方の軸の角度φの回転、そして最後にベクトル
（ｔ_x，ｔ_y）^Tによる平行移動に分解されることができ
る。従って、任意のアフィン変換は次のように書くこと
ができる。

【０００６】

【数３】 図１は一般的アフィン変換を図式的に示す。ここで、辺
の長さ１の正方形が、平行四辺形に変換される。相似変
換は、スキュー角θが０であり且つ両方の目盛係数が同
一である、即ち、ｓ_x＝ｓ_y＝ｓであるアフィン変換の特
別のケースである。同様に、固定変換は、目盛係数が
１、即ちｓ＝１である相似変換の特別のケースである。
最後に、平行移動は、φ＝０である固定変換の特別のケ
ースである。幾何学的変換のクラスの関連パラメータ
は、イメージ中の対象物の姿勢と称されるであろう。例
えば、固定変換に対して、姿勢は、回転角φ及び平行移
動ベクトル（ｔ_x，ｔ_y）^Tから成る。従って、対象物認
識は、イメージ中のモデルの全インスタンス（ｉｎｓｔ
ａｎｃｅｓ）の姿勢を決定することである。

【０００７】幾つかの方法が、イメージの中の対象物を
認識するため当該技術において提案されてきた。それら
の大部分は、モデルが追加のクラッタ対象物により遮ら
れ又は劣化される場合そのモデルがイメージの中に見つ
けられないという制約を欠点として持っている。更に、
既存の方法の大部分は、イメージが非線形コントラスト
変化を、例えば照明の変化に起因して示す場合モデルを
検出しない。

【０００８】全ての既知の対象物認識方法は、モデルが
発生される時点でメモリの中のモデルの内部表示を発生
する。イメージの中のモデルを認識するため、大部分の
方法においては、モデルは、対象物の姿勢に対する選定
されたクラスの変換の全ての許容可能な自由度を用いて
イメージと体系的に比較される（例えば、Ｂｏｒｇｅｆ
ｏｒｓ（１９８８）［Ｇｕｎｉｌｌａ Ｂｏｒｇｅｆｏ
ｒｓ著「階層的面取り部整合：パラメトリック・エッジ
整合アルゴリズム（Ｈｉｅｒａｒｃｈｉｃａｌｃｈａｍ
ｆｅｒ ｍａｔｃｈｉｎｇ：Ａ ｐａｒａｍｅｔｒｉｃ
ｅｄｇｅｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）」
パターン解析及び機械知能についてのＩＥＥＥトランザ
クション（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ
Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈ
ｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）１０（６）：８４
９−８６５頁、１９８８年１１月発行］、Ｂｒｏｗｎ
（１９９２）［Ｌｉｓａ Ｇｏｔｔｅｎｆｅｌｄ Ｂｒ
ｏｗｎ著「イメージ位置合わせ技術の調査（Ａ Ｓｕｒ
ｖｅｙ ｏｆ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ
ｔｅｃｈｎｉｑｕｅｓ）」ＡＣＭ Ｃｏｍｐｕｔｉｎ
ｇ Ｓｕｒｖｅｙｓ、２４（４）：３２５−３７６頁、
１９９２年１２月発行］、及びＲｕｃｋｌｉｄｇｅ（１
９９７）［Ｗｉｌｌｉａｍ Ｊ．Ｒｕｃｋｌｉｄｇｅ著
「ハウスドルフ距離を用いた対象物の効率的配置（Ｅｆ
ｆｉｃｉｅｎｔｌｙ ｌｏｃａｔｉｎｇ ｏｂｊｅｃｔ
ｓ ｕｓｉｎｇ ｔｈｅ Ｈａｕｓｄｏｒｆｆ ｄｉｓ
ｔａｎｃｅ）」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒ
ｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２４
（３）：２５１−２７０頁、１９９７年発行］参照）。
姿勢のパラメータの各組に対して、いかにうまくモデル
が考慮中の姿勢でイメージに対して適合するかの尺度を
与える整合メトリック（ｍａｔｃｈ ｍｅｔｒｉｃ）が
計算される。許容可能な変換の空間に対する探索を加速
するため、通常イメージ・ピラミッドがモデルとイメー
ジの両方について用いられて、調査される必要があるデ
ータ量を低減する（例えば、Ｔａｎｉｍｏｔｏ（１９８
１）［Ｓｔｅｖｅｎ Ｌ．Ｔａｎｉｍｏｔｏ著「ピラミ
ッドにおけるテンプレート整合（Ｔｅｍｐｌａｔｅ ｍ
ａｔｃｈｉｎｇ ｉｎ ｐｙｒａｍｉｄｓ）」Ｃｏｍｐ
ｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐ
ｒｏｃｅｓｓｉｎｇ、１６：３５６−３６９頁、１９８
１年発行］、Ｂｏｒｇｅｆｏｒｓ（１９８８）又はＢｒ
ｏｗｎ（１９９２）参照）。

【０００９】最も単純なクラスの対象物認識方法は、モ
デル及びイメージそれ自体のグレー値に基づいており、
そして正規化された相互相関を整合メトリックとして用
いる（例えば、米国特許Ｎｏ．４９７２３５９、米国特
許Ｎｏ．５２２２１５５、米国特許Ｎｏ．５５８３９５
４、米国特許Ｎｏ．５９４３４４２、米国特許Ｎｏ．６
０８８４８３及びＢｒｏｗｎ（１９９２）参照）。正規
化された相互相関は、それが線形輝度変化に対して不変
であり、即ち、対象物が線形照明変化を受けた場合その
対象物を認識することができるという利点を有する。し
かしながら、正規化された相互相関は、幾つかの明らか
な欠点を有する。第１に、計算は費用がかかり、それは
このメトリックに基づく方法を非常に遅くさせる。これ
は、さもなければたとえイメージ・ピラミッドを用いた
としても探索がリアルタイム用途にとっては時間が余り
にかかり過ぎる理由だけで結局変換のクラスが通常平行
移動のクラスとして選定されることになる。第２に、メ
トリックは、対象物のオクルージョン（ｏｃｃｌｕｓｉ
ｏｎ）に対してロバストでない、即ち、対象物は、たと
え対象物のほんの小さい部分がイメージの中に遮られた
場合でも通常見つけられないであろう。第３に、メトリ
ックは、クラッタに対してロバストでない、即ち、対象
物は、対象物についての外乱又は閉鎖がある場合通常見
つけられないであろう。

【００１０】別のクラスのアルゴリズムはまた、モデル
及びイメージそれ自体のグレー値に基づいているが、し
かし二乗グレー値差の和又はグレー値差の絶対値の和の
いずれかを整合メトリックとして用いる（例えば、米国
特許Ｎｏ．５５４８３２６及びＢｒｏｗｎ（１９９２）
参照）。このメトリックは、線形輝度変化に対して不変
にすることができる（Ｌａｉ及びＦａｎｇ（１９９９）
［Ｓｈａｎｇ−Ｈｏｎｇ Ｌａｉ及びＭｉｎｇ Ｆａｎ
ｇ著「自動化された視覚検査のための正確で速いパター
ン局所化アルゴリズム（Ａｃｃｕｒａｔｅ ａｎｄ ｆ
ａｓｔ ｐａｔｔｅｒｎ ｌｏｃａｌｉｚａｔｉｏｎ
ａｌｇｏｒｉｔｈｍ ｆｏｒ ａｕｔｏｍａｔｅｄ ｖ
ｉｓｕａｌ ｉｎｓｐｅｃｔｉｏｎ）」Ｒｅａｌ−Ｔｉ
ｍｅ Ｉｍａｇｉｎｇ、５：３−１４頁、１９９９年発
行］）。二乗差の和又は絶対値差の和を計算するのは正
規化された相互相関を計算する程費用がかかるわけでは
ないので、通常一層大きなクラスの変換、例えば固定変
換が許される。しかしながら、このメトリックは、相関
ベースの方法と同じ欠点を有し、即ち、それは、オクル
ージョン又はクラッタに対してロバストでない。

【００１１】より複雑なクラスの対象物認識方法は、モ
デル及び対象物それ自体のグレー値を用いないが、しか
し整合のため対象物のエッジを用いる。モデルの生成の
間に、エッジ抽出が、モデル・イメージ及びその導出さ
れたイメージ・ピラミッドについて実行される（例え
ば、Ｂｏｒｇｅｆｏｒｓ（１９８８）、Ｒｕｃｋｌｉｄ
ｇｅ（１９９７）及び米国特許Ｎｏ．６００５９７８参
照）。エッジ抽出は、グレー・レベル・イメージをバイ
ナリ・イメージに変換するプロセスであり、そこにおい
てエッジに対応する点のみが値１にセットされ、他方全
ての他のピクセルは値０を受け取り、即ち、イメージは
実際にエッジ領域の中にセグメント化される。勿論、セ
グメント化されたエッジ領域は、バイナリ・イメージと
して格納される必要はないが、しかしまた他の手段、例
えばランレングス符号化により格納されることができ
る。通常、エッジ・ピクセルは、勾配の大きさが勾配の
方向で最大であるイメージの中のピクセルとして定義さ
れる。エッジ抽出はまた、その中でモデルが認識される
ことになるイメージ及びその導出されたイメージ・ピラ
ミッドについて実行される。次いで、種々の整合メトリ
ックを用いて、モデルをイメージと比較することができ
る。１つのクラスの整合メトリックは、考慮中の姿勢の
下でのモデル・エッジのイメージ・エッジに対する距離
を測定することに基づいている。エッジの距離の計算を
容易にするため、距離変換がイメージ・ピラミッドにつ
いて計算される。Ｂｏｒｇｅｆｏｒｓ（１９８８）にお
ける整合メトリックは、モデル・エッジとイメージエッ
ジとの平均距離を計算する。この整合メトリックは、ク
ラッタ・エッジがモデル内で生じないで、従って、モデ
ルからイメージ・エッジまでの平均距離のみを低減する
ことができるので、クラッタ・エッジに対してロバスト
である。この整合メトリックの欠点は、モデルの一部の
エッジがイメージの中で欠落している場合最も近いエッ
ジに対する距離が著しく増大するので、その整合メトリ
ックがオクルージョンに対してロバストでないことであ
る。Ｒｕｃｋｌｉｄｇｅ（１９９７）における整合メト
リックは、イメージ・エッジに対するモデル・エッジの
ｋ番目に大きな距離を計算することによりこの欠点を取
り除こうとしている。モデルがｎ個の点を含む場合、メ
トリックは、１００＊ｋ／ｎ％オクルージョンに対して
ロバストである。別のクラスの整合メトリックは、単純
な２進相関に基づいていて、即ち、整合メトリックは全
ての点の平均であり、そこにおいて、現在の姿勢の下で
のモデル及びイメージの両方がエッジ・ピクセル・セッ
トを有する（例えば、米国特許Ｎｏ．６００５９７８及
び米国特許Ｎｏ．６１１１９８４参照）。モデルの潜在
的インスタンスの探索を加速するため、米国特許Ｎｏ．
６００５９７８においては、一般化されたハフ（Ｈｏｕ
ｇｈ）変換（Ｂａｌｌａｒｄ（１９８１）［Ｄ．Ｈ．Ｂ
ａｌｌａｒｄ「任意の形状を検出するためのハフ変換の
一般化（Ｇｅｎｅｒａｌｉｚｉｎｇｔｈｅ Ｈｏｕｇｈ
ｔｒａｎｓｆｏｒｍ ｔｏ ｄｅｔｅｃｔ ａｒｂｉ
ｔｒａｒｙ ｓｈａｐｅｓ）」Ｐａｔｔｅｒｎ Ｒｅｃ
ｏｇｉｔｉｏｎ、１３（２）：１１１−１２２頁、１９
８１年発行］）が用いられる。この整合メトリックは、
モデルの中のエッジとイメージの中のエッジとの整列が
考慮中の姿勢の下で整合メトリックの正しい値を生じる
ため非常に良好であることを必要とするという欠点を有
する。複雑なスキームが、イメージの中のエッジをより
広くして正しい整合メトリックを得るため用いられる。
最後に、エッジは時に、相関ベースのアプローチに使用
のため関連の点を定義するため用いられる（米国特許Ｎ
ｏ．６０２３５３０及び米国特許Ｎｏ．６１５４５６７
参照）。これらのアプローチは、整合メトリックが同じ
又は非常に類似しているので、前述の相関ベースのスキ
ームと同じ欠点を有することは明らかである。これら全
ての整合メトリックは、それらがエッジの方向を考慮し
ていない欠点を有する。米国特許Ｎｏ．６００５９７８
においては、エッジ方向は、一般化されたハフ変換の使
用を通してその方法に入るが、しかし整合メトリックに
おいて無視されている。しかしながら、エッジ方向情報
を無視することは、結局イメージにおけるモデルの多く
の間違った決定的なインスタンス、即ち、モデルの真の
インスタンスでない見つけられたモデルにつながること
が周知である（Ｏｌｓｏｎ及びＨｕｔｔｅｎｌｏｃｈｅ
ｒ（１９９７）［Ｃｌａｒｋ Ｆ．Ｏｌｓｏｎ及びＤａ
ｎｉｅｌ Ｐ．Ｈｕｔｔｅｎｌｏｃｈｅｒ著「方向付け
されたエッジ・ピクセルを整合させることによる自動目
標認識（Ａｕｔｏｍａｔｉｃ ｔａｒｇｅｔ ｒｅｃｏ
ｇｉｎｉｔｏｎ ｂｙｍａｔｃｈｉｎｇ ｏｒｉｅｎｔ
ｅｄ ｅｄｇｅ ｐｉｘｅｌｓ）」、イメージ処理につ
いてのＩＥＥＥトランザクション（ＩＥＥＥ Ｔｒａｎ
ｓｓａｃｔｉｏｎ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓ
ｉｎｇ）６（１）：１０３−１１３頁、１９９７年１月
発行］。この理由のため、一部のアプローチは、エッジ
方向情報を整合メトリックの中に組み込む（例えば、米
国特許Ｎｏ．５５５０９３３、米国特許Ｎｏ．５６３１
９８１、米国特許Ｎｏ．６１５４５６６、及びＨａｓｈ
ｉｍｏｔｏ他（１９９２）［Ｍａｎａｂｕ Ｈａｓｈｉ
ｍｏｔｏ、Ｋａｚｕｈｉｋｏ Ｓｕｍｉ、Ｙｏｓｈｉｋ
ａｚｕ Ｓａｋａｕｅ及びＳｈｉｎｊｉｒｏ Ｋａｗａ
ｔｏ著「輪郭点の情報を用いた高速テンプレート整合ア
ルゴリズム（Ｈｉｇｈ−Ｓｐｅｅｄ Ｔｅｍｐｌａｔｅ
Ｍａｔｃｈｉｎｇ ＡｌｇｏｒｉｔｈｍｓＵｓｉｎｇ
Ｉｎｆｏｍａｔｉｏｎ ｏｆ Ｃｏｎｔｏｕｒ Ｐｏ
ｉｎｔｓ）」、システム及びコンピュータ（日本）２３
（９）：７８−８７頁、１９９２年発行］参照）。しか
しながら、これらのアプローチは、（中止させるのに十
分な程実行時間を大きくする）探索を加速するためイメ
ージ・ピラミッドを用いてなく、モデルの平行移動を計
算するだけである。前述の全てのアプローチにおいて
は、イメージ自体が２値化されるので、整合メトリック
は、狭い範囲の照明変化に対してのみ不変である。イメ
ージ・コントラストが低下される場合、徐々に少ないエ
ッジ点がセグメント化され、それは、徐々に大きいオク
ルージョンと同じ効果を有する。

【００１２】

【発明が解決しようとする課題】対象物認識のための現
状技術の方法は幾つかの欠点を持つことは明らかであ
る。どのアプローチもオクルージョン、クラッタ及び非
線形なコントラストの変化に対して同時にロバストでな
い。更に、多くの場合、計算的に費用がかかる事前処理
オペレーション、例えば、距離変換又は一般化されたハ
フ変換は、対象物認識を容易にするため実行される必要
がある。多くの応用において、対象物認識ステップは、
前述のタイプの変化に対してロバストであることが必要
である。例えば、印刷品質検査において、モデル・イメ
ージは、例えば、ロゴの理想的プリントである。検査に
おいては、人は、現在のプリントが理想的なプリントか
らはずれているか否かを決定することに関心がある。そ
うするため、イメージの中のプリントは、（通常固定変
換により）モデルと整合されねばならない。対象物認識
（即ち、プリントの姿勢の決定）は、そのキャラクタ又
はパーツを欠落していること（オクルージョン）及びプ
リントの中の余分なインク（クラッタ）に対してロバス
トでなければならないことは明らかである。照明が視野
全体にわたり一定に保つことができない場合、対象物認
識はまた、非線形な照明変化に対してロバストでなけれ
ばならない。

【００１３】従って、本発明の目的は、オクルージョン
不変及びクラッタ不変の対象物認識のための改善された
視覚的認識システム及び方法を提供することにある。本
発明の別の目的は、オクルージョン不変、クラッタ不変
及び照明不変の対象物認識のための視覚的認識システム
及び方法を提供することにある。

【００１４】

【課題を解決するための手段】これらの目的は特許請求
の範囲の特徴により達成される。本発明は、オクルージ
ョン、クラッタ及び非線形のコントラスト変化に対して
ロバストである対象物認識のためのシステム及び方法を
提供する。

【００１５】認識されるべき対象物のモデルは対応する
方向ベクトルを持つ複数の点から成り、それらは標準イ
メージ事前処理アルゴリズム、例えばライン又はエッジ
検出方法により得ることができる。モデルの生成時に、
モデルは、モデルを曲げ得る幾何学的変換のクラスから
の複数の変換、例えば固定変換によりモデル・イメージ
を変換することによりメモリに格納される。イメージの
中のモデルを認識するため、モデルの生成時に用いられ
た同じ事前処理オペレーションが、その中にモデルを見
つけることになるイメージに適用される。従って、例え
ば、ライン検出がモデルを構成するため用いられた場
合、ライン・フィルタリングが考慮中のイメージについ
て用いられる。対象物は、イメージの中のモデルの全て
のあり得る変換に対して整合メトリックを計算すること
により認識される。整合メトリックは、モデル及びイメ
ージの幾何学的情報、即ちモデル及びイメージの中の点
の位置及び方向を考慮する。整合メトリックは、例え
ば、（事前計算された）変換されたモデルのうちの１つ
と事前処理されたイメージとのドット積の和であり得
て、又は代替実施形態において、（事前計算された）変
換されたモデルのうちの１つと事前処理されたイメージ
との正規化ドット積の和であり得る。正規化されてない
ドット積は幾何学的情報のみに依拠するので、モデル・
イメージと、その中にモデルが見つけられことになるイ
メージとをセグメント化（２値化）することが必要がな
い。これは、本方法をオクルージョン及びクラッタに対
してロバストにする。正規化されたドット積が整合メト
リックとして用いられる場合、モデル・イメージをセグ
メント化して、方向情報が信頼できるそれらのポイント
を得ることが好ましい。再び、その中にモデルが見つけ
られることとなるイメージがセグメント化されないで、
結局任意の照明変化、並びにオクルージョン及びクラッ
タに対して真のロバストさにつながる。イメージの中の
モデルの位置は、整合メトリックがある一定のユーザ選
択可能しきい値より高い１組の変換（姿勢）により与え
られ、そして選択された変換のクラス内で極大である。

【００１６】対象物認識プロセスを加速するため、許容
可能な変換の空間は、再帰的な粗から微細への方法（ｒ
ｅｃｕｒｓｉｖｅ ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ ｓ
ｔｒａｔｅｇｙ）を用いて探索される。

【００１７】イメージの中のモデルの見つけられたイン
スタンスのパラメータ、例えば、平行移動及び回転を用
いて、そのような幾何学的情報を用いるロボット又はい
ずれの他の装置を制御することができる。

【００１８】本発明は、オクルージョン、クラッタ及び
非線形コントラスト変化に対してロバストである対象物
認識のための方法を提供する。以下の説明は、当業者が
本発明を作り及び使用するのを可能にするよう提供され
る。特定の応用の説明は例示としてのみ提供されてい
る。

【００１９】

【発明の実施の形態】整合メトリック 対象物のモデルは、対応する方向ベクトルを備える複数
の点から成る。典型的には、モデルは対象物のイメージ
から発生され、そこにおいて任意の関心の領域（ＲＯ
Ｉ）は、その中に対象物が配置されるイメージのその部
分を指定する。ＲＯＩは、例えば、システムのユーザに
より対話的に指定されることができる。代替として、Ｒ
ＯＩは、例えば、機械視覚方法、例えば、しきい値処
理、形態学のような種々のセグメント化操作の使用によ
りにより発生することもできる。モデル発生方法の詳細
が以下に説明されるであろう。

【００２０】図２は、認識されるべき対象物のサンプル
・イメージ：即ち、明るい背景上の暗い十字記号を表示
する。図３は、対象物のモデルを表示し、それは、この
ケースにおいては、エッジ・フィルタを用いることによ
り発生される（以下のモデル発生についてのセクション
を参照）。モデルのポイントは矢印の尾により表され、
一方それらの方向は矢印の向きにより表される。モデル
としての対象物の別のあり得る表示が、図４に示されて
いる。そこでは、モデルのポイントを決定するためライ
ン抽出が用いられて、結局十字記号の中心線を表すモデ
ルということになる。モデルを発生する更に別の方法、
例えば、コーナー検出が、以下のモデル発生についての
セクションで説明される。

【００２１】前述のことに照らして、モデルは、ポイン
トｐ_i＝（ｐ_i ^x、ｐ_i ^y）^T及び関連の方向ベクトルｄ_i＝
（ｄ_i ^x、ｄ_i ^y）^T（ｉ＝１、…、n）から成り、ここで、
ｎはモデル内のポイントの数である。ポイントｐ_iは、
ＲＯＩ又はｎ個のポイントそれ自体の重心に関しての座
標であり、即ち、重心が、原点であり、そしてモデルの
基準点である。同様に、その中にモデルが認識されるこ
ととなるイメージは、方向ベクトルｅ_x,y＝（ｅ^x _x,y、
ｅ^y _x,y）^Tが各イメージ点（ｘ、ｙ）^Tに対して得られる
表示に変換することができる。整合プロセスにおいて、
変換されたモデルは、イメージと特定の位置で比較され
ねばならない。最も一般的ケースにおいては、変換は透
視変換である。アルゴリズムの説明を単純にしておくた
め、アフィン変換を残りの説明全体にわたり用いる。し
かしながら、これは、アルゴリズムがこのクラスの変換
に制限されることを含意すると解釈すべきでない。アフ
ィン変換の平行移動部分を線形部分から分離することは
有効である。従って、線形変換されたモデルは、ポイン
トｐ_i′＝Ａｐ_i、及びそれで変換された方向ベクトルｄ
_i′＝Ａｄ_iにより与えられ、ここでＡは次式のとおりで
ある。

【００２２】

【数４】 前述したように、変換されたモデルがイメージ内容と整
合メトリックにより比較されるが、その整合メトリック
はオクルージョン、クラッタ及び照明変化に対してロバ
ストでなければならない。本発明の一実施形態に従って
このゴールを達成する１つのあり得るメトリックは、変
換されたモデルの方向ベクトルとイメージとのモデルの
全ての点にわたる（正規化されてない）ドット積の和を
取って、整合スコアをイメージの特定のポイント（ｘ、
ｙ）^Tで計算し、即ち、変換されたモデルの整合メトリ
ックをポイント（ｘ、ｙ）^Tで計算することであり、そ
の和はアフィン変換の平行移動部分に対応して、次のよ
うに計算される。

【００２３】

【数５】 この整合スコアの利点は、モデル・イメージも、その中
にモデルが認識されることとなるイメージもセグメント
化（２値化）される必要がないことであり、即ち、イメ
ージをまたセグメント化する抽出操作の代わりに方向ベ
クトルを生じるのみであるフィルタリング動作を用いる
ことで十分である。従って、モデルがエッジ又はライン
・フィルタリングにより発生され、且つイメージが同じ
要領で事前処理される場合、この整合メトリックは、オ
クルージョン及びクラッタに対するロバストさの要件を
満たす。対象物の部分がイメージの中で欠落している場
合、イメージの中のモデルの対応する位置にラインもエ
ッジも無い、即ち方向ベクトル

【００２４】

【数６】 は、小さい長さを有し、従って上記和に対して殆ど寄与
しない。同様に、イメージの中にクラッタ・ライン又は
エッジが有る場合、モデルの中のクラッタ位置に点が無
いか、又はクラッタ・ライン又はエッジが小さい長さを
有するかのいずれかであり、それは、上記和に対して殆
ど寄与しないことを意味する。従って、上記整合メトリ
ックは、いかに良好に、相互に対応するイメージ及びモ
デルの中の点が幾何学的に位置合わせを行うかを表す。

【００２５】しかしながら、上記の整合メトリックを用
いて、イメージの明るさが、例えば一定の係数だけ変化
された場合、整合メトリックは同じ量だけ変わる。従っ
て、変換されたモデルの方向ベクトルとイメージとのモ
デルの全ての点にわたる正規化されたドット積の和、即
ち、次式を計算することにより整合メトリックを修正す
ることが好ましい。

【００２６】

【数７】 方向ベクトルの正規化のため、この整合メトリックは、
任意の照明変化に対して追加的に不変である。この好適
な実施形態においては、全てのベクトルは、１の長さに
スケーリングされ、そしてこのメトリックをオクルージ
ョン及びクラッタに対してロバストにさせることは、エ
ッジ又はラインが欠落している場合モデルの中又はイメ
ージの中のいずれかにおいて雑音がランダムな方向ベク
トルを引き起こし、それが平均して上記和に何も寄与し
ないことである。

【００２７】モデルの全ての方向ベクトルとイメージと
が整列即ち同じ方向に向いている場合、上記整合メトリ
ックは高いスコアを戻す。エッジを用いてモデル及びイ
メージ・ベクトルを発生する場合、これは、モデル及び
イメージが各エッジに対して同じコントラスト方向を持
たねばならないことを意味する。このメトリックは、例
えば、モデルが背景より暗い十字記号から発生される場
合、背景より暗い十字記号のみを認識することができる
であろう。時には、たとえそのコントラストが逆にされ
た場合でも対象物を検出できることが望ましい。整合メ
トリックをそのようなコントラストの全体的な変化に対
してロバストにさせるため、正規化されたドット積の和
の絶対値を本発明の別の好適な実施形態に従って用いる
ことができ、即ち、整合メトリックは次式のようにな
る。

【００２８】

【数８】 この整合メトリックは、幾何学的に、イメージの中の全
ての方向ベクトル（全体として）がモデルの中の方向ベ
クトルと同じ方向に向くか又は反対方向に向くかのいず
れかでなければならないことを意味する。

【００２９】まれな環境において、例えば、認識される
べき対象物が中間のグレーのボディから成る場合、局所
的コントラスト変化すら無視することが必要なことがあ
り得る。なお、その中間のグレーのボディは、その上に
より暗い又はより明るいプリントを持つことができる。
このケースにおいては、更に別の実施形態に従って、整
合メトリックは、正規化されたドット積の絶対値の和で
あるよう修正されることができる。次式はその和であ
る。

【００３０】

【数９】 幾何学的には、この整合メトリックは、イメージの中の
各方向ベクトルが個々にモデルの中の対応する方向ベク
トルと同じ方向か又は反対方向のいずれかに向かなけれ
ばならないことを意味する。

【００３１】上記３つの正規化された整合メトリック
は、対象物がオクルージョンされた場合その対象物が見
つけられるという意味においてオクルージョンに対して
ロバストである。前述のように、これは、イメージの中
のモデルのインスタンス内の欠落している対象物のポイ
ントが平均して上記和に何も寄与しないことから生じ
る。イメージの中のモデルのいずれの特定のインスタン
スに対して、これは、例えば、イメージ内の雑音が非相
関ではないので、真ではない場合がある。これは、たと
えモデルがイメージの中で移動しなくても、モデルのイ
ンスタンスが異なるイメージにおける異なる姿勢の中に
見つけられるという望ましくないことを引き起こす。そ
れは、モデルの特定のイメージにおいてランダムな方向
ベクトルが上記和に対して僅かに異なる量寄与し、従っ
て整合メトリックの最大がランダムに変化するからであ
る。モデルの局在化をより微細にするため、イメージ内
の欠落しているモデル・ポイントの寄与をゼロにセット
することは有効である。これを行う最も容易な方法は、
イメージの中の方向ベクトルの長さ

【００３２】

【数１０】 がイメージ内の雑音レベルと、イメージの中の方向ベク
トルを抽出するため用いられる事前処理オペレーション
とに依存するしきい値より小さい場合、イメージの中の
方向ベクトルの逆数の長さ

【００３３】

【数１１】 をゼロにセットすることである。このしきい値は、ユー
ザにより指定される。整合メトリックのこの修正によ
り、モデルのオクルージョンされたインスタンスは、そ
れがイメージの中で移動しない場合、常に同じ姿勢の中
に見つけられることを保証することができる。

【００３４】３つ全ての正規化された整合メトリック
は、それらが潜在的整合のスコアとして１より小さい数
を生じる特性を有する。全てのケースにおいて、１のス
コアは、モデルとイメージとの間の完全な整合を示す。
更に、スコアは、おおまかに、イメージの中に視認でき
るモデルの部分に対応する。例えば、対象物が５０％オ
クルージョンされている場合、スコアは０．５を超える
ことができない。これは、対象物が認識された見なされ
るべきであるときに対して直観的しきい値を選択するた
めの手段をユーザ与えるので、極めて望ましい特性であ
る。

【００３５】方向ベクトルのドット積は方向ベクトルが
逆余弦関数により囲む角度と関連付けられるので、上記
整合メトリックの幾何学的意味をも捕捉する他の整合メ
トリックが定義されることができる。１つのそのような
メトリックは、モデルの中の方向ベクトルとイメージの
中の方向ベクトルとが囲む角度の絶対値を合計すること
である。このケースにおいては、整合メトリックは、ゼ
ロより大きい又はそれに等しい値に戻すであろう。な
お、ゼロの値は完全な整合を示す。このケースにおい
て、モデルの姿勢は、整合メトリックの最小から決定さ
れねばならない。

【００３６】対象物認識方法 イメージの中の対象物を見つけるため、アプリオリ無境
界探索空間が境界付けされる必要がある。これは、ユー
ザを介して探索空間のパラメータに対してしきい値を設
定することにより達成される。従って、アフィン変換の
場合、ユーザは、２つの目盛係数、スキュー角及び回転
角に対するしきい値を指定する。即ち、

【００３７】

【数１２】 平行移動パラメータに対する境界はまた各々２つのしき
い値により指定されることができるが、しかしこれは平
行移動の空間を長方形に制限するであろう。従って、本
発明の方法に従って、変換パラメータに対する境界は、
その中でモデルが認識されることとなるイメージの中の
任意の関心領域として一層都合良く指定される。

【００３８】整合の最も単純な形式は、例えば、以下に
説明するように、境界付けされた探索空間を離散化し、
そしてそのように得られた変換パラメータの全ての組み
合わせによりモデルを変換し、更に全ての結果として生
じた変換されたモデルに対して整合メトリックを計算す
ることである。これは、全てのあり得るパラメータの組
み合わせに対して１つのスコアをもたらす。この後、全
ての有効な対象物インスタンスが、各組のパラメータで
のスコアがユーザにより選択された最小しきい値より上
である、即ちｍ≧ｍ_minであること、且つスコアが変換
空間において整合メトリックの極大であることを要求す
ることにより選択されることができる。

【００３９】認識されるべき対象物が対称性、例えば図
２における十字記号の回転及び鏡映対称性を有する場
合、対象物の幾つかのインスタンスが見つけられ、それ
は、例えばそれらの回転及びスケーリング・パラメータ
の点で異なるが、しかし非常に近い平行移動パラメータ
を有するであろう、即ち認識された対象物は重なってい
るであろう。大部分のケースにおいては、最良のスコア
を有するインスタンスを除いて重なっている全てのイン
スタンスを取り除くことが望ましい。そうするため、見
つけられたインスタンスの相互重なりが、モデルの見つ
けられたインスタンスの任意の向きの最小包囲長方形と
２つの包囲長方形のうちの小さい方との交差範囲を比較
することにより計算される。重なりがユーザ選択可能な
小部分（フラクション）より多い場合、より小さいスコ
アを有するインスタンスが捨てられる。

【００４０】オペレーションの通常のモードにおいて
は、スコア及び重なり基準を満たす全てのインスタンス
は、本発明の方法により戻される。時に、モデルのどの
くらい多くのインスタンスがイメージの中で見つけられ
る必要があるかは演繹的に知られる。従って、ユーザ
は、イメージの中で見つけられるべきモデルのインスタ
ンスの数ｏを指定する。このケースにおいては、重なっ
ているインスタンスの除去後のｏ個の最良インスタンス
のみが戻される。

【００４１】探索空間の離散化 本発明で開示した全ての整合メトリックは、計算される
べき正しいスコアに対して、変換されたモデルとイメー
ジ中の対象物の大きな重なりを要求する。重なりの程度
は、方向情報を得るため取られた事前処理ステップによ
り影響を及ぼされる。ライン又はエッジ・フィルタリン
グ方法を用いて、方向情報を得る場合、モデルとイメー
ジにおけるインスタンスの重なりの程度は、ライン又は
エッジ・フィルタで用いられた平滑化の程度に直接依存
する。小さい平滑化を有するフィルタ、例えばソーベル
（Ｓｏｂｅｌ）・エッジ・フィルタを用いた場合、変換
されたモデルの全てのポイントは、（カメラの光学素子
によりイメージの中で対象物のエッジがいかに不鮮明に
見えるかに依存して）イメージ中のインスタンスのほぼ
１個のピクセル内になければならなく、それにより正し
いスコアが得られる。エッジ又はライン抽出が実行され
る前にイメージが平滑化される場合、この距離は、適用
される平滑化量に比例してより大きくなる。それは、エ
ッジ又はラインが平滑化動作により広くされるからであ
る。例えば、サイズｋ×ｋの平均フィルタが特徴抽出
（例えば、ライン又はエッジ・フィルタリング）の前に
又はそれにおいて適用された場合、モデル・ポイント
は、インスタンスのｋ個のピクセル内になければならな
い。類似の結果が、他の平滑化フィルタ、例えばキャニ
ー（Ｃａｎｎｙ）・エッジ抽出器及びステガー（Ｓｔｅ
ｇｅｒ）ライン検出器で用いられるガウス・フィルタに
対して当てはまる。

【００４２】変換空間は、イメージ中のインスタンスか
ら多くてもｋ個のピクセルにある全てのモデル・ポイン
トの上記の要件が保証されることができる要領で離散化
される必要がある。図５は、離散化ステップ長を導出す
るため用いられるパラメータと共に鍵のサンプル・モデ
ルを示す。ポイントｃは、モデルの基準点、例えばその
重心である。距離ｄ_maxは、基準点からの全てのモデル
・ポイントの最大距離である。距離ｄ_xは、ｘ方向のみ
測定した基準点からの全てのモデル・ポイントの最大距
離である。即ち、モデル・ポイントのｘ座標が距離を測
定するため用いられる。同様に、距離ｄ_yは、ｙ方向の
み測定した基準点からの全てのモデル・ポイントの最大
距離である。モデルをｘ方向にスケーリングすることに
より生成された全てのモデル・ポイントがイメージの中
のインスタンスからｋ個のピクセル内に有ることを保証
するため、ステップ長Δｓ_xがΔｓ_x＝ｋ／ｄ_xとして選
定されねばならない。同様に、Δｓ_yは、Δｓ_y＝ｋ／ｄ
_yとして選定されねばならない。スキュー角の離散化
は、ｘ軸がスキュー操作において固定されたままである
ので、距離ｄ_yのみの依存する。従って、スキュー角の
ステップ長Δθは、Δθ＝ａｒｃｃｏｓ（１−ｋ²／
（２ｄ² _y））として選定されねばならない。同様に、回
転角のステップ長は、Δφ＝ａｒｃｃｏｓ（１−ｋ²／
（２ｄ² _max））として選定されねばならない。最後に、
平行移動パラメータにおけるステップ長は、両方共ｋに
等しく、即ちΔｔ_x＝Δｔ_y＝ｋでなければならない。

【００４３】認識方法の加速 前述の全数探索アルゴリズムは、対象物が存在する場合
イメージの中に対象物を見つけるが、しかしその方法の
実行時間は全く大きいであろう。種々の方法が、認識プ
ロセスを加速するため本発明の好適な実施形態に従って
用いられる。

【００４４】最初に、ドット積の和が完全に計算されな
いのが好ましい。それは、スコアが潜在的インスタンス
が得られるように最小スコアｍ_minより上でなければな
らないからである。ｍ_jがモデルのｊ番目の要素までド
ット積の部分的和を示すとする。正規化されたドット積
の和を用いる整合メトリックに対して、これは次のよう
になる。

【００４５】

【数１３】 和の残りの（ｎ−ｊ）個の項の全ては全て１より小さい
か又は１に等しい。従って、ｍ_j＜ｍ_min−１＋ｊ／ｎで
ある場合、部分的スコアｍ_jは決して要求されたスコア
ｍ_minに達することができなく、従って和の評価はこの
条件が満たされているときは常にｊ番目の要素の後で中
断することができる。この判定基準は、認識プロセスを
相当に加速する。それにも拘わらず、更なる加速が大い
に望ましい。別の判定基準は、全ての部分的和がｍ_min
より良いスコア、即ちｍ_j≧ｍ_minであることを要求する
ことである。この判定基準を用いるとき、探索は、非常
に速いが、しかしもはや、この方法はモデルの正しいイ
ンスタンスを見つけることを保証することができない。
それは、モデルの欠落部分が最初にチェックされる場合
部分的スコアは要求スコアより低いからである。対象物
がイメージの中で視覚可能であるにも拘わらず対象物が
見つからないことが非常に低い確率である状態で認識プ
ロセスを加速するため、次の発見法を用いることができ
る。即ち、モデル・ポイントの第１の部分を比較的安全
な停止判定基準で検査し、一方モデル・ポイントの残り
の部分を厳しいしきい値ｍ_minを用いて検査する。ユー
ザは、モデル・ポイントのどの部分をパラメータｇを有
する厳しいしきい値を用いて検査することを指定するこ
とができる。ｇ＝１の場合、全ての点が厳しいしきい値
を用いて検査され、一方ｇ＝０の場合は、全ての点が安
全な停止判定基準を用いて検査される。これを用いて、
部分的和の評価は、ｍ_j＜ｍｉｎ（ｍ_min−１＋ｆｊ／
ｎ、ｍ_min）（ここで、ｆ＝（１−ｇｍ_min）／（１−ｍ
_min））であるときは常に停止される。典型的には、パ
ラメータｇは、イメージの中のインスタンスの欠落なし
で０．９程の高い値にセットされることができる。前述
の判定基準と同じ趣旨の他の停止判定基準を定義するこ
とができるは明らかである。

【００４６】第２に、モデル・ポイントに対する勾配長
の正規化は、モデルが生成される時点、即ちモデル・ポ
イントが長さ１の方向ベクトルを有して格納される時点
に最良に行われることは明らかである。イメージ点の勾
配長の逆数

【００４７】

【数１４】 は、方向ベクトルの成分が取ることができる値の範囲が
制限される場合前もって計算することができる。このケ
ースにおいては、その勾配長の逆数は、１回のみ計算さ
れ、そして方向ベクトルの２つの成分により指標付けさ
れるマトリックスの中に格納される。例えば、方向ベク
トルを符号化するため符号を付された１バイト値を用い
る場合、マトリックスのサイズは２５６×２５６であろ
う。方向ベクトルの逆数長を格納することは、除法が乗
法により置換される追加の利点を有し、乗法は、殆ど全
てのマイクロプロセッサについてはるかに速い。逆数長
を格納する最後の利点は、前述した欠落する対象物ポイ
ントの寄与分の棄却がある一定の長さより下の全ての逆
数方向ベクトル長を０にテーブルで設定することにより
単純に行うことができることである。

【００４８】別の大きな加速は、再帰的な粗から微細へ
の方法を用いて許容可能な変換の空間を探索することに
より得られる。前述の対象物認識方法は、最も微細なあ
り得る離散化を持つ探索空間における探索に対応し、そ
こにおいてステップ長は、ｋ＝１に対して得られる値に
設定される。これは、比較的遅い全数探索をもたらす。
その探索を加速するため、ステップ長が最も微細なレベ
ルでのステップ長の整数倍である探索空間において全数
探索を実行することができる。次いで、この粗く離散化
された探索空間の中で見つけられた整合は、その整合が
最も微細なレベルの離散化で見つけられるまで、前進的
により微細に離散化された探索空間を通して追跡されね
ばならない。全てのレベルの離散化において、探索空間
の離散化についてのセクションにおける平滑化について
のしるしが観察されねばならなく、即ち、各レベルの離
散化に対する一時的イメージが生成されねばならず、そ
こにおいては各イメージは、対象物が常に見つかること
を保証するため、対応する離散化レベルのステップ長に
対応する量だけ平滑化されねばならない。異なる離散化
レベルのためのステップ長パラメータに対する良好な選
定は、それらを、ｋ＝２^l（ここで、ｌ＝０、…、
ｌ_max）である場合得られる値に設定することである。
離散化レベルの数（ｌ_max＋１）がユーザにより選定さ
れるべきであり、それにより対象物は、ｋ＝２^lmaxの対
応する値のため必要な平滑化の下で依然認識できる。一
例として、探索空間が固定変換の空間である場合で、そ
してモデルがｄ_max＝１００の最大を有する場合で、且
つｌ_max＝３がユーザにより選定される場合、以下のス
テップ長が、「探索空間の離散化」のセクションで説明
される方法に従って異なる離散化レベルの探索空間に対
して得られる。

【００４９】

【表１】 更なる加速のため、モデルの中の点の数がまた、異なる
離散化レベルの探索空間に対して係数ｋ＝２^lにより低
減されることが好ましい（以下のモデル発生についての
セクション参照）。必要な平滑化は、平均フィルタを用
いることにより得られることが好ましい。それは、平均
フィルタが再帰的に実行されることができ、従ってイメ
ージを平滑化するための実行時間が平滑化パラメータに
依存しないからである。代替として、ガウス型平滑化フ
ィルタの再帰的実行を用いることができる。この離散化
及び平滑化方法が既に許容可能な実行時間を生成するに
も拘わらず、更なる加速は、各離散化レベルについて平
行移動ステップ長Δｔ_x及びΔｔ_yと同一である係数によ
りイメージをサブサンプリングすることよっても得られ
ることができる。このケースにおいては、平行移動パラ
メータに対するステップ長は、勿論、各レベルで１に設
定されねばならない。しかしながら、ここで、正しい平
行移動パラメータを離散化のレベルにわたって伝搬する
ことに注意しなければならない。前述したように、平行
移動ステップ長が各レベルの離散化空間において２倍に
なる場合、見つけられた対象物の平行移動パラメータ
は、次のより微細な離散化レベルを探索する前に２倍に
されねばならない。明らかに、イメージのサブサンプリ
ングは、アフィン変換の他の４つのパラメータに影響を
及ぼさない。平均フィルタを用いる場合、サブサンプリ
ング及び平滑化プロセスは、平均イメージ・ピラミッド
に対応する（Ｔａｎｉｍｏｔｏ（１９８１））。ガウス
・フィルタが平滑化のため用いられる場合、ガウス型イ
メージ・ピラミッドが得られる。

【００５０】変換の空間が平行移動の空間又は固定変換
の空間である場合、前述の方法は、既に最適な実行時間
に近いであろう。変換の空間がより大きい、例えば、相
似性又はアフィン変換の空間である場合、一般化された
ハフ変換（Ｂａｌｌａｒｄ（１９８１））又はＲｕｃｋ
ｌｉｄｇｅ（１９９７）で説明された方法のような方法
を用いることにより探索を加速することが可能であり得
て、その方法は、潜在的に変換空間の大きな部分を迅速
に除いて、潜在的整合を最も粗いレベルの離散化空間に
おいてより迅速に識別する。間違った整合の潜在性がこ
れらの方法により一層高いので、潜在的整合を離散化空
間のレベルを通して検査し且つ追跡するため本明細書で
開示の方法を用いることは本質的である。更に、潜在的
整合の正確さが弱いので、事前処理ステップにより戻さ
れた姿勢は、本明細書で開示の方法に基づく真の整合が
見つけられることを保証するのに十分な量だけ変換空間
における領域に拡大されねばならない。

【００５１】これらの原理の展開を用いて、好適な対象
物認識方法を図６に示す。第１のステップ（１）におい
て、その中にモデルが見つけられることとなるイメージ
が、外部装置、例えばカメラ又はスキャナから獲得され
る。

【００５２】次いで、イメージは、探索空間の再帰的副
分割と一致する表示に変換される（ステップ２）。好適
な実施形態においては、ユーザは、パラメータｌ_maxを
指定することにより探索空間の最も粗い副分割を選択す
る。次いで、ｌ_max個の一時的イメージが、元のイメー
ジに加えて生成される。好ましくは、これらのｌ_max＋
１個のイメージが次いで事前処理されて、元のイメージ
の平均イメージ・ピラミッドを増強し、それは、ピラミ
ッドの各レベルｌにおけるイメージが次に低いピラミッ
ド・レベルにおけるイメージの側長の半分を有すること
を意味し、そこにおいてグレー・レベルは、ピラミッド
の次に低いレベルの適切な位置で２×２ブロックのグレ
ー値を平均化することにより得られる。代替として、一
時的イメージは、サブサンプリング・ステップを省略し
且つ元のイメージについての各離散化されたレベルに対
する適切なマスク・サイズを有する平均フィルタを用い
ることにより生成される。

【００５３】このステップの後に、特徴抽出が、ｌ_max
＋１個のイメージの各々で実行される（ステップ３）。
特徴抽出は、例えば、エッジ又はライン・フィルタをイ
メージに適用することにより行って、イメージの中の方
向ベクトルを得ることができる。そのようなフィルタ・
オペレーションを用いる場合、セグメント化（２値化）
オペレーションは実行されない。イメージ・ピラミッド
を用いる場合、方向ベクトルもまた、任意の領域セグメ
ント化手順、例えばイメージをしきい値処理することか
ら得られることができ、そこにおいてしきい値は、例え
ば、ヒストグラム解析によりイメージから導出され、上
記の任意の領域セグメント化手順には、セグメント化さ
れた領域の境界に対する法線を計算することが続き、例
えば、特定の境界点の周りのある一定の数の境界点に適
合する最小方形ラインを計算し且つその境界点の方向と
して当該ラインの法線を用いることが続く。

【００５４】続いて、最も粗いレベルｌ_maxの離散化空
間にわたり全数探索が実行される（ステップ４）。これ
は、パラメータ値の全ての組み合わせに対して、対応す
るパラメータ値を用いて変換されたモデルの整合メトリ
ックが、前述の整合メトリックの１つにより計算される
ことを意味する。モデル発生についてのセクションにお
いて後述されるように、変換されたモデルは、モデルが
発生される時点に事前計算され得る。これが行われなか
った場合、モデルは、このステップにおいて、アフィン
変換パラメータをモデルの点に適用し且つ線形変換パラ
メータをモデルの方向ベクトルに適用することにより変
換されねばならない。これは、パラメータ値の各あり得
る組み合わせに対するスコアをもたらす。次いで、スコ
アは、ユーザ選択可能しきい値ｍ_minと比較される。こ
のしきい値を超える全てのスコアは、探索空間内の領域
の中に組み合わされる。これらの領域において、整合メ
トリックの極大が、ある一定の組のパラメータのスコア
を隣接の変換パラメータのスコアと比較することにより
計算される。結果として生じる極大は、探索空間の最も
粗い離散化におけるモデルの見つけられたインスタンス
に対応する。見つけられたこれらのインスタンスは、イ
ンスタンスのリストに挿入され、そのインスタンスのリ
ストは、インスタンスのスコアにより分類される。

【００５５】一旦最も粗い離散化レベルの徹底的な整合
（全数整合）が完結すると、見つけられたインスタンス
は、それらが最低レベルの離散化空間で見つけられるま
で、より微細なレベルの離散化空間を通して追跡される
（ステップ５）。その追跡は次のように実行される。即
ち、第１の未処理モデル・インスタンスがモデル・イン
スタンスのリストから除去される。これは、インスタン
スのリストがスコアにより分類されるので、最良のスコ
アを有する未処理インスタンスである。次いで、このイ
ンスタンスのポーズ・パラメータを用いて、次に低いレ
ベルの離散化における探索空間を定義する。理想的に
は、モデルは、ポーズ・パラメータの適切な変換により
与えられる位置に配置されるであろう。即ち、スケーリ
ング・パラメータｓ_x及びｓ_y、並びに角度φ及びθが、
次に微細なレベルの離散化において最も近いパラメータ
に丸められ、一方変換パラメータは、もしイメージ・ピ
ラミッドを用いる場合２の係数によりスケーリングされ
るか、又はもしサブサンプリングを用いない場合無修正
で通されるかのいずれかである。しかしながら、イメー
ジが次に微細なレベルにおける量よりその２倍の量だけ
平滑化されてしまった最も粗い離散化レベルにおいてイ
ンスタンスが見つけられたので、次に低いレベルの離散
化において探索空間を形成するとき考慮されねばならな
いポーズ・パラメータにおける不確定性がある。探索空
間に対する良好な選定は、伝搬される平行移動パラメー
タの周りにサイズ５×５の長方形を構成することにより
得られる。更に、他の４つのパラメータに対する探索空
間は、より微細なレベルにおける次に低い値及び次に高
い値のパラメータを探索空間の中に含むことにより構成
される。一例として、変換の空間が、固定変換から成る
と仮定すると、そのイメージ・ピラミッドが用いられて
しまい、そしてインスタンスは、次の姿勢、即ち
（ｔ_x、ｔ_y）＝（３４，２７）、φ＝５５．０２０°を
有するレベルｌ＝３の離散化において見つけられた。次
いで、より微細なレベルｌ＝２における探索空間は、６
６≦ｔ_x≦７０、５２≦ｔ_y≦５６、及び５２．７１６°
≦φ≦５７．３００°により与えられる（上記の例にお
いて離散化ステップ長を有するテーブルを覚えているべ
きである。）。次いで、モデルは、最も粗い離散化につ
いての徹底的な整合に対して前述したのと同じ要領で整
合メトリックを計算することにより、全ての変換を用い
てより微細なレベルにおける探索空間で探索される。探
索空間内の最大スコアが識別される。対応する姿勢が探
索空間の境界にある場合、探索空間は、最大スコアを有
する姿勢が探索空間内に完全にあるようになるまで、即
ち探索空間の境界にないようになるまで、その境界で反
復的に拡大される。こうして得られた最大スコアがユー
ザ選択可能しきい値ｍ_minを超える場合、インスタンス
は、そのスコアに従った適切な場所で、見つけられたイ
ンスタンスのリストに加えられる。

【００５６】最も微細なレベルの離散化空間について、
インスタンスがリストに挿入される時点に、見つけられ
たインスタンスが他のインスタンスとあまりに多く重な
る場合、それら見つけられたインスタンスがチェックさ
れる（ステップ６）。前述したように、インスタンス間
の重なりは、各対のインスタンスの周りの任意の向きの
最も小さい包囲長方形と、２つの長方形のうちの小さい
方との交差面積の比として計算される。重なりがユーザ
により供給された小部分より大きい場合、より良いスコ
アを有するインスタンスのみがリストの中に保持され
る。ユーザが見つけるべき最大数のインスタンスを指定
しなかった場合、もし全ての見つけられたインスタンス
が最も微細なレベルの離散化上にあるならば、モデルの
再帰的追跡は停止する。ユーザが見つけるべき最大数ｏ
のインスタンスを指定した場合、もし最も微細な離散化
レベルで見つけられたインスタンスの数がｏより小さい
ならば、且つもし全ての見つけられたインスタンスが最
も微細なレベルの離散化にあるならば、即ち、ユーザに
より指定された数よりイメージの中のインスタンスが少
ないならば、モデルの再帰的追跡は停止する。代替とし
て、ｏ個のインスタンスが最も微細なレベルの離散化で
見つけられた場合、探索は停止する。次いで、この追跡
方法は、全ての未処理のインスタンスをより粗いレベル
の離散化でチェックすることにより、それらのスコアが
最も微細なレベルで見つけられた最悪のインスタンスの
スコアに十分に近接しているか否かを知る。それは、こ
れらのインスタンスが、これまで見つけられたｏ個の最
良のインスタンスより、一層微細なレベルの離散化での
より良いスコアに導くからである。未処理のインスタン
スが最も微細なレベルで見つけられた最悪スコアに定
数、例えば０．９を掛けたものより良いスコアを有する
場合、このインスタンスはまた、ｏ個の最良の整合が見
つけられることを保証するため、前述の要領で探索空間
にわたり再帰的に追跡される。これは、全ての関係のな
いインスタンス、即ち、制限ｏを超えて見つけられた全
てのインスタンスがこのステップ６で除去されることを
意味する。

【００５７】ユーザが、最も微細な離散化より一層良い
解像度を用いて姿勢を戻すべきであると指定した場合、
見つけられた各インスタンスに対応する最大の整合メト
リックがサブピクセル解像度を用いて外挿される（ステ
ップ７）。これは、例えば、選定された変換の空間のパ
ラメータに関して整合メトリックの１次及び２次導関数
を計算することにより行うことができる。１次及び２次
導関数は、例えば、適切な１次及び２次導関数マスク、
例えばｎ次元ファセット・モデル・マスク（ｎ−ｄｉｍ
ｅｎｓｉｏｎａｌ ｆａｃｅｔ ｍｏｄｅｒｌ ｍａｓ
ｋｓ）を用いた畳み込みにより最大スコアに隣接するス
コアから得ることができる（Ｓｔｅｇｅｒ（１９９８）
［Ｃａｒｓｔｅｎ Ｓｔｅｇｅｒ著「曲線構造の不偏検
出器（Ａｎ ｕｎｂａｉｓｅｄ ｄｅｔｅｃｔｏｒ ｏ
ｆ ｃｕｒｖｉｌｉｎｅａｒ ｓｔｒｕｃｔｕｒ
ｅ）」、パターン解析及び機械知能のＩＥＥＥトランザ
クション（ＩＥＥＥ Ｔｒａｎｓｃｔｉｏｎ ｏｎ Ｐ
ａｔｔｅｒｎ Ａｎａｌｙｓｉｓａｎｄ Ｍａｃｈｉｎ
ｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、２０（２）：１１３
−１２５頁、１９９８年２月発行］（これらのマスクの
２次元バージョンに対するものである。それらは、直接
的な方法でｎ次元に一般化する。）参照）。これは、離
散的探索空間の最大スコア・セルにおけるテイラー多項
式を導き、そのテイラー多項式から最大は、１組の１次
方程式を解くことにより容易に計算することができる。

【００５８】最後に、見つけられたインスタンスの抽出
された姿勢は、ユーザに戻される（ステップ８）。 モデル発生 モデルは、前述の整合方法に従って発生されねばならな
い。モデル発生の心臓部に、モデルのポイント及び対応
する方向ベクトルを計算する特徴抽出がある。これは、
多数の異なるイメージ処理アルゴリズムにより行うこと
ができる。本発明の一好適な実施形態においては、方向
ベクトルはモデル・イメージの勾配ベクトルであり、そ
れは、標準エッジ・フィルタ、例えば、ソーベル−キャ
ニー・フィルタ（ｔｈｅ Ｓｏｂｅｌ，Ｃａｎｎｙ ｆ
ｉｌｔｅｒ）（Ｃａｎｎｙ（１９８６）［Ｊｏｈｎ Ｃ
ａｎｎｙ著「エッジ検出に対する計算的アプローチ（Ａ
cｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ
ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ）」パターン解析及び
機械知能のＩＥＥＥトランザクション（ＩＥＥＥＴｒａ
ｎｓｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓ
ｉｓ ａｎｄＭａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃ
ｅ）、８（６）：６７９−６９８頁、１９９６年６月発
行］参照）、又はデリチェ・フィルタ（Ｄｅｒｉｃｈｅ
ｆｉｌｔｅｒ）（Ｄｅｒｉｃｈｅ（１９８７）［Ｒａ
ｃｈｉｄ Ｄｅｒｉｃｈｅ著「キャニー判定基準を用い
た、再帰的に実行される最適エッジ検出器の導出（Ｕｓ
ｉｎｇ Ｃａｎｎｙ’ｓ ｃｒｉｔｅｒｉａ ｔｏ ｄ
ｅｒｉｖｅ ａ ｒｅｃｕｒｓｉｖｅｌｙ ｉｍｐｌｅ
ｍｅｎｔｅｄ ｏｐｔｉｍａｌ ｅｄｇｅ ｄｅｔｅｃ
ｔｏｒ）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒａ
ｎｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１：１
６７−１８７頁、１９８７年参照］から得られることが
できる。イメージがセグメント化されない場合、ＲＯＩ
内の全ての点は、モデルに加えられるであろう。方向情
報は勾配の大きさが大きい範囲で最も正確で且つ最も信
頼できるので、且つＲＯＩ内の点の数が通常非常に大き
い（従って探索がゆっくりしている）ので、モデル・イ
メージ内のポイントの数は、勾配イメージの標準セグメ
ント化アルゴリズム、例えば勾配の大きさのしきい値処
理を用いることにより、又はヒステリシスしきい値処
理、非最大抑制及びスケルトンの計算の組み合わせを用
いることにより低減される（Ｃａｎｎｙ（１９８
６））。別の好適な実施形態においては、方向ベクトル
は、ライン検出アルゴリズム、例えば、イメージのヘッ
シアンマトリックス（２次偏微分から成るマトリック
ス）の最大強度の固有値に対応する固有ベクトルから得
られることができる（Ｓｔｅｇｅｒ（１９９８）又はＢ
ｕｓｃｈ（１９９４）［Ａｎｄｒｅａｓ Ｂｕｓｃｈ著
「ユーザによる供給されるパラメータなしでのディジタ
ル・イメージ内のラインの高速認識（Ｆａｓｔ ｒｅｃ
ｏｇｎｉｔｉｏｎ ｏｆ ｌｉｎｅｓｉｎ ｄｉｇｉｔ
ａｌ ｉｍａｇｅｓ ｗｉｔｈｏｕｔ ｕｓｅｒ−ｓｕ
ｐｐｌｉｅｄ ｐａｒａｍｅｔｅｒｓ）」、写真測量及
び遠隔検知の国際記録（Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ａｒｃｈｉｖｅｓ ｏｆ Ｐｈｏｔｏｇｒａｍｍｅｔｒ
ｙ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ）におけ
る、ＸＸＸ巻、パート３／１、９１−９７頁、１９９４
年参照］参照）。２つの引用されたアルゴリズムは、既
にイメージをセグメント化、即ち、エッジ検出で用いら
れる非最大抑制及びスケルトン動作に似て、１ピクセル
幅ラインを生じることに注目されたい。本発明の別の好
適な実施形態においては、方向情報は、コーナー検出
器、例えばフェルストナー（Ｆｏｅｒｓｔｎｅｒ（以
下、この文字の中の「ｏｅ」はドイツ文字のｏウムラウ
トを表す。））の方法（１９９４）［Ｗｏｌｆｇａｎｇ
Ｆｏｅｒｓｔｎｅｒ著「低レベル特徴抽出のためのフ
レームワーク（Ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｌｏ
ｗ ｌｅｖｅｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏ
ｎ）」、Ｊａｎ−Ｏｌｏｆ Ｅｋｌｕｎｄｈ編集、コン
ピュータ・ビジョンについての第３回ヨーロッパ会議で
のコンピュータ科学における講演ノートの８０１巻、３
８３−３９４頁、ベルリン、１９９４年、シュプリンガ
ー出版社（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ）発行］か
ら得られることができる。この方法は、非常に少ないポ
イントがモデルに対して発生される利点を有する。本発
明の別の好適な実施形態においては、セグメント化領域
の境界に対する法線を計算すること、例えば、特定の境
界点の周りのある一定数の境界点に適合される最小方形
ラインを計算し、且つそのラインの法線をその境界点の
方向として用いることが続く任意の領域セグメント化手
順、例えばイメージのしきい値処理から、方向情報は得
ることができる。

【００５９】完全なモデル発生方法が図７に示されてい
る。最初に、モデルとして用いられるべき対象物を含む
イメージが、外部装置、例えば、カメラ又はスキャナか
ら獲得される（ステップ１）。このステップは、イメー
ジ内でモデルが存在する関心の領域の選択を含む。ＲＯ
Ｉは、ユーザにより対話的に指定されることができる。
代替として、ＲＯＩは、自動的にイメージ処理プログラ
ムにより、例えば、適切な方法、例えばしきい値オペレ
ーションにより対象物をセグメント化することにより、
且つ特徴抽出がＲＯＩ内の全ての関連対象物ポイントを
見つけることを保証するため形態操作を用いてセグメン
ト化領域を拡大することにより発生されることができ
る。

【００６０】次に（ステップ２）、イメージは、探索空
間の再帰的副分割と一致する表示に変換される。好適な
実施形態においては、ユーザは、パラメータｌ_maxを指
定することにより探索空間の最も粗い副分割を選択す
る。次いで、ｌ_max個の一時的イメージは、元のイメー
ジに加えて生成される。次いで、これらｌ_max＋１個の
イメージが事前処理され、元のイメージの平均イメージ
・ピラミッドを増強する。代替として、一時的イメージ
は、サブサンプリング・ステップを省略し、且つ元のイ
メージについての各離散化レベルに対する適切なマスク
・サイズを有する平均フィルタを用いることにより生成
される。

【００６１】この後で、離散化の各レベルに対して、適
切なモデルが発生される（ステップ３）、即ち、図７の
ステップ（４）−（７）が各レベルの離散化に対して実
行される。各レベルの離散化に対してモデルを発生する
理由は、探索空間の各レベルにおける平行移動パラメー
タのステップ長に従ってデータ量を低減するためであ
る。イメージ・ピラミッドがイメージを変換するためス
テップ（２）で用いられた場合、モデル内のポイントの
数の低減は自動的に起こる。サブサンプリングが実行さ
れなかった場合、データ点の数は、以下のステップ
（６）における特徴抽出の後に低減される。

【００６２】各レベルの離散化に対して、探索空間が、
前述の対象物認識方法の説明に従って、次の線形変換パ
ラメータについてユーザにより指定された境界を用いて
サンプリングされる。

【００６３】

【数１５】 平行移動パラメータはサンプリングされない、即ち、固
定の平行移動パラメータｔ_x＝ｔ_y＝０が用いられる。そ
れは、平行移動パラメータは、モデルの形状を変えない
からである。ステップ（５）−（７）が、現在レベルの
離散化に対する、サンプリングされた探索空間からの各
組のパラメータに対して実行される。探索空間をサンプ
リングする理由は、許容可能な変換の下でモデルの全て
のあり得る形状を事前計算し且つそれをメモリに格納す
ることにあり、結果として対象物認識段階における実行
時間の著しい低減につながる。

【００６４】ステップ（５）において、現在レベルの離
散化の変換されたイメージ、即ち、現在レベルのピラミ
ッドでのイメージ、又は適切に平滑化されたイメージ、
これはステップ（２）で発生されたものであるが、この
イメージは、現在の変換パラメータを用いて変換され
る。ここで、対象物が依然イメージ変換後にイメージ内
に完全にあることに注意しなければならない。必要なら
ば、平行移動が、これを達成するためその変換に加えら
れ、それは、抽出されたモデル・ポイントがステップ
（７）においてモデルに加えられるときにである。イメ
ージは、適切なアンチエイリアシング方法を用いて、例
えば双線形補間を用いて変換される。

【００６５】イメージが変換された後に、選定された特
徴抽出アルゴリズが、変換されたイメージに適用される
（６）。前述のように、特徴抽出アルゴリズは、例え
ば、ライン、エッジ、又はコーナー検出、又は領域ベー
スのセグメント化アプローチであり得る。これは、特徴
点及びそれらの対応する方向ベクトルのリストをもたら
す。サブサンプリングが、現在レベルの離散化でイメー
ジを発生するため用いられた場合、モデル・ポイントが
ここでサブサンプリングされる。これは、例えば、モデ
ルの全てのｋ番目のポイントを選択することより行われ
る（ここで、ｋは現在レベルの離散化での平行移動パラ
メータのステップ長である。）。代替として、モデル・
ポイントは、現在レベルの離散化での平行移動パラメー
タのステップ長に対応する、側長ｋの各正方形に入る点
にグループ分けされることができる、即ち抽出された特
徴点が碁盤目状にされる。次いで、少なくとも１つのモ
デル・ポイントを持つ各碁盤目状にされた正方形の中心
に最も近いモデル・ポイントが、その正方形を表すモデ
ル・ポイントとして選択される。モデル・ポイントの数
は更に、対象物認識プロセスを後で加速するためこのス
テップで低減されることが任意にできる。これは、主
に、特徴ピクセルのチェインを戻す特徴抽出器、例え
ば、ライン、エッジ、及び領域境界セグメント化手順に
対して有効である。（必要ならば、サブサンプリングが
ステップ（２）において用いられなかった場合特徴点の
碁盤目状の配列を考慮して、）１つのそのような方法
は、例えば、抽出されたピクセルを接続されたピクセル
のチェインにリンクさせることであり、その結果対象物
の接続された輪郭を生じる。次いで、その輪郭は多角形
で近似でき、それはデータ量を相当に低減する。モデル
・ポイントは、このケースの場合多角形制御点である。
代替として、対象物の輪郭がサブサンプリングされ、よ
り少ないモデル・ポイントを有するモデルを発生するこ
とができる、即ち、輪郭の全てのｋ番目のポイントのみ
がモデルに加えられる。

【００６６】最後に、ステップ（６）で得られたモデル
・ポイントは、変換されたモデルを発生するため用いら
れた変換パラメータと共に、現在の離散化レベルでのモ
デルの収集に加えられる。欲張りな探索方法が用いられ
る場合に整合をよりロバストにするため、モデルの第１
の数個のポイントがモデルにわたり良好に分布される程
度にポイントをモデルに加えることが有効である。これ
は欲張りな方法では必要である。それは、モデルの第１
の部分における全てのポイントがたまたまオクルージョ
ンされ、一方全ての他のポイントが存在する場合、その
整合方法はモデルのインスタンスを見つけないであろ
う。第１のモデル・ポイントの一様分布を達成するため
の最も単純な方法は、モデル・ポイントをモデルにラン
ダム化された順序で加えることである。

【００６７】前述のモデル発生方法は、大きい許容可能
な変換の探索空間の非常に大きな数の事前計算されたモ
デルを発生し得る。これは、結局、事前計算されたモデ
ルを格納することを要求されたメモリが非常に大きいこ
とになり、それは、モデルがメモリ内に格納されること
ができないか、又は仮想メモリをサポートするシステム
上のディスクにページングされねばならないかのいずれ
かを意味する。第２のケースにおいては、認識段階にお
いて必要とされるモデルの部分がディスクからメイン・
メモリに戻すようにページングされねばならないので、
対象物認識が遅くされるであろう。従って、事前計算さ
れたモデルを格納するのに要求されるメモリが大きくな
りすぎる場合、代替のモデル発生方法は、上記の方法の
ステップ（４）を省略し、そして代わりに、対象物を変
更しないままにする、即ちｓ_x＝ｓ_y＝１及びφ＝θ＝０
である変換パラメータに対応する、各レベルの離散化で
の対象物のただ１つの事前計算されたモデルを計算する
こととなる。このケースにおいては、モデルの変換は、
モデルが対象物認識方法に対して前述したようにイメー
ジと整合されるとき急いで行わなければならない。

【００６８】上記のモデル発生方法は、各離散化レベル
において１組の変換の各許容可能な変換を用いてイメー
ジを変換する。それは、その方法が特徴抽出器のあり得
る異方性結果を考慮しようするから、即ち、特徴抽出器
が戻す方向ベクトルがイメージの特徴の向きに偏倚され
る方法で依存し得ることを考慮するからである。たとえ
それら方向ベクトルがイメージの中でどの向きに生じよ
うとも、特徴抽出器が等方性である、即ち特徴抽出器が
戻す方向ベクトルが正しいことが知られている場合、イ
メージ変換ステップを省略することができる。代わり
に、抽出された特徴点及び方向ベクトルそれら自体は、
変換されて、全てのあり得る変換に対して事前計算され
た１組のモデルを得る。このモデル発生方法が図８に示
されている。代替モデル発生方法のステップ（１）−
（３）は、図７の正常なモデル発生方法と同一である。
相違は、特徴抽出がここでは全ての離散化レベルに対し
て１回だけ実行されることである（４）。次いで、ステ
ップ（５）−（７）を用いて、モデル・ポイント及び方
向ベクトルが、現在レベルの離散化のに対して全てのあ
り得る変換により変換され、メモリに格納される。

【００６９】本発明の幾つかの特定の実施形態が詳細に
説明されたが、好適な実施形態に対する種々の変更が本
発明の範囲を離れることなく行うことができる。

【図面の簡単な説明】

【図１】 図１は、一般的アフィン変換のパラメータを
示す。

【図２】 認識されるべき対象物のサンプル・イメージ
を示す。

【図３】 対象物のモデルがエッジ・フィルタを用いる
ことにより発生されることを示す。

【図４】 対象物のモデルがライン抽出を用いて発生さ
れることを示す。

【図５】 離散化長を導出するため用いられるパラメー
タと共に鍵のサンプル・モデルを示す。

【図６】 本発明に従った再帰的対象物認識方法の好適
な実施形態を示す。

【図７】 本発明に従ったモデル発生方法の好適な実施
形態を示す。

【図８】 本発明に従ったモデル発生方法の別の好適な
実施形態を示す。

Claims (17)

【特許請求の範囲】
1. 【請求項１】 （ａ）電子的メモリにモデル対象物のイ
   メージを獲得するステップと、 （ｂ）マルチレベル表示が少なくともの元のイメージを
   含み、前記モデル対象物のイメージを、探索空間の再帰
   的副分割と一致する前記マルチレベル表示に変換するス
   テップと、 （ｃ）事前計算されたモデルは、方向ベクトルを有する
   複数の対応する点から成り、ポイント及び方向ベクトル
   は、少なくとも各モデル・ポイントに対して方向ベクト
   ルを戻すイメージ処理オペレーションにより発生され、
   探索空間の離散化の各レベルに対して前記対象物の少な
   くとも１つの前記事前計算されたモデルを発生するステ
   ップと、 （ｄ）電子的メモリに現在のイメージを獲得するステッ
   プと、 （ｅ）前記マルチレベル表示が少なくとも元のイメージ
   を含み、現在のイメージを探索空間の再帰的副分割と一
   致する前記マルチレベル表示に変換するステップと、 （ｆ）モデルを探索すべき平行移動範囲に対応する前記
   イメージ内のサブセットのポイントに対して方向ベクト
   ルを戻すマルチレベル表示の各変換されたイメージにイ
   メージ処理オペレーションを実行するステップと、 （ｇ）探索空間の最も粗い離散化レベルにおけるモデル
   の全てのあり得る姿勢に対してモデルの方向情報及び変
   換されたイメージを用いる整合メトリックを計算するス
   テップと、 （ｈ）これらのモデル姿勢の整合メトリックがユーザ選
   択可能しきい値を超え且つ極大である当該これらのモデ
   ル姿勢を決定し、且つ探索空間の最も粗い離散化レベル
   におけるモデルのインスタンスのリストを前記姿勢及び
   前記整合メトリックから発生するステップと、 （ｉ）最も微細なレベルの離散化に到達するまで、探索
   空間の最も粗い離散化レベルにおける前記モデルのイン
   スタンスを探索空間の再帰的副分割にわたり追跡するス
   テップと、 （ｊ）離散化の最も微細なレベルで対象物のインスタン
   スの姿勢を与えるステップとを備えるイメージ内の対象
   物を認識する方法。
2. 【請求項２】 ステップ（ｃ）において、ステップ
   （ｂ）に従った各レベルの離散化に対して、且つステッ
   プ（ｂ）に従った現在レベルの離散化での離散化探索空
   間における各変換に対して、 （ｃ１）アンチエイリアス法を用いる現在の変換によ
   り、現在レベルの離散化のイメージを変換するステップ
   と、 （ｃ２）前記の変換されたイメージの特徴抽出を実行す
   るステップと、 （ｃ３）全てのセグメント化された特徴点をそれらの方
   向ベクトルと共に、変換されたモデルのリストに加える
   ステップとが実行される、請求項１記載の方法。
3. 【請求項３】 ステップ（ｂ）に従った各レベルの離散
   化に対して、 （ｃ１）現在レベルの離散化のイメージでの特徴抽出を
   実行するステップと、 現在レベルの離散化での離散化された探索空間における
   各変換に対して、 （ｃ２）前記の抽出されたモデル・ポイント及び方向ベ
   クトルを現在の変換により変換するステップと、 （ｃ３）全ての変換されたモデル・ポイントをそれらの
   変換された方向ベクトルと共に変換されたモデルのリス
   トに加えるステップと、が実行される、請求項１記載の
   方法。
4. 【請求項４】 ステップ（ｉ）に、 （ｉ′）重なっている及び／又は異質のモデル・インス
   タンスを捨てるステップが続く、請求項２又は３記載の
   方法。
5. 【請求項５】 ステップ（ｉ′）に、 （ｉｉ″）最も微細な離散化レベルより良い解像度に姿
   勢情報を微細化するステップが続く、請求項４記載の方
   法。
6. 【請求項６】 ステップ（ｉｉ″）は、整合メトリック
   の最大を外挿するステップを備える請求項５記載の方
   法。
7. 【請求項７】 ステップ（ｃ）及び（ｆ）は、変換され
   たイメージ表示の特徴抽出を実行するステップを備える
   請求項６記載の方法。
8. 【請求項８】 ライン・フィルタリング、エッジ・フィ
   ルタリング、コーナー検出、又は領域ベースのセグメン
   ト化が、特徴抽出のため用いられる請求項７記載の方
   法。
9. 【請求項９】 ステップ（ｇ）において、変換されたモ
   デルの方向ベクトルとイメージとのモデルの全ポイント
   にわたるドット積の和が前記整合メトリックを計算する
   ため用いられる請求項８記載の方法。
10. 【請求項１０】 変換されたモデルの方向ベクトルとイ
    メージとのモデルの全ポイントにわたる正規化されたド
    ット積の和が前記整合メトリックを計算するため用いら
    れる請求項８記載の方法。
11. 【請求項１１】 正規化されたドット積の和の絶対値が
    前記整合メトリックを計算するため用いられる請求項８
    記載の方法。
12. 【請求項１２】 正規化されたドット積の絶対値の和が
    前記整合メトリックを計算するため用いられる請求項８
    記載の方法。
13. 【請求項１３】 ステップ（ｇ）において、モデルにお
    ける方向ベクトル及びイメージにおける方向ベクトルが
    囲む角度の絶対値の和が前記整合メトリックを計算する
    ため用いられ、そこにおいて整合メトリックの極小が極
    大の代わりに姿勢情報を抽出するため用いられる請求項
    ８記載の方法。
14. 【請求項１４】 雑音により生じられる方向ベクトルの
    寄与分が捨てられる請求項１０から１２のいずれか一項
    に記載の方法。
15. 【請求項１５】 （ａ）電子的メモリにモデル対象物の
    イメージを獲得する手段と、 （ｂ）マルチレベル表示が少なくとも元のイメージを含
    み、前記モデル対象物のイメージを、探索空間の再帰的
    副分割と一致する前記マルチレベル表示に変換する手段
    と、 （ｃ）事前計算されたモデルは方向ベクトルを有する複
    数の対応する点から成り、前記ポイント及びベクトルは
    少なくとも各モデル・ポイントに対して方向ベクトルを
    戻すイメージ処理オペレーションにより発生され、探索
    空間の離散化の各レベルに対して前記対象物の少なくと
    も１つの前記事前計算されたモデルを発生する手段手段
    と、 （ｄ）電子的メモリに現在のイメージを獲得する手段
    と、 （ｅ）前記マルチレベル表示が少なくとも元のイメージ
    を含み、前記現在のイメージを探索空間の再帰的副分割
    と一致するマルチレベル表示に変換する手段と、 （ｆ）モデルを探索すべき平行移動範囲に対応する前記
    イメージ内のサブセットのポイントに対して方向ベクト
    ルを戻すマルチレベル表示の各変換されたイメージにイ
    メージ処理オペレーションを実行する手段と、 （ｇ）探索空間の最も粗い離散化におけるモデルの全て
    のあり得る姿勢に対してモデルの方向情報及び変換され
    たイメージを用いる整合メトリックを計算する手段と、 （ｈ）これらのモデル姿勢の整合メトリックがユーザ選
    択可能しきい値を超え且つ極大である当該これらのモデ
    ル姿勢を決定し、且つ探索空間の最も粗い離散化レベル
    におけるモデルのインスタンスのリストを前記姿勢及び
    前記整合メトリックから発生する手段と、 （ｉ）最も微細なレベルの離散化に到達するまで、探索
    空間の最も粗い離散化レベルにおける前記モデルのイン
    スタンスを探索空間の再帰的副分割にわたり追跡する手
    段と、 （ｊ）最も微細なレベルの離散化で対象物のインスタン
    スの姿勢を与える手段とを備えるイメージ内の対象物を
    認識するシステム。
16. 【請求項１６】 コンピュータ・プログラム製品がコン
    ピュータ上で動作するとき請求項１の方法を実行するた
    めに、コンピュータ読取可能媒体上に格納されたプログ
    ラム・コード手段を備えるコンピュータ・プログラム製
    品。
17. 【請求項１７】 コンピュータ・プログラムがコンピュ
    ータ上で動作するとき請求項１に従った方法の全ステッ
    プを実行するプログラム・コード手段を備えるコンピュ
    ータ・プログラム。