JP2015135331A - 実用型３ｄビジョンシステム装置およびその方法 - Google Patents

Abstract

【課題】改善された３次元マシンビジョン方法および装置を提供する。【解決手段】少なくとも第１のカメラおよび第２のカメラを含む、カメラ固有の軌跡に沿って配置された視野をそれぞれ有する複数のカメラ、を有する３Ｄ画像化システムにおける関心領域を特定するための方法およびそのシステムは、前記複数のカメラの視野内の位置に部品を配置する工程と、前記複数のカメラのそれぞれの視野内に存在する関心領域を、前記部品上に表示する工程と、前記複数のカメラそれぞれに対して、（ｉ）前記関心領域を有する前記部品の少なくとも１つの画像を取得し、（ｉｉ）この少なくとも１つの画像における前記関心領域と関連付けされた前記カメラの視野内のカメラ固有の関心フィールドを識別して、（ｉｉｉ）後の使用のために前記関心フィールドを保存する工程と、を有している。【選択図】図１

Description

本発明は、マシンビジョンに関するものであり、より具体的には、３次元（３Ｄ）マシ
ンビジョンに関するものである。本発明は、ごく一例として、製造、品質管理およびロボ
ット工学といった分野における用途を有する。

マシンビジョンとは、画像の自動解析により画像において表現されている物体の特性を
判定する技術をさす。マシンビジョン技術は、自動化された製造ラインでしばしば利用さ
れており、各種構成部品のピッキング、組立てのための配置および整列を行うために、各
種構成部品の画像の解析が利用されている。自動組立て手段としてロボットが用いられて
いて、自動画像解析を部品ピッキング、部品配置および部品整列等に用いるシステムは、
視覚誘導ロボット工学とよばれる。また、マシンビジョン技術は、ロボットの操縦にも用
いられており、例えば、様々な環境中をロボットに移動させて状況を把握することを確実
にするためにマシンビジョン技術が用いられている。

３次元（３Ｄ）解析は様々な文献において論じられて久しいけれども、最先端のマシン
ビジョンシステムは、２次元（２Ｄ）画像解析に依拠している。このため、検査対象物体
が、制約を受けた方向および位置においてマシンビジョンシステムに「提示（ｐｒｅｓｅ
ｎｔｅｄ ｔｏ）」されることが必要となるのが典型的である。コンベヤベルトがこの目
的のために一般的に用いられている。組立てまたは検査対象たる物体は、典型的には、ベ
ルト上の特定かつ既知にして安定した３Ｄコンフィギュレーションに配置されるが、しか
して、未知の位置および方向に配置され、マシンビジョンシステムの視野内に移動される
。前記視野内における物体の２次元姿勢（すなわち位置および方向）に基づいて、および
当該物体がコンベヤ上に配置されているという事実を考慮に入れつつ（それにより、「ラ
イ（当該物体が実際におかれている状態）」とマシンビジョンシステムカメラから物体ま
での距離とを確実なものとする）、システムは、２次元形状（２Ｄ ｇｅｏｍｅｔｒｙ）
を適用して、当該物体の厳密な３次元姿勢および／または予想される外的形状との適合性
を判定する。

かかる２Ｄ映像解析を用いた例は、承継人の先行特許である以下の各特許明細書：米国
特許第６，７４８，１０４号（発明の名称『単一および複数のテンプレートまたはパター
ンを用いたマシンビジョン検査装置およびその方法』）；米国特許第６，６３９，６２４
号（発明の名称『有鉛部品の検査のためのマシンビジョン方法』）；米国特許第６，３０
１，３９６号（発明の名称『カメラ‐可動物体間のキャリブレーション関係を判定するた
めの非フィードバック型マシンビジョン方法』）；米国特許第６，１３７，８９３号（発
明の名称『マシンビジョンキャリブレーションターゲットおよび画像内におけるターゲッ
ト位置・方向を判定する方法』）；米国特許第５，９７８，５２１号（発明の名称『共通
の物体を撮像する複数のカメラのキャリブレーション位置を判定するためのマシンビジョ
ン方法』）；米国特許第５，９７８，０８０号（発明の名称『フィードバックにより視野
の方向、ピクセル幅およびピクセル高を判定するマシンビジョン方法』）；米国特許第５
，９６０，１２５号（発明の名称『カメラ‐可動物体間のキャリブレーション関係を判定
する非フィードバック型マシンビジョン方法』）；米国特許第６，８５６，６９８号（発
明の名称『高速高精度多次元パターン位置測定』）；米国特許第６，８５０，６４６号（
発明の名称『高速高精度多次元パターン検査』）；米国特許第６，６５８，１４５号（発
明の名称『高速高精度多次元パターン検査』）などにおいて提供されているところである
（あくまで若干の例である）。

工場フロアから家庭までロボット工学への依存度が高まるにつれて、実用的な３Ｄマシ
ンビジョンシステムへのニーズが表面化してきている。これは、これらの環境下において
は、多くの場合、検査対象たる物体が全体の位置およびライ内には必ずしも収まらないこ
とによる、例えば、コンベヤベルト上に配置された物体の事例とは違うのである。つまり
、当該物体の精確な３Ｄコンフィギュレーションは未知でありうるのである。

３Ｄシーン内における姿勢および位置の追加的な自由度を許容するために、３Ｄビジョ
ンツールが必須ではないものの有益である。これらの例としては以下のものがある：米国
特許第６，７７１，８０８号（発明の名称『マシンビジョンを利用して６自由度で変換さ
れたパターンを登録するためのシステムおよびその方法』）、および米国特許第６，７２
８，５８２号（発明の名称『２つのカメラを備えたマシンビジョンシステムを用いて３次
元で物体の位置を判定するためのシステムおよびその方法』）。

米国特許第６，７４８，１０４号明細書 米国特許第６，６３９，６２４号明細書 米国特許第６，３０１，３９６号明細書 米国特許第６，１３７，８９３号明細書 米国特許第５，９７８，５２１号明細書 米国特許第５，９７８，０８０号明細書 米国特許第５，９６０，１２５号明細書 米国特許第６，８５６，６９８号明細書 米国特許第６，８５０，６４６号明細書 米国特許第６，６５８，１４５号明細書

他のマシンビジョン技術が従来技術として提案されているところである。しかしながら
、技術によっては、過大なプロセッサ出力が必要であるためにリアルタイム性が要求され
る用途には実用的でないものもある。他の技術では、検査対象たる物体に対して複雑な登
録手続を実施しなければならず、および／または、実行時に、物体の特性の多くがマシン
ビジョンシステム視野において同時的に視認されることが必要である。

マシンビジョン分野以外では、技術水準はまた、３次元姿勢を判定する接触式の方法を
提供している、例えば、タッチセンサを有するＸＹＺ軸測定マシンなどである。しかしな
がら、これは接触が必要であって、相対的に動作は遅く、人間の関与が必要となりうる。
３次元姿勢を判定するための電磁波式の方法も提供されている。これらは物理的接触を必
要としないが、それ自身の欠点の影響を受ける、例えば、検査対象たる物体に対して発信
機を取り付けるといったしばしば実際問題として実現不可能な工程が必要である。

本発明の目的は、改善されたマシンビジョン方法および装置を提供することにあり、よ
り具体的には、３次元マシンビジョン方法および装置を提供することにある。

本発明の関連する目的は、限定する趣旨でないが、製造、品質管理、ロボット工学とい
った複数の実用分野において適用可能な方法および装置を提供することにある。

本発明のさらなる目的は、例えば、３Ｄ空間における位置および姿勢を判定することが
できる方法および装置を提供することにある。

本発明のさらなる目的は、例えば、検査対象たる物体の全体的位置およびライなどの制
約条件が少なくて済む方法および装置を提供することにある。

本発明のさらなる目的は、検査対象たる物体の登録に関連する要件を最小化することが
できる方法および装置を提供することにある。

本発明のさらなる目的は、現在および将来のマシンビジョンプラットフォームにおいて
実装することができる方法および装置を提供することにある。

前述したものは、本発明によって達成される目的の一部であるが、なかんずく、姿勢、
例えば、当該物体の複数画像から収集されたデータに対する三角測量によって、物体のＸ
ＹＺ軸における位置、ピッチ、ロール、ヨー（その他１以上の姿勢特性）を３次元で判定
する方法および装置が提供される。

このように、例えば、ある態様において、本発明は、３Ｄマシンビジョン方法を提供す
るものであって、較正ステップの間、物体の複数の画像を異なる各々の視点から取得する
ように配置された複数のカメラが、調整されて、当該カメラの視野におけるピクセルロケ
ーションに対応する各々のカメラのレンズから発せられた３Ｄ空間における光線を識別す
るマッピング関数を識別するように構成されている。トレーニングステップでは、カメラ
と関連付けされた機能性がトレーニングされて、取得されるべき物体の複数の画像におけ
る期待パターンを識別する。実行時ステップが、これらのパターンの１または複数の３Ｄ
空間におけるロケーションを、物体の複数の画像におけるこれらのパターンのピクセル単
位での位置から、および、較正ステップで識別されたマッピングから、三角法で測る。

本発明のさらなる態様は、実行時ステップにより、複数のカメラによって実質的に同時
的に撮像された物体の複数の画像から位置を三角法で測定するところの前記方法を提供す
るものである。

本発明の別の態様は、本発明の別の目的は、物体の実行時画像を使用して、前述のマッ
ピング関数を、例えば較正から外れたカメラに関して識別する再較正ステップを含むよう
な方法を提供することである。したがって、例えば１台のカメラが画像を生成し、その画
像内で、パターンが、（例えばそのカメラに関する３Ｄ光線に対してマッピングされたと
きに）残りのカメラからの（例えばそれぞれの３Ｄ光線を使用してマッピングされたとき
の）画像と一致しない、かつ／または大幅に食い違うような位置にあるように見える場合
、それらの残りのカメラからの画像を用いて求められたパターン位置を使用して、その１
台のカメラを再較正することができる。

本発明の別の態様は、較正ステップが、（例えば較正プレートまたはその他の手段上の
標的、十字線などの）各登録対象を、３Ｄ空間内の既知の各位置に配置すること、および
それらの位置と、各カメラの視野内にあるそれぞれの登録対象のピクセル単位での位置と
の相関関係を記録する、または例えばアルゴリズム的に特徴付けることを含む、上述の方
法を提供する。本発明の諸関連態様は、それらの登録対象、較正プレートなどのうち１つ
または複数を使用して、複数台のカメラを同時に、例えば同時結像によって較正するよう
な方法を提供する。

本発明の他の態様は、較正ステップが、視野内の歪みを考慮に入れたマッピング関数を
カメラごとに識別することを含む、上述の方法を提供する。

本発明の別の態様は、トレーニングステップが、カメラに付随する機能を、文字、数字
、（登録対象など）他の記号、隅部、または物体の（暗点や光点など）他の識別可能な特
徴などの、例えば測定法および検索／検出モデルがそれに関して当技術分野で既知の期待
パターンを認識するようにトレーニングすることを含む、上述の方法を含む。

本発明の別の関連態様は、トレーニングステップが、前述の機能を、「モデル点」、す
なわち実行時に検査される物体上にあるパターンの３Ｄ空間内での（例えば絶対的または
相対的な）期待位置に関してトレーニングすることを含むような方法を提供する。それら
の画像から識別された三角測量された３Ｄ位置と組み合わせて、実行時ステップ中にこの
情報を使用することによって、その物体の姿勢を識別することができる。

本発明の諸態様によれば、パターンの期待位置（すなわちモデル点）に関するトレーニ
ングは、そのようなパターンそれぞれの基準点（または「原点」）の２Ｄ姿勢を検出する
ことを含む。２台以上のカメラの視野内に出現することが期待されるパターンの場合、そ
のような基準点により、３Ｄ空間内でのそれらのパターンの（したがって物体の）位置を
求めるための、以下に述べる三角測量が容易になる。

本発明の諸関連態様は、期待パターンに関するトレーニングが、各カメラに付随する機
能内で、類似モデルを、異なるカメラ相互間で類似の期待パターンをトレーニングするの
に利用することを含むような方法を提供する。これには、実行時に検出されたパターンに
関する基準点（または原点）が、それらの異なるカメラによって得られる画像相互間で一
致することが確実になるという利点がある。

本発明の別の関連態様は、期待パターンに関するトレーニングが、各カメラに付随する
機能内で、異なるモデルを類似パターンとして異なるカメラ相互間で利用することを含む
ような方法を提供する。こうすることにより、例えば姿勢、視角および／または障害物に
より、異なるカメラが各パターンを結像する様式が変更される場合に、それらのパターン
の検出が容易になる。

本発明の諸関連態様は、モデリングされた各パターンの基準点（または原点）の選択を
トレーニングすることを含むような方法を提供する。そのようなトレーニングは、それら
の基準点（または原点）が、それらの異なるカメラによって得られた画像相互間で一致す
ることを確実にするために、例えばオペレータの手で、例えばレーザーポインタまたはそ
の他の手段を使用して達成することができる。

本発明の諸関連態様は、トレーニングステップが、パターンの位置を、例えば実行時段
階（ｒｕｎｔｉｍｅ ｐｈａｓｅ）中に実施されるものに類似の三角測量法を利用するこ
とによって識別することを含むような方法を提供する。あるいは、パターンの期待（相対
）位置を、オペレータの手で入力する、かつ／または他の測定法によって識別することも
できる。

本発明の別の関連態様は、トレーニングステップが、１台（または複数台）のカメラか
らの画像内にある期待パターンを、別のカメラからの画像内にあるそのパターンの以前の
特定に基づいて検出することを含むような方法を提供する。したがって、トレーニングス
テップは、例えばオペレータが１台のカメラから撮影された画像内にある期待パターンを
特定した後、残りのカメラからの画像内にあるその同じパターンを自動的に検出すること
を含むことができる。

本発明の別の態様は、トレーニングステップが、カメラごとに物体の複数のビューを、
好ましくはそうした物体上に見られるパターンの原点が一貫して定義されるように取得す
る、上述の方法を提供する。画像間の潜在的な不一致を補償するために、パターンに関し
て最高一致得点（マッチスコア）をもたらすものを使用することができる。これには、任
意の姿勢の対象部品を検出するように、方法をよりロバストにするという利点がある。

本発明の別の態様では、実行時ステップ（ｒｕｎｔｉｍｅ ｓｔｅｐ）が、実行時画像
（ｒｕｎｔｉｍｅ ｉｍａｇｅ）内にあるパターンのうち１つまたは複数の位置を、例え
ばパターンマッチングまたは他の２次元ビジョンツールを使用して、また、それぞれのカ
メラの視野内にあるそれらのパターンのピクセル単位での位置を、それらのパターンが上
にある前述の３Ｄ光線に相関付けるように較正段階中に識別されたマッピングを使用して
、三角測量することを含む。

本発明の諸関連態様によれば、パターン位置の三角測量は、例えば所与のパターンの位
置が、そのパターンが上にある（複数台のカメラからの）複数本の３Ｄ光線が交差する点
（または最小二乗適合点）から求められる場合のような、「直接的」三角測量によるもの
とすることができる。あるいは、またはそれに加えて、三角測量は、所与のパターンの位
置が、そのパターンが上にある１本の光線（または複数本の光線）からだけではなく、（
ｉ）残りのパターンが上にある光線、および（ｉｉ）（例えばトレーニング段階中に求め
られる）それらのパターン相互の相対位置からも求められる場合のような、「間接的」で
もよい。

本発明の他の態様は、カメラに付随する機能が、トレーニングまたは実行時中に物体の
画像内に期待パターンを検出することができない場合に、例えばそのようなパターンが欠
如している、隠されている、または検出されない場合に「タイムアウト」し、それによっ
て、位置特定の際に過度の遅延を回避する、上述の方法を提供する。

本発明の別の態様は、上述の方法に類似し、ＩＤマトリックスコード（あるいはその外
観および／または位置が予め定義されたまたは既知の他のパターン）が上記で論じたパタ
ーンの代わりに使用される。本発明のこれらの態様では、トレーニングステップが不要に
なる、または低減される。その代わりに、３Ｄ位置にマッピングするために、そうしたコ
ード（または他のパターン）の２Ｄ位置を、例えば一般的なタイプの特徴に合わせて設計
されたビジョンツールによって、トレーニング段階または実行時の画像から識別すること
ができる。

本発明の別の態様は、上述の方法に類似し、ＩＤマトリックスコード（あるいはその外
観および／または位置が予め定義されたまたは既知の他のパターン）が上記で論じたパタ
ーンの代わりに使用される。本発明のこれらの態様では、トレーニングステップが不要に
なる、または低減される。その代わりに、３Ｄ位置にマッピングするために、そうしたコ
ード（または他のパターン）の２Ｄ位置を、例えば一般的なタイプの特徴に合わせて設計
されたビジョンツールによって、トレーニング段階または実行時の画像から識別すること
ができる。

本発明の他の態様は、例えばデジタル処理機能およびカメラを含み、上記の方法に従っ
て動作する、マシンビジョンシステムを提供する。本発明のこれらの態様および他の態様
は、図面中および以下の説明において明白である。

本発明の別の関連態様は、物体の検査により、例えばその一部分の相対位置を求めて、
妥当性検証することが可能になるような方法および装置を提供する。そのような方法およ
び装置を、非限定的な例として、例えば組立て、品質管理、保守、または他の作業中に、
検査および評価を支援するために使用することができる。

本発明の別の関連態様は、物体の部品（または他の部分）の欠如、または不適切な配置
を、（例えばその部品／部分に関連する）１つまたは複数の期待パターンが実行時画像か
ら欠如している場合、またはそうした画像内ではあるが、期待されないまたは望ましくな
い３Ｄ位置に位置するピクセル位置にある場合に、推論するような方法および装置を提供
する。

本発明の別の関連態様は、実行時ステップ中に、物体の部品または他の部分の位置が、
実行時画像内に見られるパターンに対応する３Ｄ位置のサブセットに基づいて求められ、
その３Ｄ位置が、さらに別のパターンの期待位置を求めるのに使用されるような方法およ
び装置を提供する。そうした別のパターンの期待位置は、例えば実行時画像から求められ
るその実際の３Ｄ位置と比較することができる。比較において特定された位置の差が指定
の許容差を超える場合、システムは適切な通知を（例えばオペレータに対して）生成する
ことができる。

本発明によるシステムおよび方法の利点は、それらが従来技術のシステムの手法よりも
使用しやすく、より実用的であり、しかもビジョンベースであり、したがって検査を受け
る物体との接触または検査を受ける物体の事前準備を必要としないことである。（本発明
による）そのようなシステムおよび方法は、容易にセットアップし、次いで「ショーアン
ドゴー（ｓｈｏｗ‐ａｎｄ‐ｇｏ）」を使用してトレーニングすることができる。

さらにそれらは、例えば欠如している結果および間違った結果に対して、迅速な性能お
よびロバストネスを提供する。したがって、例えば本発明の諸態様による方法および装置
は、いくつかのパターンが、例えばパターンが１台または複数台のカメラによるビューか
ら隠されているため、またはそれらのパターンの画像を適時取得することができないため
、いくつかの（また、いくつかの状況下では、いずれの）実行時画像の中に見られなくて
も、物体の姿勢を求めることができる。別の例として、本発明の諸態様による方法および
装置は、（例えば位置合せ不良のカメラによって生じる）間違った結果に対して、実行時
画像内に見られるパターンに対応する３Ｄ位置のサブセットを使用した三角測量をするこ
とによってロバストネスを提供する。サブセットの１つが、より低い二乗和誤差（ｓｕｍ
‐ｓｑｕａｒｅｄ ｅｒｒｏｒ）をもたらす場合、すべてのパターンではなくそのサブセ
ットを、位置三角測量に使用することができる。

少なくとも幾つかの実施形態は、少なくとも第１のカメラと第２のカメラとを含み、そ
れぞれ異なる軌跡に沿って配置された視野を有する、複数のカメラを備えた３Ｄ画像化シ
ステムにおいて関心領域を特定する方法において、（イ）前記複数のカメラの各視野内に
おける所定の場所に位置するように対象部品を配置する工程と；（ロ）前記複数のカメラ
の各視野の範囲内における関心領域を前記対象部品上に表示する工程と；前記複数のカメ
ラのそれぞれについて、（ハ）前記関心領域を含む前記対象部品の少なくとも１つの画像
を取得する工程と；（ニ）取得した前記少なくとも１つの画像における前記関心領域と関
連付けされた前記カメラの視野内のカメラ固有の関心フィールドを識別する工程と；（ホ
）前記カメラ固有の関心フィールドを後の使用に供するために保存する工程と；を順次有
することを特徴とする、複数のカメラを備えた３Ｄ画像化システムにおいて関心領域を特
定する方法、を提供する。

幾つかの実施形態において、前記複数のカメラそれぞれの視野内において、関心領域を
前記対象部品上に表示する前記（ロ）工程において、前記関心領域を画定するための少な
くとも３つの点を前記対象部品上に表示する。幾つかの実施形態において、前記関心領域
を画定する少なくとも３つの点を表示する際に、レーザー装置を用いて該少なくとも３つ
の点を１つずつ逐次的に表示させたうえで、前記少なくとも１つの画像を取得する工程に
おいて、前記少なくとも３つの点のそれぞれについて独立の画像を取得する。幾つかの実
施形態において、前記カメラ固有の関心フィールドを識別する前記（ニ）工程において、
複数の取得した画像を用いて前記関心フィールドを識別する。

幾つかのケースでは、前記方法は、前記少なくとも３つの点の各点に対して、該各点が
各カメラによって取得された少なくとも１つの画像において識別された点を判定して、当
該点を表示する工程を有している。幾つかのケースでは、前記少なくとも３つの点の各点
が少なくとも１つの他のカメラによって取得された少なくとも１つの他の画像において識
別されない間に該各点が前記少なくとも１つのカメラによって取得された前記少なくとも
１つの画像において識別された点を判定する。

幾つかの実施形態において、前記関心領域を前記対象部品上に表示する工程において、
レーザー装置を用いて該対象部品の少なくとも一部分をレーザービームで照明して該関心
領域を該対象部品の表面上に表示する。幾つかの実施形態において、前記レーザー装置に
設けられたボタンを選択すると、前記対象部品において現在照明されている一部分が少な
くとも複数の関心領域定義情報に対応することを表示するとともに、前記ボタンを選択し
た瞬間における前記対象部品の複数の画像を解析して該対象部品において前記現在照明さ
れている一部分と関連付けされた位置情報を取得すべきことを前記レーザー装置に指示さ
せ、かつ、前記画像を解析すべきとの前記レーザー装置からの指示があるかどうかをモニ
タする。

幾つかのケースでは、前記レーザー装置を、前記ボタンが選択されると前記対象部品上
に照明した前記レーザービームの外形を変化させるようにプログラムし、かつ、前記レー
ザー装置からの指示があるかどうかをモニタする工程において、前記複数のカメラによっ
て取得した複数の画像を解析して、前記対象部品上に照射した前記レーザービームの外形
における変化を識別する。幾つかのケースでは、カメラ固有の関心フィールドが前記複数
のカメラのそれぞれについて識別された点を示すフィードバックを前記システムユーザに
提供する。幾つかのケースでは、前記少なくとも１つの画像を取得する工程において、複
数の画像を高速連写で取得し、かつ、前記少なくとも３つの点を表示する工程において、
レーザー装置を用いて、前記少なくとも３つの点を個別的に照明する。幾つかのケースで
は、前記少なくとも３つの点を表示する工程において、各点について、前記レーザー装置
が前記点を照明している間に、前記照明された位置が、前記関心領域を定義する前記少な
くとも点の一つであることを表示する。

幾つかの実施形態は、少なくとも第１のカメラと第２のカメラとを含む、それぞれ異な
る軌跡に沿って配置された視野を有する複数のカメラを備えた３Ｄ画像化システムにおい
て関心領域を特定する方法において、（イ）前記複数のカメラの視野内の場所に位置する
ように対象部品を配置する工程と；（ロ）レーザー装置を用いて、前記対象部品上に関心
領域を定義する複数の点を逐次的かつ個別的に表示する工程と；前記複数のカメラのそれ
ぞれについて、（ハ）前記複数の点を前記対象部品上に表示している間に、前記関心領域
を含む前記対象部品の複数の画像を取得する工程と；（ニ）これら複数の画像における前
記複数の点を用いて、各カメラについて、前記関心領域に対応する前記視野における関心
領域を識別する工程と；（ホ）前記視野内における関心領域をカメラ固有の関心フィール
ドとして保存する工程と；を有することを特徴とする方法を提供する。

他の実施形態は、関心領域を対象部品上に表示する３次元マシンビジョンシステムをト
レーニングして、カメラ固有の関心フィールドを定義するためのシステムにおいて、（イ
）複数のカメラとであって、前記関心領域が前記カメラの前記視野内に存在するように視
野を有しかつカメラ固有の軌跡に沿って配置されたカメラであって、前記カメラの視野内
における前記部品の複数の画像を取得するカメラからなる複数のカメラと；（ロ）各カメ
ラに対して、（ｉ）複数の画像を受信し、（ｉｉ）前記受信した複数の画像の少なくとも
１つを用いて、前記関心領域と関連付けされた前記画像を生成するのに用いた前記カメラ
の視野の一部分を、関心領域であると識別して、（ｉｉｉ）前記関心領域と関連付けされ
た前記関心領域を、カメラ固有の関心領域として保存するようにプログラムされた、マシ
ンビジョンプロセッサと；を有していることを特徴とするシステムを提供する。

幾つかのケースでは、前記システムには、レーザービームを前記対象部品に照射して前
記関心領域を該対象部品上に表示するレーザーポインタ装置が設けられている。幾つかの
ケースでは、前記レーザーポインタ装置には、ボタンが設けられていて、このボタンを選
択すると、前記部品の現在照明されている一部分が、少なくともいくつかの関心領域定義
情報に対応することが示されるとともに、前記ボタンが選択された瞬間における前記部品
の複数の画像を解析して前記部品の前記現在照明された一部分と関連付けされた位置情報
を取得すべきことが示されるものとされ、かつ、前記マシンビジョンプロセッサが、前記
画像を解析すべきとの前記レーザーポインタ装置からの指示があるかどうかをモニタする
工程を実行するようにプログラムされている。幾つかのケースでは、前記レーザーポイン
タ装置が、前記ボタンが選択されると、前記部品上の前記照明ビームの前記外的形状を変
化させるようにプログラムされ、かつ、前記マシンビジョンプロセッサが、前記レーザー
ポインタ装置からの表示の有無をモニタする工程において、カメラ画像を解析して、前記
部品上の前記照明ビームの前記外的形状の変化を識別するようにプログラムされている。
幾つかのケースでは、前記レーザーポインタ装置には、前記ボタンが選択されると信号を
送信する送信機が設けられている。

本発明のより完全な理解は、図面を参照することで得ることができる。

本発明を実施するように構成されたデジタルデータ処理装置を示した図である。 本発明に係るシステムの動作を説明したフローチャートである。 本発明に係るシステムのキャリブレーションを示した図である。 本発明に係るシステムのトレーニングおよび／または実行時動作を説明した図である。 ３Ｄ画像化システムにおける複数のカメラのための互いに区別された関心フィールドをトレーニングするための方法を説明したフローチャートである。

図１は、同一物体について撮像した複数画像から収集したデータに対して三角測量を行
うことによって、当該物体（ｏｂｊｅｃｔ）１２の姿勢を３次元で求めることができる、
本発明に係るマシンビジョンシステム１０を示したものである。ここに示された実施形態
においては、姿勢（ｐｏｓｅ）とは、３Ｄ空間における物体の位置（ｐｏｓｉｔｉｏｎ）
および向き（ｏｒｉｅｎｔａｔｉｏｎ）として定義され、より具体的には、「ｘ軸１４、
ｙ軸１６およびｚ軸１８に沿った物体の位置ならびに各軸に対する物体のピッチ、ロール
およびヨー」として定義される。他の実施形態では、姿勢をこれらの空間的特性のサブセ
ット（例えば、軸１６に沿った位置およびヨー、軸１４〜１８に沿った位置、ロールなど
）に限定することができる。図示の軸１４〜１８は、ビジョンシステム１０のフレーム２
０に位置合せされているが、他の実施形態では、他の基準系を使用することができる。図
示した実施形態のフレーム２０は、太線で示すカメラマウント２０ａおよびプラットフォ
ーム２０ｂによって例示されているが、他の実施形態では、他の部材を使用する必要があ
ることもあり、またはそのような部材を使用する必要がないこともあろう。

マシンビジョンシステム１０は、さらに、デジタルデータ処理装置 ２２と画像取得装
置 ２４とが設けられている。デジタルデータ処理装置２２は、ここでは、単純化のため
、ｉＭａｃ（登録商標）Ｇ５パーソナルコンピュータとして記載されているが、メインフ
レームコンピュータであってもよく、ワークステーション、パソコン（例えば、Ｗｉｎｄ
ｏｗｓ（登録商標）／Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）４プラットフォームまた
はその他のプラットフォーム）、専用のビジョンコンピュータ、組込みプロセッサ また
は特許製品、オープンソース製品その他のオペレーティングシステムで動作する各種デジ
タルデータ処理装置あるいはここに記載された教示内容に従って動作するようにプログラ
ムされたまたは構成された装置であって、画像取得装置２４が提供した複数画像から物体
１２の姿勢を求める装置であってもよい。デジタルデータ処理装置は、図に示すように、
ディスプレイ２２ａ、キーボード２２ｂ、マウス２２ｃおよびその他の入出力装置など、
技術分野において公知のものを有してもよい。

画像取得装置２４は、マシンビジョンカメラでも、ビデオカメラでも、静止画撮影用ス
チルカメラでも、物体１２の画像を可視または他の関連するスペクトルにおいて取得する
ことができる他の装置であってもよい。一般性を害することなく、以下の記述においては
、画像取得装置２４は一般に、「カメラ」とよぶことにするが、実際には、カメラは任意
の画像取得機能を有する要素で構成されてもよい。

記載された実施形態においては、このような画像取得装置２４が３台図示されているが
、実際には、任意の複数台の装置（例えば２台以上）を使用することができる。これらの
画像取得装置は、物体１２の画像を、それぞれの異なる視点から取得するように配設され
ている。いくつかの実施形態では、検査対象たる物体の３次元姿勢を、単一のかかる画像
取得装置２４によって得られた画像を用いて求めることもでき、したがってあらゆる実施
形態が複数台のカメラからの画像を必要とするとは限らないことは、当業者において明ら
かであろう。

デジタルデータ処理装置２２は、本明細書の教示に従って動作するようにプログラムさ
れているが、当技術分野で既知のタイプの、中央処理装置（ＣＰＵ）、メモリ（ＲＡＭ）
、および入力／出力（Ｉ／Ｏ）機能をさらに有している。

具体的には、記載された実施形態においては、これらは図２に示す方法に従って３Ｄマ
シンビジョンを実現するように構成されている。図２では、較正ステップ３０において、
複数台のカメラ２４がそれぞれ、そのカメラのレンズから発せられかつそのカメラの視野
内のピクセル位置に対応する３Ｄ空間内の光線を特定する、それぞれのマッピング関数を
識別するように較正（調節）される。

図３を参照すると、この点に関して、較正ステップは、（例えば較正プレート４０その
他の手段上の照準、十字線などの）各登録対象を、３Ｄ空間内の既知の各位置に配置する
こと、およびそれらの位置と、各カメラの視野内にあるそれぞれの登録対象のピクセル単
位での位置との相関関係を記録する、または例えばアルゴリズム的に特徴付けることを含
む。好ましくは、このマッピングには、それぞれのカメラ２４の視野内の歪みが考慮され
る。

記載された実施形態においては、登録対象、較正プレート４０などを使用して、複数台
のカメラ２４を同時に、例えば同時結像によって較正する。したがって、一例として、操
作者が画像取得装置２４のうち２台以上の視野内に登録対象を配置して、それらがその登
録対象を、較正目的で同時に結像することができる。

較正プレート４０などが較正に使用される場合、それは、好ましくはフィデューシャル
（ｆｉｄｕｃｉａｌ）４１（例えば、一様なチェッカーボードパターンとは異なる一意の
パターン）を原点のところに示し、したがってすべての画像取得装置２４を、特定の向き
を有する同じ一意の基準点に対して較正することができる。装置２４を一貫してそのよう
に較正することによって、それらをすべて使用して、その画像座標（例えばパターン原点
のピクセル単位での位置）から共通の基準点またはフレームに対してマッピングすること
ができる。そのような好ましいフィデューシャルは、図面中のＬ字形フィデューシャルの
場合と同様に、非対称である。

かかる較正（キャリブレーション）のための背景的な方法および装置は、限定する趣旨
でない例示として、米国特許第６，７４８，１０４号（発明の名称『単一および複数の
テンプレートまたは パターンを用いたマシンビジョン検査装置およびその方法』）、米
国特許第６，６３９，６２４号（発明の名称『有鉛部品の検査のためのマシンビジョン方
法』）、米国特許第６，３０１，３９６号（発明の名称『カメラ‐可動物体間のキャリブ
レーション関係を判定するための非フィードバック型マシンビジョン方法』）、米国特許
第６，１３７，８９３号（発明の名称『マシンビジョンキャリブレーションターゲットお
よび画像内におけるターゲット位置・方向を判定する方法』）、米国特許第５，９７８，
５２１号（発明の名称『共通の物体を撮像する複数のカメラのキャリブレーション位置を
判定するためのマシンビジョン方法』）、米国特許第５，９７８，０８０号（発明の名称
『フィードバックにより視野の方向、ピクセル幅およびピクセル高を判定するマシンビジ
ョン方法』）、米国特許第５，９６０，１２５号（発明の名称『カメラ‐可動物体間のキ
ャリブレーション関係を判定する非フィードバック型マシンビジョン方法』）、米国特許
第６，８５６，６９８号（発明の名称『高速高精度多次元パターン位置測定』）、米国特
許第６，８５０，６４６号（発明の名称『高速高精度多次元パターン検査』）および米国
特許第６，６５８，１４５号（発明の名称『高速高精度多次元パターン検査』）などに教
示されているところである。これらの教示内容はすべて参照により本明細書に編入される
ものとする。最後の３つの特許文献に記載された方法および装置は、本明細書では、「Ｐ
ａｔＭａｘ」の名称でよぶことにする。

任意選択のトレーニングステップ３２では、それぞれのカメラ２４に付随するモジュー
ル（例えばコードシーケンス、サブルーチン、関数、オブジェクト、他のデータ構造およ
び／または関連ソフトウェア、あるいは他の機能）を、実行時中に取得すべき物体１２の
画像内にある期待パターンを認識するようにトレーニングする。期待パターンは、文字、
数字、他の記号（登録対象など）、隅部、または物体１２の実行時画像内で識別可能であ
ることが予想される（暗点や光点など）他の特徴であり、例えば、測定法および検索／検
出モデルがそれに関して当技術分野で既知のものとすることができる。これらのパターン
は、恒久的に物体の一部分をなすものでも、物体に添付されるものでもよい。しかし、そ
れらのパターンは、例えば取外し可能な較正目標の場合、一時的でもよい。実際には、そ
れらのパターンは、物体に物理的に関連付けられることさえ不要である。例えば、それら
のパターンを、トレーニング段階および／または実行時段階中に結像される物体上に、例
えばレーザーまたは他の装置によって、光学的にまたは他の手段で投影することができる
。

各カメラ２４と関連付けされたモジュールまたは他の機能を、パターンを認識するよう
にトレーニングすることに加えて、図示の実施形態のトレーニングステップ３２は、それ
らをモデル点位置、すなわち、実行時中に検査される物体上にあるパターンの例えば相互
の（すなわち３Ｄ空間内での）期待位置に関してトレーニングすることを含む。これは、
例えば、実行時段階中に実施されるものに類似の三角測量法を利用することによるものと
することができる。あるいは、それらのパターンの期待（相対）位置を、オペレータの手
で入力する、かつ／または他の測定法（例えば、ルーラ、キャリパ、光学的距離ゲージな
ど）によって識別することもできる。

三角測量が使用されるか、それとも他の方法が使用されるかに関わらず、トレーニング
ステップ３２は、好ましくは、各カメラ２４に付随するモジュールまたは他の機能を、そ
のようなトレーニングされるパターンそれぞれの基準点（または「原点」）に関してトレ
ーニングすることを含む。２台以上のカメラの視野内に出現することが期待されるパター
ンの場合、そのような基準点に関するトレーニングによって、３Ｄ空間内でのそれらのパ
ターンおよび／または物体の位置を、直接的および間接的に三角測量することが容易にな
る。

記載された実施形態においては、そのようなトレーニングは、類似モデル（例えば「Ｐ
ａｔＭａｘ」など）を、異なるカメラ２４相互間で類似期待パターンをトレーニングする
のに使用することによって達成することができる。これには、実行時に検出されたパター
ンに関する基準点（または原点）が、それらの異なるカメラによって得られる画像相互間
で一致することが確実になるという利点がある。

姿勢、視角および／または障害物により、異なるカメラ２４が類似パターンを見る見方
が変わる場合、そのようなトレーニングには、異なるカメラ相互間で異なるモデルを（類
似パターンとして）利用することを含むことができる。モデルが異なれば、類似パターン
に関して異なる基準点が特定される傾向があり得るので、記載された実施形態においては
、類似パターンに関する類似基準点の選択を、操作者がトレーニングすることが可能であ
る。

これは、一例として、トレーニングステップ３２中に、（ステップ３４において検索す
るためのテンプレートとして使用すべき）パターンの画像を複数台のカメラ２４から同時
に取得し、次いでレーザーポインタで物体を照らすことによって達成することができる。
レーザー照射を用いて取得された画像から、レーザー点の３Ｄ位置を計算し、それによっ
て、パターンのすべての画像上で一致する原点を定義することができる。（ここでは、異
なるモデルをパターントレーニングに使用することに関して説明しているが、この技法は
、類似モデルが使用される場合にも適用することができる）。この目的のために、余分な
レーザーポインタ点がある、またはない画像を使用して、ａｕｔｏＴｈｒｅｓｈｏｌｄｉ
ｎｇおよびブロブ（ｂｌｏｂ）解析を実行することによって、すべての画像内でその点の
中央を検出し、それによって一貫性のある一致した原点を求めることができる。本明細書
の別の場所で論じるように、この点の３Ｄ位置を得るために三角測量を使用することがで
き、それによってこの技法を、（トレーニング中の）物体上にある複数パターンに、例え
ば物体が移動しないことを条件として使用することが可能になる。

これは、一例として、トレーニングステップ３２中に、（ステップ３４において検索す
るためのテンプレートとして使用すべき）パターンの画像を複数台のカメラ２４から同時
に取得し、次いでレーザーポインタで物体を照らすことによって達成することができる。
レーザー照射を用いて取得された画像から、レーザー点の３Ｄ位置を計算し、それによっ
て、パターンのすべての画像上で一致する原点を定義することができる。（ここでは、異
なるモデルをパターントレーニングに使用することに関して説明しているが、この技法は
、類似モデルが使用される場合にも適用することができる）。この目的のために、余分な
レーザーポインタ点がある、またはない画像を使用して、ａｕｔｏＴｈｒｅｓｈｏｌｄｉ
ｎｇおよびブロブ（ｂｌｏｂ）解析を実行することによって、すべての画像内でその点の
中央を検出し、それによって一貫性のある一致した原点を求めることができる。本明細書
の別の場所で論じるように、この点の３Ｄ位置を得るために三角測量を使用することがで
き、それによってこの技法を、（トレーニング中の）物体上にある複数パターンに、例え
ば物体が移動しないことを条件として使用することが可能になる。

本発明の好ましい一実施によれば、トレーニングステップ３２は、１台（または複数台
）のカメラ２４からの画像内にある期待パターンを、別のカメラからの画像内にあるその
パターンの以前の特定に基づいて検出することを含む。したがって、トレーニングステッ
プは、例えばオペレータが１台のカメラから撮影された画像内にある期待パターンを特定
した後、残りのカメラからの画像内にあるその同じパターンを自動的に検出することを含
むことができる。

好ましい実施形態では、ステップ３２は、カメラ２４ごとに物体の複数のビューを、好
ましくはそうした物体上に見られるパターンの原点が一貫して定義されるように取得する
ことを含む。画像間の潜在的な不一致を補償するために、パターンに関して最高一致得点
（マッチスコア）をもたらすものを使用することができる。これには、任意の姿勢の部品
を検出するように、方法をよりロバストにするという利点がある。

上述したように、トレーニングステップ３２は任意選択である。本発明のいくつかの実
施形態では、トレーニングステップ３２は、キャパシティを下げた状態で使用され、また
は全く使用されないことも考えられる。例えば、実行時に期待されるパターンがｂｌｏｂ
モデル（例えば明るい特徴を探すもの）によって検索できる場合、パターントレーニング
は必要ないが、上述のタイプの位置トレーニングが依然として使用される。そうしたこと
は、さらなる例として、ＩＤマトリックスコードであるパターン（あるいはその外観およ
び／または位置が予め定義されたまたは既知の他のパターン）が、上記で論じたトレーニ
ング可能なパターンの代わりに使用される場合にも当てはまる。この場合、３Ｄ位置にマ
ッピングするために、そうしたコード（または他のパターン）の２Ｄ位置が、例えば一般
的なタイプの特徴に合わせて設計されたビジョンツールによって、トレーニング段階また
は実行時の画像から識別される。本発明のそうした実装形態は有用である。というのも、
工業用部品はつねにＩＤマトリックスコードを有することができ、それによって複数のト
レーニングレスセンサが、ＩＤマトリックスコードの３Ｄ位置を出力することができるた
めである。さらに、ＩＤマトリックスコードは矩形領域に広がるので、そうしたセンサは
すべて、４隅の２Ｄ位置を出力することができる。さらに、ＩＤマトリックスが特定の工
程を用いて印刷される場合、（コードのサイズ／タイプを知ることにより）その３Ｄ位置
を知り、３Ｄ姿勢を計算することができる。

実行時ステップ３４では、デジタルデータ処理装置２２が、物体１２上にあるパターン
４２ａ〜４２ｃのうちの１つまたは複数の３Ｄ空間内の位置を、物体１２の実行時画像内
にあるそれらのパターンを表すピクセル単位での位置に基づいて、また較正ステップ３０
中に識別されたマッピングから三角測量する。記載された実施形態においては、物体１２
のそれらの実行時画像が、好ましくは同時に、または実質的に同時に、画像取得装置２４
によって取得される。この点に関して、実質的に同時にとは、物体１２、画像取得装置２
４、フレーム２０、またはその他のものの動きが、実行時画像内のパターンのピクセル単
位での位置、および／またはそこから求められるマッピングに実質的に影響を及ぼさない
ほど、画像取得がほぼ時間的に迫って行われることを指す。そのような同時取得は、カメ
ラ２４を同時に（またはほぼそのように）作動させることによって、あるいは、例えばカ
メラ２４のシャッタが開いている間に、結像された物体をストロボ照射することを含む他
の手段によって達成することができる。

記載された実施形態においては、位置三角測量が、パターンマッチングまたは他の２次
元ビジョンツールを使用して、実行時画像内にあるパターンのピクセルに関する位置を識
別することによって、また、それぞれのカメラ２４の視野内にあるそれらのパターンのピ
クセルに関する位置を、それらのパターンが上にある前述の３Ｄ光線に相関付けるように
較正段階中に識別されたマッピングを使用することによって達成される。

２次元ビジョンツールを用いた例としては、前述した、本明細書に参照により編入され
た、米国特許第６，７４８，１０４号、米国特許第６，６３９，６２４号、米国特許第６
，３０１，３９６号、米国特許第６，１３７，８９３号、米国特許第５，９７８，５２１
号、米国特許第５，９７８，０８０号、米国特許第５，９６０，１２５号、米国特許第６
，８５６，６９８号、米国特許第６，８５０，６４６号および米国特許第６，６５８，１
４５号である。

パターン位置の三角測量は、例えば所与のパターンの位置が、そのパターンが上にある
（複数台のカメラからの）複数本の３Ｄ光線が交差する点から求められる場合のような、
「直接的」三角測量によるものとすることができる。代替的には、またはそれに加えて、
三角測量は、所与のパターンの位置が、そのパターンが上にある１本の光線（または複数
本の光線）からだけでなく、（ｉ）残りのパターンが上にある光線、および（ｉｉ）結像
された物体上にある（例えばトレーニング段階中に求められる）それらのパターン相互の
相対位置からも求められる場合のような、「間接的」であってもよい。

記載された実施形態においては、１つまたは複数のパターンが上にあるように見える（
複数台のカメラ２４からの）複数本の３Ｄ光線相互間または複数本の３Ｄ光線の中で交差
（または最寄りの交差）点を検出するために、直接的および／または間接的三角測量で「
最小二乗適合（ｌｅａｓｔ ｓｑｕａｒｅｓ ｆｉｔ）」または他のそうした方法を利用
することができる。例えば、２台以上のカメラ２４から取得された画像が、所与のパター
ン（より正確にはそのパターンの見かけ上の原点）が２本以上の光線上にあることを示す
場合、最小二乗適合法を使用して、３Ｄ空間内でのそれらの光線の交差位置、またはそこ
に最寄りの点（すなわち、それらの光線の最寄りにある空間内の点）を求めることができ
る。同様に、カメラ２４からの画像が、複数光線上にある複数パターンに関する原点を示
す場合、物体上にあるそれらのパターンのモデル点を用いて最小二乗適合を使用すること
によって、それらのパターンおよび／または物体自体の最尤な位置を求めることができる
。

図示の実施形態は、光線とパターンの最小二乗（または二乗平均平方根）適合を見つけ
出すために、オプティマイザ（または「ソルバ（ｓｏｌｖｅｒ）」）を利用する。これは
、当技術分野で入手可能なタイプの汎用ツールであり、かつ／または以下に詳述するよう
に動作することができるものであればよい。いずれにせよ、実行時ステップ３４中に、実
行時画像から特定されたパターン（より正確にはパターン原点）が上にある３Ｄ光線の定
義、ならびに（関連のある場合）物体上にある各パターンの位置または相対位置がソルバ
に供給される。

一般に、この情報により、過度に制約が加えられた（ｏｖｅｒ‐ｃｏｎｓｔｒａｉｎｅ
ｄ）システムが定義され（すなわち、実際の位置を推論するために必要であるよりも多く
の情報が、光線の定義および物体上の相対パターン位置によって供給されるということ）
、図示のシステムはそれを、ロバスト性を目的として利用する。したがって例えば、実行
時ステップ３４は、（例えばパターンが１つまたは複数のカメラのビューから隠されてい
る場合、あるいはパターン画像の適時取得を可能にしない照明または他の状況の場合のよ
うに）例えばパターンが物体またはその実行時画像から欠如している場合でさえ、物体の
姿勢を求めることができる。また、さらなる例として、実行時ステップ３４は、光線とモ
デル点、または光線の三角測量との間の適合の二乗平均平方根（ＲＭＳ）誤差を最小限に
抑えるために、取得装置２４によって検出されたパターン原点のサブセット（より正確に
は、パターン原点に対応する位置のサブセット）を試用することを含むことができる。サ
ブセットの１つに、より低い二乗和誤差がある場合、すべてのパターン原点ではなくその
サブセットを、位置三角測量に使用することができる。

一般に、この情報により、過度に制約が加えられたシステムが定義され（すなわち、実
際の位置を推論するために必要であるよりも多くの情報が、光線の定義および物体上の相
対パターン位置によって供給されるということ）、図示のシステムはそれを、ロバスト性
を目的として利用する。したがって例えば、実行時ステップ３４は、例えばいくつかのパ
ターンが（例えば、あるパターンの位置を、残りの検出されたパターンにより予測される
位置と比較することによって検査／妥当性検証するように）考慮から意図的に除外される
場合でさえ、物体の姿勢を求めることができる。

また、さらなる例として、実行時ステップ３４は、光線とモデル点、または光線の三角
測量との間の適合の二乗平均平方根（ＲＭＳ）誤差を最小限に抑えるために、取得装置２
４によって検出されたパターン原点のサブセット（より正確には、パターン原点に対応す
る位置のサブセット）を試用することを含むことができる。次いで、このステップは、サ
ブセット内に含まれなかった（すなわち、上述のように意図的に除外された）パターンの
３Ｄ位置を外挿して、それぞれのカメラ内での２Ｄ画像位置を予測することができる。予
測された画像位置は、実際の測定された画像位置と比較することができる。予測された画
像位置と実際の測定された画像位置との間の距離が、何らかのユーザ指定の距離許容差を
超える場合、システムは適切な警告または他の通知を生成することができる。あるいは、
またはそれに加えて、除外されたパターンの外挿された３Ｄ位置を、三角測量によって求
められた３Ｄ位置に対して比較することができる。この場合もやはり、外挿された（予測
された）位置と実際の位置との間の距離が異なる場合、実行時ステップ３４は、適切な警
告または他の通知を生成することを含むことができる。

トレーニング段階と実行時段階のどちらの間でも、パターン認識の速度を向上させるた
めに、図示の実施形態は、１つのパターンの検出された位置を利用して、残りのパターン
に対する検索の自由度を制限することができる。例えば、第１のカメラ２４がパターンを
１５度で検出し、別のカメラが第１のカメラとほぼ同じ向きである場合、別のカメラは、
パターンを向き１５±１０度で探すだけでよい。さらに、１台のカメラから原点の位置が
与えられると、その原点が、ある３Ｄ光線に沿って存在することが分かり、それによって
その光線を第２のカメラの視野上に投影し、その線に沿ってパターンを探すだけでよい。

２つのパターンが混同しやすい（すなわち、カメラの視野内にあるパターンに類似する
２つの事例がある）場合、図示の実施形態は、可能な異なる対応関係をすべて試行するこ
とができる。例えば、前述したとおり参照により編入されたところの米国特許第６，８５
６，６９８号（発明の名称『高速高精度多次元パターン位置測定』）、米国特許第６，８
５０，６４６号（発明の名称『高速高精度多次元パターン検査』）、および米国特許第６
，６５８，１４５号（発明の名称『高速高精度多次元パターン検査』）に記載された技術
を用いて、（ＰＯＳＴ−ＩＴ（登録商標）Ｎｏｔｅｓラベルからの）文字シーケンス「Ｐ
」、「ＳＴ」、「Ｉｔ」および「Ｎｏｔｅｓ」などのパターンはどれも異なり、したがっ
てマッチ（一致）が見られる場合、それが正しいマッチであると分かる。

代替的には、「ブロブ（ｂｌｏｂ）」解析として知られるマシンビジョンツールを使用
して、パターンを（例えばそれが暗い穴である場合に）検出することができる。この場合
、ｂｌｏｂ＃１が３Ｄモデル点１に対応し、ｂｌｏｂ＃２が３Ｄモデル点２に対応するな
どと仮定することができる。それが機能しない場合、解析は、ｂｌｏｂ＃２が３Ｄモデル
点＃２に対応し、ｂｌｏｂ＃１が３Ｄモデル点＃１に対応するという次の仮定に移ること
ができる。

記載された実施形態の三角測量プロセスのより完全な理解は、以下の議論から理解され
ることができる。

ｎ本の３Ｄ光線と交差するために（すなわち、ｎ本の３Ｄ光線までの二乗和距離を最小
限に抑える点を見つけ出すために）、まず、各光線を２つの別々の直交平面とみなす（な
ぜなら、ある点からある光線までの二乗距離は、その点からその光線を交差する２つの直
交面までの二乗距離の和であるからである）。これは、以下のＣ＋＋コードによって例示
される。

３Ｄ点を対応する３Ｄ光線上に最良にマッピングする姿勢に関して解くには、（Ｗａｔ
ｅｒｌｏｏ Ｍａｐｌｅ社の一部門であるＭａｐｌｅｓｏｆｔから市販されている、Ｍａ
ｐｌｅ ｍａｔｈ ｐａｃｋａｇｅにおいて表現される）以下の式を使用すると言うこと
ができる。

この手法は、（ｘ、ｙ、ｚで表される）点ｐと（ｐｘ、ｐｙ、ｐｚ、ｐｔ）で表される
平面との間の二乗和誤差を最小限に抑える、（変数ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚに
よって表される）姿勢について解く。各３ｄ光線が、そのような２つの平面の制約に対応
することに留意されたい。この手法は、二乗和誤差を、代数誤差関数の係数を合計するこ
とによって計算する。次いで、この手法は、最適なａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚに
ついて、勾配降下を使用して解く。７つの変数（ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚ）が
あり、６自由度しかないので、ａを１に設定し、変数がｂ、ｃ、ｄである場合、ｂを１に
設定し、変数がａ、ｃ、ｄである場合、ｃを１に設定し、変数がａ、ｂ、ｄである場合、
およびｄを１に設定し、変数がａ、ｂ、ｃである場合の４つの異なる場合について試行す
ることに留意されたい。

前述したことは、以下の内容を考慮するとさらに理解されよう。以下では、Ｇｅｎｅｒ
ｉｃＰｏｌｙ（）が、関数の係数を抽出する関数である。したがって、関数がｘ＊ｘ＋２
＊ｘ＊ｙ＋ｙ＊ｙである場合、その汎関数は、ｆ０ｘ２ｙ０＊ｘ＊ｘ＋ｆ０ｘ１ｙ１＊ｘ
＊ｙ＋ｆ０ｘ０ｙ２＊ｙ＊ｙ（ただしｆ０ｘ２ｙ０＝１、ｆ０ｘ１ｙ１＝２、ｆ０ｘ０ｙ
２＝１）である。ＧｅｎｅｒｉｃＰｏｌｙ（）は、例えば非限定的な例としてｗｗｗ．ｃ
ｓ．ｕｎｃ．ｅｄｕ／〜ｇｅｏｍ／ＭＡＲＳから一般に無料で入手可能なＭＡＲＳ、すな
わちＭａｐｌｅ Ｍａｔｌａｂ Ｒｅｓｕｌｔａｎｔ Ｓｏｌｖｅｒ Ｓｙｓｔｅｍに含
まれている。

誤差関数は、単に導関数（ｗｅｉｇｈｔＭａｔ＊ｗｅｉｇｈｔＭａｔ）ではなく、実際
には（ａに関して偏導関数を計算する場合）（ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ）＊導関
数（ｗｅｉｇｈｔＭａｔ＊ｗｅｉｇｈｔＭａｔ）マイナス４＊ａ＊ｗｅｉｇｈｔＭａｔ＊
ｗｅｉｇｈｔＭａｔであることに留意されたい（これは、ｕｎｉｔ＊ｄｉｆｆ（ｅｖａｌ
（ｇｅｎＰｏｌｙ［１］），ａ）−ｅｖａｌ（ｇｅｎＰｏｌｙ［１］）＊４＊ａ））；）
として記載される）。というのも、商に関する連鎖法則ｄｅｒｉｖ（Ｆ（ｘ）／Ｇ（ｘ）
）＝＝（Ｇ（ｘ）＊Ｆ（ｘ）‐Ｆ（ｘ）＊Ｇ’（ｘ））／（Ｇ（ｘ）＊Ｇ（ｘ））のため
である。

この解析に関して、（偏導関数に関する連鎖法則の分母内の）分母の二乗は、分母（ａ
＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ）がすべての偏導関数ｄ（（ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ
＊ｄ）∧２）／ｄａ＝４＊ａ＊（ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ））に一律に適用され
るので、無視できることに留意されたい。

前述したことのさらなる例として、数値的勾配降下法で誤差関数ならびにその誤差関数
の導関数を利用する。誤差関数の導関数は、数値的にまたはシンボリックに計算すること
ができる。数値的に計算される導関数の場合、単に変数の１つを少量だけ変更し、次いで
誤差関数を再計算し、そのようにして導関数を数値的に計算することができる。シンボリ
ックに計算される導関数の場合、導関数に対応するシンボリック関数が必要であり、この
場合にはシンボリック関数を、誤差関数を記述する代数式があるので使用し、シンボリッ
ク関数によってその代数誤差関数をシンボリックに微分することができる。

図示の実施形態では、以下のように、Ｃデータ構造が、代数式用にすべての係数を保持
する。

図示の実施形態は、代数式の係数を増やす関数も利用する（そうした関数は、入力とし
て、３Ｄ点（ｘ、ｙ、ｚ）、およびｐｘ、ｐｙ、ｐｚ、ｐｔによって特徴付けられる対応
する平面をとる）。

図示の実施形態は、所与の姿勢（ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚ）における誤差を
計算する関数も利用する。ただし（ａ、ｂ、ｃ、ｄ）は、３Ｄ回転（ロール、ピッチ、ヨ
ー）の四元数表現であり、（ｔｘ、ｔｙ、ｔｚ）は並進運動である。

図示の実施形態は、導関数を計算する関数も提供する。

例えば、係数を増やす関数は、続く抜粋例と整合する形で表現することができる。この
完全な関数は、本明細書の教示および提供されるＭａｐｌｅコードを考えれば明らかであ
る。

これは、ｆａ．．．が係数であり、変数の名前が、各単項式の次数を符号化するような
形で成立することに留意されたい。

さらに、一般的なゼロ誤差関数ｆａ０ｂ０ｃ０ｄ０ｔｘ０ｔｙ０ｔｚ０＝０ｆａ０ｂ０
ｃ０ｄ０ｔｘ０ｔｙ０ｔｚ１＝０から開始することに留意されたい。

これに続いて、（（ｘ、ｙ、ｚ、ｐｘ、ｐｙ、ｐｚ、ｐｔ）によって特徴付けられる）
点、平面の組ごとに、関数ｐｔＲａｙＧｅｎｅｒｉｃＰｏｌｙ＿ａｄｄＴｏＶａｌｓ（）
に対して呼出しが行われ、それが単項式の係数を累算して、和誤差関数に入れる。

図２の任意選択のステップ３６を参照すると、図示のシステム１０は、例えばカメラの
うち１台が較正後に寸動された場合に、位置合せからずれた画像取得装置２４を再較正す
ることができる。（この点に関して、図示の実施形態では、較正段階中に求められたマッ
ピングを失わないようにするために、カメラ２４が較正後に固定されたまま、かつ／また
は静止したままでであることが好ましくは意図されることが理解されよう。）これは、ス
テップ３４において実施される位置三角測量中、また場合によってはステップ３２におい
て実施される位置三角測量中に検出することができる。この目的のためには、１台のカメ
ラ２４が画像を生成し、その画像内で、検査中の物体の実行時画像内に見られるパターン
が、（例えばそのカメラに関する３Ｄ光線に対してマッピングされたときに）残りのカメ
ラからの（例えばそれぞれの３Ｄ光線を使用してマッピングされたときの）画像と一致し
ない、かつ／または大幅に食い違うような位置にあるように見える場合、それらの残りの
カメラからの画像を用いて求められたパターン位置を使用して、その１台のカメラを、ス
テップ３０に関連して上述した同じ較正法を用いて再較正することができる。

この点に関して、ステップ３０において（ならびにステップ３６において）求められる
マッピングは、カメラ２４が寸動された場合に一定のまま（というのも、これはレンズの
作用に他ならず、また例えばレンズをＣＣＤ、ＣＭＯＳまたは他のイメージセンサに対し
て定位置に接着することができるため）である、糸巻き型歪み（ｐｉｎｃｕｓｈｉｏｎｉ
ｎｇ）やその他の画像収差などのレンズ歪みと、カメラ２４の作業空間に対する姿勢との
、２つの別々の影響に分解できることが理解されよう。カメラが寸動された場合に変化す
るのは、後者、すなわち姿勢である。ステップ３６では、レンズ歪みが一定のままである
と仮定されるので、作業空間内でのカメラの姿勢に帰せられるマッピングの側面を、例え
ば較正プレートを必要とせずに、再計算することができる。

図示のシステム１０は、好ましくは、期待パターンが実行時段階３４中に取得された画
像内で検出されない場合に過度の遅延を回避する、「タイムアウト」機能を含む。この点
に関して、システムは単に、（例えばオペレータまたは他の手段によって設定される）指
定の遅延間隔内に検出されないパターンを未検出として取り扱い、残りの検出されたパタ
ーンに基づいて位置特定を続行する。これには、システム１０を、欠如している特徴に対
してよりロバストにし、その動作をより時宜にかなったものにするという利点がある。

少なくともいくつかの実施形態において、特定のマシンビジョンプロセスは、検査また
は解析対象たる所定の対象部品について取得された複数の画像に属する１または複数の特
定の領域を識別するシステムユーザによって最適化する必要があるか、最適化されること
ができる。例えば、第１の対象部品が検査対称となるケースでは、システムユーザは、パ
ターンが当該カメラによって生成された複数の画像の左上四半分に現れるように関心対象
たるパターンがつねにカメラの視野内に存在することを知ることができる。この場合、パ
ターン認識プロセスを高速化するために、カメラプロセッサによって、取得された画像の
左上四半分にパターン探索を局限することが最適であろう。ここで、第２のカメラが、第
１のカメラと同時的に複数の瞬間におけるの第１の対象部品の複数の画像を取得する場合
には、パターンは、第２のカメラの視野の右下四半分内につねに現れるであろう。これは
、第２のカメラが生成した複数の画像を処理するプロセッサにとって、右下コーナーにパ
ターン探索を限定することが最適であるようにするためである。同様に、システムが第３
のカメラ、第４のカメラ等を有する場合には、パターン認識のための画像プロセスをカメ
ラ複数画像の特定部分にのみ限定することが最適であろう。

少なくともいくつかの実施形態において、以下のことが想定されている。すなわち、ト
レーニングプロセスの間において、ユーザは、「関心領域（ＡＯＩ）トレーニングプロシ
ージャ」を実行して、理想的対象部品が２台またはそれ以上のカメラの視野内に位置づけ
られるとともに、ユーザは、取得された複数画像において検証または解析すべき領域であ
る関心領域を画定する複数の点を当該対象部品上に手動で識別するようにしてもよい。複
数の画像は、２台またはそれ以上のカメラを用いて取得され、ユーザが選択した複数の点
は、コンピュータのＣＰＵ／プロセッサ（図１参照）によって識別することができる。そ
の後、プロセッサは、取得した複数画像における選択された複数の点の座標を保存して、
各カメラに対して、当該関心領域（ＡＯＩ；ａｒｅａ ｏｆ ｉｎｔｅｒｅｓｔ）に対応
する独立の「関心フィールド」（ＦＯＩ；ｆｉｅｌｄ ｏｆ ｉｎｔｅｒｅｓｔ）を個別
に定義する。

独立の複数の画像における複数の点が撮像対象部品上の同一の選択された複数の点に対
応する一方、選択された点に対応する関心フィールド（すなわち複数画像における複数部
分）は、各カメラによって異なる、なんとなれば、各カメラは対象部品および選択された
点に対して異なる方向に向けられているからである。このように、例えば、４つの選択さ
れた点が第１のカメラをその視野が第１の軌跡に沿って配置された状態で用いて取得され
た画像における正方形を画定する。他方、同じ４つの点は、第２のカメラをその視野が第
２の軌跡に沿って配置された状態で用いて生成された画像における矩形、台形または他の
四辺形を画定してもよい。

以上の説明から、以下の点が明らかであろう、すなわち、このＡＯＩトレーニングプロ
シージャは、相対的に単純でありマルチカメラ構成の３Ｄシステムに属する各カメラを較
正して１つの対象部品における厳密に同一な領域または区画を検証または解析することを
確実にする。また、次の点が明らかであろう、すなわち、単一のＡＯＩトレーニングプロ
シージャを実行してすべてのカメラにおけるカメラ固有の関心フィールドを同時的にトレ
ーニングすることができる。

また、試運転プロシージャの間に関心領域（ＡＯＩ）を表示または指定するための複数
の異なる方法が想定されている。例えば、幾つかのケースでは、システムユーザは、手動
式レーザーポインタ８０を用いて選択された点を、それら点を１つずつ対象部品１２にあ
ててもよい。ここで、第１の点がレーザーポインタを介して選択される一方、カメラは、
同時画像を取得するように制御されることができる。

少なくとも幾つかのケースにおいては、手動式レーザーポインタには、送信機およびボ
タンが設けられている。このボタンを選択すると、ポインタ送信機がコンピュータ２２ａ
（図１参照）に接続された受信機に、その瞬間に時間的に対応する複数の画像を検証して
レーザー照明された点の複数の画像内における位置を識別すべきことを示す信号を送信す
る。他のケースにおいては、一連の取得された複数の画像内におけるレーザーのいくつか
の挙動は、点が選択されたことをコンピュータプロセッサに対して示すものであってもよ
いであろう。例えば、ポインタ８０は、オン状態でレーザービームを安定した状態で生成
するように構成してもよく、レーザーポインタのボタンが選択されると２回点滅するよう
にしてもよいであろう。

ここで、各カメラが一連の複数の画像を急激に連続する複数の瞬間において、ＡＯＩト
レーニングプロシージャの間に取得する場合には、コンピュータプロセッサは、点滅照明
された点を、当該点が選択されたことおよび関連付けされた複数の画像が検証されてレー
ザー照明された点の複数の画像内におけるロケーションを認識すべきことを示す兆候であ
ると認識するようにプログラムされてもよい。さらに他のケースにおいて、ユーザは単純
にキーボード２２ｂからキーを選択して特定の瞬間における複数の画像を解析して各画像
における照明された点の位置を識別すべきことを表示してもよい。

次に、ユーザは、ポインタ８０を用いて第２の領域定義点を選択して同時的に複数画像
をカメラに取得させたのち、必要な第３の点の選択を行うなどしてもよい。ひとたび関心
領域（ＡＯＩ）を定義するのに必要なすべての点を含む複数の画像がキャプチャされたら
、コンピュータプロセッサは、複数の関心フィールド（ＦＯＩ）を独立のカメラに対して
後の利用のために識別することができる。カメラ固有の複数の関心フィールド（ＦＯＩ）
が保存された後で、正常動作の間に、ある対象部品がその後撮像されたら、プロセッサは
、特定のカメラに対して複数の画像における複数の関心フィールド（ＦＯＩ）のみを解析
してもよい。

幾つかの実施形態においては、ユーザが４つの点を選択して概して直線的な関心領域（
ＡＯＩ）を定義することが必要であるが、他方、少なくとも幾つかの実施形態においては
、ユーザの裁量により、より多くのまたなより少ない点を用いてもよく、それにより他の
ＡＯＩ形状を定義してもよい。例えば、３つの点を指定または選択して三角形を指定する
とか、５つの点で五角形を指定してもよいであろう。

別の例として、レーザー光源は、レーザービームを急速にスキャンして、正方形（図１
の８２参照）、矩形、三角形、円形などのＡＯＩバウンダリを形成するようにプログラム
されてもよく、ここで、ＡＯＩバウンダリは、それに向かって向けられて、部品１２の面
積の範囲を定めて、関心領域（ＡＯＩ）を定義してもよい。ここで、各カメラは、当該部
品の単一の画像を撮影するのみでよいこともあり、カメラプロセッサは、カメラ固有の複
数の関心フィールド（ＦＯＩ）をそこから「学習」するようにプログラムされてもよい。
ここで、再び、関心領域（ＡＯＩ）が選択されたことを示す信号は、レーザーポインタを
介してコンピュータプロセッサへの送信によって容易にされてもよく、ポインタボタンが
選択されるとコンピュータプロセッサによって検知されるいくつかの挙動（例えば、ＡＯ
Ｉバウンダリの点滅オンオフ、ＡＯＩバウンダリ強度における変化、ＡＯＩバウンダリか
ら一群のバウンダリ定義点への急激な変化など）、コンピュータキーボードボタンの選択
などであってもよい。

さらに別の例として、システムユーザは、ＡＯＩトレーニングプロシージャの間に、部
品に対してステッカを張るなどしてもよい。関心領域（ＡＯＩ）を定義するためにステッ
カが貼られた後、複数の画像は、複数台のカメラを解して取得され、コンピュータプロセ
ッサは、ステッカロケーションに対応する各画像におけるカメラ固有の複数の関心フィー
ルド（ＦＯＩ）を識別する、そして、その後、カメラ固有の複数の関心フィールド（ＦＯ
Ｉ）を適宜用いる。

少なくともいくつかの実施形態において、以下のことが想定されている、すなわち、各
カメラがＡＯＩトレーニングプロシージャの間に動作して急激な連続性における（すなわ
ち高速連写による）複数の複数の画像を取得してもよい。この場合、少なくとも幾つかの
実施形態において、レーザーを用いて、複数の画像が取得される間に、ボックス、サーク
ルといった形状のＡＯＩバウンダリを関心領域（ＡＯＩ）の周りに「描画」してもよく、
ここで、コンピュータプロセッサは、各カメラに対して複数の複数の画像からレーザー点
位置情報を用いてカメラ固有の複数の関心フィールド（ＦＯＩ）を作成するようにプログ
ラムされている。

少なくともいくつかの実施形態において、ＡＯＩトレーニングプロシージャの間に、コ
ンピュータプロセッサは、少なくとも幾つかのフィードバックをシステムユーザに提供す
るようにプログラムされてもよいと想定されている。例えば、システムが３つのカメラを
有していてユーザが１つの点を、レーザーポインタを介して選択する場合には、もしカメ
ラが複数の画像を取得するも１または複数のカメラに関連する複数画像が、ユーザが指示
した瞬間にレーザーによって照明された点が含まれていないならば、プロセッサは、異な
る点が選択されるべきことをビープ音などで表示してもよく、あるいは、プロセッサは、
点がキャプチャされなかったことを表示してもよい（すなわちビープ音は、すべてのカメ
ラについて複数の画像における点が識別された場合にのみ提供されるであろう）それによ
り、ユーザを促して他の点を選択せしめるのである。

別の例として、３つのシステムカメラのうち２つに関連する複数の画像が用いられて４
つの選択された点が識別され、その間に、第３のカメラに関連する複数の画像が、同時的
に取得された複数画像にける２つの選択された点のみを識別するために用いられるような
場合には、プロセッサは、トレーニングプロセスが成功しなかったことを表示してもよい
。もう１つの例として、カメラが高速連写にて複数画像を撮影する間にレーザーを用いて
ＡＯＩバウンダリを部品上に「描画」」する場合には、プロセッサは、アウトラインがい
つ閉じられたか（すなわちいつ交差が生じたか）を認識するようにプログラムされてもよ
く、また、ビープ音などによってアウトラインの閉じを表示するようにしてもよい。フィ
ードバックは、また、コンピュータディスプレイ画面２２ａを介して可視的なものとして
もよい。

少なくともいくつかの実施形態においては、ＡＯＩトレーニングプロシージャを用いて
カメラ固有のＡＯＩを後の利用に供するために定義するのに加えて、同様のトレーニング
プロシージャをパターン／モデルトレーニングセッションの間に用いて、領域／区画を、
モデルパターンを作成すべき部品上に表示してもよい。例えば、ユーザは、レーザーポイ
ンタ８０などを用いて、ＡＯＩを、特定の関心対象たる特徴を含む部品上に定義してもよ
く、コンピュータプロセッサは、それから、ユーザによって指定されたカメラ固有の複数
の関心フィールド（ＦＯＩ）のそれぞれについて独立のモデル生成プロセスを実行しても
よい。

図５を参照すると、例示的なＡＯＩトレーニングプロシージャ５０が記載されている。
ブロック５２において、ＡＯＩトレーニングプロシージャが開始される。ここで、プロシ
ージャを開始するために、ユーザは、コンピュータ２２を介して（またはレーザーポイン
タ８０を介して）プロシージャが開始されるべきことを表示してもよい（図１参照）。

ブロック５４において、ユーザは、関心領域（ＡＯＩ）点をシステムカメラ２４の視野
内の部品（図１の１２を参照）上に表示する。この例においては、関心領域（ＡＯＩ）を
定義する点は、レーザーポインタ８０を介して、図１におけるように表示される。ただし
、前述した任意の他の態様または前述したものと等価的なものが用いられてもよい。

ブロック５６において、複数のカメラ２４を用いて、当該部品１２の複数の画像が取得
される。ブロック５８において、複数の画像は、コンピュータプロセッサによって検討さ
れて、ＡＯＩを定義する選択された点を識別する。ブロック６０において、プロセッサは
、ＡＯｌを定義する点が各カメラに関連する少なくとも１つの画像において位置づけられ
るかどうかを決定する。関心領域（ＡＯＩ）を定義する点がすべて識別されない場合には
、制御はブロック５４に戻り、プロセスがループし続ける。

最適には、ブロック５５において、フィードバックがシステムユーザに提供されてもよ
い。ひとたびすべての関心領域（ＡＯＩ）を定義する点が識別されたならば、ブロック６
２において、各カメラの関心フィールド（ＦＯＩ）が保存され、および、ブロック６４に
おいて、現在の関心領域（ＡＯＩ）に対するＡＯＩトレーニングプロシージャが完了した
ことを示すフィードバック（例えば、ビープ）が、ユーザに提供される。ユーザがその部
分について第２の関心領域（ＡＯＩ）を定義したい場合には、プロセス５０が繰り返され
ることができる。

以上、諸目的、特にそのうち前述した目的を達成する方法および装置を説明したところ
であるが、当然のことながら、図面に図示しかつ前述した方法および装置は、本発明の一
例を示したものにすぎず、変更を施した他の実施形態もまた本発明の範囲内に属するもの
である。

Claims (18)

1. 少なくとも第１のカメラと第２のカメラとを含み、それぞれ異なる軌跡に沿って配置さ
   れた視野を有する、複数のカメラを備えた３Ｄ画像化システムにおける関心領域を特定す
   る方法であって、
   （イ）前記複数のカメラの各視野内の所定の場所に位置するように対象部品を配置する工
   程と；
   （ロ）前記複数のカメラの各視野の範囲内の関心領域を前記対象部品上に表示する工程と
   ；
   前記複数のカメラのそれぞれが、
   （ハ）前記関心領域を含む前記対象部品の少なくとも１つの画像を取得する工程と；
   （ニ）取得した前記少なくとも１つの画像における前記関心領域と関連付けされた前記カ
   メラの視野内のカメラ固有の関心フィールドを識別する工程と；
   （ホ）前記カメラ固有の関心フィールドを後の使用に供するために保存する工程と；
   を順次有することを特徴とする、複数のカメラを備えた３Ｄ画像化システムにおける関心
   領域を特定する方法。
2. 前記複数のカメラそれぞれの視野内の関心領域を前記対象部品上に表示する前記（ロ）
   工程において、前記関心領域を画定するための少なくとも３つの点を前記対象部品上に表
   示することを特徴とする請求項１に記載の方法。
3. 前記関心領域を画定する少なくとも３つの点を表示する際に、レーザー装置を用いて該
   少なくとも３つの点を１つずつ逐次表示させ、前記少なくとも１つの画像を取得する工程
   は、前記少なくとも３つの点のそれぞれについて独立の画像を取得することを特徴とする
   請求項２に記載の方法。
4. 前記カメラ固有の関心フィールドを識別する前記（ニ）工程は、複数の取得した画像を
   用いて前記関心フィールドを識別することを特徴とする請求項３に記載の方法。
5. 前記少なくとも３つの点の各点について、該各点が各カメラによって取得された少なく
   とも１つの画像において識別された点を判定して、当該点を表示する工程を有しているこ
   とを特徴とする請求項３に記載の方法。
6. 前記少なくとも３つの点の各点を少なくとも１つの他のカメラによって取得された少な
   くとも１つの他の画像内に識別していない間に、該各点を前記少なくとも１つのカメラに
   よって取得された前記少なくとも１つの画像内に識別した点を判定することを特徴とする
   請求項３に記載の方法。
7. 前記関心領域を前記対象部品上に表示する工程は、レーザー装置を用いて該対象部品の
   少なくとも一部分をレーザービームで照明して該関心領域を該対象部品の表面上に表示す
   ることを特徴とする請求項１に記載の方法。
8. 前記レーザー装置にボタンが設けられ、このボタンを選択すると、前記対象部品の現在
   照明されている一部分が少なくとも幾つかの関心領域定義情報に対応することを表示する
   とともに、前記ボタンを選択した瞬間における前記対象部品の複数の画像を解析して該対
   象部品の前記現在照明されている一部分と関連付けされた位置情報を取得すべきことを前
   記レーザー装置に指示させ、かつ、
   前記画像を解析すべきとの前記レーザー装置からの指示があるかどうかをモニタする工
   程を有している
   ことを特徴とする請求項７に記載の方法。
9. 前記レーザー装置を、前記ボタンが選択されると前記対象部品上に照明した前記レーザ
   ービームの外形を変化させるようにプログラムし、かつ、前記レーザー装置からの指示を
   モニタする工程は、前記複数のカメラによって取得した複数の画像を解析して、前記対象
   部品上に照射した前記レーザービームの外形の変化を識別することを特徴とする請求項８
   に記載の方法。
10. カメラ固有の関心フィールドが前記複数のカメラのそれぞれについて識別された点を示
    すフィードバックを前記システムユーザに提供する工程を有していることを特徴とする請
    求項１に記載の方法。
11. 前記少なくとも１つの画像を取得する工程は、複数の画像を高速連写で取得し、かつ、
    前記少なくとも３つの点を表示する工程は、レーザー装置を用いて前記少なくとも３つの
    点を個別的に照明することを特徴とする請求項２に記載の方法。
12. 前記少なくとも３つの点を表示する工程は、各点について、前記レーザー装置が前記点
    を照明している間に、前記照明された位置が、前記関心領域を画定する前記少なくとも点
    の一つであることを表示することを特徴とする請求項１１に記載の方法。
13. 少なくとも第１のカメラと第２のカメラとを含む、それぞれ異なる軌跡に沿って配置さ
    れた視野を有する複数のカメラを備えた３Ｄ画像化システムにおける関心領域を特定する
    方法であって、
    （イ）前記複数のカメラの視野内の場所に位置するように対象部品を配置する工程と；
    （ロ）レーザー装置を用いて、前記対象部品上に関心領域を画定する複数の点を逐次的か
    つ個別的に表示する工程と；
    前記複数のカメラのそれぞれについて、
    （ハ）前記複数の点を前記対象部品上に表示している間に、前記関心領域を含む前記対象
    部品の複数の画像を取得する工程と；
    （ニ）これら複数の画像における前記複数の点を用いて、各カメラについて、前記関心領
    域に対応する前記視野における関心領域を識別する工程と；
    （ホ）前記視野内の関心領域をカメラ固有の関心フィールドとして保存する工程と；
    を有することを特徴とする方法。
14. 関心領域を対象部品上に表示する３次元マシンビジョンシステムをトレーニングして各
    カメラ固有の関心フィールドを画定するように構成され、かつ、複数のカメラとマシンビ
    ジョンプロセッサとを備えた、３次元マシンビジョンシステムトレーニングシステムであ
    って、
    （イ）前記複数のカメラが、前記関心領域が前記カメラの前記視野内に存在するような視
    野を有し、カメラ固有の軌跡に沿って配置され、かつ、前記カメラの視野内の前記部品の
    複数の画像を取得するように構成され、かつ、
    （ロ）前記マシンビジョンプロセッサが、各カメラに対して、（ｉ）複数の画像を受信し
    、（ｉｉ）前記受信した複数の画像の少なくとも１つを用いて、前記関心領域と関連付け
    された前記画像を生成するのに用いた前記カメラの視野の一部分を、関心領域として識別
    して、（ｉｉｉ）前記関心領域と関連付けされた前記関心領域を、カメラ固有の関心領域
    として保存するようにプログラムされている
    ことを特徴とする３次元マシンビジョンシステムトレーニングシステム。
15. レーザービームを前記対象部品に照射して前記関心領域を該対象部品上に表示するレー
    ザーポインタ装置が設けられていることを特徴とする請求項１４に記載のシステム。
16. 前記レーザーポインタ装置には、ボタンが設けられていて、このボタンを選択すると、
    前記部品の現在照明されている一部分が、少なくともいくつかの関心領域定義情報に対応
    することが示されるとともに、前記ボタンが選択された瞬間における前記部品の複数の画
    像を解析して前記部品の前記現在照明された一部分と関連付けされた位置情報を取得すべ
    きことが示されるものとされ、かつ、前記マシンビジョンプロセッサが、前記画像を解析
    すべきとの前記レーザーポインタ装置からの指示をモニタする工程を実行するようにプロ
    グラムされている
    ことを特徴とする請求項１５に記載のシステム。
17. 前記レーザーポインタ装置が、前記ボタンが選択されると、前記部品上の前記照明ビー
    ムの前記外的形状を変化させるようにプログラムされ、かつ、前記マシンビジョンプロセ
    ッサが、前記レーザーポインタ装置からの表示の有無をモニタする工程において、カメラ
    画像を解析して、前記部品上の前記照明ビームの前記外的形状の変化を識別するようにプ
    ログラムされていることを特徴とする請求項１６に記載のシステム。
18. 前記レーザーポインタ装置には、前記ボタンが選択されると信号を送信する送信機が設
    けられていることを特徴とする請求項１６に記載のシステム。

Images