JP2003532061A - ３次元物体又は物体の集合を測定する方法 - Google Patents

Abstract

(57)【要約】 本発明は、極めて複雑ともなり得る環境の３次元物体（１、５、６）を画像上でのそれらの単純な輪郭の形の特定によって観測することができ、かつ、前記物体の幾何学的な特徴、位置及び指向方向を測定する、方法に関する。それらの輪郭は、長さ、傾き、位置等の単純なパラメータによって定義される。それぞれの新たな画像について、環境の前に捕捉された認識を利用して、現れた新たな物体の輪郭をモデル内に導入しつつ、推定を微調整する。

Description

【発明の詳細な説明】

【０００１】 本発明は、環境内の一つないしいくつかの物体の幾何学的形状、位置及び指向
方向を特定するためのプロセスに係る。その目的は、一つないしいくつかのセン
サによって捕捉される画像上の投影を用いて、それらの物体を表現する（ドット
、直線、円、円柱等の）３次元の原要素（primitives）についての寸法ないし測
定値（大きさ）の情報を与えることである。それらの寸法のデータは、製造され
た物体（試作品やシリーズ製品）の寸法検査、構造変形の測定、及び産業環境の
モデル化に利用される。

【０００２】 この種の測定を成し遂げるプロセスには、いくつかの主要な部類がある。ある
方法では、フィーラの先端による環境内の物体の直接的な測定を伴うが、環境が
広大ないし乱雑になればすぐに、あるいは、その形状が複雑な場合には、この方
法がいつも適用できるとは限らず、かつ、フィーラが非常に長くなる。この方法
は、環境を完全な空間の大きさにする場合には考慮に値しない。他の方法は距離
測定を利用する、すなわち、如何なる物理的な接触をも伴わずに環境内の様々な
ドットに対して距離を測定し、その測定では、それらのドットに向けてレーザが
一度に一ドットずつ移動されると共に、その波動の飛翔時間ないし位相ずれにつ
いて測定が行われる。高速な環境の測定を可能にするため、ミラーないし機械系
を利用してレーザの光線を連続的に他のドットの方へ移動させるが、この方法に
ついては、（たとえ分解能がレーザの走査システムによってのみ制限されるもの
であるとしても）必ずしも精度が高いとは限らず、かつ、ビームが反射物体に触
れた場合の誤差を伴うということが分かっており、さらに、走査中の間は機械系
の安定性を維持することが必要であり、かつ、測定容積空間の範囲内における任
意の人の安全性を保障するように注意することが必要である。

【０００３】 他の方法としては、測定をする環境の前でカメラを移動させ、そのカメラで順
次連続した画像を撮影する光学的な方法が挙げられる。環境の細部は、それぞれ
異なる画像上で識別され、また、それらの位置は、カメラの画像撮影パラメータ
の関数として、それぞれ異なる画像上でのそれらの位置とカメラが進行する既知
の各位置とに基づく三角測量により計算される。時には、環境において網目状の
ドットが識別され、それらの各ドットが各光線のビームにおいてレーザないしプ
ロジェクターにより照明されている場合もあり、この場合には、付加的な光を加
えてそれらのドットの網目を取り囲む周囲をより良く照明すると共にそれを環境
の残りの部分から浮き出させることもある。照明手段の使用は、距離測定のプロ
セスに類似しており、それに伴う不利な点として不正確さや安全性不足を生じる
結果となり、識別の速度及び容易性や頻繁に実行され得る計算をそれが必ずしも
補償するとは限らない。

【０００４】 他の方法においては、測定する各ドットを光源とし、反射するマークないし着
色されたマークを環境内に予め設置する。これらの方法は、各マークとその各位
置を適切に選べば良好な結果を与えるが、それらは、すべてのケースにおいて適
用できるわけではなく、中でも大きくて複雑な環境に対しては適用することがで
きない。特に、それらは、環境自体を測定するためではなく、むしろ環境内を移
動する定められた物体の位置を監視するために有効な方法である。

【０００５】 最後に挙げられる他の光学的なプロセスとしては、環境内にマークがないこと
を基本とし、画像中のいくつかの注目する地点を測定することに基づくものがあ
る。それらの注目する地点は自動的に選ばれ、あるいは、対話式プロセス（イン
タラクティブなプロセス）のケースではオペレータがそれらを選ぶこともある。
対話式プロセスは、それらが万能ないし理論的にはあらゆる環境に対して適用可
能であるという利点を有しているが、すべての画像に対して共通する十分に多い
数の注目する地点を有することが常に容易であるとは限らず、それぞれ異なる画
像上で各ドットを識別する過程が困難になることもあり、さらに、環境を多数の
ドットによって表現したとしても、その表現にあまり意味がないことになる。

【０００６】 本発明は、純粋に光学的な方法に含まれるプロセスによって構成され、また、
より厳密には画像解析を伴う方法に含まれるプロセスによって構成される。この
新たなプロセスは、三角測量を含むものとしてもよいが、以前のプロセスとは根
本的に異なり、このケースにおけるプロセスでは、環境内のドットのマップを作
成することよりも環境の細部を区別することに関心を寄せている。環境について
全体に亘るが明瞭ではない認識を得ることよりも、その環境の特定の要素を判別
すると共に、それを残りの部分から区別することの方が、容易であり、かつ、有
用である場合が多い。頻繁に出くわす産業上の空間を測定するケースにおいて、
この考察は、単純な形状の異なる要素や障害物が数多くある場合に特に重要とな
り、それらの単純な形状の異なる要素や障害物が重畳されて非常に複雑なレリー
フ（relief）を創り出すが、結果として得られる表現の分析判定は、それらの要
素が区別される場合と、それらが多少の位置及び形状のパラメータによって特徴
付けられる場合とに、極めて容易になる。

【０００７】 前記プロセスは、多くの利点を有している。その利点とは：環境内で特定のマ
ークを作っている状態のドットが実際には存在しないという点；注目する地点を
考察するだけの場合よりも画像中の情報の遥かに多くの部分が利用され、これに
より、結果として得られる表現のより高い精度が与えられるはずであるという点
；前記プロセスは、様々な散乱面や反射面を伴う場合であっても効率的であると
いう点；それは、様々な容積空間に対して適用可能であり、可能な限りの非常に
大きい容積空間に対して適用可能であるという点；捕捉時間（acquisition time
）は、非常に短く、数十ミリ秒であるという点；前記プロセスは、完全に自動化
することもできるという点；表現は、より初期の段階では無視されていた新たな
エンティティを追加することにより、あるいは、それを更新ないし他の処理で修
正することにより、後で完成させるものとしてもよいという点；及びドットのマ
ップが分析判定を要するのに対し、それは、環境の正確なモデルを直ちに与える
ので、それを直ちに利用することができるという点、である。

【０００８】 前記プロセスは、以下に列挙する記載で定義される５つの主要なモジュールに
よって構成されるシステムに基づいている。 −再構成する物体のそのままの輪郭の位置を精確に特定する画像処理モジュー
ル； −物体の幾何学的パラメータ及び画像記録システム（イメージ・キャプチャ・
システム）の状況を特定する再構成及び位置決めモジュール； −再構成済みの物体のそのままの輪郭を自動的に探索する識別モジュール； −新たな画像上で再構成された物体のそれらの輪郭を置換する援助をするため
に注目する地点のマッチングを行うモジュール；及び −利用可能なすべての情報に基づく全般的な（総括的な）計算を行うと共に非
常に大幅な精度改善を行うブロックにおける再構成モジュール。

【０００９】 このプロセスの利用には、画像上の任意のドットと関連する光線の位置との間
の関係を特定するために、予め較正（キャリブレーション）した一つないしいく
つかのビデオ・カメラが必要とされる（ただし、専らドット・タイプの原要素を
用いる場合には較正は必須ではない。）。事前の較正については、既に別の著書
によって開示されており、例えば、the 11^th Conference on Shape Recognition
and Artificial Intelligence (Clermont-Ferrand, January 20 to 22, 1998)
で発表されたViala、Chevillot、Gue´rin及びLavestによる論文“Mise en oeuv
re d'un proce´de´ d'e´talonnage pre´cis de camera CCD - Implementati
on of a process for precise calibration of a CCD camera”に開示されてい
る（ここで、「´」は直前の文字上に付く綴字記号である。）。いくつかのカメ
ラを使用する場合、システムは、ステレオスコピック（stereoscopic）と言われ
、画像上での対応するドットの探索と三角測量により環境の３次元モデルを自動
的に与えることが可能である。単一のカメラを使用する場合には、そのカメラを
定められた距離ずつ移動させることによる連続した画像によって同じ結果を得る
ことができる。環境において標準計器（standard meter）が利用可能であれば、
その距離は後から計算によって定めることとしてもよい。

【００１０】 要するに、本発明は、３次元環境において３次元物体を測定するためのプロセ
スに関するものであり、少なくとも一つのカメラによる少なくとも一つの画像の
撮影と画像の解析に基づく環境の表現の生成とによって構成され、前記解析が、
画像の外観における不連続部の検出と、パラメータによって画像上に定義される
幾何学的な輪郭において検出された不連続部の結合と、パラメータを変化させる
ことによる不連続部に対する輪郭の調整と、前記輪郭に従って画像上へと投影し
た幾何学的な物体の環境内における形状及び位置の推定と、前記物体を示す表現
とを、含むことを特徴としている。

【００１１】 環境の表現は、新たな画像が撮影される度に追加され、あるいは、追加の情報
が供給されたときに追加される。また、前記プロセスは、物体の位置の初期推定
や手操作ないしコンピュータ記述ファイルで与えられる情報からのカメラ始動を
含むものとすることもできる。

【００１２】 概して、前記プロセスは、多くの代替形態により実行することができ、かつ、
相対する状況に応じて柔軟に実行することができる。最良の実施形態のいくつか
に関して実現可能なことの一つとしては、各画像を撮影した後のカメラのそれぞ
れの位置に基づいて各画像上への物体の投影の位置を推定すると共に、各画像上
の投影の測定された位置に基づいて投影の推定された位置を調整することにより
、物体の位置に対する修正を行うことが挙げられる。

【００１３】 この修正は、通常では、全体的な表現の誤差を推定して最小化する最後の総括
的な計算の間に行い、カメラのパラメータの推定も修正することができる。

【００１４】 次に、以下の図面を参照しつつ本発明の具体的な実施形態について説明する。 ・図１Ａは、典型的な例の環境における検査システムを示した図であり、 ・図１Ｂは、その環境が画像上でどのように捉えられるかを例示した図であり
、 ・図２は、その検査システムの各処理モジュールを図式化して表したものであ
り、 図３、図４、図５及び図６は、輪郭のモデルを例示した図であり、 ・図７及び図８は、説明において用いるいくつかの表記法を図に表したもので
ある。

【００１５】 上述したモジュールは、図２において２０ないし２４の参照符号により示され
ており、それらについてここで図１Ａにおける例を用いて順に説明する。図１Ａ
において、認識を行う環境は、２及び３で二度曲がって開口４で終結しているパ
イプ１、箱５並びにランプ６を含んでいる。センサ７と称するディスプレイ装置
は、固定して取り付けられた２つのビデオ・カメラ８及び９（ただし、それらは
必要に応じて調整可能とすることもできる。）を有し、それらのビデオ・カメラ
８及び９が共通の支持物１０上にあって処理システム１１と接続されており、そ
の処理システム１１は、特に、カメラ８及び９からの画像が記憶されるメモリ１
２と処理ユニット１３とを有している。本発明に基づくプロセスは、画像を次々
に用いて、それぞれの新たな画像を分析判定するときに追加されて明瞭化される
環境の表現を生成することにより、構成される。この作業は本質的に自動で行わ
れるが、状況によってはオペレータの熟練した判断を加えて表現を完全にしたり
修正したりしなければならない場合もある。

【００１６】 環境の表現は、一つ若しくはいくつかの物体の幾何学的な特徴若しくは寸法の
特徴の測定値、要素の幾何学的な特徴若しくは寸法の特徴の測定値、又は光景若
しくは環境を形成する物体を表す。また、この用語は、一つ又はいくつかの物体
の位置及び指向方向の測定値とも関係する。

【００１７】 カメラの画像は、それぞれ異なるグレーの濃淡を有する網目状のドットによっ
て構成され、それらがデジタル値に変換されてメモリ１２に記憶される。図１Ｂ
は、パイプ１の輪郭、そのパイプにおける開口４、箱５、ランプ６が、それぞれ
、平行ないしほぼ平行な３対のセグメント（segments）１４、１５及び１６（こ
のケースでは縁部（limbs）と称する。）、楕円１７、９個の直線のセグメント
１８、ドット１９によって表現し得ることを示している。実際には、これらの輪
郭は、画像上で異なる色を持つ部分を区分し、かつ、それ故に不連続部となり、
それらの不連続部がそれらの輪郭を測定するのに利用され、これが位置決めモジ
ュール２０によって実行されるタスクとなっている。

【００１８】 画像上でのそのままの輪郭の位置決めは、“変形可能”（“deformable”）な
モデルないし能動的な輪郭（active contours）に基づく（International Journ
al of Computer Vision, 1(4), p 321 to 331, January 1988において出版され
たKaas、Witkin及びTerzopoulosによる論文“Snake: active contour models”
、及びUniversity of Nice - Sophia Antipolis (January 1994)でのBascleの学
位論文“Contributions et applications des mode｀les de´formables en vis
ion par ordinateur − Contributions and applications of deformable model
s in computer vision”を参照。ここで、「｀」、「´」はそれぞれ直前の文字
上に付く綴字記号である。）。それらは、初期位置から開始する変形可能な輪郭
モデルを、そのそれぞれの変形後のエネルギーを計算しつつ、デジタル的に変化
させることによって構成される。このエネルギーは、従来より２つの項を含むも
のとなっており、その第１の項がモデルの幾何学的な規則性（regularity）を表
現すると共に任意の物理的な性質を考慮し、第２の項がモデルと実験から得られ
た画像との一致を考慮する。具体的には、この処理を行う目的は、画像中の情報
と違い過ぎるものとはせずに、モデルの局所的に不規則な部分（通常では雑音に
よる局所的なばらつき）を減らすことにより、モデルを規則化することである。
しかし、それは、はっきりとした単純な画像について良好に機能するに過ぎず、
かかる画像はここでのケースに該当しない。さらに、この発明は、広範囲に亘る
幾何学的なパラメータで画像のいくつかの要素を記述することによる改良を提案
するものである。したがって、得られることになる環境のモデルは、変形可能な
ものとパラメトリックなものの双方になると言うことができる。

【００１９】 ここで注目している輪郭の形状は、単純であり、かつ、実際に非常に出くわす
ことの多い数個の好ましい形に属するものであり、図１Ｂに示したように、主な
形は、ドット、直線、対をなす直線及び楕円である。ドットは、その画像上での
デカルト座標ｘ及びｙによってモデル化される。画像が有限であることから、各
直線はセグメントによってモデル化され、それらは、画像上での４つのパラメー
タ、すなわち、図３に示すように、セグメントの中央の座標ｘ_０及びｙ_０、セグ
メントの長さＬ、並びにセグメントと画像上の水平方向線との間に形成される角
度θを有するものとなる。そのセグメント上のすべてのドットは、次の等式を満
たすことになる。

【数１】 ここで、ｕは−１と＋１の間の値をとり、θは０とπの間の角度である。

【００２０】 円柱は、その輪郭ないし縁部によって定義される。それは、遠近法の効果を考
慮しないことにすると、２つの平行なセグメントによって構成される。図４に適
切なモデルを示す。この図４のモデルは、５つのパラメータ、すなわち、２つの
セグメントによって形成される系の等価重心の座標ｘ_０及びｙ_０、２つのセグメ
ントの共通の長さＬ、２つのセグメントと水平方向線との間に形成されている角
度θ、並びに２つのセグメントを離隔している距離ｄを有している。２つのセグ
メントの各ドットの座標は、次の等式

【数２】 及び

【数３】 によって与えられる。ここで、ｕ（パス・パラメータ）は−１と＋１の間の値を
とる。

【００２１】 これに対し、遠近法の効果を考慮したい場合には、図５に示すように、逆方向
への各偏差を表現するパラメータδθと２つのセグメントを収束させることとに
より、先のモデルを質的に向上させることができる。この場合、オペレータが選
択するドットが４つある。数２及び数３の等式は、次の等式

【数４】 及び

【数５】 に置き換えられる。

【００２２】 空間内の円の２次元画像上への投影は楕円を形成し、図６は、その楕円につい
てパラメータを定義する一つの採用可能な形態を示している。それらのパラメー
タは、中心の座標ｘ_０及びｙ_０、長軸及び短軸の長さｌ_１及びｌ_２、並びに水平
方向線に対する長軸の指向方向θである。等式

【数６】 は楕円上のドットの座標を与える。ここで、ｕは０と２πの間をとる曲線状の横
座標パラメータである。

【００２３】 プロセスは環境の表現を（通常は手操作で）初期化することによって開始し、
その初期化において、オペレータは、コンピュータのスクリーン上で画像の一つ
を検査してモデル化する輪郭をマークする。適切な輪郭の形を選んだ後に、オペ
レータは、その輪郭を定義すると共にパラメータの最初の計算を可能にするのに
足りる数のドットをスクリーン上で選ぶ。

【００２４】 図３及び図４では、それらのドットが星印によってマークされている。それら
は、セグメントの各端部、円柱の一方の縁部の各端部及び他方の縁部上のドット
である。楕円は５つのドットによって定義される。

【００２５】 次の過程は輪郭を合わせる過程であり、その輪郭は、オペレータが選択し、あ
るいは、位置決めモジュール２０が行う計算を利用してポテンシャル関数を用い
ることにより画像上で自動的に選択する。通常、画像上でのモデルに対する改善
については、ポテンシャル関数と呼ばれるいくつかの項を含む関数Ｐｅの連続的
な減少によって評価する。大抵のケースでは、エネルギーの項だけで十分とされ
る。画像は、隣接するドットのデジタル化されたグレーの濃淡における相違を計
算することによって処理し、均一な色を持つ領域内にドットがある場合には画像
上の各ドットに対して高いポテンシャルの明暗度を関係付けると共に、遷移領域
や色の不連続領域にドットが位置している場合には画像上の各ドットに対して低
いポテンシャルの明暗度を関係付ける。これは、画像上のそれぞれのドットにつ
いて行う。ポテンシャルの画像が示されると、その画像は、物体の輪郭の周囲に
暗い領域を示すと共に、それ以外の所では一般に明るい背景を示すものとなる。
輪郭のすべてのドットについてその輪郭のポテンシャルの和を計算し、次いで、
減少する勾配によるデジタル解析アルゴリズムを用いて輪郭のパラメータの変化
の関数としてポテンシャルの変化を計算する。このケースでは、輪郭Ｃに沿った
ポテンシャルＰｅの根二乗平均εを最小化することを目的とし、次の等式を利用
する。

【数７】 ここで、ａはモデルのパラメータ・ベクトルであり、ｘ、ｙは輪郭上のドットの
横座標、縦座標である。収束の速度はさておき、このデジタル・ツールは、推定
されるモデルについての記号Δ_ａで示される共分散行列の評価を与えるという利
点を持っている。この情報は、３次元の再構成及び位置決めモジュールで利用さ
れることになる。

【００２６】 画像上のドットのポテンシャルＰｅを計算するには、次の等式

【数８】 で与えられる特殊な距離を用いる。この特殊な距離は、画像上の各ドット間のユ
ークリッド距離ｄが大きくなると、平方がゼロに近くなり（換言すれば輪郭に近
くなり）、かつ、ほぼ一定値となるという利点を持っている。σは固定された係
数である。この距離は、ポテンシャルＰｅの計算において遠方のドットの影響を
軽減する重み付け係数に匹敵する。

【００２７】 ただし、円柱の輪郭については、先の項Ｐｅに加えて追加のポテンシャルの項
を用いる。強く反射する明るさの筋を生成する照明の変化によってそれらの要素
が影響を受け、それらの筋を輪郭と混同することによって変形可能なモデルがそ
れらの筋に向かって収束し得ることになる、という事態がよく起こる。その追加
の項を用いることにより、この危険性を回避する。すなわち、それは強烈に照明
されたドットについて非常に高いポテンシャルの項となるのが通例であり、その
ように変更した全体のポテンシャルが反射する筋に近い高さとなり、このことが
モデル化した輪郭を円柱の実際の輪郭に向かって押し進める。

【００２８】 また、対物鏡のレンズによって生じる幾何学的な収差の影響にも注意する必要
がある。すなわち、空間内の直線は、直線のセグメントではなく、曲線状のセグ
メントとして画像上に投影される。ここで説明している変形可能なモデルは、こ
のタイプの変形した部分について完璧な近似を与えることはできないが、幾何学
的な収差を修正するプロセスを利用して、歪みなく得られる修正された画像に対
して本発明に基づくプロセスを適用することができる。この修正のプロセスは、
予め画像上のすべてのドットについて同時に行い、そして、修正された画像をメ
モリ１２に記憶する。

【００２９】 幾何学的な収差は、半径方向歪みの項と接線方向歪みの項とを含む、二つの項
で構成される。一つの半径方向歪みの項は、画像の光学的中心に対して半径方向
にドットを移動させるものであり、半径方向の距離

【数９】 の関数である次の等式

【数１０】 による多項式で表現される。また、接線方向歪みの項は、次の等式による接線方
向成分及び半径方向成分を有するものとなっている。

【数１１】

【００３０】 係数Ｋ_１、Ｋ_２及びＫ_３並びにＰ_１及びＰ_２は、カメラの較正を行っている時
に推定される歪み係数である。

【００３１】 半径方向歪みは、収差テーブルを事前に計算することにより半径方向の距離の
関数として推定される。歪んだ較正画像の中心からのそれぞれの半径方向の距離
ｒ_Ｄについて、このテーブルは、歪んでいない画像における同じ位置の対応する
距離ｒ_ＮＤを含有する。テーブル中に記憶する距離ｒ_Ｄの連続する各値間の離隔
は、修正後の距離ｒ_ＮＤの連続する各値間の最小の精度Δが考慮されるように選
ぶ。このプロセスの精度は、画像上の２つの連続するドット間距離の１０分の１
の高さとすることができる。

【００３２】 この発明においては、接線方向歪みを考慮するために同じ方法を用いることは
意図していない。ｘ座標及びｙ座標の関数として修正を与えるテーブルを画像上
のすべてのドットに対して適用する必要があり、そのテーブルがメモリ内の過大
な領域を占めることになるからである。このような理由から、それらの接線方向
歪みを考慮する必要がある場合には、例えば当業者にとっては周知のパウエルの
アルゴリズム（Powell's algorithm）のような、数１１に基づく等式根探索アル
ゴリズムを用いることを推奨する。

【００３３】 次に、処理システムの第２のモジュール２１についての説明に話を進める。こ
の第２のモジュール２１は、画像上で先に検出された物体の輪郭の位置を利用し
て、環境内におけるそれらの物体の位置を特定する、換言すれば、位置決め過程
で画像のセンサ７の位置を計算しつつ環境の３次元表現を構築する、再構成及び
位置決めのためのモジュールである。そのプロセスは繰返し行われ、換言すれば
、各画像が順次利用されて、それぞれの時点で環境の表現が追加されて修正され
、それをより精度の高いものにする。それは、カルマン・フィルタの応用である
。この提案では、２つのカメラを備えたステレオスコピックなセンサ７の利用を
説明するが、そのプロセスは、単一のカメラを備えたセンサに対しても適用可能
である。すなわち、再構成及び位置決めは、倍率を除けば評価することができ、
その倍率は、例えば２つのドット間の距離や円柱の半径等の追加の情報をシステ
ム内へと入力することによって特定することができる。

【００３４】 以下、時点（instant）ｋに画像を撮影したセンサのカメラのインデックスを
ｉとして、絶対座標系における検出される物体のパラメータのベクトルｘ_ｋとこ
の画像におけるそれの観測座標のベクトルｚ^ｉ _ｋとに関する数式について説明す
る。カメラの位置は、絶対座標系において回転行列Ｒ^ｉ _ｋと並進ベクトルｔ^ｉ _ｋ とによって表されることになる。変換式は、文字ｈの記号で表す。

【００３５】 ドットのケースにおいては、等式は

【数１２】 であり、この数１２では（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）^ｔ＝Ｒ^ｉ _ｋ（ｘ，ｙ，ｚ）^ｔ＋ｔ^ｉ _ｋ であることを考慮する。ここで、ｘ_ｋ＝（ｘ，ｙ，ｚ）^ｔ，ｚ^ｉ _ｋ＝（ｕ，
ｖ）である。

【００３６】 直線のケースにおいては、ｘ_ｋ及びｚ^ｉ _ｋがベクトル

【数１３】 によって定義される。これらのベクトルにおいて、β及びφは、直線の単位ベク
トルの極座標であり、θは、それの画像上への投影によって形成される角度であ
る。そして、数式

【数１４】 が満たすべき条件を定義する（ここで、ｘはベクトル積である。）。数１４にお
いて、（ｍ_ｋ，ｖ_ｋ）は、次の等式に基づく直線のパラメータ（その直線のドッ
トｍ_ｋの一つの座標とその直線の単位ベクトル）である。

【数１５】 ｍｐは、画像上へのドットｍ_ｋの投影の座標を表し、ｍ_Ｉは、画像上で検出され
るセグメントの中央であり、かつ、ｖ_Ｉは、図７に基づくセグメントの単位ベク
トルであり、そして、ｍ_Ｉ及びｖ_Ｉは、ｚ_ｋから演繹（deduce（演繹ないし推定
））される。

【００３７】 無限円柱は、ベクトル

【数１６】 によって定義される。このベクトルにおいて、ｘ、ｙ及びｚは、その無限円柱の
軸上のドットの（ｍで示される）座標であり、β及びφは、その無限円柱の軸に
沿った単位ベクトルの（ｖで示される）極座標であり、ｒは、その無限円柱の半
径である。等式

【数１７】 は、時刻ｋでのカメラｉの座標系における円柱の軸の位置を表す。その円柱の縁
部の座標（ｍ_１，ｖ_１）及び（ｍ_２，ｖ_２）、並びに画像上への縁部のドットｍ_１ 及びｍ_２の投影であるｍｐ_１及びｍｐ_２も計算する。画像上の測定されるパラ
メータ

【数１８】 を用いて、２つの観測された縁部の中央ドットと指向方向とに対応する観測ベク
トルｚ_ｋ＝（ｕ_１，ｖ_１，θ_１，ｕ_２，ｖ_２，θ_２）を演繹すると共に、次の測
定式が得られる。

【数１９】

【００３８】 図８は、これらのパラメータを示している。ｖ_Ｉ１及びｍ_Ｉ１、ｖ_Ｉ２及びｍ_Ｉ２ は、直線のケースにおけるのと同様に、ｚ_ｋから演繹する。

【００３９】 円は、次の数式の形に適合する状態ベクトルによって定義される。

【数２０】 ここで、ｘ、ｙ及びｚは、その円の中心の座標を示し、β及びφは、その円の法
線に沿った単位ベクトルの極座標を示し、ｒは、その円の半径である。さらに、
数式

【数２１】 が適用可能である。観測座標が関数

【数２２】 によって表現される場合、次の等式

【数２３】 において（ここで、Ｑ＝ａ^２（ｘ_ｋ ^２＋ｙ_ｋ ^２＋ｚ_ｋ ^２−ｒ^２）＋１−２ｂｘ_ｋ は状態ベクトルと観測との間の置換（transfer）を表す。）、ｑ_０、…、ｑ_４が
数２２のパラメータの変換から導出され、ｕ^２＋ｑ_０ｖ^２＋ｑ_１ｕｖ＋ｑ_２＋ｑ_３ ｖ＋ｑ_４＝０のような陰関数形式による楕円の表現が得られる。

【００４０】 次に、互いに対して固定された２つのカメラによってセンサが構成されている
特定のケースにおける再構成のプロセスについての説明に話を進める。ここで、
２つのカメラは、それらのインデックス１及びｒの記号によって示され、かつ、
同時に画像を撮影するものとする。ドットについては、全体的な観測ベクトルを

【数２４】 によって表すことができる。ここで、ｕ^１、ｖ^１、ｕ^ｒ及びｖ^ｒは、２つの画像
上でのドットの座標であり、他のパラメータは、絶対座標系におけるセンサの指
向方向及び並進の各ベクトルである。この場合、ドットの観測関数は、次の等式
によって与えられる。

【数２５】 数２５についての解（この解は、２つのカメラについての数１２の重複解である
。）は、絶対座標系における座標ｘ、ｙ及びｚで構成される、ドットの状態ベク
トルｘ_ｋの評価を与える。

【００４１】 直線の位置は、観測ベクトル

【数２６】 を得ると共に、次の等式

【数２７】 を類推的に解くことにより、特定される。ここで、θの各パラメータは、その直
線の画像ｌ及びｒ上への各投影と水平方向線との間の各角度であることに注意さ
れたい。ただし、各直線自体ではなくそれらの各直線のセグメントが観測される
ので、直線についての状態ベクトルは、数式

【数２８】 の形で与えられ、直線上のドットの座標とその直線に沿った単位ベクトルとによ
って与えられるのではない点に注意されたい。それぞれの捕捉については、状態
ベクトルのパラメータａ、ｂ、ｐ及びｑにより推定される直線は、パラメータｘ
、ｙ、ｚ、β、φ及びｌを有する有限の直線の形で表される。ここで、ｌは、セ
グメントの長さを示す記号であり、座標ｘ、ｙ及びｚは、そのセグメントの中央
を示す座標である。それらの座標ｘ、ｙ及びｚは、画像中への再投影（reprojec
tion）によって評価される。パラメータａ、ｂ、ｐ及びｑの定義は次の通りであ
る。 −直線は、それが０_ｘ軸に対して垂直でない場合には、単位ベクトル（１，ａ
，ｂ）及び位置ベクトル（０，ｐ，ｑ）を有し； −その直線は、それがＯ_ｙ軸に対して垂直でない場合には、単位ベクトル（ａ
，ｌ，ｂ）及び位置ベクトル（ｐ，０，ｑ）によって定義されるものとしてもよ
く； −かつ、それがＯ_ｚ軸に対して垂直でない場合には、単位ベクトル（ｎ，ｂ，
ｌ）及び位置ベクトル（ｐ，ｑ，０）によって定義されるものとしてもよい。好
ましい取決めにより、これらの表現のうちのいくつかが採用可能である場合の優
先順位を定義する。

【００４２】 また、円柱も、

【数２９】 の形の数式を用いて、その円柱の軸のパラメータａ、ｂ、ｐ及びｑとその円柱の
半径とによる表現で定義される。

【００４３】 観測ベクトルは、数式

【数３０】 の形式によって定義される。

【００４４】 次の等式の系

【数３１】 を解く必要がある。最後に、円の状態ベクトルは、次の数式

【数３２】 の形式によって定義され、かつ、観測ベクトルは、数式

【数３３】 の形式によって定義され、そして、等式

【数３４】 の系を解く必要がある。

【００４５】 物体の推定される位置は、それぞれの新たな捕捉によって精製される。画像の
対において物体が初めて現れたときには、この推定を三角測量による準備段階再
構成によって初期化する。かかる方法の説明は既に従来技術に含まれている。適
切な初期化は、物体の位置の推定をそれぞれの新たな画像に対してより迅速に収
束させることになる。

【００４６】 ３次元環境の再構成には、センサの位置を特定することが必要とされ、この位
置は、通常は未知であるか、あるいは、既知であっても精度が不十分なものとな
っている。それぞれの新たな捕捉については、前に環境内に再構成されたドット
を利用し、それらの観測ベクトルを、

【数３５】 を探索することにより、センサの前位置決めに利用する。数３５を探索すること
とは、換言すれば、モデルにおけるドットｊのすべてについて（ｈは０に近く）
環境の表現とカメラ上でのそれの画像との間に最良の一致を与えるχ_ｋ、β_ｋ、
α_ｋ、ｔ_ｘｋ、ｔ_ｙｋ、ｔ_ｚｋの値を探索することである。この場合、次の等式

【数３６】 を繰返し（物体のカテゴリーに応じて、既に構築しているそれぞれの物体につい
て一度）解く。これらの等式における観測ベクトルｚ_ｋは、適切な形の数式

【数３７】 によって与えられる。これは、カルマン・フィルタの別の応用であり、この応用
では、このケースにおいて推定される状態ベクトルが（χ_ｋ，β_ｋ，α_ｋ，ｔ_{ｘ ｋ} ，ｔ_ｙｋ，ｔ_ｚｋ）となっている。この位置決めは、モジュール２２が実行す
る。

【００４７】 システムの識別モジュール２３は、画像が撮影される度に、先の計算において
定義された輪郭を少なくともいくつか自動的に識別する。提案としては、以下の
ように進行することが挙げられる。 −写真の位置及び指向方向に関して現行の（その時点での）画像ｋにできるだ
け近い前の画像ｋ_０を選択する。； −この前の画像ｋ_０上で注目する地点Ｉ_０を選択し、その選択は自動的に行う
ことができ、注目する地点は、一般に、それらに近づく明るさの勾配が高く、か
つ、画像を撮影する条件（照明、ズーム、光景の露光）の変化に対して通常は敏
感でない、という特性を有するものとする。その結果、画像ｋ_０を用いて既に識
別された特徴的なドットは、それが環境内の別の物体に隠れない限り、通常では
次の画像ｋ上でも再び識別されることになる。； −２つの画像における注目する地点Ｉ_０及びＩ_ｋが発見されたときには、それ
らを一の画像から次の画像へと対応させる。これは、それらのそれぞれに近い明
るさの情報を利用して行うことができる（これがそれらを最もよく特徴付けるも
のだからである。）。その情報は、異なるフィルタを用いてベクトルの形式にコ
ード化する。新たな画像ｋにおける注目する地点Ｉ_ｋのそれぞれについて、モジ
ュールが前の画像ｋ_０における注目する地点Ｉ_０の中からの探索を行い、相関値
ないしベクトルの距離を計算することによってそれに最も類似するドットを探す
（例えば、C. Schmid“Appariement d'images par invariants locaux de nivea
ux de gris - Matching of images using local gray shade invariables”, IN
PG PhD thesis, 1996によりなされた研究を参照されたい。）。； −注目する地点の各対の間で対応が識別された後に、環境内の単一のドットの
２つの画像上への投影から生じたものと仮定することにより、２つの画像間の対
応行列が得られる。その後、この行列を利用して前に推定された３次元モデルを
現行の画像上へと投影することができる。これにより得られる輪郭は、新たな画
像ｋについての物体の輪郭の準備段階推定に利用されると共に、それらは、変形
可能なモデルを用いて、モジュール２０についての上に説明したプロセスをそれ
らの輪郭に対して適用することにより、利用される。したがって、オペレータに
とっては、新たな画像ｋ上で再び輪郭の選択を開始する必要が全くなくなる。自
明のことだが、オペレータは、正しくないことが明らかになった輪郭を修正する
ことができ、あるいは、環境内の他の物体によって隠れた輪郭を削除することも
できる。プログラムは、モデルに既に含まれている物体によって隠された輪郭を
自動的に削除するように構成するので、オペレータは、まだ識別されていない物
体の隠れた輪郭を削除することが要求されるだけになる。ただし、オペレータは
、画像ｋ上に初めて現れた輪郭については導入する必要がある。

【００４８】 最後のモジュールは、３次元ブロック計算を実行する。これは、環境内のすべ
ての画像が既述のように利用されて環境の全体に亘る表現が生成されたときに、
モジュール２４を用いて行われる。その計算は、以下のようにして行われる。 −それぞれの画像ｋについて予め分かっているパラメータＲｉｋ及びｔｉｋか
ら開始し、表現の各輪郭の各カメラ画像の平面上への投影を計算する。； −投影された各輪郭の位置と同じ画像上で前に推定された同じ輪郭の位置との
間の偏差を計算する。； −表現における各輪郭の位置を再評価して偏差が最小になるようにする。

【００４９】 次の過程では、最小二乗法を利用して全体的な誤差を最小化する。ベクトルｘ
＝（ｘ_Ｇ１ … ｘ_Ｇｎ ｘ_Ｍ１ … ｘ_ＭＰ）^Ｔは、測定ベクトルｚと共に、
そのベクトルｘにおけるｘ_Ｇの値が表現のｎ個の物体すべてのパラメータを含み
、かつ、ｘ_Ｍの値がｐ枚の写真のパラメータ（α，β，χ，ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）^Ｔ を含むものとして、定義することができる。ここで、測定ベクトルｚは、それ
ぞれの画像について、かつ、それぞれの物体について、行われたすべての観測を
含むベクトルである。モジュール２４によって行う調整は、誤差関数Ｆ（ｘ，ｚ
，ａ）を最小化することと等価である。ここで、誤差関数Ｆ（ｘ，ｚ，ａ）にお
けるａは、画像を撮影する手段に関する既知の情報（例えば、固有のパラメータ
、光学的中心、焦点距離、スケール、及び歪み係数）ないし表現に関する既知の
情報（例えば、良好に特定されたと考えられるベクトルｘ若しくは既知のベクト
ルｘのパラメータ）を示す。異なるパラメータの重み付けを導入することにして
もよい。これにより、このモジュール２４は、環境の表現の不確かさを評価する
ことができると共に、推定される画像撮影のパラメータを変更することによって
それらを低減することができる。

【００５０】 いくつかのパラメータを修正したり、ブロック化したりすることもできる。用
いるパラメータは、ドットについてはｕ及びｖであり、直線及び円柱のそれぞれ
の縁部についてはθ及びｄ（画像の座標系の原点に対する距離）である。さらに
、直線及び円柱のセグメントの各端部の座標ｕ及びｖも用いる。

【００５１】 また、ブロック計算は、単一の画像及びカメラを用いて一つないしいくつかの
物体の位置及び指向方向を測定することにも利用することができる。これは、物
体に関する追加の情報が利用可能である場合にだけ行うことができる。すなわち
、それぞれの物体の幾何学的な特徴が既知であり、かつ、それらの特徴がブロッ
ク計算中に導入される必要がある。それらの単一の画像における前記特徴の投影
の測定は、物体の位置及び指向方向を特定することで十分となる。すべての位置
及び指向方向のパラメータを評価するのに十分な数の特徴が利用可能であること
を確保することが必要になる。

【図面の簡単な説明】

【図１】 図１Ａは、典型的な例の環境における検査システムを示した図で
あり、図１Ｂは、その環境が画像上でどのように捉えられるかを例示した図であ
る。

【図２】 その検査システムの各処理モジュールを図式化して表したもので
ある。

【図３】 輪郭のモデルを例示した図である。

【図４】 輪郭のモデルを例示した図である。

【図５】 輪郭のモデルを例示した図である。

【図６】 輪郭のモデルを例示した図である。

【図７】 説明において用いるいくつかの表記法を図に表したものである。

【図８】 説明において用いるいくつかの表記法を図に表したものである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヴィアラ， マルク フランス国 エフ−78280 グイヤンクー ル， クロ アー． ドーデ ６ (72)発明者 ノーデ， シルヴィー フランス国 エフ−91940 レ ジュリス， アヴェニュー ドゥ シャンパーニュ， バティマン アー レ パムプル （番 地なし) (72)発明者 セド， パトリック フランス国 エフ−91120 パレゾー， リュ エル． ブルジョワ， レジダンス デ ゾー−ヴィーヴ 151 (72)発明者 コーアン， ローラン フランス国 エフ−75013 パリ， リュ ジャヴロ 32 (72)発明者 デュモン， アルノー フランス国 エフ−78320 ムニル サン ドゥニ， リュ デ コルドゥリエール 11 (72)発明者 ジャイヨン， フレデリック フランス国 エフ−78125 ポワニー ラ フォレ， ルート ヴュー シャトー ６ Ｆターム(参考） 2F065 AA01 AA21 AA51 BB05 DD03 DD06 FF04 FF05 FF09 JJ03 JJ05 JJ26 QQ24 QQ31 5B057 AA02 DA01 DB03 DB06 DB09 DC09 DC16 DC19

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ３次元の環境における３次元の物体を測定するプロセスであ
   って、少なくとも一つのカメラによる少なくとも一つの画像の撮影と前記画像の
   解析に基づく前記環境の表現の生成とで構成され、前記解析が、前記画像の外観
   における不連続部の検出と、パラメータによって前記画像上に定義される幾何学
   的な輪郭において検出された不連続部の結合と、前記パラメータを変化させるこ
   とによる不連続部に対する輪郭の調整と、当該輪郭に従って前記画像上へと投影
   した幾何学的な物体の前記環境内における形状及び位置の推定と、当該物体を示
   す表現とを含む、ことを特徴とするプロセス。
2. 【請求項２】 前記幾何学的な輪郭がドット、直線、楕円を含み、物体が円
   、円柱、直線及びドットを含む、ことを特徴とする請求項１記載の測定プロセス
   。
3. 【請求項３】 前記パラメータが平面のデカルト座標、角度及び長さを含む
   、ことを特徴とする請求項１ないし２のいずれかに記載のプロセス。
4. 【請求項４】 画像を画像ドットのポテンシャルの画像に変換し、前記ポテ
   ンシャルが不連続部において極端な値を与えるように計算され、前記画像におけ
   る外観の不連続部を検出する、ことを特徴とする請求項１、２及び３のうちのい
   ずれかに記載のプロセス。
5. 【請求項５】 前記ポテンシャルが前記画像上のグレーの濃淡の非常に低い
   明暗度を有する領域を考慮した項を含む、ことを特徴とする請求項４記載のプロ
   セス。
6. 【請求項６】 前記環境の表現と前記カメラの画像とに基づいて前記カメラ
   の位置を推定することにより、推定される物体の位置を改善する、ことを特徴と
   する請求項１ないし５のいずれかに記載のプロセス。
7. 【請求項７】 手操作により入力される情報若しくはコンピュータ既述ファ
   イルにおける情報から開始する物体若しくはカメラの位置の初期推定を含む、こ
   とを特徴とする請求項１ないし６のいずれかに記載のプロセス。
8. 【請求項８】 それぞれの画像についての、検出、結合、調整及び推定の過
   程の繰返しを含み、それぞれの画像についての物体の位置の修正によって前記環
   境の表現を修正する、ことを特徴とする請求項１ないし７のいずれかに記載のプ
   ロセス。
9. 【請求項９】 各新たな画像の外観における不連続部の検出の前に、前記環
   境の表現における物体の輪郭を当該各新たな画像に投影する、ことを特徴とする
   請求項８記載のプロセス。
10. 【請求項１０】 当該投影した輪郭を画像の外観の不連続部上に調整する、
    ことを特徴とする請求項９記載のプロセス。
11. 【請求項１１】 少なくともいくつかの新たな画像について、当該輪郭上に
    投影する幾何学的な輪郭及び幾何学的な物体を追加する、ことを特徴とする請求
    項８及び９のうちのいずれかに記載のプロセス。
12. 【請求項１２】 物体の位置に対する修正、対応する画像が撮影されたとき
    の前記カメラの位置に基づく画像上の物体の投影の位置の推定、及び画像上で測
    定される投影の位置を利用する推定された投影の位置の調整、を特徴とする請求
    項１ないし１１のいずれかに記載のプロセス。