JP2001506369A - １つまたは複数の移動カメラの初期位置および向きを校正するための方法ならびに固定対象の３次元的位置測定に対してのこの方法の応用 - Google Patents

Abstract

(57)【要約】 移動支持体（２１）上に配置されたカメラ（４，２２）を校正するための方法が開示されている。カメラによって、カメラの視野内に少なくとも３つのマークを有したテスト用対象物の像を撮影する。像の解析により、テスト用対象物に対しての、カメラの初期位置および向きが得られる。この初期位置および向きは、応用に際して、既知の値として使用される。支持体（２１）は、その後、カメラによる撮影の対象をなす、対象物（２８）に向けて移動することができる。支持体の移動状況を正確に測定することにより、対象物の像の解析によって、カメラに対してのまたテスト用対象物に対しての、対象物の正確な位置および向きが得られる。１つの応用は、道路ネットワーク管理のためのまたはオンボード型ナビゲーションシステムのためのデータベースを得るために、道路標識（２８）を記録することである。

Description

【発明の詳細な説明】 １つまたは複数の移動カメラの初期位置および向きを 校正するための方法ならびに固定対象の３次元的位置 測定に対してのこの方法の応用 本発明は、１つまたは複数の移動カメラの初期位置および向きを校正するため の方法、ならびに、固定対象の３次元的位置測定に対してのこの方法の応用に関 するものである。 対象物の少なくとも１つの像をカメラで撮影し、撮影された像上における対象 物の痕跡とカメラ位置とに基づいて対象物の位置を計算することによって、対象 物の位置を自動的に計算することは、様々なことに応用することができる。 未公開の仏国特許出願明細書第９６ ０６７４９号には、そのような応用、お よび、本発明を適用可能な対応ハードウェアシステムが開示されている。このシ ステムは、道路に沿った交通標識の自動記録に関するものである。この場合、１ つまたは複数のカメラが自動車の屋根の上に固定されている。この自動車には、 また、慣性操縦ユニットと、軌道上の衛星位置に対する位置検出のためのアンテ ナ設備（例えば、ＧＰＳシステム）と、が設けられている。アンテナ設備は、地 球表面上における車両位置および車両痕跡を、非常に精度良く周期的に（数秒ご とに）もたらす。慣性操縦ユニットは、各位置ごとにおける位置情報および向き 情報の更新のために使用される。カメラは、車両が通過する各標識の一連の像を 撮影する。カメラに取り付けられた像処理システムは、各像上における各特性点 のカルマンフィルタリングを行う手段を備えているものであって、各像上におけ る対象物の特性点の痕跡を予測しチェックし評価するためのアルゴリズムによっ て、各像上においてカメラに対しての対象物の位置および向きを示す座標を提供 する。また、２つまたはそれ以上の像上における対象物の特性点位置の三角測量 をベースとした、より単純なアルゴリズムが設けられている。したがって、対象 物の位置を、この情報を使用して、また、カメラおよび車両の位置および向きに 関しての利用可能な知識を使用して、決定することができる。車両の位置および 向きは、衛星位置決めシステムおよび慣性ユニットのおかげで、（地球に関して の）固定参照フレーム内において、どの瞬間にでも知ることができる。しかしな がら、車両に対してのカメラの位置およびとりわけ向きは、校正されなければな らないままである。 カメラを搬送する移動支持体上におけるカメラの位置に関しての不確定性を克 服するための２つの手段が、提案されている。１つは、高精度をもたらし得る機 械的デバイスによって、支持体上にカメラを組み付けることである。他は、参照 点付きのカメラケースを準備し、このカメラケースを、カメラケース位置を調節 可能な機構を介して支持体に対して固定し、カメラのファインダーを支持体上の 所定方向に位置合わせさせるよう、カメラの参照点と固定参照点との間の位置調 整を行うことである。第１の手段においては、支持体上におけるカメラの位置設 定ができないような、いかなる位置設定もできないような、機械的システムが個 々のカメラ仕様に応じたものであることによりカメラの交換が困難であったり不 可能であったりするような、高価な機械的手段を必要としている。第２の手段に おいては、ファインダーの方向にしたがって参照点を正確に配置してカメラの位 置設定のずれを防止するために、カメラを工場内で校正する必要がある。そうで なければ、新たな参照点を得るために、校正操作を再度行わなければならない。 本発明の利点は、本質的に、観測対象をなす対象物の位置および特に向きを適 正に測定するために厳密な精度で移動支持体上にカメラを配置しなければならな いという上記必要性を排除することである。本発明においては、また、同一の移 動支持体上において、複数のカメラを容易に使用することができる。 いくつもの利点が、この特徴点から派生する。まず最初に、カメラを支持体上 に固定するに際して位置設定を厳密に行う必要がないことである。そして、新た な応用に際して、要望されたときには、困難性を伴うことなく、カメラの向きを 変えることができる。また、何らの欠点を伴うことなく、付加的な位置不確定性 および向き不確定性が導入されるにもかかわらず、カメラを、移動支持体上に、 とりわけ、移動支持体上に設置されている回転式タレット上に、取り付けること ができる。タレット取付の場合には、単に、タレットの移動状況を正確に測定す るだけで良い。タレットの初期位置および向きを正確に知る必要はない。タレッ トの初期位置および向きは、本発明の方法により、潜在的に決定される。このよ うなタレットは、例えば、標識記録に対する応用においては、車両が回り道をし たところにおいてカメラの視野を迅速に回転させたい場合などにおいて、連続的 な像の撮影を容易とするために使用することができる。 本発明の特徴的な測定においては、環境内に既知の位置でもって配置されたテ スト用対象物の初期像を、各カメラによって撮影する。この目的のために、車両 を移動させる。テスト用対象物の像を解析することにより、テスト用対象物に対 しての、したがって固定参照フレーム内での、カメラおよび支持体の位置および 向きを知る。その場合、対象物の連続した像を撮影するだけで十分である。次に 、固定参照フレーム内における対象物の位置を知るために、公知方法によって、 連続像が解析される。支持体の各撮影位置までの移動状況を測定することにより 、この移動状況を利用して、対象物の位置が決定される。 移動支持体の位置および向きは、テスト用対象物の像の撮影時も含めて各瞬間 において既知であることに注意されたい。 位置決めされるべき対象物が、十分に相対位置が認識されている複数の参照マ ークを備えている場合には、その対象物のただ１つの像からの位置決め方法を使 用することができる。 要約すれば、本発明は、最も一般的な形態においては、環境内の移動支持体上 に配置されたカメラの初期位置および向きを校正するための方法であって、環境 内に、既知の位置および向きでもってテスト用対象物を配置し；各カメラによっ てテスト用対象物の像を撮影し；テスト用対象物の特性点の、像上における痕跡 の位置を認識し、特性点とカメラとの間の向きおよび距離を決定し、これにより 、テスト用対象物に対してのカメラの位置および向きを決定するというようにし て、処理システムでもって前記テスト用対象物の像を解析することを特徴として いる。あるいは、わずかに異なる構成においては、環境内の移動支持体上に配置 された第１カメラの、第２カメラに対しての、初期位置および向きを校正するた めの方法であって、第１カメラに、校正用カメラを付設するとともに、第２カメ ラに、既知の位置および向きでもってテスト用対象物を付設し；校正用カメラに よってテスト用対象物の像を撮影し；テスト用対象物の特性マークの、像上にお ける痕跡の位置を認識し、特性マークと校正用カメラとの間の向きおよび距離を 決定し、テスト用対象物に対しての校正用カメラの位置および向きを決定し、こ れにより、第２カメラに対しての第１カメラの位置および向きを決定するという ようにして、処理システムでもってテスト用対象物の像を解析することを特徴と している。 有利には、テスト用対象物は、カメラの視野内において、少なくとも３つのマ ークを備えている。さらに有利には、互いに同一平面上には位置していないよう に配置された４つ以上のマークを備えている。 本発明は、また、移動支持体上に配置された１つまたは複数のカメラによって 、固定された対象物の３次元的位置測定を行うための方法に関するものであって 、校正方法を適用した後に、移動状況を測定しつつ支持体を対象物に向けて移動 させ；支持体の移動途中に１つまたは複数のカメラによって対象物の像を撮影し ；処理システムによって対象物の像を解析することにより、対象物と１つまたは 複数のカメラとの間の方向および距離を決定し；最後に、対象物とカメラとの間 の方向および距離と、支持体の移動状況と、を使用して、対象物の位置を計算す ることを特徴としている。 以下、添付図面を参照して本発明について詳細に説明する。 図１は、テスト用対象物を使用してカメラの初期位置および向きの設定を行い 得る各部材を概略的に示す全体図である。 図２は、カメラによって撮影された像上におけるテスト用対象物のマークの痕 跡を検索するための技術を示す図である。 図３および図４は、像上におけるマークの痕跡のモデル化を示す図である。 図５は、カメラの位置および向きの決定方法を説明するための幾何的な図であ る。 図６は、位置決めカメラ２２または４が搭載されている車両を示す図である。 図７は、ある応用においてテスト用対象物によってカメラの位置を決定するた めの方法を示す図である。 図８は、本発明の他の応用を示す図である。 図９は、本発明の方法を使用した他の形態を示す図である。 まず最初に、カメラによって撮影される対象物の像の外観は、カメラの１１個 のパラメータに依存することに注意されたい。つまり、カメラの６個の外因性パ ラメータ、すなわち、対象物に対してのカメラの向きおよび位置の座標と、少な くとも５個の内因性パラメータ、とりわけ、カメラセンサの光学中心の位置を決 定する２つの座標と、対象物の焦点距離を考慮した２つの値と、少なくとも１つ の径方向捻れ因子と、である。これら内因性パラメータは、カメラの構成部材が 組み立てられた直後に行われる公知の校正によって決定することができる。これ ら内因性パラメータは、その後は、不変のままである。本発明の目的であるカメ ラ位置の決定は、実際、外因性パラメータの決定に関連している。外因性パラメ ータの決定は、カメラをカメラの支持体上に取り付けたときに、また、取り外し て再取り付けするたびごとに、また、支持体の位置を調整したときに、そして、 実用的には時々、行わなければならない。このために、固定されたテスト用対象 物が使用される。外因性パラメータの計算方法について、以下、詳述する。 本方法においてカメラの外因性パラメータを得るために使用される単眼的位置 決めは、既知寸法のテスト用対象物の使用、および、カメラによってこのテスト 用対象物を撮影した１枚の像の使用、に基づいて行われる。ある種の公知の決定 方法は、解析的であって、テスト用対象物の参照点すなわちマークの位置をテス ト用対象物の像から決定するために、非線形等式系を解く必要がある。これは、 高速ではあるものの、測定ノイズに敏感であって、多数の識別マークを必要とす る。 他の手段は、反復手段によって構成される。この場合、参照点の位置が評価さ れて、その後、カメラによって記録された像と参照点の評価位置によって得られ た像との間の誤差基準（誤差の大きさ）を最小化するために、参照点の位置が補 正される。このような手法は、精度が高いものであって、測定ノイズにあまり敏 感ではなく、可変数の参照点を使用できる。しかしながら、このような手法は、 収束が極めて遅いという欠点があり、また、第１評価が解に近くなければならず 、そうでなければ、収束が得られないという欠点がある。 参照マークを付帯した対象物の位置を決定するためのインバースデバイス（in verse device）が、DeMen thon氏およびDavis氏によって、International Journ al of Computer Vision，vol．15，p．123-141，1995における“Model-based ob ject pose in 25 lines of code”と題する文献において、開示されている。こ の場合、近似的であって使用が簡単なアルゴリズムによって第１解析評価が得ら れ、その次に、カメラにより撮影された像上に参照点の位置評価を投影しこの投 影に対して近似アルゴリズムを適用するという反復プロセスによって、初期的位 置評価が修正される。これにより、以前のものよりも精度が高められた、参照点 の新たな位置評価が得られる。 ここで提案される位置決め方法は、単眼的光学方法という分類に属するもので あって、上記文献のものに非常に類似した第１位置評価アルゴリズムを使用した 反復解法を使用する。本方法は、従来方法に対して、とりわけ、最終評価アルゴ リズムがより良好であること、および、測定ノイズによって影響を受けにくいこ と、において相違しており、また、像上における参照点の位置決定を改良する特 別のステップを備えている点において、また、像の位置の最終決定における精度 要求を満足させ得るような参照点位置の特性において、相違している。 最終３次元評価アルゴリズムは、像内のマークの痕跡の２次元位置を改良する というステップからくる品質係数を注入した非線形最小２乗法計算を使用して行 われる。この計算は、有利には、数値安定性が単精度（３２ビット）浮遊小数点 演算で確保されるようなカルマンフィルタによって、置き換えることができる。 非線形最小２乗法計算には、倍精度（６４ビット）での演算を必要とし、これは 、すべてのコンピュータハードウェアでは利用することができない。特に、ＤＳ Ｐ（デジタル信号処理プロセッサ）を備えたオンボードシステムでは利用するこ とかできない。 未公開の仏国特許出願明細書第９７ ０２４２６号には、固定されかつ既知位 置とされたカメラの視野内に参照マークを付帯した移動対象物の位置および向き を決定するための、本発明の方法と同様の方法が開示されていることに注意され たい。 図１は、二面角をなしかつカメラ４を向く２つの平面上に複数のマーク３を付 帯したテスト用対象物１を示している。マーク３は、色付きの点あるいは周囲光 を反射する点といったような、小面積のパターンとすることができる。これらパ ターンは、有利には、３個よりも数が多いものであり、かつ、同一平面上にば位 置していないものである。しかしながら、３次元的位置を初期化するという付加 的ステップにおいては、発生するあいまいさを除去することにより、ただ３つだ けの参照マークを使用することができる。これは、本発明の範囲内で取り扱うこ とができる高精度３次元位置応用においては、最終結果に近い良好な値が非常に しばしば得られることがわかっているからであり、このことは、プロセスの初期 化を可能とする。さらに、より良好な精度が要望される場合には、有利には、パ ターン数を増やすことができる。マーク３が、カメラ４に対して所定の不変の向 きであることは本質的ではなく、逆に、マーク３は、検出精度を損なうことなく 、斜めとして存在することができる。このことは、カメラ４の配置に関しての制 約を低減させる。 このような能動的なマークは、好ましくは、当該分野で通常的であるような発 光性マークとすることができる。このような発光性マークは、視認性を高めるこ とができるものの、エッジの判別性が悪い。このことは、後述の位置評価向上ア ルゴリズムによる利益享受を妨害する。 位置決め方法の第１ステップは、カメラ４によって撮影された像上においてマ ーク３の痕跡を探すことである。それは、各々がマーク３のいずれかの痕跡を含 んでいる、いくつかのサブイメージまたは像区画を識別するというステップであ る。図２は、このステップにおいては、先に撮影された校正像９に対しての、カ メラ４による像１０の相関を求めることを示している。マーク３のうちのいずれ かの痕跡が校正像３の参照点領域すなわちサブイメージ１１内に含有されている ことを考慮するならば、位置決めプログラムは、引き続いて、像１０上のｘｙ座 標に関しての識別領域としてサブイメージ１２を形成し、そして、以下の式（１ ）にしてがってサブイメージ１１，１２の点の光強度の相関係数Ｃを計算する。ここで、Ｃovは共分散であり、Ｅは期待値であり、σは光強度の標準偏差である 。Ｍ_oおよびＭ_kは、サブイメージ１１および１２の内容物すなわち光パターンを 示している。この計算は、ｘおよびｙを可変とすることによってサブイメージ１ ２のすべての位置に関して繰り返される。これにより、像１０の相関表が得られ る。各点には、−１〜＋１の数が付与される。ここで、−１は、考慮したｘｙ座 標に関してパターンＭ_oとＭ_kとが負の相関であることを示しており、０は、相関 がないことを示しており、＋１は、完全な相関があることを示している。＋１と いう状況は、サブイメージ１２が参照用サブイメージ１１と同一である場合に現 れる。相関は、相関表を読むことによって、像１０上において、サブイメージ１ １に対して最良の相関を示す場所を正確に拾うよう機能する。よって、像１０内 から、観測対象物のマーク３のいずれかの痕跡１３を含有した所定数のサブイメ ージ１２を識別することができる。複数のマーク３が同一のものである場合には 、複数のサブイメージ１２に対して、ただ１つの参照用サブイメージ１１を準備 するだけで良い。そうでない場合には、１つの参照用サブイメージ１１に対して 、対応した１つのサブイメージ１２が見つけられる。 この方法は、マーク３どうしの間に光量変化があったにしても、あるいは、像 １０と校正像９との間に光量変化があったにしても、マーク３の痕跡を発見でき るという、大いに有利な利点を有している。 しかしながら、この方法をより有効でありかつより信頼性高いものとするため には、いくつかの注意が必要である。実際、これら相関の計算が、時間を要する ものであって高価なものであることを了解する必要がある。この理由のために、 相関計算は、実際、数少ない像において行われ、オリジナルイメージの点（画素 ）の選択数が少数化される。このようにして得られた少なめの相関表から、候補 をなすサブイメージに対応した複数の点が、探しているサブイメージ１２の数よ りも多めに選択される。候補サブイメージは、完全な候補サブイメージ上におい て、すなわち、イメージ数の絞り込みにあたって除外されたすべての点が計算さ れているサブイメージ上において、チェック相関を行うことにより、第２回目の 選択を受ける。最終的に採用された複数のサブイメージ１２は、参照用サブイメ ージ１１に対して最良のチェック相関を有したものである。このような注意点に よって、漂遊光や他の人工物がシステムに誤差をもたらしたりまた実際の痕跡１ ３ではなくてこれらの漂遊光や他の人工物のところに痕跡１３があると錯覚させ たりしかねないような実際の処理条件に付随する誤差発生のリスクを防止するこ とが可能となる。さらに、チェック相関は、各計算のたびごとに、サブイメージ １２を、各候補サブイメージの周辺に構築された所定寸法のウィンドウ１４の領 域内において移動させながら、何回にもわたって計算することができる。サブイ メージ１２の決定のために採用されたウィンドウ１４内において最良の相関を示 す位置が採用されることは、もちろんである。これにより、サブイメージ１２内 において不適切に痕跡１３をセンタリングすることによって痕跡１３の端を切っ てしまうというリスクが、大幅に低減される。 付加的ではあるものの本発明の重要な要素は、サブイメージ１２上におけるマ ーク３の痕跡１３の位置を、精度高く評価することである。提案された方法によ ると、この位置のサブ画素配置を行うことができる。つまり、像のある点の幅よ りも良好な精度でもって配置を行うことができる。よって、安価な低解像度のカ メラ４であっても、満足な位置決め結果を得ることがてき、安価な低解像度のカ メラ４からの像を即座に使用することができる。例えばサブイメージ１２上にお ける痕跡１３の中心位置を計算するために、痕跡１３のサブイメージ１２と、サ ブイメージ１１のような原始イメージと、の間の相関を、ベースとして使用する ことができる。しかしながら、この種の方法は、テスト用対象物１が校正時にお いて像撮影以外の入射角度で観測される場合には、サブイメージ１２上における 像が捻れることから、無効となる。このため、以下の式（２）のような式による サブイメージ１２上における痕跡１３のモデル化が、提案される。 ここで、Ｉはサブイメージ１２上における光強度であり、ａ、ｂ、ｃ、ｄは定数 である。定数ａ、ｂ、ｃは、サブイメージ１２の背景の光強度を評価するために 機能し、定数ｄは、痕跡１３の全体的光強度を評価するために機能する。ｍ_x、 ｍ_yは、痕跡１３の中心の座標を表している。σ_x、σ_yは、サブイメージ１２の 主軸に対して（角度θだけ）傾斜しているかもしれない痕跡１３の主軸の、ｘ方 向およびｙ方向における幅を表している。ｒ_xyは、痕跡の広がりを表している。 数学的な観点からは、ａ、ｂ、ｃは、楕円状２次元部分からなるガウス関数の 平面係数であり、ｄは高さであり、ｍ_x、ｍ_yは平均であり、σ_x、σ_yは標準偏差 であり、ｒ_xyは、相関係数である。図３および図４ば、このことをグラフで表現 している。 このモデル化が、マーク３が移動することの結果としてサブイメージ１２上に おいて痕跡１３が狭まってしまうこと、および、テスト用対象物１が傾いている ことの結果として痕跡１３が捻れてしまうこと、を考慮していることは、理解さ ）とすれば、なすべきことは、式（３）の関数Ｃ_minを最小化することである。 この最小化は、これにより与えられる光強度が測定値に対して最良に一致するよ うに、この関数の変数すなわちモデル化パラメータを変化させることにより行わ れる。これにより、痕跡１３の正確なモデル化が得られる。特に、ｍ_x、ｍ_yの値 から中心を推測することができる。したがって、カメラ４の既知の当初校正を使 用して、カメラ４に対しての、考慮されているサブイメージ１２に関してのマー ク３の方向を推測することができる。 上記において与えられたモデルは、環状のマーク３に対して適切である。しか しながら、単純な形状の他のマークに適するように変更することは、容易である 。 マーク３に対してのカメラ４の位置を決定することが残ったままてある。図５ により、以下の説明を理解することができるであろう。 カメラ４の対象物によって引き起こされた幾何的捻れが、カメラの本来的パラ メータの径方向捻れ因子によって大いに補正されている場合には、あるいは、写 真測量法によってカメラ４の当初校正時に補正されている場合には、マーク３の 中心に位置する点Ｐは、像１０上において対応痕跡１３の中心Ｐ_pを通りかつ焦 点Ｆを通る投影線Ｌ上に、位置している。カメラの参照フレームの軸は、焦点Ｆ を原点として、ｉ、ｊ、ｋで示されている。この場合、軸ｋは、像１０に対して 垂直なものとされている。カメラ４によってとらえられる空間のすべての点は、 焦点Ｆを通る直線によって、像１０上に投影される。このような収束投影法は、 「透視画法」と称される。したがって、テスト用対象物１がカメラ４の視野内の 所定位置を占めるときには、痕跡１３の中心をなす点Ｐ_pを推測することができ る。問題なのは、点Ｐ_pを点Ｐへと変換するような逆投影関係を見つけることで ある。しかしながら、点Ｐの座標からの点Ｐ_pの座標の計算を可能とする投影関 係を逆にすることによって得られる厳密な意味での逆投影関係は、非線形等式系 から構成されていることのために、容易には利用することができないことに注意 されたい。 このため、点Ｐの位置の第１評価に依存することが、推奨される。この第１評 価は、近似的なものてはあるけれども、容易に得ることができて、真の解に向け ての収束方法に適用することができる。採用された原理においては、点Ｐを像１ ０上へと、２段階で投影する。すなわち、まず最初に、像１０がなす平面に対し て平行な中間平面Π上へと直角に投影して点Ｐ’を得、それから、焦点Ｆに向け てこの点Ｐ’を透視的に投影する。これにより、像１０上において、点Ｐ_p’が 得られる。このような疑似投影点は、真の投影点Ｐ_pに近いものとなる。点Ｐの 位置の第１評価は、像１０上における点Ｐ_pに関して、逆投影を行うことによっ て、すなわち上述の疑似投影の逆操作を行うことによって、得られる。これによ り、符号°Ｐで示す点が得られる。 上記原理は、行うべき計算をより正確に記述する必要がある。 テスト用対象物１の状況は、下記の行列（４）に示すような、回転Ｒと並進ｔ とによって表すことができる。これらは、上記のようなビデオカメラ４の参照フ レームから、テスト用対象物１に関連した固定参照フレームへの変化を引き起こ す。 ここで、ｔ_x、ｔ_y、ｔ_zは、カメラ４の参照フレームの軸ｉ、ｊ、ｋにおいて表 現された並進座標である。ｉ、ｊ、ｋは、テスト用対象物１の参照フレーム内で 表現されたカメラ４の参照フレームの基本ベクトルである。 平面Πは、テスト用対象物１の参照フレームの原点０が平面Π上に位置してい るように、選択されている。このことは、焦点Ｆが、平面Πから距離ｔ_zだけ離 間していることを意味している。 テスト用対象物１の参照フレーム内における点Ｐの座標を、°ｘ、°ｙ、°ｚ と が得られる。 これら等式は、以下の式（６）に示すように、テスト用対象物１の点Ｐの数ｎ に対して、一般化することができる。 次なる課題は、Ｉ_nおよびＪ_nの量を計算することである。これらの計算は、以 下の式（８）によって行われる。ここで、行列Ｂは、Ａの疑似逆行列である。すなわち、Ｂ＝（Ａ^TＡ）^-1Ａ^Tであ る。 行列Ｒ、ｔのパラメータｉ、ｊ、ｋおよびｔ_x、ｔ_y、ｔ_zは、単に以下のステ ップを順序通り行うことにより、得ることができる。 −ノルム（norm）ｎ_I＝‖（Ｉ₁，Ｉ₂，Ｉ₃）^T‖、および、ｎ_J＝‖(Ｊ₁，Ｊ₂， Ｊ₃）^T‖の計算。 −平均ノルムｎ＝（ｎ_I＋ｎ_J）／２の計算。 −ｉ＝（Ｉ₁，Ｉ₂，Ｉ₃)^T／ｎ_I、および、ｊ＝（Ｊ₁，Ｊ₂，Ｊ₃）^T／ｎ_Jの計算 。 −ベクトルｉ、ｊのベクトル積を求めることによるｋの計算。 −成分ｔ_z＝１／ｎの計算。 −ｔ_x＝Ｉ₄ｔ_z、および、ｔ_y＝Ｊ₄ｔ_zの計算。 点Ｐの位置評価のための点°Ｐの位置が上記計算によって得られたときには、 点°Ｐの位置は、図５を参照して説明した原理の誤差のために、修正すべきであ る。点°Ｐは、焦点Ｆへと向かう直線に沿って、像１０が乗っている平面上へと この式（９）は、式（５）と同様であるが、式（５）よりも単純である。 テスト用対象物１の配置パラメータの最終評価、すなわち、テスト用対象物１ の参照フレームの位置および向きを与える行列Ｒ、ｔの係数の各値は、像１０上 って得られる。痕跡１３のモデル化によって評価された点Ｐ_pの座標に関する不 確定性が、考慮される（このような不確定性は、予め評価しておくことのできる 係数からなる行列Λによって表現することができる）。言い換えれば、以下の式 （１０）によって与えられる量Ｃ_minを最小化できるように思われる。 像１０上における投影点°Ｐ_pの位置に基づいて点°Ｐが移動するたびごとに 、反復計算が行われる。反復は、投影点が痕跡１３の中心Ｐ_pに向けて十分に収 束するまで行われる。テスト対象物１の位置が固定参照フレーム内において既知 であることから、逆変換を計算することによって、同じ参照フレーム内における ビデオカメラ４の位置を知ることができる。 以下、本発明による位置決め方法の具体的応用について説明する。位置決めカ メラ４は、図６に示すように、車両２１の屋根上に取り付けられたタレット２０ のプラットホーム上に配置することができる。この車両２１は、道路を走行しつ つ、関連する管理やサービスの道路交通標識２８を記録することを意図したもの である、あるいは、市販され始めているような道路案内ソフトウェアプログラム のために使用可能なデータベースを構築することを意図したものである。他の固 定型位置決めカメラ２２が、車両２１の屋根の上に直接的に取り付けられている 。標識２８が様々な寸法や形態であり、また、泥で汚れていたり傾いていたり、 また、部分的に葉や他の障害物で隠されていたり、また、予想外の場所にあった りするものであるにしても、１０センチメートル程度といったような高精度での 標識２８の位置決めと、標識２８の完全な記録すなわち一切の見落としのない標 識２８の記録とが、要求される。したがって、車両２１には、屋根上に、投光器 ２３と位置決めアンテナ２４とが設けられている。また、乗員隔室内には、制御 キャビネット２５が設けられている。成膜キャビネット２５は、コンピュータと 、計算および制御のためのソフトウェアと、ジャイロ式慣性ユニット２６と、少 なくとも１つの走行距離計２７と、を備えている。これら構成要素は、公知のも のであるので、詳細には説明しない。ただ、走行距離計２７は、車両２１の少な くとも１つの車輪の回転を計測するための手段を有することができる。反射性標 識２８を検知するためのカメラ２２または色付き標識を検知するためのカメラ４ と、アンテナ２４と、慣性ユニット２６と、走行距離計２７とは、制御キャビネ ット２５に対して接続されている。 まず最初に、標識２８の検知方法について簡単に説明する。この目的のために は、近赤外あたりの波長に対して敏感なカメラ２２、および、反射性標識を検知 するための投光器２３、および／または、色付き標識を検知するためのカメラ４ が使用される。他の方法が可能であるけれども、カメラ４は、カメラ４による像 が多数の平行測定チェインによって２つの異なる方法で処理されるように、選択 されている。可視スペクトルにおいて撮影された環境の像が、まず最初に、記録 した背景における複数の基本色（赤、緑、および、青）のうちのそれぞれ１つず つを有した３つの像に分離される。標識２８が特定の幾何的形態によって認識さ れ、そのような幾何的形態と、本発明の目的ではないソフトウェアプログラムに よって決定された色とによって、時には標識が付帯している文字を解読すること によって、識別される。他の測定方法として、近赤外光で背景像を同時に撮影す ることができる。投光器２３は、車両２１の前方に向けて、そのような光を投射 する。このことは、他の使用者には見えないという利点がある。このような光は 、標識２８によって、カメラ２２へと向けて、反射される。これは、完全なる記 録を行うための付加的手段をなす。カメラ２２による近赤外における像は、単色 であることにより、処理が容易である。 アンテナ２４は、円形軌道上の衛星ネットワークから位置情報を受け取る。こ の位置情報により、公知方法によって、車両を所望の精度でもって数秒という短 時間で配置することができる。所望の精度を得るために、いわゆる差分ＧＰＳ位 置決め方法が使用される。車両２１の移動距離は、走行距離計２７によって定期 的に測定され、方向変化は、慣性ユニット２６によって測定される。走行距離計 ２７および慣性ユニット２６は、比較的大きなドリフトを受けるけれども、アン テナ２４に関与する衛星の２つの位置の間において実際に現れるための時間を有 してはいない。 よって、走行距離計２７および慣性ユニット２６は、短期的には位置決めに関 して高精度で動作することができ、大きな繰返し速度（５０ヘルツ）で動作する ことができる。これにより、各回ごとにカメラ位置を正確に計算することができ 、障害物に応じたＧＰＳ衛星からの信号損失を補償することができる。 ＧＰＳと慣性とのこのような公知の組合せ技術は、これによる結果も含めて記 録された記録を、後で解析する際に使用することができる。有利には、車両の経 路とデジタルマップ背景とのマッチング技術（マップマッチング）を併用するこ とができる。 したがって、標識２８の位置決めを行うこの方法に固有の不確定性は、本質的 には、地上における車両２１の向きと、車両２１のタレット２０上における位置 決めカメラ４，２２の向きと、に由来する。本発明においては、固定されたテス ト用対象物によってカメラ位置を位置決めするという上記方法を、図７に示すよ うな方法で、適用することができる。ここでは符号１０１で示されているテスト 用対象物は、建物３２の壁に対して取り付けられた一群の反射材３１を備えるこ とができる。建物は、例えば、測定後に車両２１が戻る車庫である。車両２１は 、建物の前方を定期的に通ることとなる。次なる測定のための再度の設定を行う に際しては、車両２１は、建物３２の前でしばらく停止して、車両操作により位 置決めカメラ２２が反射材３１を向くようにする、あるいは、タレット２０を操 作することにより位置決めカメラ４が反射材３１を向くようにするだけで十分で ある。これにより、テスト用対象物１０１の像を撮影することができる。この像 を上記方法によって解析することで、量ｔ、Ｒで表現されるような、位置決めカ メラ４の外因性パラメータを求めることができる。位置決めカメラ４の位置およ び向きは、固定参照フレーム内で決定され、移動工程中のどの瞬間においても既 知のままである。特に標識２８の撮影時においては、タレット２０の回転移動を 測定することにより、慣性ユニット２６によって車両２１の方向変化を測定する ことにより、走行距離計２７および位置決めシステムにより車両移動を測定する ことにより、既知のままである。したがって、所望精度での地上における標識位 置の計算を、確実に行うことができる。本発明の特別の実施形態においては、符 号１０４や２０４で示すような、標識２８を撮影するためのいくつかの他の位置 決めカメラが、同じタレット２０上にあるいは可能であれば近隣の同様のタレッ ト上に、配置されている。これら付加的なカメラ１０４，２０４は、テスト用対 象物１０１に対して、同時に位置決めされる。 実際、カメラのセットは、広い視野を有しており、異なるカメラでもって連続 的に撮影された像２８により標識２８を観測することができる。このことは、す べてのカメラを搭載しているタレット２０を、よりゆっくりと回転させることを 可能とする、あるいは、回転させずにそのままの状態を維持させることができる 。さらに、本発明は、全体的に、タレット２０無しで実施することができる。そ の場合、１つまたは複数のカメラは、車両２１といった移動支持体に対して直接 的に取り付けられる。 標識２８の位置決めは、この特別の位置決め方法に関する説明を参照すること ができる仏国特許出願明細書第９６ ０６７４９号における方法以外にも、いく つもの公知方法によって行うことができる。いくつかの方法は、Faugeras氏によ る“Three dimensional computer vision．A geometric viewpoint"）(The MIT Press，1993)、Kraus氏による“Photogrammetry Fundamentals and standard pr ocess"(Bonn，Fred．Dummler Verlag，1993，4th edition)、あるいは、Zhang氏 およびFaugeras氏による“3D dynamic scene analysis:a stereo based approac h"(Springer-Verlag，1992)、に開示されている。対象物が既知の相対配置でも って複数のマークを付帯している場合には、マーク位置は、テスト用対象物に対 して使用した位置決め方法をその対象物に対して適用することによっても、計算 することができる。 同じ位置決め原理に基づいた他の応用について、図８を参照して説明する。遠 隔操作デバイス４０は、操作者４１によって制御される。操作者は、閉塞チャン バ３９内における放射性等のような危険な環境から操作者を隔離する厚い保護壁 ４２の向こう側に、位置している。操作者は、厚い窓ガラス４３を通して、わず かの領域しか見ることができない。したがって、遠隔操作デバイス４０のアーム の操作部材４４を、所望位置へと配置することが、困難である。しかしながら、 上記と同一のカメラ４が遠隔操作デバイス上において操作部材４４近傍に取り付 けられていて、そのため、標識２８に対して行われた像解析と同様の像解析によ って、操作部材４４近傍の周囲状況の３次元的像が得られている場合には、テス ト用対象物２０１の像を撮影することによって、定期的にカメラ４の位置決めを 行うことができる。この場合、テスト用対象物２０１には、上記テスト用対象物 １と同様に、少なくとも４つの円形マーク３が、共通平面内に突出することなく 、壁上にペイントされている。そして、カメラ４による像解析により、環境内に おける部材の位置を知ることができる。これにより、試行錯誤を繰り返すことな く、操作部材４４の移動制御を行って、操作部材４４を所望位置へと導くことが できる。操作部材４４は、チャンバ３９の隅であっても、対象物を把持するとか 、それを他の場所に置くとか、あるいは、溶接されるべく隣接配置されたプレー トどうしの溶接箇所へと正確に溶接トーチを配置して保持するとか、いった作業 を正確に行うことができる。そのような遠隔操作デバイス４０の端部に配置され たカメラ４は、カメラをすぐに損傷してしまうような劣悪環境のために、頻繁に 交換しなければならないこと、また、交換のたびごとにカメラが異なる位置に取 り付けられることが、遠隔操作デバイス４０の学習を複雑化してしまうこと、に は注意が必要である。したがって、テスト用対象物２０１の位置決めは、カメラ ４が交換されるたびごとに行われる。 カメラ位置を決めるという原理の他の応用は、移動ヘッド上に搭載された複数 のカメラのそれぞれの位置を校正することに利用することができる。このことは 、自動車検査センターにおける車両形状（車輪配置）のチェックに関連している （図９参照）。検査に際しては、検査されるべき車両５５の車輪５６に対して、 反射性マーク５７を備えたプレート５４を取り付ける。そして、２つのカメラ５ １，５２を、車両の後方側において両サイドに配置する。各カメラの視野内に位 置するようにプレートを３次元的に配置することにより、各車輪５６のカメラ５ １，５２に対しての角度状態を正確に決定することができる。したがって、車両 の一方サイドにおける２つの車輪５６どうしが平行であるかどうかを決定するこ とができる。というのは、両チェックプレートが、参照フレームをもたらす同一 カメラ５１または５２の視野内に入っているからである。 互いに反対サイドにおいて同軸配置されている２つの車輪の配向をチェックす るためには、２つのカメラ間の参照フレーム関係を正確に知る必要がある。１つ の手段としては、２つのカメラ５１，５２を横方向支持体に対して堅固に固定し 、そして、本発明による技術を使用して両カメラ５１，５２の位置を校正するこ とである。各カメラの位置を知るために、２つのカメラの視野内に、マーク付き のテスト用対象物を配置する必要がある。参照フレーム内のテスト用対象物の相 違によって、２つのカメラ５１，５２の間の位置関係を知ることができる。 このような車両形状チェック装置は、堅固でありかつ安定な機械的設置を必要 とする。これは設置が重く、かさばることとなる。 有利には、図９の装置においては、２つのカメラ５１，５２は、車両の両サイ ドにおいて、共に軽量でありかつ互いに個別とされている支持体６０（三脚）上 に、設置することができる。カメラ５２には、マーク５８付きのプレート５９が 設けられている。このプレート５９は、カメラ５１を向く側に設けられている。 第３のカメラ５３が、カメラ５２を向いた状態で、カメラ５１の支持体に対して 堅固に固定されている。 カメラ５３によって撮影されたプレート５９の像を解析するといった、本発明 の技術を使用すれば、プレート５９に対してのカメラ５３の実際の位置を連続的 に（位置決め測定のたびごとに）知ることがてきる。カメラ５３を搭載したカメ ラ５１と、マーク５８付きのプレート５９を付帯したカメラ５２という、２つの 構成要素は、これらの所定幾何パラメータを知るために、他のカメラを搭載した 測定ベンチと関連したテスト用対象物とを使用して、予め工場内で校正される。 よって、このような軽量装置を使用して、検査ステーションにおいてリアルタ イムで車両の４つの車輪の配置状況をチェックするために必要な、カメラ５１と カメラ５２との間における参照フレーム変換関係を、知ることができる。このこ とは、操作者が三脚６０の配置を、厳密な位置決めをせず、いい加減に（近似的 に）行った場合であっても、問題なく可能である。 校正カメラ５３によって撮影された像の使用は、上記と同様にして行われ、カ メラ５１，５２の相対位置および相対的な向きを決定することができる。 このような方法は、単一のかつ同一の対象物を観測するためのまたは単一のか つ同一の対象物内の複数の隣接部分を観測するためのまたは単一のかつ同一の空 間内の複数の隣接部分を観測するための、いくつかのカメラと、これらカメラを 隣接配置して対象物を観測したり被観測空間の特性を決定したりするために、互 いに相関づけられる複数の視野と、を備えた任意のシステムに対して、一般化す ることができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 レトゥリエー，ローラン フランス国 92260 フォントネ オ ロ ーズ リュ オーギュスト エルヌール ７ (72)発明者 ヴィアラ，マルク フランス国 78280 ギヤンクール クロ アルフォンス ドーデ ６

Claims (1)

1. 【特許請求の範囲】 １．環境内の移動支持体（２１，４０）上に配置されたカメラ（４，２２）の初 期位置および向きを校正するための方法であって、 前記環境内に、既知の位置および向きでもってテスト用対象物（１，１０１， ２０１）を配置し； 前記カメラによって前記テスト用対象物の像を撮影し； 前記テスト用対象物の特性マーク（３）の、前記像上における痕跡の位置（Ｐ_p ）を認識し、前記特性マークと前記カメラとの間の向きおよび距離を決定し、 これにより、前記テスト用対象物に対しての前記カメラの位置および向きを決定 するというようにして、処理システムでもって前記テスト用対象物の像を解析す ることを特徴とする方法。 ２．環境内の移動支持体（６０）上に配置された第１カメラ（５１）の、第２カ メラ（５２）に対しての、初期位置および向きを校正するための方法であって、 前記第１カメラに、校正用カメラ（５３）を付設するとともに、前記第２カメ ラに、既知の位置および向きでもってテスト用対象物（５８）を付設し； 前記校正用カメラによって前記テスト用対象物の像を撮影し； 前記テスト用対象物の特性マーク（３）の、前記像上における痕跡の位置（Ｐ_p ）を認識し、前記特性マークと前記校正用カメラとの間の向きおよび距離を決 定し、前記テスト用対象物に対しての前記校正用カメラ（５３）の位置および向 きを決定し、これにより、前記第２カメラ（５２）に対しての前記第１カメラ（ ５１）の位置および向きを決定するというようにして、処理システムでもって前 記テスト用対象物の像を解析することを特徴とする方法。 ３．請求項１または２記載の方法において、 前記テスト用対象物に、校正されるべきカメラの視野内において、少なくとも ３つのマークを設ける、有利には、４つ以上のマークを設けることを特徴とする 方法。 ４．請求項１〜３のいずれかに記載の方法において、 前記テスト用対象物に対しての、前記校正用カメラの位置および向きを、前記 テスト用対象物に関連した参照フレームに対しての、校正されるべきカメラの位 置（ｔ）および向き（Ｒ）という形態で決定することを特徴とする方法。 ５．請求項１〜４のいずれかに記載の方法において、 まず最初に、前記テスト用対象物の前記特性マーク（３）の痕跡の中心を、前 記テスト用対象物の参照フレームの原点を通りかつ前記像が乗っている平面に対 して平行な平行平面（Π）に対して、単一焦点（Ｆ）へと向かう収束線に沿って 、逆投影し、次に、前記平行平面に対して垂直な向きに空間内へと投影を行うこ とにより、逆投影点（°Ｐ）を獲得し、その後、該逆投影点（°Ｐ）を、前記焦 点（Ｆ）へと向かう収束線に沿って、前記像（１０）が乗っている平面上へと投 影することにより、投影点（°Ｐ_p）を獲得し、前記特性マーク（３）の痕跡の 中心（Ｐ_p）と前記投影点（ＯＰ_p）との間の誤差評価基準を最小化するように、 前記逆投影点の位置を修正し、前記逆投影点の獲得操作および前記逆投影点位置 の修正操作を繰り返すことにより、前記特性マークと前記校正用カメラ（４，２ ２）との間の位置および向きの決定を行うことを特徴とする方法。 ６．移動支持体（２１，４０）上に配置されたカメラ（４，２２）によって、固 定対象物（２８）の３次元的位置測定を行うための方法であって、 請求項１記載の校正方法を適用した後に、 移動状況を測定しつつ前記支持体（２１，４０）を前記対象物（２８）に向け て移動させ； 前記支持体の移動途中に前記カメラによって前記対象物の像を撮影し； 処理システムによって前記対象物の前記像を解析することにより、前記対象物 （２８）と前記カメラ（４）との間の方向および距離を決定し； 前記対象物と前記カメラとの間の前記方向および前記距離と、前記支持体の前 記移動状況と、を使用して、前記対象物の位置を計算することを特徴とする方法 。 ７．請求項６記載の方法において、 前記支持体上に、互いに異なる観測方向を有した複数のカメラ（４，１０４， ２０４）を配置し、 前記カメラの各々によって、テスト用対象物の像を撮影し、 各カメラの相対的な位置および向きを決定し、 それぞれのカメラでもって、前記対象物の複数の像を撮影し、 前記対象物の像を解析し、 前記相対的な位置および向きを使用して、前記対象物と前記カメラとの間の方 向および距離を決定し、前記対象物の位置を計算することを特徴とする方法。 ８．請求項６または７記載の方法の応用であって、 各道路交通標識（２８）を前記対象物として、環境としての道路ネットワーク 上において、衛星位置決めシステム（２４，２５）と慣性方向検知システム（２ ６）とを備えてなる、前記移動支持体としての車両（２１）によって、道路交通 標識（２８）の記録に対して応用することを特徴とする応用。 ９．請求項６または７記載の方法の応用であって、 前記カメラ（４）の前記支持体としての遠隔操作アームによって、遠隔操作に 対して応用することを特徴とする応用。 １０．請求項２記載の方法の応用であって、 単一空間内に配置された複数のカメラによる複数の部分的視野から、前記単一 空間の内容物を観測することに対して応用することを特徴とする応用。