JP2000517452A

JP2000517452A - 視認の方法

Info

Publication number: JP2000517452A
Application number: JP10548215A
Authority: JP
Inventors: ベアティ，デビッド，アンドリュー
Original assignee: シェルオイルカンパニー
Priority date: 1997-05-05
Filing date: 1998-04-30
Publication date: 2000-12-26
Also published as: US6094501A; AU7171698A; WO1998050878A1; CA2259411A1; EP0910833A1

Abstract

(57)【要約】物品の位置および方向を識別する方法を提供する。この方法には、次の段階が含まれている。すなわち、カメラに対し既知の位置および方向を有する物品を介して、物品の画像を得る段階と、物品の画像から、ＸおよびＹテンプレートエッジマトリックスを造出する段階と、各組が、異なる方向の物品の有するＸおよびＹテンプレートエッジマトリックスである複数組の修正テンプレートエッジマトリックスを造出する段階と、画素のマトリックスである、物品を含むデジタル可視画像を捕捉する段階と、画素のマトリックスから、ＸおよびＹ物品エッジマトリックスを造出する段階と、複数組の修正テンプレートエッジマトリックスと、ＸおよびＹ物品エッジマトリックスとのそれぞれの間の差を、物品エッジマトリックス境界内の複数位置に配置された修正エッジマトリックスによって定量化する段階と、物品の位置および方向を、修正テンプレートエッジマトリックスと、ＸおよびＹ物品エッジマトリックスとの差の定量化された最小値を用いて、ＸおよびＹ物品エッジマトリックスの境界内の位置にある修正テンプレートエッジマトリックス組により表される物品の方向として識別する段階とが含まれている。その場合、複数の画像が得られ、既知および未知の位置双方の物品の３次元画像が造出される。これらの３次元画像は、物品の初期照合に用いられるか、または物品の位置および方向を、２次元画像の照合から検出された物品によって検証するのに用いられる。

Description

【発明の詳細な説明】視認の方法技術分野本発明は、視界内の既知の物品の位置および方向を識別する方法に関するものである。背景技術米国特許第５３７９３５３号の提案になる微分解析回路では、可動ロボット用の進路等の物体を識別するため、エッジベクトル(edge vectors)を識別する段階が利用される。ビデオカメラが捕捉するデジタル画像は、各横列の画素に沿った、そしてまたおそらくは各縦列の画素に沿った輝度差の発生を含むアルゴリズムを用いて処理される。輝度差の絶対値は画像の変化を表し、閾値を超える差は進路に対する可能なエッジと確認される。米国特許第５３８１１５５号で提案された速度検出システムは、固定されたカメラの視界内を移動する車両を識別し、車両速度を測定し、車両の登録番号を識別する。市販のシステムは、捕捉した画像内のナンバープレートを識別し、次いで登録番号内の番号と文字とを読取ることが可能といわれている。米国特許第５３８１４８９号は、媒体上の文字を認知するシステムを提案している。このシステムは、媒体から可能な文宇の窓を造り、その窓を、１組のテンプレート内の各テンプレートと比較する。文字を識別するたびに、テンプレートの組全体を選抜(screen)せねばならない。テンプレートは、ドキュメントから予め認知された文字に基づいて発生させる。その場合、初期認知には、異なる文字特徴との、より厳密な比較が要求される。視認が直面する問題は、特に物品の、カメラの視界内での位置および方向を認知することであり、その場合、その物品は、可能な物品のライブラリにもとづいて既に識別済みの比較的少数の可能な物品の１つであればよい。しかし、こうした認知は、明りの条件や影の状態がさまざまである可能性があるため、困難である。また、通常、所望の視認設備の現場で利用可能なコンピュータのデータ記憶量は、限られている。したがって、異なる物品の異なる方向および尺度(scale) のテンプレートを、初期に発生させ、記憶させることは、概してできない。視認の場合のこのような問題は、視認が、車両の識別手段または自動式燃料補給システム内での車両の向きの検出手段として利用される場合に、発生する。例えば、米国特許第３５２７２６８号の提案によれば、自動式燃料補給システム内の車両が、完全自動式に自動車のシルエットを検出する光電装置を介して識別できる。しかし、これをどのように行うかは提案されていない。したがって、本発明の目的は、物品の位置および方向を識別する方法を得ることにあり、しかも、その方法は、さまざまな自然光および人工照明の条件下で物品の位置および方向を識別でき、かつまた多数のテンプレートをデジタル式に記憶させることを要さないものである。発明の開示本発明の前記目的およびその他の目的は、物品の位置および方向を識別する方法によって達せられ、その方法には、次の段階が含まれている：すなわち、カメラに対する既知の位置および方向を有する物品により、物品の画像を得る段階と、その物品の画像からＸおよびＹのテンプレートエッジマトリックスを造出する段階と、各組が、異なる方向の物品を含むＸおよびＹのテンプレートエッジマトリックスである複数組の修正テンプレートエッジマトリックスを造出する段階と、物品を含む可視デジタル画像、それも画素のマトリックスであるデジタル画像を捕捉する段階と、画素のマトリックスからＸおよびＹの物品エッジマトリックスを造出する段階と、複数組みの修正テンプレートエッジマトリックスと、ＸおよびＹの物品エッジマトリックスとのそれぞれの間の差を、物品エッジマトリックスの境界内の複数位置に配置された修正テンプレートエッジマトリックスにより定量化する段階と、物品の位置および方向を、修正テンプレートエッジマトリックスとＸおよびＹの物品エッジマトリックスとのあいだの定量化された最小差をもって、ＸおよびＹの物品エッジマトリックスの境界内の位置で、修正テンプレートエッジマトリックス組によって表される物品の方向と同定する段階とが含まれている。その場合、複数の画像が得られ、かつ物品の３次元画像が、既知と未知の双方の位置で造出される。３次元画像は、物品の初期照合に用いられるか、または物品の位置および方向とを２次元画像の照合により検出された物品によって検証するのに用いられる。この方法は、自動式燃料補給用の区画内での車両の位置および方向の識別に容易に適用できる。車両の種類や型は、別の手段、例えば運転者の手動入力、磁気ストリップまたは光学ストリップ、車両に配置されている受動式または能動式トランスポンダ（transponder／応答機）のいずれかによって識別できる。識別された種類および型式、または少数の可能性の１つ（例えば１つ以上のトランスポンダ信号が受信されている場合）に限定される種類および型式により、基本テンプレートがメモリから検索できる。基本テンプレートは、カメラに対して既知の位置に所在する車両と、ＸおよびＹのエッジマトリックスの発生により処理される画像とを用いて、車両の既知の種類および型式の可視デジタル画像にもとづいて用意できる。車両の種類と型式が識別された後、一連の修正テンプレートが、初期方向から異なる種々の角度へのテンプレートエッジマトリックスの旋回および／またはカメラからの種々の距離を表すようにしたマトリックスの尺度化(sca ling)により、検索されたテンプレートから造出される。したがって、各車両用のデータベースに記憶させる必要があるのは、１組の基本テンプレート（または１組のＸおよびＹエッジマトリックステンプレート）のみである。燃料補給設備内の車両を含む捕捉された可視画像は、その場合、物品のエッジマトリックスを発生させるように処理され、修正テンプレートと比較されることができ、各修正テンプレートは、物品エッジマトリックス内の種々の位置での物品エッジマトリックスと比較される。好ましくは、テンプレートのマスクを用意することによって、物品の周囲区域ではなく、物品の輪郭線および／または内側エッジのみが実際の物品ェッジマトリックスと比較される。マスクにより、また物品の期待寸法が得られる結果、物品が適合するであろう物品エッジマトリックス内の複数位置のみが、物品のために探索され、物品は、視界のエッジに比較的近い位置と同定され得る。ＸおよびＹのエッジテンプレートマトリックスを、ＸおよびＹの物品エッジマトリックスと別個に比較することにより、方法の強靭さが著しく改善され、その結果、物品を見る上での部分的障害や、汚れ、木の葉、草、放置された環境に存在し得るその他の物による部分的な遮蔽を伴う様々な明かりの条件下で迅速に信頼のおける適合が見いだされる。発明の詳細な説明本発明の実施に当たり、既知の位置および方向での物品の可視画像を捕捉するには、通常、カメラが使用される。デジタル画像は、市販のフレームグラバ(fra megrabber)・ハードウェアおよび関連のソフトウェア・パッケージの１つを用いて捕捉できる。デジタル画像は、画素のマトリックスであり、画素のそれぞれは、輝度に線形に対応する数を有している。カラー画像の利用は可能だが、その場合、画像は、３つのマトリックス、すなわち赤、緑、青に各１つのマトリックスによって表される。通常、本発明の実施には、約２５６×２４０画素の画像が好ましい。なぜなら、解像成績はこの画素数で十分であり、かつこの画素数は比較的安価なビデオカメラの容量範囲内だからである。ビデオカメラは、２５６×２４０のマトリックスの約２倍の解像度の画像を発生可能である。その場合、その画像は、隣接画素の平均化により縮小でき、４つの画素のブロックを平均化することで２分の１の高さと２分に１の幅を有する画素のマトリックスが造出される。ＳＮ比は、２つ以上の連続画像を平均化することで増すことができる。エッジマトリックスは、カメラに対する既知の位置および方向の物品を含む画像と、位置および方向の検出を要する物品を含む画像との双方から、次のような演算子を適用することにより発生させることができる：およびより好ましいエッジ演算子では合成核が利用され、この合成核は長いエッジに有利であり、例えば、水平のエッジマトリックスの場合には、ととの間で最小値を選択する演算子が利用され、また垂直のエッジマトリックスの場合は、およびを最小値とする。これらの演算子から分かるように、各演算子は、要素が合計されてゼロとなるマトリックスを生じさせる。結果的に得られるこれらのマトリックスの要素の絶対値は、ｘ軸とｙ軸それぞれに沿った輝度の変化を示す。エッジの大きさの利用は、物品の色彩および照明の向きに見かけの不変量(apperance i nvariant)を与える助けとなる。これらのエッジマトリックスは、したがって物品の照明または色彩の有意差にもかかわらず、テンプレートと比較し得る画像を生じさせる（本発明の実施に当たっては、色彩も同様に識別できよう）。これら２つの演算子の結果は、合計されて１つのエッジベクトルマトリックスが得られるが、本発明の実際では、２つの演算子が、比較のために組み合わされないことが重要である。２つを組み合わせないことにより、アルゴリズムの強靭さ、つまり物品が汚れによる遮蔽、部分的な影、照明条件の変化にさらされた場合に、外形を識別するアルゴリズムの性能が、著しく増大する。マスクは、好ましくは、既知の位置および方向を有する物品のエッジマトリックスの画像上に配置されるので、物品の既知の輪郭線のみが考慮に入れられる。マスクを配置された区域は、「注意不要」（“Don't care”）区域と呼ばれる。なぜなら、これらの区域のエッジデータは、物品の位置および方向を識別せねばならない物品エッジマトリックスに、既知位置の物品エッジマトリックスを適合させる場合、無視されるからである。マスクの寸法は、また物品を含む画像内の複数位置の限界を画定することができ、これら限界は物品の画像を含むことができよう。例えば、マスクが、２５６ ×２４０画素の画像内で５０×５０画素であるとすれば、画像内に物品全体が所在する場合には、中央の２０６×１９０画素内の位置のみがマスクの中央になり得る。カラー画像を用いる場合、エッジマトリックスは、好ましく各色彩ごとに発生せしめられ、その場合、３つのエッジマトリックスを組合わせて、１つのＸまたはＹエッジマトリックスを形成するのが好ましい。この組合わせは、３つのエッジマトリックスの絶対値を合計（かつ合計値を３で除）するか、３つの中のエッジマトリックスの最大値を選択するか、平均値を計算するか、エッジマトリックスの対応要素の平方の合計の平方根を得るかのいずれかによって、可能になる。また、例えば前記方法の１つにより、３色のうちの２色を考慮に入れることも可能である。カラー画像の利用により、画像から、より多くのエッジ情報を引き出すことを条件として、テンプレートへの適合が改善される。例えば、色彩間のインタフェースでのエッジ画像は、そのインタフェースが類似輝度を有する表面間であっても、識別できる。カラー画像を利用ことにより、カメラのコストが高くなり、３組の画像を利用するのに要するデータ処理量が増加するが、適用が難しいため、追加出費に十分な理由が認められる場合は、カラー画像の利用が好ましい。本発明の方法の信頼性は、ステレオ画像化の利用により改善できる。本発明によるステレオ画像化は、多数のカメラを用いるか、またはカメラを置き換えて多数の角度から画像を捉えるかして可能になる。ステレオ画像化用の画像を捉えるには、３個のカメラをＬ字形に配置するのが好都合である。ステレオ画像化は、双方の画像内の小区域を整合させ、２つの画像内の区域整合位置間の不一致、または方向の相違に基づくその区域までの奥行きを、３角測量することにより得られる。比較される区域が、小さいか、または画像を比較される２個のカメラの間の基線の方向にテクスチュアを有する場合は、いくつかの箇所で別の画像を容易に整合させることができるが、正しい整合はそれらの箇所のうち１つだけである。したがって、２個だけのカメラの使用は、好ましくない。画像の全部が適切なテクスチュアを有するわけではないので、画像全体に対して造られる奥行きマップはまばらであり、また不完全である。２つの基線を用いることによって、他の場合に得られるよりは、まばらでない奥行きマップが得られる。したがって、３個のカメラ、または３カ所からの画像を用いるのが好ましい。３つの画像を用いても、マップは比較的まばらだが、本発明の目的には適当である。本発明の実施にあたり、ステレオ画像が、探索を要する画像から地表近くのエッジを削除するのに利用できる。地上の影と泥のはね返りは、それにより除去されるため、誤った整合が減少する。本発明の一実施例では、２次元画像とテンプレートとの間の整合が得られた後、ステレオ画像化が利用でき、このステレオ画像化は、最終的な整合により、物品の３次元画像が合致することを検証するために使用される。ステレオ画像化によるこの検証は、２つの利点を有している。第１は、付加的なチェックがなされることで、誤った整合が生じない保証が得られることである。第２は、検証により誤った整合が防止されるため、初期探索で求められる整合水準を低くできることである。したがって、最終適合の信頼性を、適合が見いだされる機会が増大するとともに、増大させることができる。例えば０から１０までの、いくつかの画素が不同（不等）の場合、２乗された不同（不等）画像Ｓは、次式により造出できる：Ｓ_x,y＝（Ｃ_x,y−Ｘ_x-d,y）² この式において、Ｃは中央の画素、Ｘはｄ画素により置換された画像である。Ｓは、その場合、次の核で濾過でき、Ｆが得られる：不同マップＤは、その場合、各画素ごとに、どの不同が、その画素での最低値を備えたＦ画像を有するかを見出すことで造出される。その画素でのＤの値は、その場合、不同数を当てがわれる。その場合、以下の核がＣ画像に適用されることで、妥当性の確認マップＶが得られる：この確認マップＶは、構成可能のパラメータに基づいて閾値化でき、不同マップＤ用の確認マスクとして使用でき、部分的な奥行きマップが得られる。Ｙ変位位置から得られた画像は、また同じ方法によって、前述したＸ変位カメラと考えることができ、前述した合成核のすべてにおいて、Ｘ軸とＹ軸とが逆になる。いまや最終奥行きマップの各画素に対し、不同値が決定され、それにより、確認マップが最高値を有することになる。Ｘ確認マップが最高値を有する場合、Ｘ不同マップ値は、その画素に用いられる。確認マップ値もテクスチュア閾値を超えない場合、最終奥行きマップには、０値が当てがわれる。これは、奥行き情報がその画素では利用不可能であることを示すものである。テンプレートとの２次元の整合が得られた後、物品の位置の妥当性の確認に、ステレオ画像化を利用するのが望ましい場合、その確認は、画像を、移動した位置から得られた画像と比較するよりは、既知の物品形状に基づいて、移動した位置からの画像が示すであろう形状を予測することによって行うことができる。４つの象限は、例えば各エッジのためのターゲット平面間の異なる距離により（パララックスの不同により）予想位置が相違するため、別個に相関しているのが好ましい。この相関は、未処理画像の正規化された相関、例えばＸおよびＸ'を用いて次式により行うことができる：妥当な象限のそれぞれからのこの相関の幾何的平均に基づき、最終整合は妥当とされるか、拒絶されることが可能である。物品の画像は、例えば隣接画素の平均化によって縮小できる。したがって、初期位置および方向の推定値を求めるため、修正テンプレートを物品エッジマトリックスと比較するための少数の画素を含む画像が造られる。例えば、２５６×２４０画素のマトリックスは、２つの連続的な平均化と２段抽出との操作により６０×６０画素のマトリックスに縮小できる。縮小されたマトリックスは、より迅速に比較でき、その場合、縮小されたマトリックスの適合は、より大きいマトリックスに対する適合を求める場合の開始点として利用できる。概して、より高い解像度で比較される必要があるのは、縮小されたマトリックスの最良の適合結果に平均化された画素のうちの少数の画素（１〜３）の内部の位置だけである。マトリックスの縮小により、テンプレートエッジマトリックスと物品エッジマトリックスとの比較に要する計算時間を有意に短縮できる。勧められるのは２つの縮小であり、これらはそれぞれ、１つの線形縮小ごとに２つである。したがって、考慮に入れるべき情報量は、各縮小により４倍縮小される。縮小を組合わせることにより、情報量は１６倍縮小される。さらにテンプレートを用意せねばならないパラメータのそれぞれは、より低い解像度となり、その結果、旋回テンプレートの組は、より少数となり、物品エッジマトリックスの視界内の位置は、より少数となる。縮小されたマトリックス内の初期探索は、したがって、物品エッジマトリックスが原水準で探索される場合より、２桁または３けた短い時間で実施可能である。画像により探索されるべき物品が既知である場合、その物品のテンプレートは、好ましくは、マスクを有する２エッジマトリックスとして、１つのデータベースから選択できる。テンプレートは、その場合、複数の方向の物品を表すように修正できる。方向設定により、物品の２次元画像は、カメラの視界の軸線のまわりに旋回され、物品の斜めの眺めへと旋回し、かつ／またはカメラからの距離の変化を表すように尺度化される。例えば２度から３度へ旋回の増加は、十分な数の方向を得るのに利用され、そのうちの１つの方向が、特定方向の物品に対し明らかに最上の適合を有することになる。例えば、頭上のカメラで自動燃料補給システムの区画内での車両の位置を確認する等の用途の場合、予想される方向を予知でき（大半の運転者は比較的直線的である）、また実際の方向が、予想した方向から一定の変化範囲（例えばプラスマイナス２０度）を超えないことが予知できる。したがって、修正テンプレートエッジマトリックスは、限られた数だけ造りさえすればよい。しかし、車両の種類や型式が確認された後にこれらの修正テンプレートを造出することによって、テンプレートマトリックスの記憶に要するコンピュータ記憶量がかなり減少する。ビデオカメラの２次元視界の平面に対し実質的に直角の軸線を中心とするテンプレートマトリックスの旋回（つまり、新しい方向への画像の「転換」）は、周知の方法により、容易に達成できる。この転換は、好ましくは、画素の原マトリックス内の箇所（ポイント）を計算することによって行うのが好ましい。転換されたマトリックス内の各画素は、変換されたマトリックスからの画素の中心を取囲む原マトリックスの４画素が、変換されたマトリックスの画素のための値を補間するのに利用され得るように、位置することになろう。また、これらの補間を行う方法は周知である。テンプレートは、また、カメラから異なる間隔で位置する物品を表すように尺度化された画像で造出できよう。この尺度化は、カメラの視界の中心点からの寸法を、カメラからの距離に逆比例するように変化させることで達せられる。この尺度化は、好ましくは、有効ピンホールからの距離に基づいて行われる。この場合、有効ピンホールとは、カメラにより透視図が形成されるさい利用される点と定義される。この有効ピンホールは、したがって、カメラのレンズの僅かに背方に位置することになろう。より難しい問題は、物品または輪郭を含む平面に対し直角の平面とはかなり異なる角度で見た場合に、既知の物品または輪郭の位置と方向とを識別することである。例えば、燃料補給設備上に配置されたカメラは、ガソリンノズルのカバーリッドの平面に対し直角方向を向いたカメラを用いてカバーリッドを観察することが許されない位置から、カバーリッドの位置を突き止める必要があるかもしれない。長方形のカバーリッドは、したがってカメラからは長方形には見えない。長方形形状の歪みは、カメラの視界の中心線（光軸として知られる）に対するカバーリッドの角度と相対位置とに依存するだろう。幾何的な歪みは、画像の物品が平面的な画像によって推定できるならば、光軸に対し直角でない画像から除去することができる。物品の平面的な画像の垂線からの光軸の角度が既知の場合（すなわち画像で物品を探索する場合）、幾何的な歪みは除去でき、探索されるべき画像内の物品の垂直の眺めへの転換を表す画像が得られる。同じように、光軸がテンプレート平面に対し直角でない場合に、テンプレートが造出されるさい、幾何的歪みは、前記転換によってテンプレートから除去できる。光軸に対して直角の平面からの角度が、探索されるべき画像にとって未知の場合、その角度は、別の探索パラメータとなり得る。垂直の眺めへのそのような転換は、カメラの視界の限界内にターゲットが残ると仮定すれば、該転換が光軸と物品をほぼ含む平面の法線との間の特定の角度のための転換であることによって、カメラと平面との間の変位とは無関係に、簡単化される。本発明の実施に当たっての好ましい転換方法では、物品画像マトリックスからの画素を、転換された画像内に配置するよりは、転換されたマトリックスから画素の位置を得て、物品画像マトリックス内でその画素の位置を計算することになろう。補間は、その場合、逆転換されたマトリックスの画素の位置を取囲む物品画像マトリックスの４つの画素値を用いて行われ、転換された画像内の画素の値が決定される。物品の法平面が画像のＸ軸に対し直角である場合、次の方程式により、物品画像上の転換画像から画素の位置を得ることができる：およびこの式において、ａ＝ｓｉｎ（θ）（１２）ｂ＝ｃｏｓ（θ）（１３）であり、 ρ_xはＰ_oに対する実際の物品画像平面ｘ位置の比、 ρ_yはＰ_oに対する実際の物品画像平面ｙ位置の比、Ｐ_oは有効ピンホールから実際の物品までの直角の距離、Ｐ'_oは変換画像平面から有効ピンホール間での距離、Ｐ_zcは実際の画像内での、カメラ位置に対する変換画像のカメラの鉛直変位、 σ_yは変換画像内のｙ座標の値、 σ_xは変換画像内のｗ座標の値、 θはカメラに対する法平面の下向きピッチ角である。最大約５０度のθの場合、次の比を用いて、原画像の大部分を変換画像に適合させることができる：およびこの式において、Ｐ_y1は、原画像の鉛直高さの２分の１である。修正テンプレートは、旋回とカメラからの距離変化とにより造出できるが、そうした複数の旋回と変化の結果、過剰の数の修正テンプレートが生じる。したがって、探索は、本発明の実際においては、可能な旋回、尺度化、角度を有する視認のうち１変数について行うのが好ましい。カメラの視界と直角の平面内での旋回に対する物品の方向が、既知の方向を有する物品の方向の約２０度以内と予想される場合には、テンプレートのＸおよびＹエッジ画像は、修正テンプレートエッジ画像と物品エッジ画像とを比較する前に修正エッジテンプレート画像を形成するために個別に簡単に旋回させることができる。約２０度以上の旋回が可能な場合は、新しい組のエッジ画像を、原エッジ画像の組合わせに基づいて造出するのが好ましい。ＸおよびＹのエッジ画像値は、共に、角度（逆正接(Ｙ／Ｘ)）と大きさ（(Ｘ²＋Ｙ²)^1/2）とを有するエッジベクトルを表している。この角度は、テンプレートと計算された新たなＸおよびＹの要素との旋回角度だけ旋回できる。通常、ＸおよびＹの要素の絶対値のみが記憶され、したがって、第１または第３象限のエッジベクトルは、第２または第４象限のエッジベクトルとは区別されねばならない。第３および第４象限のエッジベクトルは、それぞれ第１および第２象限の負のベクトルと考えることができよう。したがって、ベクトルの単に２つの象限だけを識別すればよい。エッジベクトルの象限は、原テンプレート画像から発生せしめられる単一の付加的なバイナリテンプレート(binary template)として確認できる。該バイナリテンプレートは、その時点でのエッジの大きさのベクトルがエッジ、すなわち第１または第３象限に、もしくは第２または第４象限に、方向ベクトルが存在するエッジを表すかどうかを示す画素を有している。このテンプレートは、テンプレート画像から自動的に発生させることができる。その操作に必要な記憶スペースは極めて僅かであり、かつその操作を、旋回動作の間に利用して、ＸおよびＹのエッジマグニチュード重量(edge magnitude weight)を、それらの正確な本来の割合に、極めて僅かの追加計算費用で調節できる。これにより、なんらかの旋回量だけエッジマトリックスを旋回させることが、完全に妥当となる。次の方程式は、修正テンプレートエッジマトリックスと物品エッジマトリックスとの間の相違を定量化する目的に好都合なものである。なぜなら、市販の画像処理カードが、迅速な比較の発生に利用可能だからである：この式において、Ｘは、画像マトリックスの一部に対しテストする方向へ旋回させられたｉ×ｊ画素のＸテンプレートエッジマトリックス、Ｙは、画像マトリックスの一部に対しテストする方向へ旋回させられたｉ×ｊ画素のＹテンプレートエッジマトリックス、Ｘ'は、Ｘ画像エッジベクトルマトリックスの座標ｘ,ｙの位置に配置されたｉ ×ｊ画素の画像Ｘエッジマトリックスの一部、Ｙ'は、Ｙ画像エッジベクトルマトリックスの座標ｘ,ｙの位置に配置されたｉ ×ｊ画素の画像Ｙエッジマトリックスの一部、 ρ（ｘ,ｙ）は、点（ｘ,ｙ）に対し正規化されたグレースケールエッジの相関である。グレースケールエッジの相関は、ゼロと１との間の数であり、１が完全整合である。グレースケールの相関は、物品エッジマトリックス内の各ｘとｙに対し行われ、その場合、全修正テンプレートエッジマトリックスが物品エッジマトリックス内に適合できる。結果として得られるグレースケールの相関は、アプローチユニティ(approach unity)に最も近いものが、最も精密に適合する。変数問の補間は、ノイズ閾値を超える線形計量(linear weithing)または平方計量(squared weighing)を用いて達せられる。それらの変数は、例えば旋回角度またはｘおよびｙの位置でよい。これらのグレースケールエッジマトリックスを発生させる計算部分は、ＧＰＢ -１補助アラインカード（AlignCard）を用いて迅速に作成できる。「注意不要」区域は、また修正テンプレートエッジマトリックスのｉ×ｊの寸法のマトリックスの境界内に含まれ得る。「注意不要」と確認されたテンプレート内の画素は、方程式（９）による加算では使用しないのが好ましい。グレースケールエッジマトリックスの相関は、対象物のテンプレートとテスト画像の相対変位には極めて敏感であるため、双方の比較に先立って、平滑化操作を行うことができる。既述のマトリックスの縮小で平滑化効果が得られはするが、更に平滑化操作が可能になる。この平滑化操作は、それぞれに対して相関の計算前に、しかし、現探索水準に対する副標本抽出後に行うことができる。好ましい平滑化操作は、次の合成核により与えられるガウス近似値である：この平滑化が適用される場合、好ましくは、物品のエッジマトリックスと修正テンプレートエッジマトリックスの双方に適用される。本発明の方法の好ましい一用途は自動式燃料補給方法であり、該方法は、１９９５年６月５日に提出された米国特許出願第０８／４６１２７６号、第０８／４６１２８０号、第０８／４６１２８１号に開示されており、本明細書で参照されている。以上に説明した実施例は、例として示したものであり、本発明の範囲を決定するには、以下の請求の範囲を参照されたい。

Claims

【特許請求の範囲】１．表面上に置かれた物品の位置と方向とを識別する方法において、該方法が次の段階、すなわち、複数位置からの眺めを表す複数画像をともなうカメラに対する既知の方向および位置を有する物品を介して、物品の複数画像を得る段階と、物品の複数画像のそれぞれからＸおよびＹのテンプレートエッジマトリックスを造出する段階と、複数のＸテンプレートエッジマトリックスから、３次元のＸエッジマトリックスを造出する段階と、複数のＹテンプレートエッジマトリックスから、３次元のＹエッジマトリックスを造出する段階と、複数組の修正３次元テンプレートエッジマトリックスの各組が、異なる方向の物品を含むＸおよびＹ３次元テンプレートエッジマトリックスである複数組の修正３次元テンプレートエッジマトリックスを造出する段階と、複数位置からの眺めを表す複数画像をともなうカメラに対する未知の方向および位置を有する物品を介して、物品の複数画像を得る段階と、未知の方向および位置にある物品の複数画像のそれぞれから、ＸおよびＹのエッジマトリックスを造出する段階と、未知の方向および位置にある物品により、複数のＸエッジマトリックスから３次元のＸエッジマトリックスを造出する段階と、未知の方向および位置にある物品により、複数のＹエッジマトリックスから３次元のＹエッジマトリックスを造出する段階と、複数組の修正３次元テンプレートエッジマトリックスのそれぞれの組と、３次元ＸおよびＹエッジマトリックスとの間の差を、３次元エッジマトリックスの境界内の複数位置に配置された修正３次元テンプレートエッジマトリックスを用いて定量化する段階と、物品の位置および方向を、修正３次元テンプレートエッジマトリックスと３次元ＸおよびＹエッジマトリックスとの差の定量化された最小値を用いて、３次元テンプレートエッジマトリックス組によって表される物品の位置および方向として識別する段階とを含む、物品の位置および方向を識別する方法。２．修正３次元ＸおよびＹテンプレートエッジマトリックスと３次元ＸおよびＹエッジマトリックスとの差を、未知の方向および位置にある物品により定量化する前に、表面に存在する３次元ＸおよびＹ物品エッジマトリックスの複数部分が削除される、請求項１に記載された方法。３．既知および未知の位置および方向にある物品の３つの画像が捕捉される請求項１に記載された方法。４．更に次の段階、すなわち、修正テンプレートエッジマトリックスと３次元ＸおよびＹエッジマトリックスとを、隣接画素の平均化によって平滑化し、副標本を抽出して画素数を減らすことでマトリックスを縮小する段階と、縮小修正テンプレートエッジマトリックスのそれぞれと、縮小された物品エッジマトリックスとの差を、物品エッジマトリックスの境界内の複数位置に配置された縮小修正テンプレートエッジマトリックスにより定量化する段階と、複数組の修正テンプレートエッジマトリックスの各組と、３次元ＸおよびＹエッジマトリックスとの差を、複数の縮小マトリックス間の差が最小の方向および位置に近い位置に対してのみ、複数の位置に配置された修正テンプレートエッジマトリックスにより、定量化する段階とを含む、請求項１に記載された方法。５．エッジマトリックスが、次の演算子を画像に適用することによって得られ、それによりそれぞれ水平および垂直のエッジマトリックスが得られる、請求項１に記載された方法：および６．複数の修正３次元テンプレートエッジマトリックスが、光軸に対する法線と異なる角度を表すように転換されたテンプレートエッジマトリックスにより造出される、請求項１に記載された方法。７．物品の輪郭外側の修正３次元テンプレートエッジマトリックスの複数部分が、修正テンプレートエッジマトリックスと物品エッジマトリックスとのそれぞれの間の差を定量化するする場合に、無視される、請求項１に記載された方法。８．複数の位置が、３次元エッジマトリックス内で隣接する各組の画素であり、該３次元エッジマトリックス内に、修正３次元テンプレートエッジマトリックスが適合することになる、請求項１に記載された方法。９．複数の位置に対し、縮小修正３次元テンプレートエッジマトリックスと、縮小３次元エッジマトリックスとのそれぞれの間の差が定量化され、該複数の位置が、縮小修正テンプレートエッジマトリックス内に隣接する各組の画素を含む、請求項４に記載された方法。１０．エッジマトリックスを得るさい、水平エッジマトリックスを得るには、画像に次の最小値、すなわちおよびを、また垂直エッジマトリックスを得るには、画像に次の最小値、すなわちおよびを適用する、請求項１に記載された方法。１１．物品、それも表面上に置かれた物品の位置を識別する方法において、該方法が次の段階、すなわち物品の複数２次元画像を、既知の位置および方向の物品を介して得る段階と、既知位置の物品の２次元画像から、物品の２次元画像からのエッジマトリックスを造出する段階と、既知位置の物品の３次元表現を、２次元エッジマトリックスのうちの少なくとも２つを用いて造出する段階と、位置および方向を検出されるべき物品の複数画像を得る段階と、未知の位置にある物品の３次元表現を、２次元エッジマトリックスのうちの少なくとも２つを用いて造出する段階と、既知の位置および方向の物品の２次元画像のうちの少なくとも１つを、未知の位置および方向の物品の画像のうちの少なくとも１つと照合する段階と、その照合にもとづいて、物品の位置および方向を推定する段階と、推定された位置および方向で配置された、既知の位置および方向の物品の３次元表現が、未知の位置および方向の物品の３次元表現と整合するかどうかを検出することによって、物品の位置および方向を検証する段階とを含む、物品の位置を識別する方法。１２．表面のデータまたは表面近くのデータが、物品の位置および方向の検証時に無視される、請求項１１に記載された方法。