JP2020532772A - 標的要素の位置を特定するためのマシンビジョンシステムおよび方法 - Google Patents

標的要素の位置を特定するためのマシンビジョンシステムおよび方法 Download PDF

Info

Publication number
JP2020532772A
JP2020532772A JP2018523788A JP2018523788A JP2020532772A JP 2020532772 A JP2020532772 A JP 2020532772A JP 2018523788 A JP2018523788 A JP 2018523788A JP 2018523788 A JP2018523788 A JP 2018523788A JP 2020532772 A JP2020532772 A JP 2020532772A
Authority
JP
Japan
Prior art keywords
optical device
point
output
target
calibration table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018523788A
Other languages
English (en)
Other versions
JP7101616B2 (ja
Inventor
クリス・リウ
Original Assignee
クリス・シンライ・リウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クリス・シンライ・リウ filed Critical クリス・シンライ・リウ
Publication of JP2020532772A publication Critical patent/JP2020532772A/ja
Application granted granted Critical
Publication of JP7101616B2 publication Critical patent/JP7101616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本文書は、標的要素の位置を決定するためのマシンビジョンシステムおよび方法を説明する。説明されるマシンビジョンシステムは、捕捉された標的要素から収集された情報を捕捉および使用して、これらの捕捉された標的要素の位置を決定する。

Description

本発明は、標的要素の位置を決定するためのマシンビジョンシステムおよび方法の分野に関する。マシンビジョンシステムは、捕捉された標的要素から収集された情報を捕捉および使用して、これらの捕捉された標的要素の位置を決定する。
製造および物流の分野では、工場および倉庫のフロアで、改善するように圧力を受けている1つの共通の基本的な行動があり、それはすなわち「係合および取扱」の動作である。係合および取扱の動作は、機械または人と機械の協調に当てはまる。たとえば、物流業界を悩ませる大きな問題は、フォークリフト操作者によるパレットとクレートの係合および取扱の際の、過誤および不正確さに関係する。フォークリフトの正確な操作は、操作者の鮮明な視覚分解能、鋭い距離の判定、熟練した視差の推理、巧みな手動の操縦、正確で論理的な思考、および疲労に対する持続的な耐性に依存している。一部の操作者は他の者よりも優れていることがあるが、業界は最も技能の低い操作者に対応しなければならない。クレートは一般に、フォークの迅速な挿入を可能にするために、大きなポケットを伴う基部を有する。積荷の配置は、取扱を容易にして衝撃を減らすための間隙を与える。結果として、フォークリフト操作者の過誤および不正確さに対応するために、空間が犠牲になる。積荷の取扱に必要な熟練した人材および時間の長さは常に、容積密度に対するコストトレードオフである。
これまで、人が積荷を扱うのを助けるために、機械が配備されてきた。倉庫の中を歩くと、同じ種類のフォークリフトおよび操作者がいて、彼らは半世紀の間同じことをしている。上で説明された関連する非効率性を考慮すると、現在でも、よく訓練された操作者は、コンピュータと比較してより優れた賢い視覚を有するので、そのような機械を操作する上でコンピュータを上回ることが可能である。当業者は、マシンビジョンシステムを利用することによって、この問題に対処することを試みてきた。しかしながら、そのようなシステムは、物体の状態および場所を分析するために人の目および脳によって実行される機能を再現するのに、複雑な画像処理および高価な人工知能システムに依存する。
最小限の過誤、高速な取扱、効率性の向上、およびコストの低減とともに様々な分野にわたりデジタル技術を利用できるようになるまでに、対処されなければならない大きな問題が、マシンビジョンにある。
マシンビジョンは、人が日常的にできることを真似るための人工知能の分野における現実的な解決法を当業者が探し求めるにつれて、当業者の研究対象になった。ステレオビジョンによる位置決めに対する現在の取り組みは、比較的小さく進歩している。これは、シーンを写真と照合するいくつかの単眼の適用例を含み、カメラの場所を推定するために連続的なカメラの移動に依存し、これは標的を位置決めするよりも基本的には簡単な作業である。複眼ステレオビジョンは大半が、遠く離れた標的に対する距離測定に主眼を置いている。そのような分野では、人の目および脳がマシンビジョンをはるかに上回るので、解決法は人の立入りが妨げられる場所に向けたものになるという事実もある。したがって、産業的なフロアでの係合および取扱についての現在の操業は、人の操作者により支配されているので、過去数十年ほとんど変化していない。
既存の解決法に対する一般的な障壁は、実際にはより根本的である。計算の複雑さがあらゆる方法の実現可能性を左右する。従来のカメラ固有の分析に基づいてどのようにモデル化および計算ができるかについては、限界がある。広範な計算の後で、あらゆる残された0.01パーセントの非線形性が、分解能の要件の許容誤差を大きく超える誤差を作り出す。別の理由は、主要なパラメータが光線の角度であるときの数値誤差の累積である。0.01度の角度の差は、計算が開始してからわずかなステップ後で、許容誤差の限界に達する。標的の場所を見つけることに関して、従来の複眼カメラビジョンは、さらなる不正確さにぶつかる。0.01度の角度の機械的な架装のずれが分解能を狂わせ、動作中の較正が必要とされる。異なる固有のパラメータを各々有するカメラからの別個の画像上で対応付けを見つけることも、許容誤差を超える累積の誤差を作り出す。
上記および他の問題が解決され、本発明に従った実施形態により提供されるシステムおよび方法により当技術分野における進歩がなされる。
本発明によるシステムおよび方法の実施形態の第1の利点は、接近した距離にある物体の係合および取扱についての応答時間と位置決め精度の能力である。
本発明によるシステムおよび方法の実施形態の第2の利点は、成熟した簡単な構成要素とともに進化した電子装置を利用することである。
本発明によるシステムおよび方法の実施形態の第3の利点は、1つのスナップショットにおいてそれ自体ならびに可動の物体を位置決めする単眼光学デバイスを含む、異なる適用形態のための縮約された(degenerated)機構である。
本発明の第1の態様によれば、光学デバイスの3次元座標系において、光学デバイスの視野内の標的要素の位置を決定するためのシステムであって、このシステムは、第1の標的要素および第2の標的要素の画像を捕捉し、捕捉された画像から制約規則のセットを取得し、光学デバイスのセンサ上での第1の標的要素の捕捉された画像の2次元位置を定義するような出力(s,t)を生成し、光学デバイスのセンサ上での第2の標的要素の捕捉された画像の2次元位置を定義するような出力(u,v)を生成するように構成される、光学デバイスと、光学デバイスに通信可能に結合されるコンピューティングデバイスとを備え、このコンピューティングデバイスは、捕捉された出力(s,t)、(u,v)および制約規則のセットと一緒に所定の横断計画を較正テーブルに適用することによって、出力(s,t)および出力(u,v)を光学デバイスの3次元座標系の中の場所へと変換するように構成され、較正テーブルは、複数の標的中心を備える標的画面からの複数の較正場所に光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、標的画面上の標的中心の各々に対して、光学デバイスは、標的中心の画像を捕捉し、較正テーブルにおいて、光学デバイスのセンサ上での標的中心の捕捉された画像の2次元位置を光学デバイスに対する標的中心の場所と関連付け、この場所は光学デバイスの3次元座標系の中の位置として定義され、それにより、光学デバイスの位置は光学デバイスの3次元座標系の原点として定義される。
本開示の第1の態様のある実施形態によれば、各標的要素はマーカーパターンおよび標識パターンを備え、マーカーパターンはさらに対称的な幾何学的特徴を備え、その幾何学的特徴の対称性の中心が標的要素の中心を定義し、標識パターンはさらに、第1の形状が第1の状態を示し第2の形状が第2の状態を示すような一連の指示物(indicia)を備え、第1の状態および第2の状態は二進記号を表すために使用される。
本開示の第1の態様のある実施形態によれば、第1の状態は下側のブロックより大きい上側のブロックを有する指示物により定義され、第2の状態は上側のブロックより大きい下側のブロックを有する指示物により定義される。
本開示の第1の態様のある実施形態によれば、コンピューティングデバイスはさらに、標的要素の捕捉された画像と関連付けられる標識パターンから制約規則のセットを取得するように構成される。
本開示の第1の態様のある実施形態によれば、制約規則のセットは、第1の標的要素と第2の標的要素との間のずれDと、参照平面からの第1の標的要素の垂直方向のずれと参照平面からの第2の標的要素の垂直方向のずれとの間のずれの差分Δdとを備え、参照平面は第1または第2の標的要素から所定の距離だけ離れて設けられる。
本開示の第1の態様のある実施形態によれば、各対象要素のマーカーパターンは少なくとも第1の色を備え、光学デバイスには第1の色を検出するための第1の色サンプリングフィルタが設けられる。
本開示の第1の態様のある実施形態によれば、捕捉された出力(s,t)、(u,v)および制約規則のセットと一緒に所定の横断計画を較正テーブルに適用するように構成されるコンピューティングデバイスは、出力(s,t)に関連付けられる光学デバイスの3次元座標系の中の第1の点と出力(u,v)に関連付けられる光学デバイスの3次元座標系の中の第2の点との間の距離D12が第1の標的要素と第2の標的要素との間のずれDに等しくなり、参照平面からの第1の点の垂直方向のずれと第2の点の垂直方向のずれとの間のずれの差分Δd12がずれの差分Δdに等しくなるように、第1の点を特定するために較正テーブルを再帰的に横断し、第2の点を特定するために較正テーブルを横断し、光学デバイスの3次元座標系において、第1の点を出力(s,t)の位置として、第2の点を出力(u,v)の位置として設定するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、出力(s,t)と関連付けられる光学デバイスの3次元座標系の中の第1の点を特定するために較正テーブルを横断し、出力(u,v)と関連付けられる光学デバイスの3次元座標系の中の第2の点を特定するために較正テーブルを横断するように構成されるコンピューティングデバイスは、較正テーブルから参照平面と平行な任意の平面を生成してその任意の平面から距離Δdだけ離れて設けられる別の平面を生成し、出力(s,t)と関連付けられる任意の平面の中の点を特定し出力(u,v)と関連付けられる別の平面の中の別の点を特定し、任意の平面の中の特定された点を第1の点として、別の平面の中の別の特定された点を第2の点として設定するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、出力(s,t)と関連付けられる光学デバイスの3次元座標系の中の第1の点を特定するために較正テーブルを横断し、出力(u,v)と関連付けられる光学デバイスの3次元座標系の中の第2の点を特定するために較正テーブルを横断するように構成されるコンピューティングデバイスは、較正テーブルから参照平面と平行な任意の平面を生成してその任意の平面から距離Δdだけ離れて設けられる参照平面と平行な別の平面を生成し、出力(s,t)と関連付けられるその任意の平面の中の点を特定してその特定された点を中心とする半径Dの球面をプロットし、その球面と交差するその別の平面の中の別の点を特定してその別の点が出力(u,v)と関連付けられるかどうかを決定し、その別の点が出力(u,v)と関連付けられると決定される場合、その任意の平面の中のその特定された点を第1の点として、その別の平面の中のその別の特定された点を第2の点として設定するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、出力(s,t)と関連付けられる参照平面と平行な任意の平面の中の点を特定するように構成されるコンピューティングデバイスは、出力(s,t)のs値と関連付けられる点を特定するために任意の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LSを形成するように接続され、線分LSから出力(s,t)と関連付けられる点を含む領域を特定するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、出力(u,v)と関連付けられる別の平面の中の別の点を特定するように構成されるコンピューティングデバイスは、出力(u,v)のu値と関連付けられる点を特定するために別の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LUを形成するように接続され、線分LUから、出力(u,v)と関連付けられる点を含む領域を特定するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、出力(s,t)と関連付けられる任意の平面の中の点を特定するように構成されるコンピューティングデバイスは、最小の値をもたらす勾配ベクトルを特定するために、その任意の平面上の任意の点からローカルの勾配探索を実行し、最小の値を有する点が特定されるまでその任意の平面上の関連する点にわたって勾配ベクトルからローカルの勾配探索を再帰的に実行するように構成される、コンピューティングデバイスを備え、この点は出力(s,t)と関連付けられるその任意の平面の中の点として特定され、それにより、ローカルの勾配探索が較正テーブルの中の各点と関連付けられる光学デバイスのセンサ上での2次元位置を使用して実行される。
本開示の第1の態様のある実施形態によれば、出力(u,v)と関連付けられる別の平面の中の別の点を特定するように構成されるコンピューティングデバイスは、最小の値をもたらすその別の平面上の勾配ベクトルを特定するために、その別の平面上の任意の点からローカルの勾配探索を再帰的に実行し、最小の値を有する点が特定されるまでその別の平面上の関連する点にわたって勾配ベクトルからローカルの勾配探索を再帰的に実行するように構成される、コンピューティングデバイスを備え、この点は出力(u,v)と関連付けられるその別の平面の中の点として特定され、それにより、ローカルの勾配探索が較正テーブルの中の各点と関連付けられる光学デバイスのセンサ上での2次元位置を使用して実行される。
本開示の第1の態様のある実施形態によれば、システムはさらに、出力(s,t)と関連付けられる点と接する領域の中の点が整数のみを備える場合、小数の場所(decimal place)で点を定義するためにその領域の中の点に空間解釈を適用し、出力(u,v)と関連付けられる点と接する領域の中の点が整数のみを備える場合、小数の場所で点を定義するためにその領域の中の点に空間解釈を適用するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、較正テーブルの中のデータの第1のセットはある周辺温度において事前に生成されたものであり、較正テーブルの中のデータの少なくとも1つの追加のセットは別の温度で事前に生成されたものであり、それにより、捕捉された出力(s,t)、(u,v)および制約規則のセットと一緒に所定の横断計画を較正テーブルに適用することによって出力(s,t)および出力(u,v)を光学デバイスの3次元座標系の中の場所へと変換するように構成されるコンピューティングデバイスはさらに、較正テーブルの中のデータの第1のセットおよび別のセットに基づいて熱膨張の勾配を計算し、光学デバイスの周辺温度を取得し、周辺温度および熱膨張の計算された勾配を使用して出力(s,t)および出力(u,v)と関連付けられる光学デバイスの3次元座標系の中の場所を正規化するように構成される、コンピューティングデバイスを備える。
本開示の第1の態様のある実施形態によれば、光学デバイスのセンサ上での標的要素の捕捉された画像の2次元位置を生成するように構成される光学デバイスは、標的要素の中心を表す形状を特定し、特定された形状の幾何学的中心を決定し、特定された形状の端部にx軸およびy軸のベクトル値を割り当て、特定された形状の端部に割り当てられたx軸およびy軸のベクトル値を使用して、x軸およびy軸に沿った累積の偏位を決定するように構成される、光学デバイスを備える。
本発明の第2の態様によれば、第1の光学デバイスの3次元座標系において、第1の光学デバイスの視野内の標的要素の位置を決定するためのシステムが開示され、このシステムは、第1の標的要素の画像を捕捉し、第1の光学デバイスのセンサ上での第1の標的要素の捕捉された画像の2次元位置を定義するような出力(s,t)を生成するように構成される、第1の光学デバイスと、第1の光学デバイスから離れた固定された位置に設けられる第2の光学デバイスであって、第1の標的要素の画像を捕捉し、第2の光学デバイスのセンサ上での第1の標的要素の捕捉された画像の2次元位置を定義するような出力(u,v)を生成するように構成される、第2の光学デバイスと、第1の光学デバイスおよび第2の光学デバイスに通信可能に結合されたコンピューティングデバイスとを備え、このコンピューティングデバイスは、捕捉された出力(s,t)と一緒に所定の横断計画を第1の較正テーブルに適用することによって、および捕捉された出力(u,v)と一緒に所定の横断計画を第2の較正テーブルに適用することによって、出力(s,t)および出力(u,v)を第1の光学デバイスの3次元座標系の中の場所へと変換するように構成され、較正テーブルの各々は、複数の標的中心を備える標的画面からの複数の較正場所において較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、標的画面上の標的中心の各々に対して、関連付けられる光学デバイスは、標的中心の画像を捕捉し、較正テーブルにおいて、関連付けられる光学デバイスのセンサ上での標的中心の捕捉された画像の2次元位置を関連付けられる光学デバイスに対する標的中心の場所と関連付け、この場所は関連付けられる光学デバイスの3次元座標系の中の位置として定義され、それにより、関連付けられる光学デバイスの位置は関連付けられる光学デバイスの3次元座標系の原点として定義される。
本開示の第2の態様のある実施形態によれば、捕捉された出力(s,t)と一緒に所定の横断計画を第1の較正テーブルに適用すること、および捕捉された出力(u,v)と一緒に所定の横断計画を第2の較正テーブルに適用することは、コンピューティングデバイスが、a)出力(s,t)と関連付けられる第1の光学デバイスの3次元座標系の中の第1の点を特定するために第1の較正テーブルを横断して出力(u,v)と関連付けられる第2の光学デバイスの3次元座標系の中の第2の点を特定するために第2の較正テーブルを横断し、b)第1の光学デバイスに対する第2の光学デバイスの位置に関して特定された第2の点を正規化し、c)正規化された特定された第2の点の位置が第1の点に等しくない場合、ステップ(a)から(b)を繰り返し、それにより、正規化された特定された第2の点が第1の点に等しい場合、第1の点が出力(s,t)の位置として設定されるように、構成されることを備える。
本発明の第3の態様によれば、第1の光学デバイスの3次元座標系において、第1の光学デバイスの視野内の標的要素の位置を決定するためのシステムであって、このシステムは、第1の標的要素の画像を捕捉し、第1の光学デバイスのセンサ上での第1の標的要素の捕捉された画像の2次元位置を定義するような出力(s,t)を生成するように構成される、第1の光学デバイスと、第1の光学デバイスに関して固定された位置に設けられる第2の光学デバイスであって、第2の標的要素の画像を捕捉することであって、第2の標的要素が第1の標的要素からDT2だけ離れた位置に設けられる、捕捉することと、第2の光学デバイスのセンサ上での第2の標的要素の捕捉された画像の2次元位置を定義するような出力(u,v)を生成することとを行うように構成される、第2の光学デバイスと、第1の光学デバイスおよび第2の光学デバイスに通信可能に結合されるコンピューティングデバイスとを備え、捕捉された画像から制約規則のセットを取得するように構成されるコンピューティングデバイスは、捕捉された出力(s,t)および制約規則のセットと一緒に所定の横断計画を第1の較正テーブルに適用することによって、および捕捉された出力(u,v)と一緒に所定の横断計画を第2の較正テーブルに適用することによって、出力(s,t)および出力(u,v)を第1の光学デバイスの3次元座標系の中の場所へと変換し、較正テーブルの各々が、複数の標的中心を備える標的画面からの複数の較正場所において較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、標的画面上の標的中心の各々に対して、関連付けられる光学デバイスは、標的中心の画像を捕捉し、較正テーブルにおいて、関連付けられる光学デバイスのセンサ上での標的中心の捕捉された画像の2次元位置を関連付けられる光学デバイスに対する標的中心の場所と関連付け、この場所は関連付けられる光学デバイスの3次元座標系における位置として定義され、それにより、関連付けられる光学デバイスの位置は関連付けられる光学デバイスの3次元座標系の原点として定義される。
本発明の第3の態様のある実施形態によれば、制約規則のセットは、第1の標的要素と第2の標的要素との間のずれDを備え、Dは0以上の値を備え、Dの値が0より大きい場合、制約規則のセットはさらに、参照平面からの第1の標的要素の垂直方向のずれと参照平面からの第2の標的要素の垂直方向のずれとの間のずれの差分Δdを備え、参照平面は第1の標的要素または第2の標的要素から所定の距離だけ離れて設けられる。
本発明の第3の態様のある実施形態によれば、捕捉された出力(s,t)および制約規則のセットと一緒に所定の横断計画を第1の較正テーブルに適用すること、および捕捉された出力(u,v)と一緒に所定の横断計画を第2の較正テーブルに適用することは、コンピューティングデバイスが、a)出力(s,t)と関連付けられる第1の光学デバイスの3次元座標系の中の第1の点を特定するために第1の較正テーブルを横断し、出力(u,v)と関連付けられる第2の光学デバイスの3次元座標系の中の第2の点を特定するために第2の較正テーブルを横断し、b)第2の光学デバイスの固定された位置を使用することによって第1の光学デバイスに対する特定された第2の点を正規化し、c)第1の光学デバイスの3次元座標系の中の第1の点と正規化された特定された第2の点との間のずれD12が第1の標的要素と第2の標的要素との間のずれDに等しくない場合、および参照平面からの第1の点の垂直方向のずれと正規化された第2の点の垂直方向のずれとの間のずれの差分Δd12がずれの差分Δdに等しくない場合、ステップ(a)から(b)を繰り返し、それにより、ステップ(c)の条件が満たされる場合、第1の光学デバイスの3次元座標系において、第1の点が出力(s,t)の位置として設定され、正規化された第2の点が出力(u,v)の位置として設定されるように構成されることを備える。
本発明の第1の、第2の、または第3の態様の実施形態によれば、コンピューティングデバイスはさらに、制約規則の中のグローバルな座標系に対する位置情報を利用して、グローバルな系に対する光学デバイスについての位置決め情報を抽出するように構成される。
上記の、および他の問題は、発明を実施するための形態において説明され以下の図面に示される、本発明に従ったシステムおよび方法の特徴および利点により解決される。
本発明の実施形態による、光学デバイスの較正の機構を示す図である。 本発明の実施形態による、図1に示される較正機構において使用される較正画面を示す図である。 本発明の実施形態による、機械点字符号のフォーマットを示す図である。 本発明の実施形態による、図3に示される機械点字符号の解釈を示す図である。 本発明の実施形態による、標的要素を示す図である。 本発明の実施形態による、単色サンプリングフィルタを示す図である。 本発明の実施形態による、標的要素の知識により誘導される認識を示す図である。 本発明の実施形態による、光学デバイスの視野角を示す図である。 本発明の実施形態による、光学デバイスの例示的な焦点比を示す図である。 本発明の実施形態による、距離の視差に基づく深度計算の例示的な方法を示す図である。 本発明の実施形態による、線形の補間と外挿の探索方法を示す図である。 本発明の実施形態による、縮約されたケースに対する縮約されたz平面探索を示す、2つのレンズと1つの標的点との間の、または2つの標的点と1つのレンズとの間の模擬的な光線を示す図である。 本発明の実施形態による、標的要素の共平面に関する係合の角度を示す図である。 本発明の実施形態による、2つの標的要素と2つの光学デバイスとの間の簡略化された上面図からの複数の光線を示す図である。 本発明の実施形態による、複数の光学デバイスと複数の標的要素との間の見通し線を示す図である。 本発明の実施形態による、標的要素のペアと垂直に置かれた光学デバイスのペアとを示す図である。 本発明の実施形態による光学デバイスを有する改良されたフォークリフトを示す図である。 本発明の実施形態による図17Aのフォークリフトの上面図である。 垂直な標的要素がコンテナの内壁に接して設けられるような本発明のある実施形態を示す図である。 複数の標的要素が積荷の表面に設けられるような本発明のある実施形態を示す図である。 本発明の実施形態による、360度の視野角能力を有する光学デバイスが設けられた車両を示す図である。 本発明の実施形態による、2次元の線形空間解釈探索方法を示す図である。 本発明の実施形態による、ピクセルセンサ読取値とセンサ読取値のピクセル化された解釈とを示す図である。 本発明の実施形態による、すべての捕捉された画像が単一のスナップショットで分析されるような、固定されたマーカーならびに可動の物体を使用した単一デバイスの単眼ビジョンの例示的な実装形態を示す図である。 本発明の実施形態による、単眼光学デバイスのための制約規則探索方法を示す図である。 すべての捕捉された画像が単一のショットで分析され、固定されたマーカーが斜路の始点と斜路に関して指定される積荷上のマーカー間の制約とを示す、図23に基づく例示的な実装形態を示す図である。 ある傾斜率を有する参照平面をプロットするための例示的な方法を示す図である。 本発明の実施形態による実施形態を提供する処理システムを表すブロック図である。
本発明は、たとえば、限定はされないが、ラベリングおよび標識を提供することができ、それにより、製造または物流の業務において行われる接近、ドッキング、選別、積み上げのプロセスを支援するためにマシンビジョンシステムが使用されるような環境における、製造または物流の業務において使用され得るマシンビジョンシステムに関する。その実装形態は、イメージングセンサ、高速な計算、およびランダムアクセスメモリを利用する。まとめると、マシンビジョンシステムが使用される環境は、
1)適切な照明および限られた移動物体、
2)限られた3次元空間の狭い施設、
3)マーカーおよび記号がマシンビジョンの目的で戦略的に配置され得るような占有された空間、
4)予想されるシーンおよび知識による誘導を伴う空間、
5)中速から低速の物体の作動
を有するべきである。
マシンビジョンシステムから抽出され得る2つのタイプの情報があり、この情報は位置決めおよび符号化に関する。位置決めに関して、マシンビジョンシステムは、準静的な限られた範囲の想定されるシーンを処理することのみを想定する。マシンは、想定される短距離の3次元のシーンを、事前に添付された想定される標的要素とともに与えられる。マシンビジョンシステムの主な仕事は、次いで標的要素を特定し、特定された標的要素の場所を取得することである。位置決めの精度を上げるために、単位長未満のピクセル化された解釈および空間解釈が利用され得る。視野内のすべての標的要素の位置決め情報を取得するために賢い方法が利用され、これはフレームレートで行われる。
符号化に関して、機械点字符号を備える標識が以下のセクションにおいて詳細に説明され、これらの標識がマシンビジョンシステムに不可欠な情報を提供する。実際には、各標的要素は2つの部分からなると見なすことができ、第1の部分は標的中心位置を含むマーカーパターンと、機械点字符号を含む標識パターンとを有する。標識パターンの中の符号は、場所関連の情報を含むだけではなく、標的要素の信頼性を検証するための認証手段としても機能する。通常、1つまたは複数の標的要素が物体に添付される。これは、物体の向きについての情報が1つよりも多くの標的点の位置決め後に取得され得ることを確実にするために、かつ、いくつかの標的要素が見つからなくなったとき、または遮られたときにマシンビジョンシステムの機能が低下しないことを確実にするために、行われる。たとえば、そのような状況は、標的要素が地面に設けられているときにより頻繁に発生する。
具体的には、本発明は、積荷、コンテナ、パレット、作動する機械、コンベヤー、容器、地面、柱、および壁に接した標的要素の相対的な位置決めを伴う。マシンビジョンシステムは次いで、作動結果が最適となるように、標的要素のペアまたはセットの相対的な場所を連続的に監視する。可動の物体に接したラベリングされた標的要素に基づく相対的な位置決めは、標的ベースのマシンビジョンが処理技法のセットを使用して複数の標的およびそれらの3次元の場所を認識して検出するので、革新的かつ効果的である。
好ましい実施形態では、マシンビジョンの範囲は光学検出器から数メートル以内であり、約1cmの分解能がこの範囲内で達成可能である。画像の解像度は4kから8kであってよく、標的要素の位置は毎秒30フレームまたは毎秒60フレームのいずれかのフレームレートで導出されてよい。
説明されるマシンビジョンの解決法は、限定はされないが、コンピュータビージョンを使用して行われ得る任意の従来の作業を含む、物流および製造以外の他の物体を扱うプロセスに適用され得ることを理解されたい。
光学デバイスの較正
限定はされないが、従来のイメージセンサ(電荷結合デバイスイメージセンサ、相補型金属酸化膜半導体センサなど)を有するカメラなどの個々の光学デバイスは各々、それらに特有の固有の方式で光線を屈折させる。
本発明の実施形態によれば、マシンビジョン方法は、次のように光学デバイスを較正することによって開始される。標的点がまず、対象の3次元範囲において光学デバイスの前に設けられる。標的点の中心に最も良く対応するセンサアレイのs番目およびt番目のピクセルが次いで記録され、これは、sとtの値がすべての標的点に割り当てられるまですべての標的点について繰り返される。そのようなsとtの値は小数(fraction of an integer)として記録されることがあり、このことは、標的点の正確な位置を得るために補間が行われるときに、後続の特定方法がはるかに精密な読取値をもたらすことを示す。
標的点の位置決め情報を提供するための光学デバイスの較正のある実施形態が、図1に示されている。この図は、車両74(これは好ましくは高精度レール71の上に乗っている)に搭載されている、較正されるべき光学デバイスを示す。画面パターン77の中心を囲む複数の標的点79を備える標的中心または標的要素を有する較正画面75が次いで、較正されるべき光学デバイスに提示される(図2参照)。光学デバイスは、2つ以上の高さの範囲が較正されるべきである場合、2つ以上の高さ位置73に取り付けられ得ることに留意されたい。
本発明の実施形態では、較正画面75は、幅5mおよび高さ5mの画面を利用する。画面のサイズは必要に応じて増大または縮小されてよく、本発明をいかようにも限定するものではないことを、当業者は認識するであろう。
通常、広角カメラにより捕捉される画像は線形ではなく、位置決め変換も複雑である。したがって、多次元計算の問題が、較正テーブルの使用により解決される。そのようなテーブルの使用は、各々の個々の光学デバイスに対する従来の非線形の複雑な計算の必要をなくす。
標的画面上のパターンが図2に示されており、画面パターン77の中心は、白い正方形で囲まれた小さい長方形により表されており、白い正方形は次いで黒い正方形により囲まれている。この画面の中心77は次いで、正方形79により表される標的点により囲まれている。画面パターン77の中心および標的点の正方形79は、本発明から逸脱することなく他の幾何学的な形状により置き換えられ得ることを、当業者は認識するであろう。さらに、図2は正方形により表されるものとして約100個の標的点のみを示すが、本発明から逸脱することなく、画面の複数の中心およびはるかに多数の標的点が標的画面上に提供され得ることを、当業者は認識するであろう。本発明の実施形態では、標的画面上に提供される250,000個以上の標的点があるはずである。
較正画面に2次元の位置情報を表示するのは難しいように見えるが、そのような情報は計数ステップにより得られる。上の実施形態で述べられたように、画面パターンの単一の固有の中心が標的画面の中心に配置され得るので、すべての250,000個の標的点の位置が、画面パターンのその中心から水平方向および垂直方向にどれだけ離れているかを数えることによって特定され得る。較正プロセスにおける画像の処理は、その場で行われることが可能であり、または、計算のために中央コンピュータにアップロードされることが可能であり、次いで処理されたテーブルとしてより短い時間でダウンロードされることが可能である。
較正ステップにおいて、光学デバイスは、標的画面上の標的点の画像を捕捉する。捕捉された標的点の画像は、光学デバイスのイメージセンサ上でのピクセルの特定のグループとしてクラスタ化される。コンピューティングデバイスは次いで、光学デバイスのイメージセンサによって捕捉されたようなピクセルの座標および光強度を記録する。2次元での強度および寄与に基づいて、小数により補強された形状の幾何学的中心の行および列の番号により標的点を表すために、知識により誘導されピクセル化される解釈の方法が次いで利用される。本発明の実施形態では、そのような座標と小数による調整は、標的点の(s,t)の読取値として特定され、これは-5000.00と5000.00の間の範囲の小数を備え得る。
データベースデバイスが次いで、記録された(s,t)の読取値を、データベースデバイスに記憶されているルックアップテーブルに入力する。これらの(s,t)の読取値がルックアップテーブルに入力されるにつれて、メモリデバイスの中のそのような読取値のアドレスが、それらのそれぞれの(x,y,z)の整数座標と関連付けられる。標的画面は3つの軸を有し、それにより、各軸はカメラの位置に原点を有し、x軸はカメラの撮影方向と垂直方向の両方に直交し、y軸はカメラの撮影方向であり、z軸は垂直方向である。本発明の実施形態では、これらの座標はインクリメントが1センチメートルであり得る。これらは整数であるが、位置がどのように、本発明の実施形態では-5000.00から5000.00にわたる小数へと空間的に解釈されるかについて、後のセクションで説明されるものとする。較正テーブルエントリーは整数であることに留意されたい。
上のステップが次いで、画面上に提供されているすべての標的点について繰り返される。すべての標的点が画面の3次元座標(x,y,z)と関連付けられデータベースデバイスの中のルックアップテーブルに追加されるそれぞれの(s,t)座標を有すると、光学デバイスは次いで、画面にわずかに近い別の較正場所に移される。本発明の実施形態では、光学デバイスは、1センチメートルだけ標的画面の近くに移される。この較正ステップの終わりまでに、データベースデバイスの中のルックアップテーブルは、様々な(s,t)の読取値とともにそれらの関連する(x,y,z)座標で埋められているであろう。
本発明の実施形態では、マシンビジョンの適用の間、光学デバイスは、見通し線が遮られること、水平線の混雑(標的要素に基づくステレオマシンビジョンのセクションで説明される)を防ぐために、またはより良好な視野を得るために、異なる高さへと作動させられ得る。コンピュータメモリと物理的な測定結果の違いとの間のトレードオフとして、2つの光学デバイスの高さに対して2つの較正テーブルを作るか、または、(x,y,z)座標のz軸がそれに従って調整されるように1つのテーブルを使用するかの、いずれかを行うことができる。たとえば、測定結果が20センチメートルの高さにある光学デバイスを使用して得られることになる場合、250センチメートルの高さにある光学デバイスを使用して以前に得られた較正テーブルが利用されてよく、これは、較正テーブルの中の(x,y,z-230)における位置(x,y,z)と関連付けられる(s,t)値を取り出すことによって行われる。
重要な因子は、これらの読取値が再現可能であるということである。これは、標的点を別の時間に光学デバイスの座標(0,0,0)に対する座標が(x,y,z)である位置に置くと、光学デバイスの読取値が常に、較正テーブルに記憶されている数字と同じ数字のペアになることを意味する。そのような因子をサポートするために、時々、較正を調整し、または全体的な再較正に進むものとする。いくつかの因子は再較正により行われ得るが、後の段落で「動作中の較正」を詳述するものとする。
逆に、光学デバイスが(s,t)を示す位置に標的点がある場合、読取値が(s,t)の読取値に近くなるような較正テーブルの中の近隣の位置のセットを見つけるために、較正テーブルが次いで横断され得る。(s,t)の読取値によく一致する、現在では小数である座標(x,y,z)を有する位置を見つけるために、空間解釈が次いで使用され得る。そして、得られる(x,y,z)座標が、光学デバイスの原点からの物理的な点の実際のx、y、zの座標値を示す。
現場での較正および動作中の較正
気付き得るように、マシンビジョンシステムの精度は、光学デバイスから得られる物理的な読取値(サブピクセル位置)の再現性に依存する。そのような再現性を維持するために、工場で実行され得る製造業者の較正に加えて、現場での較正が必要である。再現性に影響する2つの主要な要因がある。
a)ずれ。地面または車両に対するセンサの角度および場所は、外部の力によりずれることがある。
b)環境パラメータ。温度および湿度が主な要因である。
本発明の実施形態では、定期的な現場での較正が実行され得る。これは、単一の標的要素が光学デバイスの前方(たとえば、1.5メートル)に配置されることを伴う。較正はソフトウェアを使用した正規化によって実行される。工場で較正されたパラメータに基づいて自動的に行われる、動作中の調整もある。例には、環境パラメータ、たとえば、動作中の正規化を引き起こすであろう温度および湿度がある。光学デバイスの取付具が装着される車両に傾斜計およびジャイロが取り付けられている場合、これらの傾斜の読取値が、動作中に垂直方向の角度を正規化するために使用される。動作中の別の調整が前に説明されており、それは焦点合わせが実行されるときには常に、焦点比の正規化である。
挿入または選別のために機械の部分(腕)が伸びて物体に接近するときに、作動機械のための別の方法がある。標的の物体と腕との間の相対的な場所が得られる予定であるとき、再現性に影響する要因は打ち消される。これは、光学デバイスの見通し線の上で、標的要素が腕の前方に取り付けられることを意味する。
使用される材料のタイプに応じて、熱膨張係数がメートル当たり60から300ミクロンの寸法の変動を引き起こすことに留意されたい。30mmの幅を有するセンサでは、熱膨張は2から10ミクロンの膨張を引き起こす。これは、6000個のセンサを用いて実装されるデバイスでは、この変化が上記の温度範囲にわたって最高で2ピクセルに相当することを意味する。本開示の光学デバイスはサブピクセル分解能を利用し、(s,t)という各光学デバイスの読取値は小数であるので、動作中の温度較正が必要である。
様々な研究はすべて、0℃と30℃の間で、およそ0.01%の変化が光学パラメータ(焦点距離を除く、これは10倍悪い)に存在するという事実を示している。30℃の温度範囲にわたる画像のシフトについての実験データは、同じ大きさのいくつかの要因、たとえば、範囲内にあるデバイスおよびシーンの他の部分の膨張係数が関係してくるという事実を支持している。理想的には、物体、すなわちカメラ構造物およびシリコン基板がすべて同じ膨張係数を有する場合、調整は必要ではない。実際の実装形態では、様々な温度条件のもとでの較正値の変化が取得されなければならない。理想的には、各ピクセルは、焦点距離と同様に、xの場所、深度の知覚について1mmの変動を示すことがあり、理想的でなければ1桁悪化する。別のセクションで説明されるような水平線の混雑も、分解能を1桁悪化させる。
そのような動作中の較正の実施は、現実的には以下の手法を用いて、テーブルルックアップ方法にやはり基づいて行うことができる。
a)完全な勾配。光学デバイスは最初、同じプロセスを使用して較正され、この較正はそれぞれ、10℃、25℃および40℃で繰り返される。較正テーブルが次いで、以下で計算されるような熱膨張の勾配を使用して、各(x,y,z)のエントリーについて較正テーブルの中の3つの範囲の間で補間または外挿される。
・たとえば、CT(x,y,z)に対する較正読取値がまず得られ、これは25℃では(s1,t1)、40℃では(s2,t2)、10℃では(s3,t3)である。
・5℃と25℃の間の温度Tでは、温度TにおけるCT(x,y,z)はs=s2-(25-T)/15*(s2-s1)であり、t=t2-(25-T)/15*(t2-t1)であるものとする。
・25℃と45℃の間の温度Tでは、温度TにおけるCT(x,y,z)はs=s2+(T-25)/15*(s3-s2)であり、t=t2+(25-T)/15*(t3-t2)であるものとする。
上のステップは、温度Tに対する較正テーブルの動作中の較正を行うために、較正テーブル(CT)の中のすべての点に適用され得る。
b)サンプリングされた勾配。25℃において完全なテーブルを用いて較正し、次いで、10℃および40℃でそれぞれ、x、y、およびz軸において3cmごとにサンプリング較正を実行する。より低いまたは高い温度にそれぞれ向かう勾配が、10℃、25℃、および40℃における読取値に基づいて、27立方センチメートルの各中心において得られる。較正テーブルの使用は、関連付けられる勾配を用いて調整された25℃に対する完全なテーブルに基づく。そのようなサンプリングされた勾配テーブルは、25℃における完全なテーブルのサイズの8%にすぎない。
機械点字
点字符号は、2次元平面において平坦と点の情報が提示されるという基本的な性質をもつ。機械点字符号のフォーマットが、図3(A)に示されるように提案される。このフォーマットは、予測不可能な歪み、ピクセル解像度の低下、および照明の変化のもとで、最大の信号対雑音比の基準に基づいて提案された。提案される機械点字符号のフォーマットは、二進符号化および二次元の相対的な位置決めを利用する。機械標識120は、情報124が後に続くヘッダ122を備える。各機械点字の「点」126は、上側のブロックを有する指示物として記述され得る左右逆の「7」の記号により表され、各「平坦」128は、下側のブロックを有する指示物として記述され得る「L」の記号により表される。上側のブロックを有する指示物は第1の状態を定義するために使用され、一方で下側のブロックを有する指示物は第2の状態を定義するために使用される。符号は正方形の標識の境界130内で垂直に延びる。異なる環境では、機械点字符号のための異なる「言語」のセットが必要であり得る。ヘッダ122は、標識の言語を指定する。指示物が時計回りに読まれ、「薄い」から「厚い」であると決定されるとき、この指示物は「点」であると定義され、指示物が反時計回りに読まれ、「薄い」から「厚い」であると決定されるとき、この指示物は「平坦」であると定義される。この性質は、あらゆる方向からの指示物の解釈を助ける。
この符号は、形状の歪み、照明条件、センサの分解能、および接近角度が不確実である状態で、最良の信号対雑音比を得る。つまり、提案される機械点字フォーマットは、様々な条件のもとで高い分解能を達成することが可能である。
図3(B)は、各ピクセルにおける1または0の読取値に基づく、異なる角度における、かつ可変の照明条件のもとで得られる読取値を示す。機械点字は、フリップまたはフロップの状態において「1」および「0」を用いて設計される。ビット情報が次いで、フリップフロップの相対的な読取値から抽出される。
時計周りの「薄い」から「厚い」が一方の状態を表し、反時計回りの「薄い」から「厚い」が他方の状態を表すという特徴は、方向の影響をなくす。標識が上を上にして置かれる適用形態では、機械点字符号は接近して配置され得る。図4は、ビットが密に配置される一方で、上で言及された棒の幅と同じ幅を有する間隙が左および下にある、最も密な「ページ」を示す。ここで、各ピクセルにおいて4つの読取値レベルが分析される。カメラの解像度が6Kであり、カメラの視野角が120度であり、距離が9メートルであると仮定する。そのような状況では、ピクセル分解能は0.5cmであり、非線形性の影響を考慮すると、これは分解能を150%低下させる。したがって、安全には、そのような機械点字マーカーは、6メートル離れて読み取ることができる。ビット情報は、幅が2ピクセルであり高さが2.5ピクセルである。すなわち、左側の0.25cmの間隙および下側の間隙を含めて、幅が1cmであり高さが1.25cmである。ビット密度は1平方cm当たり0.8であるので、10平方cmの標識上で80ビットの情報が読み取られ得る。
図4の正方形の各々に重畳される格子はピクセルを表す。下線付きのピクセルの場所は、すべての場合においてセンサの場所のシフトが依然として、どのように行およびビットの並びの認識を可能にするか、および1と0の復号を可能にするかを示す。各々の1または0の状態は黒または白であるものとして表現されず、照明の変化および他の雑音に対抗するためにフリップフロップによって表されることに留意されたい。図4(B)では、ピクセルはピクセル2分1個分の距離だけ上にシフトしている。図4(C)では、ピクセルはピクセル2分1個分の距離だけ左にシフトしている。図4(D)では、ピクセルはピクセル4分の1個分の距離だけ上にシフトしており、4分の1個分の距離だけ右にシフトしている。これらのシフトは、最悪のケースのシフトを表す。ピクセル応答はすべての4つのレベルについて記録され、得られるパターンは図の各々の隣のテーブルに示されている。読取り方法は、すべての4つの方向における画像とセンサとの間のどのようなシフトのもとでも機能することに留意されたい。
標識のスナップショットを撮ると、機械点字符号(および間隙)のサイズがピクセル距離の2倍以上である限り、符号の行の分離を表す水平方向の線のパターンおよび符号ビットの並びを表す垂直方向の線のパターンが特定され得る。行の線とビットの並びを表すものとの間で、フリップフロップを特定することができ、そのフリップフロップのフリップまたはフロップの状態を読み取ることができる。左手側の棒は、境界情報を与えるとともに、重み付けエリアを定義する。
マシンビジョンシステムは、環境を分析するためだけではなく、マシンビジョンデバイス自体の物理的なエリアまたは位置を含む、符号化された命令および情報を読み取るためにも利用されることに留意されたい。壁、柱、容器、積荷、車両、人に接して設けられるのに加えて、標識は床または地面にも設けられ得る。
標的要素
標的要素は、図5に示されるように、対称的な幾何学的特徴と固有の色とを有するマーカーパターンと、符号が含まれている標識パターンとを用いて設計される。マーカーパターンの中の対称的な幾何学的特徴は、標的点の中心を定義する。固有の色およびパターンは、検出ステップの間にマーカーパターンが容易にフィルタリングされ得るように利用される。各標的要素の中の標識パターンは、マシンビジョンシステムによって読み取られ得る符号を含む。つまり、標的要素は、関連する標的情報を伴う機械符号と、標的中心を有する対称的な幾何学的図形のマーカーパターンとを備える、固有の記号として見なされ得る。標識パターンの中の機械符号は、雑音または無関係のパターンではなく、標的中心としての捕捉された画像の信頼性を検証するための手段も提供する。
標的要素ベースのマシンビジョンの第1の仕事は要素検出である。まず、知識による誘導が利用される。マシンビジョンシステムは想定されるシーンに適用されるので、標的要素の位置/サイズは対象の窓として知られている。
単色サンプリングフィルタが本発明のある実施形態において利用され、そのようなフィルタが図6に示されている。このフィルタは、ある色を有するパターンを検出するために利用され、特定の固有の色またはパターンを有する窓をフィルタリングすることによってそれを行う。図6において、フィルタは赤色をフィルタリングするように設計され、すなわち、赤色の画像だけが光学デバイスの中のセンサへと通過することを可能にするように設計されると仮定される。動作において、単一のカラーフィルタ82の1つまたはセットが、画像センサの上部に接した所望のサンプリング位置において繰り返される。選択された色を有する捕捉された画像に対して、サンプリングフィルタは画像の分解能に影響しない。他の色を有する捕捉された画像に対して、サンプリングフィルタは他の色を遮断する。したがって、フィルタは表れている色のパターンの分解能を何ら犠牲にしない。
たとえば、赤などの単一の色が標的要素において使用され得る。しかしながら、対応するカラーフィルタが利用されるのであれば、本発明から逸脱することなく他の色が使用され得ることを当業者は認識するであろう。赤のフィルタのペアが次いで、1つ1つの10×10のスポンサー付きブロックに適用される。赤のフィルタのペアを使用することで、信号対雑音比が上昇し、また、フィルタセンサのうちの1つが適切に機能していない状況でも、他のフィルタセンサが必要とされる色を検出し、それにより両方のフィルタセンサを代表する。そのようなサンプリング機構は、20メガピクセルセンサのスキャン時間を0.2ミリ秒未満へと減らす。
次いで、標的要素上のエリアが、機械点字符号を使用して検証される必要がある。機械点字符号におけるさらなる情報が、追加の情報を提供するために標的要素の下部に並べられ得る。構文と幾何学の組み合わされた検出を介して機械点字符号を効率的に検証して読み取るために、追跡アルゴリズムが利用され得る。
各標的パターンはまた、幾何学的パターンと構文パターンの組合せを備えることがあり、それにより、知識により誘導される認識が、標的要素の存在および中心を検出して検証するために適用され得る。これは図7に示されている。通常の認識アルゴリズムを使用すると、クローリング距離と位相幾何学的関係の両方のために構成されるクローラーが利用される。標的要素を特定すると、クローラーは距離および知識による誘導に基づいてランダムアクセスを実行する。標的要素中心の特定にかかる時間は、知識による誘導により大きく低減される。撮像サイズが可変である可能性により、標的要素の中に2つのモードのパターン、すなわち、小さい画像に対する大きな外側パターンを備える第1のモード、およびより大きい画像に対する小さな内側パターンを備える第2のモードがある。すべての標的要素中心を位置特定する仕事を完了するには、最大で60,000回の算術演算が必要とされると推定される。したがって、3GHzのプロセッサは、利用されるコンピュータ言語に応じて、約1ミリ秒でアルゴリズムの計算を完了するように構成され得る。すべての残りのアルゴリズムは、別の1ミリ秒で実行され得る。
上のセクションはマシンビジョンの主な機能を説明しており、それは、カメラから0.3m〜3mの距離以内で1cm以内の精度で標的要素の場所を位置特定することである。マシンビジョンの第2の機能は、光学デバイスから遠隔の/長い距離(カメラから3〜12m)で標的要素の場所を位置特定することである。遠隔の距離では、較正ルックアップテーブルは5cmごとに用意され、位置決め精度は5cmに緩和される。標的要素が光学デバイスから長い距離にあるときの標的要素のより小さな画像により、視野角は図8の光学デバイスの視野プロットにおいて示されるように、収束し始める。この遠隔ビジョンモードでは、その距離について必要とされる焦点合わせに必要な時間をシステムに与えるために、応答時間が長くされる。
前に説明された標的要素は、図5の例として示された。2次元の標的要素は、たとえば、図5(A)および(B)に示されるように10cm四方であり得る。平坦な空間に適した標的要素のより小さなフォーマットが図5(C)に示されている。各標的要素は、固有のヘッダ(標識パターン)と、識別のためのマーカーパターンと、標的要素の中心につながるベクトル情報(マーカーパターンの中心)とを含む。標的要素上のパターンおよびその中心形状は幾何学的に対称的なパターンを備えることがあり、それにより、パターンの対称性の中心がマーカーパターンの幾何学的中心として容易に識別される。上で言及されたように、各標的要素上のコンテンツは、機械点字で符号化される特別なタイプの標識であり得る。より多くの情報が標的要素に組み込まれるとき、機械点字におけるメニューが図5(D)に示されるように提供され得る。
光学デバイスの実装
本発明の実施形態では、本発明は2000万個のセンサを有するカメラ、成熟したカメラ技術を使用する。今日、カメラ製造業者は、5000万画素から1億2000万画素前後のセンサを有するカメラを生産している。視野角が120度のレンズも容易に入手可能である。距離の影響、および一般的な広角レンズの固有の性質により、理論的な最悪の場合のシナリオでは、ビューイングエリアの周辺で150%の画像の歪みを想定する。標的要素の距離が光学デバイスから1.5m離れているとき、10cm対10cmの標的要素は14400個のピクセルをカバーする。3mの距離において、かつ非線形性の影響により、最悪の場合、10cmの標的要素が約1600個のピクセルにより表される。これは、標的要素の中心が標的要素の中心のブロックに基づいてmm未満の距離まで正確に計算され得るので、許容可能である。最高で5語の機械点字は、40×40ピクセルから容易に読み取られる。実際に、2cm幅の機械点字符号は、150%の歪み率のもとで6メートル離れて読み取ることができると判定されている。
処理速度に関して、制約の1つはフレーム読出し速度、すなわちフレームレートに関係する。業界で受け入れられる速度はフレーム当たり30ミリ秒である。2000万画素を備えるカメラセンサでは、現在の技術では、そのようなカメラにより撮られる画像のダウンロードには、複数の読出しチャネルを用いて15ミリ秒必要であり得る。ビジョン計算は比較的局所的なデータのみを必要とするので、受信された画像の画像処理は、行のグループが完全に取り込まれたときである、読出しが開始してから数ミリ秒以内に開始し得る。位置決め計算は、数ミリ秒しか必要としないので、全体の遅延は20ミリ秒に限られ得る。線形速度の限界が200cm/sである場合、サンプリング遅延による位置決めの差は4cm以内に限られ得る。
さらに、スマートフォンのカメラでは、2000万個の画素が15ミリ秒でランダムアクセス回路にマッピングされる。唯一の欠点は、ビューの水平方向の角度が650であることに関し、これは、スマートフォンの技術の範囲内でビューカメラの900および1200の角度を開発することにより対処され得る。線形画像が正確である必要はないことに留意されたい。しかしながら、より高いピクセル分解能が望ましく、より歪みの少ない画像がより高い分解能をもたらす。
焦点比の調整
狭い開口が短距離のビジョンに使用されるが、ビジョンシステムが長距離モードで、たとえば6メートルを超えて使用されるとき、焦点合わせが必要であり得る。次いで、(s,t)(u,v)の読取値が、焦点合わせが原因のスケーリングを正規化するために、適切な焦点比を用いて調整されなければならない。
画像の標的要素中心のx軸およびy軸のピクセル位置がまず、図9に示されるように、x軸およびy軸のピクセル座標と焦点比を乗じることにより正規化される必要がある。これは、較正画像と場所検出画像の両方に当てはまる。焦点比は、調整なしの初期状態焦点距離の焦点距離を物体画像の焦点距離により割ったものとして定義される。焦点比は初期状態で1に等しく、標的要素がより遠いときは1より大きくなる。焦点比プロセスは、レンズの歪みとは無関係に線形である。近い距離で使用されるとき、およびリアルタイム(数ミリ秒)では、焦点合わせは不要である。3mを超えて位置する標的要素に対しては、焦点合わせおよび焦点比の正規化が必要である。
標的要素ベースのマシンビジョン
まとめると、マシンビジョンシステムは、以下の特性の両方を満たすことが可能である。
a)再現性:対象の範囲内にあるデバイスの前方の(x,y,z)により表現される3次元空間の中の点に基づく、行および列のピクセルセンサの統合された読取値、および(s,t)と表現されるそれらの解釈された小数が、そのような値が同じままになるという点で再現性がある。
b)単調性:上記の(s,t)の読取値は、点が新しい位置(x',y',z')に移動し、x'≧x、y'≧y、およびz'≧zである限り、値が単調に増大し、等しく、または減少するものとする。
マシンビジョンシステムにおいて利用される標的要素は各々、2次元の形状の幾何学的中心(標的点)を見つけられるような、2次元の形状を備える。各標的要素また、それらの目的および位置に関する符号を含む。
制約規則は様々な形式であり得る。一般に使用される制約規則は、2つの標的要素の間のずれと組み合わされた、参照平面からの標的要素の相対的な高さを備える。参照平面は、(標的要素が取り付けられている)物体が据えられる物理的な台に相当する。2つの標的要素のずれは、それらが物体に取り付けられているので既知の定数であるが、物体自体は可動である。制約規則に適合するために、位置探索が通常は台から固定された高さ(多くの構成では等しい高さ)で実行される。一般に、光学デバイスおよび標的要素は、光学デバイスに対する原点およびx、y、z軸が標的点の場所を位置特定するために利用されるように、同水準の台の上に存在する。結果として、z平面におけるz=0の値からの相対的な高さの差が、普通は制約規則として使用される。
上記に加えて、本発明の実施形態によれば、システムはまた、一般的な参照平面の仕事を解決することが可能であり、これにより、標的要素は光学デバイスとは異なる水準にある台の水準が基準となる。そのような実施形態は図25Aおよび図25Bに示されており、「傾斜した斜路での例示的な実施形態-参照平面の利用」と題するセクションにおいて詳細に説明される。
本発明の実施形態では、光学デバイスの(s,t)の読取値はまず、部屋内の1つ1つの立方センチメートルの、対象の範囲の5億個の位置すべての関数として較正される。これは前に説明されたように行われる。次いで、適切な相対的な制約(たとえば、制約規則のセット)が2つ以上の標的要素に課される限り、点のセット(最小で2個)の場所は、制約が満たされている限りすべて解かれることが示される。
たとえば、標的要素1および標的要素2が水平に(地面から同じ距離に)配置され、それらの間の相対的な距離が知られている場合、それぞれデバイス上での物理的な読取値と等しい(s,t)および(u,v)を示す点は、対象の範囲において上の較正テーブルの中で2つしかない。この例では、制約規則のセットは、標的要素1と2のz軸の値と、これらの2つの標的要素間の相対的な距離とを備える。z軸の値から、2つの標的要素が水平に配置されることが認識されるであろうことがわかる。
いくつかの状況では、t=v=0となる特異な条件がある。そのような読取値に対して、位置の複数のペアが存在し得る。そのような状況は水平線の混雑と呼ばれ、このとき、単一の光学デバイスと、すべての標的要素に対する制約規則がz軸を基準とする複数の標的点が存在し、すべての標的要素はz=0平面に近い(光学デバイスも定義により同じ平面上にある)。そのような水平線の混雑は、別の光学デバイスからの読取値により探索を補強することによって、または、水平線を超えて潜在的な標的点の場所を拡散するために標的要素の制約規則を変更することによって、回避され得る。
この位置決めの理論は、一意性に帰着する。すなわち、光学デバイス1の前方の3次元位置の約5000万個のエントリーのうち、単一のエントリーのみが読取値(s,t)および(u,v)を有し、それにより、水平線の混雑を除き、各読取値はそれぞれ標的点1および標的点2に対する光学デバイスの読出しの結果を表す。これは、カメラが本来非線形でありながら単調であるという事実から導かれ得る。したがって、較正テーブルが強引に、または洞察により探索される限り、光学デバイス1に対する正確な位置は、較正テーブルからの(s,t)(u,v)の読取値が光学デバイスの読取値から発見される読取値と同じになるような(x,y,z)が発見されれば、得ることができる。本発明の実施形態では、単眼ステレオマシンビジョンは、動きに依存せずに実装され得る。単眼ステレオビジョンは必ずしも1つのカメラだけを必要とするとは限らず、対象の範囲内で知覚し位置決めするために単独でまたは/かつ一緒に動作し得る、光学デバイスのセットを示唆することを認識すべきである。
マッチングによる3D位置決め
本発明の実施形態では、標的要素の3次元の場所はマッチングによって取得され得る。2つの標的要素がまず、上で説明された較正された光学デバイスの範囲内に置かれる。ここでのマシンビジョンシステムの目標は、次いで、2つの標的要素の間の固定された平面からの相対的な高さの差が知られており、2つの標的要素が相対的な距離Dだけ離れているという条件のもとで、たとえば、制約規則のセットが知られているという条件のもとで、光学デバイスに対する2つの標的要素の場所を位置特定することである。上記の平面はz軸に関して固定された方向にあるので、これは、2つの標的要素がz軸に沿って既知の相対的なずれz0を有すると解釈され得る。当業者は、標的要素がそのような制約を受けるだけではなく、この制約が物流業界において一般に発生する制約であるために選択されるということを認識するであろう。たとえば、両側の壁に接して置かれたペアの標的要素を伴う積荷は同じ高さに配置され、その積荷の幅は通常、標的要素のペアの間の距離を制約する。
位置決め方式に関して、単一の光学デバイスのグローバルな位置および向きが知られているので、標的要素の場所がこの位置に対して参照されるという点で、または、標的要素のグローバルな位置が知られているので、光学デバイスの場所および向きがこの位置に対して参照されるという点で、逆の関係が通常存在する。しかしながら、上の2つの場合に対する答えを見つけることの方法および複雑さは同じではないことに注意する。固定されたグローバルな座標がすべての標的点について知られているとき、これは、点と点の間の制約規則よりもはるかに知られている情報である。
s,tの読取値に基づいて(x1,y1,z1)の値を探索して得るためのシステマティックな方法がある。理論的には、そのような点は較正テーブルの中に存在するので、一度に1センチメートル、平面ごとに、3次元空間にわたってスイープが行われ得る。これは強引な方法として知られている。しかしながら、そのような方法はさほど効率的ではなく、より効率的な方法が以下で説明される。これらの方法では、標的要素間の相対的な高さの差(z軸の差)が知られていなければならず、または0に設定されなければならず、標的要素間の相対的な距離Dが知られていなければならないという点で、少なくとも2つの制約パラメータがある。
光学デバイスは、上記の標的要素に対応する(s,t)および(u,v)というセンサ読取値を与える。次いで、較正テーブルが、(s,t)を示す位置(x,y,z)と、(u,t)を示す別の位置(x',y',z+z0)とを見つけるためにシステマティックに探索され、上記の位置の間の距離はDに等しい。
本発明の実施形態では、探索方法は、z値を固定することと、(s,t)を示すz平面上の(x,y,z)の位置と、(u,v)を示す(z+z0)平面上の点(x',y',z+z0)とを見つけることとを伴い、z0は2つの標的要素の間のz軸値の差を表す。疑問を避けるために、本明細書においてz平面への言及が行われるとき、z平面とは、一定のz軸値を有する(x,y,z)値からなる平面を指す。本発明の実施形態では、この平面は、x軸に平行な対向する複数の辺を有することがあり、y軸に平行な他の対向する複数の辺を有することがある。z平面は、本発明から逸脱することなく、他の形状およびサイズからなっていてもよいことを当業者は認識するであろう。2つの位置の間の距離が次いで、距離がDと一致するかどうかを決定するために測定される。一致が発見されない場合、新しいz値が、上記の位置とDとの間の距離の差の符号および大きさに基づいて予想され、この処理は一致が発見されるまで繰り返される。これが発生するとき、それは、標的要素が光学デバイスに対して相対的に上記の位置にあることを意味する。この実施形態において説明される探索方法は、一般化されたz平面探索として知られている。
深度および視差
図10は、距離の視差に基づく深度計算の方法を示す。図10(A)に示される例では、2つのカメラは110cmだけ離れている。3メートル先の視差に基づいて深度を解くために、3.73という深度対視差の比が観測される。3メートルにおけるピクセル分解能は600cm/5000=0.12cmである。2つのカメラの最悪の場合は0.24cmである。したがって、3メートルにおける深度分解能はピクセル当たり0.9cmである。単眼のデュアル標的要素システムでは、捕捉機構、すなわち標的要素は93cm離れているので、図10(B)に示されるように、2.5メートルにおいてピクセル当たり同じ0.9cmの深度分解能が予想され得る。以下のセクションでより詳細に説明されるように、標的要素はピクセルのグループからなる形状の端部を介して精度を積み上げることができ、これは、ピクセル位置の属性が深度計算の分解能を0.1cmに向上させることができることを意味する。
較正テーブルの探索
当然、あらゆる探索の目的は、較正テーブルを横断して、(s,t)の読取値が物理的な読取値と一致する場所のセット(最も単純な場合、ペア)を見つけることと、それらの場所が相対的な位置決めの制約を満たすことを見出すことである。レンズの単調な性質により、テーブルを探索する様々な方法がある。
ビデオフレームレートで場所を特定するように強いられない場合、前に説明された強引な探索方法を通じて、数秒以内に2つの垂直に配置された標的要素の正確な位置を見出すことができる。
較正テーブル探索方法の実施形態は、次のように分類され説明される。
a)より小さい次元への縮約。一般に使用される垂直の方向が探索の基礎として利用されてよく、これは本明細書ではz平面探索として特定される。たとえば、実際の(s,t)および(u,v)という読取値をそれぞれ伴う2つの標的要素が、z0という高さの差を有すると仮定する。z軸上の各値に対して、CT(x1,y1,Z)=(s,t)かつCT(x2,y2,Z+z0)=(u,v)となるような(x1,y1)および(x2,y2)を見つけるために、探索は2次元へと縮約され得る。次いで、2つの点の間の距離がDから偏位している方向を決定するために、相対的な距離Dが使用される。次いで、より良いZ'を予想するために偏位の距離が使用され、プロセスは繰り返される。
このセクションにおける参照平面はz平面(すなわち、z値が一定である平面)を指すが、y平面(すなわち、一定のy値を伴う平面)、x平面(すなわち、一定のx値を伴う平面)、または傾斜した参照平面などの他の平面が、本発明から逸脱することなく、これらの探索計画において使用され得ることを当業者は認識するであろう。
同様に、この探索は、2次元探索の問題を解くために1次元に縮約され得る。
b)代替的に、本発明の別の実施形態では、z平面探索のために、最初の点探索において処理される最初の点に基づいて、第2の点と第1の点との間の相対的な制約が、潜在的な第2の点を割り振るために利用され得る。次いで、割り振られた点は、較正テーブルの読取値を調査することにより検証される。潜在的な点の間の第2の点が、テーブルの中の所望の(u,v)の読取値を有することが判明する場合、答えが見つかる。
・たとえば、探索は距離Dに基づいて実行され得る。CT(x,y,z)=(s,t)であるとすると、半径(x02+y02+Z02)1/2=Dとなるような半径(x02+y02)1/2の円上の点のセットを得ることができ、それにより、この円は(x,y,z)に中心を有する。z平面(z+z0)におけるその円上の点(x',y')がCT(x',y',z+z0)=(u,v)を有することが判明する場合、答えが得られる。(u,v)に最も近い値が受け入れられない場合、別のzが予想され、プロセスが繰り返される。
・より簡単な方法で例示すると、縮約された例は、標的点と標的点の間の縮約された制約規則についての後のセクションの前置きとして、ここで提示され得る。この例では、2つの標的点は、それらの間に距離Dの垂直方向の離隔を伴って、垂直の構成で配置されると仮定される。そのような場合、x0=y0=0かつz0=Dである。CT(x,y,z)=(s,t)であるとすると、相対的な制約規則を満たす(x,y,z+D)である唯一の点がある。したがって、CT(x,y,z+D)=(u,v)だけが検証される必要がある。
c)線形補間/外挿(グローバルな勾配)。図11(A)に示されるような2次元探索では、各値が正方形の遠い角を表すように、4つの値が較正テーブル値から得られる。次いで、(s,t)の読取値が点を得るために補間される。(u,v)の読取値は同様に、別の点を得るために補間される。次いで、2つの点の間の制約関係が、別の平面へのシフトの方向および大きさを予想するために調査される。
補間プロセスの目的は、(x1,y1)(x2,y2)を得るために正方形の2つの辺上のsで補間し、次いで線分(x1,y1)--(x2,y2)上のtで補間することである。例が図11(A)に示されている。
3次元探索では、上で説明されたような2次元探索がまず、各値が正方形の遠い角を表すように較正テーブル値から4つの値を得るために実行される。次いで、(s,t)の読取値が点を得るために補間される。上のステップは、(s,t)のための別の補間された点を得るために、別の正方形の他の4つの遠い角について繰り返される。接続される線分は、(s,t)に対する線形のマッチである。次いで、別の線分を得るために、これらのステップが(u,v)に対して繰り返される。次いで、答えが、2つの位置に対する指定された制約規則に基づいて、これらの2本の線から発見される。これは図11(B)に示されている。
d)ローカルの勾配ステッピング。上のb)はグローバルな勾配と呼ばれ得る。ローカルの勾配は、x,y,z軸上のSでの勾配に基づいて、一度に1ステップ機能し、x、y、z軸上のTでの勾配に基づくステッピングがそれに続く。2つの代替的なステッピングの長さがあり、毎回1単位長さステップするか、または勾配値を使用する予想される長さを用いてステップするかである。このプロセスは、テーブル読取値が(s,t)である点で収束するまで、sおよびtに対して交互に繰り返される。
e)サブ直方体(3Dに対する)およびサブ正方形(2Dに対する)探索。これは実際には、より効果的な強引な探索である。強引な探索方法を利用して較正テーブル全体(5億個の読取値を備える)を探索する代わりに、たとえば、各方向に対して10個ごとの場所のサンプリング探索を実行し、探索を500,000個の場所に減らすことができる。サンプリングは式|s-s'|+|t'-t|を使用して行われ、それにより、サンプリングは、|s-s'|+|t'-t|の最小値を与える方向に動く。そして、c)のローカルの勾配ステッピングが、結果を収束させるために使用される。
f)逆較正テーブル。エントリーs、tおよび空間次元のうちの1つを伴う逆ルックアップテーブルが構築され得る。そのような手法は、(s,t,z)のエントリーに基づいて(x,y)値を記録するために、6000×4000×500=120億個のセルが必要であるので、効率的ではない。現在の技術は、そのようなテーブルを正当なコストで扱うことが不可能である。この問題に対処するために、s/20、t/20、およびzの整数部分を使用することによって、3000万エントリーというテーブルサイズの逆テーブルが概要テーブルとして作成され、これはサイズが較正テーブルの25%である。逆テーブルを用いて、位置が光学デバイスの読取値に基づいて読み取られる。
たとえば、標的点1の位置がz値において読み取られる。次いで、標的点制約規則が適用される。z+z0における標的点2の位置が読み取られ、相対的な距離が調査される。これらのステップは予想される新しいz値について繰り返される。ステップは、位置が「探索される」のではなく「読み取られる」ことを除き、同じである。次いで、CTI(S,T,z1)=(x1,y1)かつCTI(U,V,z1+z0)=(x2,y2)であり、(x1,y1,z1)と(x2,y2,z1+z0)との間の距離がDに最も近くなるような粗い位置が得られ、ここでS、T、U、およびVはそれぞれ、u/20およびv/20の整数部分である。粗い位置から始まり、c)のようなローカルの勾配ステッピングが、CT(x1,y1,z1)=(s,t)およびCT(x1,y1,z1+z0)=(u,v)となるような2つの点へと収束するように実行される。(x1,y1)および(x2,y2)に対する調整により、距離の制約が満たされるようにz1が精密に調整される必要がある可能性が高い。
上の6つの一般的な手法を説明したが、探索の様々なレベルにおいて、かつ様々なパラメータを用いて、上記を組み合わせることを選ぶことができ、多くの他の方法がもたらされる。
ステレオビジョンのために較正されたカメラを組み合わせること
上の較正プロセスが2つの別個の光学デバイスに対して完了すると、それらは第1の光学デバイスから相対的な距離(x0,y0,z0)に配置された第2の光学デバイスとともに利用され得る。ある例として、第2の光学デバイスがy軸に沿って第1の光学デバイスから距離Yだけ右に配置される場合、第2のカメラのルックアップテーブルの中のy座標がYだけ減らされるものとする。このずれの正規化のプロセスは、ずれを打ち消すために実行される。一般に、第2のデバイスが第1のデバイスに対して(+x0,+y0,+z0)に位置しているとき、第2の較正テーブルの読取値は(x-x0,y-y0,z-z0)であるものとする。第2のデバイスの較正テーブルからの読取値は以後、(u,v)値と呼ばれる。
次いで、標的要素に対応する光学デバイス1からの(s,t)の読取値が取得され、次いで、同じ標的要素に対応する光学デバイス2からの(u,v)の読取値が取得される。第2の光学デバイスは(x0,y0,z0)に位置し、第1の光学デバイスの座標位置は(0,0,0)である。そうすると、作業は、光学デバイス1の較正テーブルがエントリー(x,y,z)において(s,t)を示し、第2の光学デバイス2の較正テーブルがエントリー(x-x0,y-y0,z-z0)において(u,v)を示すような、(x,y,z)を見つけることである。
固定されたシステム較正および適用例
単純な適用例に対して容易に適用されるシステム較正手法が本明細書で説明される。ビジョンシステムを構成するために較正された光学デバイスを装着するのではなく、デバイスは較正の前に、たとえば110センチメートル離れて取付具に装着される。次いで、取付具が較正のために送られる。取付具は、レール付きの台に装着され、たとえば、較正画面から30センチメートルの場所と300センチメートルの場所の間で安定して動かされる。1センチメートル離れるごとに、各光学デバイスが別個のスクリーンショットをとり、サブピクセル分解能で最大250,000個の標的点を処理する。コンピューティングデバイスは、主要な光学デバイスに対する位置のエントリーに基づいて、読取値の両方のペアを1つのテーブルに記録する。二次的な光学デバイスの位置および標的点に対するその相対的な位置は記録されない。
較正プロセスが完了した後で、次いで取付具が、地面に対するあらゆる標的要素の相対的な場所を検出するために地面に対して固定された位置に装着され、または、動く車両に対するあらゆる標的要素の相対的な場所を検出するために動く車両に装着される。
残りの仕事は、次いで、予想される位置の近傍にある標的要素を識別して確認し、標的点を位置特定することである。デバイス1の光学センサからの導出された(s,t)値およびデバイス2の光学センサからの(u,v)値は、取付具の較正テーブルを横断するためのペアとして使用される。これらの2つのデバイスは「固く溶接され」、1つの取付具として較正ステップを通じて処理されたので、相対的な位置、またはデバイスの指示角の差すらも、もはや重要ではない。「シグネチャ」が較正テーブルに記録され、標的点の固有の場所が特定されるものとする。
縮約された制約を伴うシステム
上のセクションで説明されたように、多くの代替の探索方法が、較正テーブルを探索するために利用され得る。探索計算の複雑さが、それぞれ(s,t)および(u,v)に関する2つの点に対する制約規則を簡単にすることによって低減され得るように、いくつかの設定が用意される。以下のケースがより単純な制約規則を有することを指摘しておく。
a)2つの標的点がDだけ離れて垂直であると仮定する。そのような場合、x0=y0=0かつz0=Dである。CT(x,y,z)=(s,t)とすると、相対的な制約規則を満たす(x,y,z+D)である点は1つしかない。したがって、CT(x,y,z+D)=(u,v)かどうかを検証するだけでよい。
b)2つの標的点が水平であり、光学デバイスがそれらの標的点を接続する線に直交する角度(係合の角度)で撮影していると仮定する。そのような場合、z0=0、y0=0、かつx0=Dとなるように、デバイスと揃うように軸を回転することができる。CT(x,y,z)=(s,t)とすると、やはり(x+D,y,z)である点は1つしかない。したがって、CT(x+D,y,z)=(u,v)かどうかを検証するだけでよい。
c)2つの光学デバイスが垂直または水平な並びで置かれ、相対的な距離がDであり、標的要素が光学デバイスの対象範囲内にあると仮定する。垂直の場合、論理および式はa)と同じである。CT1(x,y,z)=(s,t)であるとすると、CT2(x,y,z+D)=(u,v)かどうかを検証するだけでよい。水平の場合、式はb)と同じである。CT1(x,y,z)=(s,t)であるとすると、やはり、CT2(x+D,y,z)=(u,v)かどうかを検証するだけでよい。
c)の水平の場合は丁度、ステレオビジョンが目的の従来のデュアルカメラの構成であることに留意されたい。上のケースb)では、興味深いことに、標的点が光学デバイスであるものとして撮像され、標的点である光学デバイスおよび光線が逆に横断する場合、従来の構成のように機能することに気付く。これは、較正テーブルを探索する際の式が、デュアルカメラ-シングル標的のカメラシステムとデュアル標的-シングルカメラのシステムとの間で同一になる場合である。ケースc)では、CT1(x,y,z)=(s,t)かつCT2(x+D,y,z)=(u,v)となるようなzを見つけるために、z平面探索方法が縮約される。これは図12に示されており、z平面280上の2つの点284、286がそれぞれ、読取値(s,t)および(u,v)を有し、(x,y,z)はこれらの点が1つの点282に合わさるときに見つかる。ケースa)およびb)では、CT(x,y,z)=(s,t)かつCT(x,y,z+D)=(u,v)を満たすだけでよい。図12は、標的点とレンズの役割を逆にして、ケースa)およびb)に適用される。
ケースb)では、標的要素142を接続する線は、定義上地面に平行である。これは図13に示される。したがって、地面に対する回転の角度という、1つの自由度しか存在しない。カメラと標的要素との間の直交する係合の角度は、標的要素のペアの画像がカメラの水平線に対して水平になるまでカメラを回転することによって得ることができる。図13に示されるように、単眼カメラ72は回転台の上にある。画像146は標的要素の傾斜を示す。中心線148は、光学デバイスの中心軸の係合の角度が、標的点を接続する線に直交するような状況を示す。優れたデータ処理能力を仮定すると、2つの標的要素の位置決めがミリ秒未満で取得可能であり、これは、100ミリ秒かかる、直交する係合の角度までデバイスを物理的に回転することよりもはるかに速い。
複数の光学デバイスおよび標的要素
単一の光学デバイスを利用する代わりに、相対的な場所が固定されているいくつかの光学デバイスが利用されることがあり、それらの各々が固有の較正テーブルを有する。これは、ステレオビジョンのための従来のデュアルカメラからのより一般的な構成であり、固定された前方の指示方向と平行になるようにカメラを制約する。習慣的に、水平のデュアルカメラがマシンビジョンに利用される。実際には、カメラを水平にする必要はなく、ビジョンの分解能は影響を受けない。光学デバイスが垂直に、または対角方向の角に設置されることは、便利であり、または改善であり得る。対角の配置には、離隔距離が40%増えて、位置決めのための視差角を改善するという利点がある。垂直のペアは、空間的な制約のある場所によく収まり得る。ビジョンシステムに2つより多くの光学デバイスがあることに対する制約もない。
図15は、2つの光学デバイスが同じ方向に面しているような例示的な実施形態を示した。この例は、撮影の角度が変化しても、角度が知られていればシステムが機能することを示している。これは、角度の変動が常に、読取値の結果を出す前に座標系の回転を用いて正規化され得るからである。この例では、標的点4は、他の標的点と比較してある角度にあるものとして示されている。本発明の画像処理からは標的中心の場所情報しか抽出されないので、標的点4の角度は最終的な結果に影響しない。標的要素の向きは、設置を容易にするためのもの、またはより明瞭な視野角のためのものにすぎない。あり得る組合せのいくつかがここで分析され、かつ/または後の例でシミュレートされる。分析は光線のペアを特定することにより大きく簡略化される傾向があるが、すべての光線に対する集合的な計算が最良の結果をもたらす。
デュアルカメラデュアル標的システム
このセクションは、単眼ビジョンが標的要素のペアおよび辺上の二次的な光学デバイス2とともに使用される実施形態を説明する。二次的な光学デバイスは、(0,0,0)にある光学デバイス1を中心とする軸に対する座標(x1,y1,z1)を伴う、任意の場所にあり得る。この説明では、標的点1は(x,y,z)にあるように設定され、標的点2は(x',y',z+z0)にあるように設定され、2つの標的点の間の距離はDである。
そのような構成は、6つのステレオシステムを有するのと等価である。左のカメラが右の標的要素の読取値(s,t)を得て、右のカメラが左の標的要素の読取値(u,v)を得る、「クロスアイ」システム上でz平面探索を実行することは、2つの画像の間の視差が約2倍になり、よって分解能が2倍になるという点で有益である。光学デバイス1の較正テーブル1は、(x,y,z)において、標的点1に対応する(s,t)を示し、これはより遠い方向にある。光学デバイス2の較正テーブル2は、(x',y',z+z0)において、標的点2に対応する(u,v)を示し、これはより遠く反対の方向にある。Z値を設定し、較正テーブル1が(s,t)を示すような点(x,y,Z)を探索し、較正テーブル2の(x'-x1,y'-y1,z+z0-z1)が(u,v)を示すような点(x',y',Z+z0)を探索する。2次元を探索する方法は、上で述べられた通りである。上の2つの点の間の距離を取得し、Dと比較し、より正確なZを予想し、距離がDに等しくなるまでこのプロセスを繰り返す。そのようなZに対して、標的点の位置はそれぞれ、(x,y,Z)および(x',y',Z+z0)にあるものとして発見される。
図14は、本発明の実施形態による、2つの標的要素と2つの光学デバイスの間の簡略化された上面図を示す。2つのカメラと2つの標的要素の間に4本の光線があることに気付き得る。4本の光線は、TLCL、TLCR、TRCL、TRCRと名付けられる。4本の光線をペアにするための6つの組合せ、すなわち、TLCL+TRCR、TRCL+TRCR、TLCL+TRCL、TLCR+TRCR、TLCR+TRCL、およびTLCL+TRCRがあり、これらの組合せはカメラおよび標的が同じz平面上にない限り有効である。TLCL+TLCRおよびTRCL+TRCRのために、TLおよびTRの場所が特定される。残りの4つの組合せのために、TLとTRの両方が各々のペアに対して特定される。したがって、z平面探索方法を介して各TLおよびTRに対して5つの位置決めデータを提供することができるので、結果の5つのペアの加重平均により、より高い分解能を達成する。TLCR+TRCLに基づくデュアルカメラデュアル標的要素ビジョンは、視差距離の増大により分解能を約2倍にする。
クロスアイビジョン
視差は、上で説明されたようなステレオビジョンの基本的な要因である。標的点と光学デバイスとの間の光線の対称性は、視差が同じである限りシングル光学デバイス-デュアル標的点システムおよびデュアル光学デバイス-シングル標的システムが同じ距離分解能を提供することが可能であるという結論を与える。
2つの標的場所を見つけるために、デバイス1のセンサを使用して、遠端にある標的2の(s,t)の読取値を導出し、デバイス2のセンサを使用して、他の遠端にある標的1の(u,v)を導出する。デバイス1の較正テーブルを読み取り、CT1(x1,y1,z)=(s,t)となるようなz平面上の(x1,y1,z)を特定する。デバイス2の較正テーブルを読み取り、CT2(x2-x0,y2-y0,z+z1-z0)=(u,v)となるような(x2,y2,z+z1)を特定する。上で述べられたように、特定された点の間の距離が計算され、新しいz'を予想するためにDと比較され、Dに収束するように上記を繰り返す。
縮約されたクロスアイビジョン
上で言及されたように、縮約された構成は較正テーブル探索プロセスを簡単にするのを助ける。ここで、クロスアイシステムに対してビジョン深度の分解能がどのように2倍にされ得るかを実証するために、縮約されたクロスアイシステムが説明される。図16は、距離Dだけ離れた垂直に陳列される標的要素のペアと、距離Hだけ離れた垂直に設置される2つの光学デバイスとを示す。上の探索は、CT1(0,y,z)=(s,t)かつCT2(0,y,z-H-D)=(u,v)となるようなz平面上の(0,y,z)を見つけるために縮約される。そうすると、(0,y,z)および(0,y,z-D)が標的ペアの位置である。
「y」は標的点と光学デバイスとの間の距離を表す。yからわずかに偏位した距離の値y1に対して、CT1(0,y1,z)=(s,t)およびCT2(0,y1,z-H-D)=(u,v)の同じ光線を用いると、標的点2は(y-y1)/y*Hだけ短縮されなければならず、標的点1は(y-y1)/y*Dだけ短縮されなければならないことに気付く。したがって、yの距離の偏位は、1つの標的点上で両方の光学デバイスを利用することと比較して(H+D)/Hの視差比を生み出すはずであり、光学デバイス1が両方の標的点上で利用される状況と比較して(H+D)/Dの視差比を生み出すはずである。
光学デバイスのための回転ステージ
光学デバイスが1秒未満で大きな角度回転することを可能にするために、光学デバイスに「首」が設けられ得る。そのような任意選択の回転台が設けられ得る。これらの台は、フォークリフト上で図17Aに示されるように、360度の回転角の能力を有する。カメラは回転台に装着されるので、車両は標的要素のビューを失うことなく広角に回転することができ、車両の操作に対する制約を大きく軽減する。これは、少なくとも2つの標的要素が視野内にあると仮定すると、複数の標的要素とともに1つの光学デバイスしか使用されないときに特に有用である。
デュアルカメラ構成も、デュアル回転ステージ上に設置され得る。2つのカメラと2つの標的要素との間の4本の光線のうちの任意の2本が3D位置決めに寄与し得るが、「クロスビジョン」、すなわち、右のカメラに対する左の標的を左のカメラに対する右の標的とペアにすることは、距離精度を2倍にするということに留意されたい。回転ステージ上のデュアルカメラおよびデュアル標的要素という完全な構成に対するビジョンがここで説明される。回転ステージは、操作の間の視野角を大きくするために利用される。
逆に回転される座標で較正テーブルを読み取ることによって角度を常に正規化する限り、ビジョンシステムは同じように機能する。
たとえば、光学デバイスの3次元座標系を主要な基準として設定すると、出力(u,v)と関連付けられる第2の光学デバイスの3次元座標系の中の第2の点を特定するために第2の較正テーブルを使用するとき、この主要な基準に対するこの点は、第2の光学デバイスと第1の光学デバイスとの間の角度と同じ角度だけ逆に回転される(正規化される)ものとする。そして、この点は、光学デバイス1と光学デバイス2の間のずれの分だけ逆にシフトされる(正規化される)必要がある。その後、主要な参照座標系において1つ1つの処理が実行される。
この方法は、任意の3次元の角度にある、かつ任意の3次元のずれを伴う光学デバイス2に適用可能である。6つの自由度はすべて与えられる定数であるので、複雑化する要因は多くない。開示される方法では、2つの標的要素のための制約規則があることによる、2つの光学デバイスのための制約規則の差に留意されたい。見通し線の3次元の自由度は、較正テーブルを使用して厳密に取得され得る。したがって、計算の答えを導くために、相対的な制約情報が追加される。見通し線の間の3次元の自由度は標的要素との相関がないので、計算における検証のために相対的な制約情報が使用される。
図17(B)は、図17(A)のフォークリフトの上面図を示し、したがってz軸は示されていない。これは、光学デバイス2がz軸に沿って回転し、z平面においてずらされる(等しい高さの点)簡略化されたケースである。計算はさらに、3Dにおける6つの自由度を処理するように拡張され得る。参照を簡単にするために、標的要素は依然として3次元で表される。この例示では、光学デバイス1はフォークリフトの経路から30°反時計回りに回転したものとして示され、光学デバイス2はフォークリフトの経路から30°時計回りに回転したものとして示される。結果として、光学デバイス2は、フォークリフトの経路から-30°にあるものとして示される。2つの光学デバイスは、1メートル離れて置かれる。したがって、光学デバイス1に対する光学デバイス2の固定された位置は(0.86,-0.5,1)であり、光学デバイス2の前面と光学デバイス1の前面との間には60°の角度差が存在する。
出力(u,v)と関連付けられる第2の光学デバイスの3次元座標系の中の点が、たとえば(0,1,1)であるものとして得られるとき、上記の点の場所が正規化される。これは、2つの光学デバイスの前面の間の角度差に等しい角度だけ回転すること、たとえば、(0.86,0.5,1)へと60°時計回りに回転することによって行われる。
これは、点を60°時計回りに回転することが、軸を60°反時計回りに回転することと同じであることに気付くことにより、および、以下の反時計回りの回転式を適用することにより得られる。
x'=(x+ytan(A))cos(A)=xcos(A)+ysin(A)=0+0.86=0.86
y'=(y-xtan(A))cos(A)=ycos(A)-xsin(A)=0.5-0=0.5
次いで、この点が、それぞれx軸およびy軸上で、0.86および-0.5だけずらされる。これにより、点(1.72,0,1)が生じる。したがって、正規化ステップは、第2の光学デバイスの3次元座標系から第1の光学デバイスの3次元座標系へと、場所の表現を変更する。
余剰の正規化ステップを除き、回転ステージ上の2つの光学デバイスおよび2つの標的要素のシステムに対するステップは、1つの光学デバイスおよび2つの標的要素のシステムに対するステップと同じであり、それは、出力(s,t)と関連付けられる第1の光学デバイスの3次元座標系の中の第1の点を特定するステップ、ならびに、第2の光学デバイスの3次元座標系の中の第2の点を特定し、2つの光学デバイスの間の相対的な角度およびずれに基づいて正規化するステップである。2つの点の間の高さの差および距離に対する制約規則が満たされる場合、第1の光学デバイスの3次元座標系の中の場所が両方とも見つかる。
図17(B)の場合、高さは両方とも2メートルであり、距離は2であるので、制約規則を満たす。
そのような正規化は他の場合に、たとえば、外力による歪みの後の現場でのソフトウェア較正においても実行され、または、より広角の収束のための単眼ビジョンとして意図的に導入される。
マシンビジョンを用いた倉庫での取扱
ある好ましい実施形態では、上で説明された標的要素ベースのステレオマシンビジョンは、図17に示されるような改良されたフォークリフト70のいくつかの機能を誘導するために使用され得る。たとえば、少なくとも1つの広角の高解像度カメラ72が利用される。
改良されたフォークリフト70の動作の間、物体ならびにフォークブレード34の場所の測定を可能にするために、標的要素が使用される。好ましい実施形態では、標的要素は、積荷に接した、または床および壁に接した所望の場所に、またはその近くに位置する。
複数の光学デバイスのための単眼ビジョン
海運コンテナに積荷を入れるとき、またはそこから積荷を降ろすとき、通常のマシンビジョンまたは人の視覚では、障害物が多いことにより、「目隠し」が発生する。そのような状況は、出荷コンテナの内壁に垂直な標的要素を貼り付けることにより解決される。積み込みの機械の回転ステージ上のカメラが各々、図18に示されるように単眼ステレオビジョンを有するものとし、より小さいサイズの積荷の積み込みでは、ステレオビジョンのための移動距離がより長い。
垂直な単眼ビジョンの開始時に、フォークリフトの傾きに対する調整が必要であることに気付く。フォークリフトの傾きは、傾斜計およびジャイロスコープにより測定されるか、水準器のパラメータから計算されるかのいずれかであり得る。較正テーブルの探索の間、角度はこの傾きを用いて調整される必要がある。
複数の標的要素
単眼ステレオビジョンの3D位置決めの実践的な能力が、積荷に接する複数の標的要素の実装形態を用いてここで実証される。これは図19に示される。通常、積荷、または具体的には貯蔵コンテナ10は、鉛直で正方形の前壁を伴う立方体の形状である。これは、左側および右側に垂直な標的要素の2つのペアを置くのに理想的である。2つのペアは地面から同じ高さであるので、標的要素の2つの水平なペア、たとえば、ULおよびURのペアとLLおよびLRのペアも生じる。逆の物理理論を利用することにより、これは4つの擬似カメラの作成をもたらし、各擬似カメラは4つの角の各々に位置する。単眼ステレオ位置決めはまた、6回、すなわち2つの垂直なペア、2つの水平なペア、および2つの対角のペアについて実行することができ、6回の各々において2つの標的要素を特定する。次いで、4つの点の3回の発見の平均が、より正確な場所を導くために使用され得る。積荷が1平方メートルより大きい(本発明における2倍のサイズの貯蔵コンテナ10の場合は2メートル×2メートルより大きい)場合、視差角はより短い距離しか離れていない単一のペアの視差角より大きく改善され、はるかに良好な位置決め分解能をもたらすことに留意されたい。また、対角のペアは、既知の距離および既知の高さの差を伴う標的要素のペアとして扱われ得ることに、留意することができる。単眼ステレオ位置決めは、そのような対角のペアから導かれることが可能であり、対角方向のより長い距離により、40%長い視差距離を用いて良好な分解能が得られる。
上で説明された方法は追加の位置決めステップ、すなわち6回の位置決め処理を伴うように見えるが、これらのステップはより管理可能で効率的な方法へと統合され得る。逆ルックアップテーブルの横断は、カメラの場所を得るためにUL+LLおよびUR+LRに対してそれぞれ実行されることが可能であり、カメラの場所がUL、LL、UR、およびLRの場所を逆に指定する。次いで、z平面探索方法が、UL+URの距離だけ離れたz平面のペアとともに利用され得る。逆ルックアップテーブルから得られる4つの点(上側z平面上で2つおよび下側z平面上で2つ)がUL、UR、LR、およびLLの間のペア間の6つの距離に最も近い相対的な距離を有するような、1つのz値がある。UL+LLおよびUR+LRのルックアップテーブル探索は、係合の角度の不正確さを伴わないのでより誤差が小さいが、z平面の探索が集合的に、6つの相対的な距離を確証して平均化する。この結果は2つの逆ルックアップテーブル探索からの結果と同じくらい信頼できるはずであると判断されるので、4つの角の各々に対して答えのペアが得られる。次いで、最終的な答えが、積荷上の4つの標的要素の間の距離と厳密に等しい距離で完全な長方形を形成する4つの点にフィットすることによって得られ、場所の4つのペアからの最小の累積の偏位は探索結果から得られる。
超広角マシンビジョン
光学レンズの線形性、または線形性を目的とする固有の変換は、従来のビジョン位置決めのためのマシンビジョンシステムの位置決め精度を決める決定的な要因である。レンズ技術は、視野角が360度の光学デバイスがいくつかの適用形態に対して本明細書で利用されるほど、高速に進化している。そのようなレンズは、周辺を狭いディスプレイへと絞るために光線を曲げるので、極度に非線形である。本発明の実施形態を利用するシステムは、非線形性による問題を較正テーブルの探索に変換する。較正テーブルは、前と同じ較正手順により行われ、4回繰り返され、各々の回が精密回転ステージを介した90度の回転を伴う。各較正テーブルは、隣接する90度の角度の較正テーブルと重複する。4つのテーブルを、カメラからのすべての方向において正と負の両方の範囲をカバーするx軸およびy軸を伴う1つのテーブルへと組み合わせるために、テイラーリングおよびスティッチングが行われる。図20に示されるように、車両には、本発明の実施形態によるマシンビジョンシステムを利用する、360度の視野角の光学デバイスが搭載され得る。そうすると、この車両は、自身を位置決めし、可動の標的の場所を検出し、標的の周りの機械符号を読み取ることが可能である。
空間解釈
場所を指定するとき、線形に解釈される0.063cmの分解能を得るために分解能属性が使用され得る。セル間の線形補間は「空間解釈」と名付けられる。この精密な属性がこの点において無視されるべきではないような、多数のさらなる計算がある。さらに、cm未満の場所情報を無視すると、画像の場所分解能により生成される、動きの間の人工的な加速(およびさらなる誤差)が生じ、混乱を引き起こして、動きの軌跡の検出の間に移動平均が必要になる。
2次元の線形空間解釈
前に言及された2次元の空間解釈が以下で説明される。
(S,T)の読取値が較正された光学デバイスから読み取られ、次いで、記録された(s,t)が(S,T)に最も近い値を有するような位置(x,y)を導出するために、較正テーブルが横断されると仮定し、ここでxおよびyは整数である(すなわち、|s-S|+|t-T|がテーブルの中の近隣の位置の中で最小である)。探索の仕事は、次いで、補間された(s,t)の値が(S,T)に等しくなるような厳密な位置(X,Y)を見つけることである。xおよびyがそれぞれ1だけ増やされるか減らされるかに応じて、正方形を選択するための4つの選択肢がある。
図21(A)を参照すると、固定されたZ平面上の読取値が(s,t)であり、その点のうちの1つが(S,T)に最も近い値を有し、たとえば、次のような特性を伴う(x,y)、(x,y+1)、(x+1,y+1)、および(x+1,y)として、4つの近隣の点が光学デバイスの較正テーブルの中の正方形を形成すると仮定する。
a)4つの辺のうち、2つの辺がSをカバーするs値の範囲を有し、そのような2つの点は(S,T1)および(S,T2)の読取値を伴う。
b)T1、T2の範囲は値Tを含む。
4つの可能性のうちの1つが勾配の方向に基づいて選ばれるとき、これは常に、a)を満たすための正しい座標方向を与える。TがT1またはT2の外側である可能性があり、その場合は単純に、a)の線分からのT上での外挿により近隣の正方形に移る。
補間されたsがSに等しくなるような、2つの点が2つの線分に沿って見つかることがある。これは補間の逆である。線形補間されたSに対応する点が、例として図20(A)に表されている。この線分に沿った線形補間されたTに対応する点は矢印により表されている。これは、光学デバイス1の較正テーブルに基づく、指定された平面上での(S,T)の空間解釈の答えである。
3次元の空間解釈
2次元空間または3次元空間が単位長の空間パラメータ(または単位角度測定値)により表されるとき、それは、連続的な点における状態のみが、いくつかのパラメータにより測定および/または記録されるという点で、離散系である。得られた較正テーブルは1つのそのような例である。x、y、およびz軸の方向への各単位長のインクリメントは、x、y、およびz軸の値に相関する記録のセットを与えられる。
この実装形態におけるx、y、zは整数であるが、sおよびtは小数である。したがって、z平面探索手法を使用して3次元の空間解釈を知覚して処理するのがより簡単である。
zが整数であるとして、zとz+1との間のZ値を仮定すると、Z平面は、(x,y,z)(x,y,z+1)(x,y+1,z+1)(x,y+1,z)(x+1,y,z)(x+1,y,z+1)(x+1,y+1,z+1)(x+1,y+1,z)の直方体の中に作成され、(s,t)の値は光学デバイスの較正テーブルに対応する。
図21(B)を参照すると、(x,y,Z)(x,y+1,Z)(x+1,y+1,Z)(x+1,y,Z)と関連付けられる(s,t)の値が補間されることがわかる。光学デバイスが(S,T)を示すような(X,Y,Z)を見つけるために、(S,T)の解釈された位置が(X,Y)となるようなXおよびYを見つけるために2次元の空間解釈が実行される。Z値がシフトするにつれて、(X,Y,Z)が(S,T)を示すようなXおよびYの値もシフトする。2次元空間では、解釈された(S,T)として点が得られることに留意されたい。3次元空間では、解釈された(S,T)として線分上で点のグループが得られる。たとえば、異なる標的点に基づく、読取値の別のセットが利用される。両方の標的点に対して読み取られる値が満足するような点は、(S,T)に対して1つしかないはずである。
ピクセル化された解釈
基本単位より小さいオーダーの大きさの分解能で指定される、位置と関連付けられる値に対する補間に基づく2次元の正方形または3次元の直方体の中での精密な位置を予想する空間解釈が、本明細書で説明される。ここで、ピクセル化された解釈は逆に機能する。標的点を表すピクセルのセットに対する累積された情報に基づいて、ピクセルアドレスの精密な読取値が予想され、これはピクセル距離よりも精密な大きさのオーダーである。これは図22に示される。ピクセル分解能の最悪のケースが偶然、ピクセル化された解釈に対する最良のケースであることがある。6kの解像度、120度の視野、および3メートルの離隔の実装形態では、ピクセル分解能は、歪みを考慮しないと1センチメートル当たり6である。物理的な標的要素は、幅および高さが0.5cmとなるように設計される。
これは、ピクセル分解能よりも精密な大きさのオーダーの分解能で画像点の小さな集団からなる形状の中心を導出するためにその形状を特定することによって、行われる。原則として、あらゆる閉じた2次元の形状が利用され得る。形状の周縁のみがサブピクセルの位置決めに対して影響を与えやすいことに留意されたい。この画像処理プロセスを利用することによって、1と0の間の複数の読取値レベルを伴うピクセルの1つの層からなる端部を有する形状が導出され、これらのピクセルは、上記の形状の内側および外側で、正反対の0または1という極端なピクセル読取値を有する。この形状の幾何学的中心がまず得られる。
図22は普通の形状を示し、標的点の中心を表す長方形が光学センサの格子のもとで読み取られる。図22(A)は中央のビューを示し、図22(B)は歪んだ広角のビューを示す。ピクセル読取値P(x,y)を取得し、近隣の端部ピクセルの位置に基づいて、かつx軸に沿った方向または対向する方向に基づいて、+1から-1の範囲である百分率の重み属性Wをx軸において割り当てるために、端部を横断する。y軸上での重みは1-|M|であり、やはり、y軸に沿った方向または対向する方向に応じて、-1から+1にわたる。標的中心のピクセル化された解釈(X,Y)は、形状の幾何学的中心からの、ピクセル単位距離での調整として定義される。画像処理において一般に使用される形状分析方法が、図22(E)および図22(F)において示される画像を導出するために利用される。形状が傾斜している軸に応じて、直線エリアではいずれかの軸に100%の値を設定し(たとえば、(1,0)または(0,1))、凹エリアまたは凸エリアの中間に対しては50%50%の値を設定し(たとえば、(0.5,0.5))、凹と凸の組合せのエリアに対しては70%30%の値を設定する(たとえば、(0.7,0.3)または(0.3,0.7))ために、単純なx軸およびy軸の属性割当てが実行される。次いで、グレーレベルの量が、属性の百分率に基づいて、x軸またはy軸に向かってそれぞれ累積される。円全体にわたって実行されるそのような累積ステップは次いで、x軸およびy軸における形状の幅の長さ(形状の端部をピクセル距離の半分としてカウントする)でそれぞれ割られる。ピクセル化された解釈は、たとえば256ピクセル未満からなる形状に対して利用される。ピクセル分解能は1桁精密になり、ピクセル化された分解能は必要ではない。ピクセル化された解釈の詳細な例が、後のセクションでより詳細に説明される。
図22(C)および図22(D)はそれぞれ、ピクセルセンサ読取値と、(A)および(B)のピクセル化された解釈を示す。図22(C)の正方形の端部ピクセルが、それらの重み属性と一緒に、図22(E)に示されている。図22(D)の正方形の端部ピクセルが、それらの重み属性と一緒に、図22(F)に示されている。そのような方法に基づくと、光学デバイスの読取値(s,t)はもはや、センサの行および列を反映しないが、代わりに小数になる。
以下で述べられるように、この革新的なピクセル化された解釈には、主な適用例がある。
1)標的要素ベースのビジョンのための正確な相対位置決め
センチメートル未満の、2つの物体の間の相対的な場所および距離の精度が非常に重要になり得る。ピクセル分解能が0.5から1センチメートルであるとき、ミリメートル以内での標的点の位置決めが、たとえば物体または機械符号の相対的な開始点のために使用され得る。
2)正確な深度知覚
図10は、深度知覚とセンサ分解能との間の直接の対応付けを示す。従来の視差生成は対応付けの発見に依存し、これはピクセル分解能によっても制限される。標的点およびピクセル化された解釈により、最高でピクセル分解能の10%まで視差のずれを検出できるので、深度知覚が1桁向上する。
3)水平/垂直線に対する調整
どのような様々な構成においても、マシンビジョンの精度は、水平線の正確な知識または測定に依存する。多くの場合、z軸のずれが0であることを確実にするためだけに、z軸に対するずれが、デュアル標的点ならびにデュアルカメラステレオビジョンのために知られている必要がある。回転ステージ上のカメラおよびデュアル標的の場合、提案される手法の1つは、角度または係合が90度になる箇所まで回転することである。そのような場合、ピクセル分解能の10倍が、0.1度の精度でカメラ角度を調整するために必要である。
例示的な実施形態-1つのスナップショットにおける固有の場所および可動の物体の位置決め
図23は、1.5メートルの高さにある単眼光学デバイスが設けられた取扱機械を示す(縮尺通りではない)。シーンにおいて2つのタイプのマーカーがあり、一方はグローバルな原点に対する絶対座標を伴い、他方は標的タイプを示す情報を除き既知の位置を伴わず、これは実質的に、ある積荷のタイプの反対側に対となる標的があることを述べている。マシンビジョンはまず、第1の標的タイプを参照することによって、固有の場所および向きを特定する。ビューの端部にある壁にマーカーがあり、離れており傾いているので小さい別のマーカーが地面にある。3メートルの高さで視野角が良好である、他の2つのマーカーが柱にある。
光学デバイスのグローバルな場所および向きはまず、これらのマーカーから得られた情報に基づいて解かれる。たとえば、2つのマーカーが、光学デバイスに対してそれぞれ、(x1,y1,1.5)および(x2,y2,1.5)にあるものと特定される。光学デバイスは1.5メートルの高さにあるので、制約規則は、倉庫全体のグローバルな基準に対する2つのマーカーの座標値がそれぞれ、(a1,b1,3)および(a2,b2,3)であることを述べている。x1、y1、x2、y2、a1、a2、b1、b2、および光学デバイスの高さはすべて既知の値なので、唯一の変数は、グローバルな原点に対する光学デバイスのx軸およびy軸の値である。位置を取得した後で、光学デバイスの回転角が容易に取得され得る。
ここで、他のデバイスからの画像を調べる必要なく、かつさらなる画像を再び撮る必要なく、同じスナップショットを利用することによって、光学デバイスは、前方の可動の積荷のグローバルな位置決めおよび対面角を正確に特定することが可能である。この場合、第2のタイプの標的のペアが水平な構成で設けられ、ここでそれらは高さ15cmに93cm離れて配置される。上記の積荷のタイプでは、ピックアップポケットが標的中心のすぐ下にある。上で説明された方法は、単一のスナップショットしか撮る必要がない。この方法は、スナップショットの状態を記録しないだけではなく、誤差の累積もなくす。上で説明された方法を利用することにより、可動の積荷の正確な位置および向きが、接近およびドッキングの目的で得られる。
例示的な実施形態-Z平面結合制約規則探索方法
図24は、図23の構成の続きであり、標的の場所を得るための単眼z平面結合制約規則探索方法の例をより詳細に示す。例示を目的に、対角の標的要素が使用される。カメラ290は、左上の標的要素293および右下の標的要素294より高い場所にあると仮定される。z1という値を有するz平面297が最初に選択される。制約規則に従って、下側の標的点は(z1-z0)平面として設定され、標的293および294の標的中心はD=110cm離れている。まとめると、z0は標的間の垂直方向の距離である。(s,t)という読取値を有する点291がz1平面上で発見され、(u,v)という読取値を有する点292が(z1-z0)平面上で発見される。しかしながら、点291と292の間の距離は距離Dより短く、すなわち110cmより短いことが発見される。
この結果に基づいて、標的要素293は、代わりにz2という値を有するz平面298上にあり得ると推定される。この推定に基づいて、点294が次いで(z2-z0)平面上にあると推定される。例示を目的に、正しい(s,t)の読取値を伴う標的中心293が発見された後で、使用されるべき制約規則が選ばれた。(z2-z0)平面上の点295に垂直に下降して、次いで点295が、1つ1つの点が標的中心293からDの距離にある円の中心として使用される。言い換えると、円296は、その上の1つ1つの点が点293から110cmという距離Dを有するように、この平面上で描かれる。点294が要求される(u,v)の読取値を有するものとして円上にあると特定される場合、これは、カメラに対する点293と294の両方の座標が発見されたことを意味する。
傾斜した斜路での例示的な実施形態-傾斜した参照平面の利用
図25Aおよび図25Bに示されるように、積荷が傾斜した斜路に設けられており、明白に傾いている。図25Aからわかるように、2つの標的要素((x3,y3,z3)および(x4,y4,z4)における)が斜路の地面から「z」cmの高さに設けられるが、これらの標的要素はもはや、z軸のz=-1.5の水準から測定されない。逆に、光学デバイスは実際に、z=0となるような平面に平行な平面に設けられることに留意されたい。
この例では、制約規則は、両方の標的要素(T3(x3,y3,z3)およびT4(x4,y4,z4)における)が参照平面(斜路)のz1=10cm上に設けられ、これらの点がD=95cm離れていることを規定する。混乱を避けるために、この例の参照平面は傾斜した斜路自体を備える。
参照平面が傾斜しているので、式はこの参照平面内に含まれるすべての点を記述することが必要とされる。これは次のように行われ得る。まず、(x1,y1,-1.5)および(x2,y2,-1.5)である、2つの側壁の柱上の標的要素が特定される。これらの2つの標的要素は、これらの柱の端部から上方にMという傾きで(たとえば、15%の傾き)斜路が傾斜を開始することを指定する情報を含む。これらの2つの点の(x1,y1,-1.5)および(x2,y2,-1.5)の座標は、前に説明された較正テーブルマッチング方法を使用して取得され得る。次のステップは、参照平面上でそれらの点を得ることである。
傾斜した斜路とz=-1.5の平面との間の接続線2501は次のように表され得る。
y=y1+[(y2-y1)/(x2-x1)]*x
接続線2501に沿った角度AはCos(A)=(x2-x1)/[(y2-y1)2+(x2-x1)2]1/2と表すことができ、一方、z=-1.5の平面に沿った接続線2501に平行な線はy=y1+(y2-y1)/(x2-x1)*x+y0として表すことができ、ここでy0は、標的要素T3(または対象の任意の点、たとえば標的点T4)から垂直方向に下のz=-1.5の平面上の点のy値と、同じxを伴う線2501上の点のy値との差である。
上の式に基づいて、標的要素T3のすぐ下のz値はz=M*Cos(A)*y0-1.5として得ることができ、ここでMは斜路の傾きであり、これはこの例では15%として設定される。y0=z/[M*Cos(A)]に対する式が利用されるとき、参照平面上の点が次いで、以下の式により定義され得る。
z=M*((x2-x1)/((y2-y1)2+(x2-x1)2)1/2)(y-y1-((y2-y1)/(x2-x1)*x)-1.5
参照平面が定義されると、次いで、すべての前に説明された探索方法が適用され得る。
革新的なビジョンシステムの例
図15への参照が行われる。y軸は深度を表し、z軸は垂直方向を表す。パラメータ値は例示の目的で追加される。
較正テーブル
光学デバイス1の較正テーブルCT1(x,y,z)=(s,t)が、次のようにカメラ較正プロセスから記録される。
y=1 x= -4 -3 -2 -1 0 1 2
z=-2 4,2 3,2 2,2 1,2 0,3 -1,3 -2,3
-3 4,3 3,3 2,3 1,3 0,4 -1,4 -2,4
-4 4,4 3,4 2,4 1,4 0,4 -1,4 -1,4
-5 4,5 3,5 2,5 1,5 0,5 -1,5 -1,5

y=2 x= -4 -3 -2 -1 0 1 2
z=-2 8,3 6,3 4,4 2,4 0,4 -2,4 -4,4
-3 8,6 6,6 4,6 2,6 0,6 -2,6 -4,6
-4 8,7 6,7 4,7 2,8 0,8 -2,8 -4,8
-5 8,10 6,10 4,10 2,10 0,10 -2,9 -4,9

y=3 x= -4 -3 -2 -1 0 1 2
z=-2 12,6 9,6 6,6 3,6 0,6 -3,6 -5,6
-3 12,9 9,9 6,9 3,9 0,9 -3,9 -6,10
-4 12,12 9,12 6,12 3,12 0,12 -3,11 -6,11
-5 12,14 9,14 6,14 3,14 0,14 -3,14 -6,14

y=4 x= -4 -3 -2 -1 0 1 2
z=-2 16,8 12,8 8,8 4,8 0,8 -4,8 -7,8
-3 15,11 11,11 8,11 4,12 0,12 -4,12 -8,12
-4 15,15 11,15 8,16 4,16 0,16 -4,16 -8,16
-5 15,19 11,19 8,19 4,19 0,19 -4,19 -8,19

y=5 x= -4 -3 -2 -1 0 1 2
z=-2 20,10 15,10 10,10 5,10 0,11 -5,11 -9,11
-3 20,15 15,15 10,15 5,15 0,15 -5,15 -9,15
-4 20,20 15,20 10,20 5,20 0,20 -5,20 -9,20
-5 20,24 15,24 10,24 5,24 0,24 -5,24 -9,24
光学デバイス2の較正テーブルCT2(x,y,z)=(u,v)は次の通りである。
y=1 x= 0 1 2 3 4 5
z=-4 0,4 -1,4 -2,4 -3,4 -3,4 null
-5 0,5 -1,5 -2,5 -3,5 -3,5 null
-6 0,6 -1,6 -2,6 -3,6 -3,6 null

y=2 x= 0 1 2 3 4 5
z=-4 0,8 -2,8 -4,8 -6,8 -7,8 null
-5 0,10 -2,10 -4,10 -6,10 -7,10 null
-6 0,11 -2,11 -4,12 -6,12 -7,12 null

y=3 x= 0 1 2 3 4 5
z=-4 0,12 -3,12 -6,12 -9,12 -11,12 null
-5 0,15 -3,15 -6,15 -9,15 -11,15 null
-6 0,17 -3,18 -6,18 -9,18 -12,18 null

y=4 x= 0 1 2 3 4 5
z=-4 0,16 -4,16 -8,16 -13,15 -15,15 null
-5 0,19 -4,19 -8,19 -13,19 -16,19 null
-6 0,23 -4,23 -8,23 -13,23 -16,23 null
両方のテーブルが単調であり、適度に非線形であると考えられる。
マシンビジョン位置決め方法
図15への参照が行われる。位置決めは、各々が標的点1〜4を捕捉し各標的点と関連付けられる(s,t)値を生成する、既知の場所にある光学デバイスとともに開始する。各標的点と各光学デバイスとの間の見通し線が、見通し線R1、R2、...Riにより表されている。まとめると、CT1は光学デバイス1を指し、CT2は光学デバイス2を指す。以下で示される(x,y,z)値は、前に生成された較正テーブルから得られるような生成された(s,t)値と関連付けられる例示的な値である。この例では、標的点2は標的点1からのzのずれ、すなわちz1+1を提示するマーカーを含むと仮定される。
R1:CT2(x1,y1,z1)=(0,15)
R2:CT2(x2,y2,z1+1)=(-13,15)
R3:CT1(x1,y1,z1)=(11,11)
R4:CT1(x2,y2,z1+1)=(0,11)
R5:CT1(x3,y3,z1-1)=(-6,11)
R6:CT2(x3,y3,z1-1)=null
R7:CT1(x4,y4,z1+1)=(-5,6)
3つの標的点の位置が図15に示されているが、これらの位置は最初に提供されず、較正テーブルを横断することにより得られる。
1つのカメラおよび2つの標的点に対するマシンビジョンの例
この例では、光学デバイス1と標的点1および2との間の単眼ビジョンが説明される。光学デバイス1は、標的点1および標的点2の(s,t)の読取値を取得するために使用される。これを表す2本の光線は以下の通りである。
R3:CT1(x1,y1,z1)=(11,11)、R4:CT1(x2,y2,z1+1)=(0,11)
標的点1(11,11)
現実の世界では、較正テーブルは7500万個のエントリーを備えるので、(s,t)の読取値は、強引な方法を使用してこのテーブルから得ることが簡単ではないであろう。したがって、較正テーブルを横断するためにz平面探索が使用される。
次いで、対象のビジョン範囲の遠端から、z1が「-4」に設定された状態で、z平面探索が前に説明されたように実行される。このz値を有するz平面は、次のように較正テーブルから区切られる。
z=-4
x= -4 -3 -2 -1 0 1 2
y=1 4,4 3,4 2,4 1,4 0,4 -1,4 -1,4
y=2 8,7 6,7 4,7 2,8 0,8 -2,8 -4,8
y=3 12,12 9,12 6,12 3,12 0,12 -3,11 -6,11
y=4 15,15 11,15 8,16 4,16 0,16 -4,16 -8,16
y=5 20,20 15,20 10,20 5,20 0,20 -5,20 -9,20
R3の(s,t)値は(11,11)であり、この(s,t)値は上に示されたセクションにおいて見つからないことがある。したがって、下で説明されるような線形補間方法を採用する選択肢がある。
Z平面探索のための線形補間
図11(A)への参照が行われる。線形補間がまずz=-4におけるテーブルの4つの角およびそれらの関連する(s,t)値に適用される。テキストでの説明のように、以下を使用する。
s=11→ x=-4であるようなY1を端部で見つける:
Y1=y0+(y方向のグローバルな長さ)*(x=-4に対するsの補間された比)
=y0+(|y1-y0|)*(|s-s00|)/(|s01-s00|)
=1+4*(7/16)=2.75
y=5であるようなX2を端部で見つける:
X2=x0+(x方向のグローバルな長さ)*(y=5に対するsの補間された比)
=x0+(|x1-x0|)*(|s-s01|)/(|s11-s01|)
=-4+6*(9/29)=-2.14
したがって、接続された線分上の任意の点がs=11を有する。
Sの線はy=Y1+(x-X1)*((Y2-Y1)/(X2-X1))
t=11であるS上の点で補間する→
(-4,2.75)において、CT1(-4,2.75)=(11,11)
(-2.14,5)において、CT1(-2.14,5)=(11,20)
(-4,2.75)はz=-4において較正テーブル1上で(11,11)という補間された値を有すると特定される。
実際には、z平面テーブルは500×500のエントリーを備えるので、得られる線形補間の結果は、実際の答えから数セル離れている。次いで、より正確な結果を得るために、ローカルの勾配ステッピングが利用され得る。
ローカルの勾配ステッピング
ローカルの勾配ステッピングは、z平面の端部から任意で横断することにより実行され得る。ローカルの勾配ステッピングの方法は次のように提示される。
まず、任意の点が値(z=-4)を有するz平面から選択される。この例では、任意の点はCT1(-1,1,-4)=(1,4)として選択される。次いで、8つの隣接する(s,t)値が、最小の値をもたらす隣接する(s,t)値を決定するために、式|s-sCT1|+|t-tCT1|(たとえば、(sCT1,tCT1)は(11,11)である)を使用して計算される。この例では、(-2,2,-4)=(4,7)が以下で提示されるような最小の値をもたらすと決定される。
→CT1(-2,2,-4)=(4,7)が最小値|s-11|+|t-11|=11を有する。
次いで、最小の値をもたらす(4,7)に対する隣接する(s,t)値を決定するために、上のステップが繰り返される。これは次のように取得される。
→CT1(-3,3,-4)=(9,12)が最小値|s-11|+|t-11|=3を有する。
上のステップが(s,t)値(9,12)に対して繰り返されるとき、隣接する(s,t)値は3より大きい値を生み出すことが発見されるので、ローカルの勾配ステッピング方法はここで停止する。
この方法から得られる結果が前のセクションで説明された線形補間方法から得られる結果と比較されるとき、これらの2つの結果はほぼ同様であり、すなわち、(-3,3,-4)の点がすでに、空間解釈の実行を開始するために近隣のセルの一部になっていることがわかる。
この例の別の例示的な実施形態では、z平面の中の別の任意の点がまず選択され、この点はCT1(-1,5,-4)=(5,20)として選択される。上で説明されたステップが繰り返されるとき、最終的な結果は同じであり、(9,12)という(s,t)値を伴う(-3,3,-4)が、このz平面において式|s-sCT1|+|t-tCT1|の最小値を生成することがわかる。
→CT1(-2,4,-4)=(8,16)は最小値|s-11|+|t-11|=8を有する。
→CT1(-3,3,-4)=(9,12)は最小値|s-11|+|t-11|=3を有し、これはより前の横断と同じ行先である。
2次元の空間解釈
光学デバイス1の較正テーブルを横断する上の代替形態に基づいて、4つの隣接するエントリーの正方形が選択される。
X= -4 -3
y=2 8,7 6,7
y=3 12,12 9,12
ただし、(-4,2)(-4,3)のセグメントおよび(-3,3)(-4,3)のセグメントに対するs値の範囲はs=11をカバーし、(-4,2)(-4,3)のセグメントおよび(-3,2)(-3,3)のセグメントに対する範囲はt=11をカバーする。
図21(A)に示されるような2次元の空間解釈が利用され、後で詳述されるように、z=-4に対してX=-3.93、y=2.8が得られる。
標的点2(0,11)
標的点2に対するz平面探索はz=-3においてであり、それは、標的点2の位置が1単位高く、z1+1にあると指定されるからである。この情報は、標的点に取り付けられ得る機械点字言語を使用してカメラに伝えられてよく、または、カメラが標的点の(s,t)値を生成する際にこの情報を捕捉できるように、標的点に隣接して配置されてよい。下の格子は、z=-3に対する較正テーブルの例示的なセクションを示す。
x= -4 -3 -2 -1 0 1 2
y=1 4,3 3,3 2,3 1,3 0,4 -1,4 -2,4
y=2 8,6 6,6 4,6 2,6 0,6 -2,6 -4,6
y=3 12,9 9,9 6,9 3,9 0,9 -3,9 -6,10
y=4 15,11 11,11 8,11 4,12 0,12 -4,12 -8,12
y=5 20,15 15,15 10,15 5,15 0,15 -5,15 -9,15
まとめると、R4の(u,v)の読取値は(0,11)であるので、z=-3に対する上のテーブルをスキャンすることによって、最も近いマッチは以下の周辺であることが発見される。
X= 0
Y=3 0,9
Y=4 0,12
スカラー測定値にすぎない1次元の空間解釈を使用すると(空間解釈は線形補間と同じである)、以下の値が得られた。
z=-3においてx=0、y=3,7
同様の線形解釈およびローカルの勾配計算が(u,v)に対して実行されてよく、方法は(s,t)について前のセクションで実行されたものと同じである。
標的点2および標的点1の(x,y,z)値が次いで、これらの2つの点の間のずれを検証することによって検証される。このずれの値は、標的点に取り付けられ得る機械点字言語を使用して光学デバイス1に同様に伝えられてよく、または、標的点の(s,t)値が生成されるにつれて光学デバイス1がこの情報を捕捉できるように標的点に隣接して配置されてよい。
上の例では、標的点1は(-3.9,2.8,-4)を生み出し、標的点2は(0,3.7,-3)を生み出し、これらの値に基づいて、これらの2つの点の間のずれが4.1であることが発見された。しかしながら、これらの2つの標的点の間の実際のずれは、D12=3.3である。したがって、z=-4における探索は、D12よりも24%大きな距離をもたらす。
結果として、z平面のz値は変化し、この例では、z値はz1=-3に増大し、上のプロセスは標的点1の(x,y,z)と標的点2の(x,y,z)のずれがD12=3.3として得られるまで繰り返す。
Z方向へのローカルの勾配ステッピング
ここで、異なるz軸値、たとえばz1=-4に対してプロセスを繰り返す代わりに、ローカルの勾配ステッピング方法は、近隣のz平面に適用され得る。ここで、ローカルの勾配ステッピング方法はステッピング距離を制約しないので、zが1より大きく変化するときに都合よく使用され得ることを指摘しておくことが有用である。
繰り返されるz平面探索は実際の最終値に近い結果をもたらすので、次いで、z1=-4についてのより前の発見に基づくローカルの勾配探索が実行され得る。前のセクションから、(s,t)値に対して、(-3.7,2.8,-4)の座標が得られた。したがって、ローカルの勾配ステッピングは(-4,3,-3)で開始され得る。以下が得られた。
CT1(-3,4,-3)=(11,11)および
CT2(0,5,-2)=(0,11)
これらの点の間の距離は3.3であり、D12に等しい。したがって、答えが得られた。
まとめると、
1)光学デバイス1および標的点1で開始する。z1のさらなる値から、z平面上で、(s,t)=(11,11)の読取値に近い(s,t)を伴う(x11,y11)セルが線形解釈を使用して得られる。
2)例におけるエントリーの数は小さい。ローカルの勾配ステッピングが次いで、離れた距離からのステッピングにより実演される。
3)次いで、(s,t)=(11,11)となるような正確な(x12,y12)を得るために、2次元の空間解釈が適用される。
4)上のステップが、上のz値からz0離れたz平面上の標的点2に対して繰り返され、(u,v)=(0,11)となるような(x22,y22)が得られる。
5)(x12,y12)と(x22,y22)の間の距離はD12より24%長く、これは新しいz平面に対して予想される新しいz2の値を与える。
6)(x13,y13,z2)を得るために(x12,y12,z1)からローカルの勾配ステッピングが適用される。(x23,y23,z2+1)を得るために(x22,y22,z2+1)からローカルの勾配ステッピングが適用される。(x13,y13,z2)と(x23,y23,z2+1)との間の距離はD12と等しいことが発見されるので、マッチが得られる。
標的点の垂直なペアの例
光学デバイス1と標的点3および4との間の縮約されたケースがこのセクションで説明される。対応する光線は次の通りである。
R5:CT1(x3,y3,z1-1)=(-6,11)
R7:CT1(x4,y4,z1+1)=(-5,6)
このセクションでは、標的点が垂直な構成にあると仮定される。この構成では、ペアを接続する線は、重力の方向にあり、または両方がカメラのz軸と共通のz軸を有する。仕事は、
CT1(x,y,z)=(-6,11)かつCT1(x,y,z+2)=(-5,6)
となるような(x,y,z)を見つけることである。
3に等しい深度(y軸)において、y平面は、x=2かつz=-4またはz=-2であるとき、マッチが発見されることを示す。これはまた、標的点3が(2,3,-4)にあり、標的点4が(2,3,-2)にあることを意味する。これは、光学デバイスからのビューイング方向とは無関係に一方の標的点から他方の標的点へと上/下にたどることができることを実証しており、それらの2つの読取値と一致する1つの位置(光学デバイスまたは第1の標的位置、相互に交換可能である)が答えとなるように光学デバイスへとさかのぼることができる。
z=-2
y=3 x= -4 -3 -2 -1 0 1 2
z=-2 12,6 9,6 6,6 3,6 0,6 -3,6 -5,6
-3 12,9 9,9 6,9 3,9 0,9 -3,9 -6,10
-4 12,12 9,12 6,12 3,12 0,12 -3,11 -6,11
-5 12,14 9,14 6,14 3,14 0,14 -3,14 -6,14
クロスアイビジョンの例
そのような構成では、位置はR3を介して標的点1から光学デバイス1へと変換し、次いで光学デバイス間の既知の相対的な場所を介して光学デバイス2へと変換し、次いで標的点2に回る。視差は2倍になる。例は次の通りである。
R2:CT2(x2,y2,z1+1)=(-13,15)
R3:CT1(x1,y1,z1)=(11,11)
仕事は、z平面探索方法を使用して、CT1(x,y,z)=(11,11)かつCT2(x2-x0,y2-y0,z+Z2-z0)=(-13,15)となるような(x,y,z)を見つけることである。すなわち、CT2(x2+3,y2-1,z-1)=(-13,15)であり、ここでD12=3.3が満たされ、または代替的に、CT2(x2+3,y2-1,z2-2)=(-13,15)と書くことができる。
較正テーブル1が次のように再構成された状態で、z=-2で開始する。
z=-2
x= -4 -3 -2 -1 0 1 2
y=1 4,2 3,2 2,2 1,2 0,3 -1,3 -2,3
y=2 8,3 6,3 4,4 2,4 0,4 -2,4 -4,4
y=3 12,6 9,6 6,6 3,6 0,6 -3,6 -5,6
y=4 16,8 12,8 8,8 4,8 0,8 -4,8 -7,8
y=5 20,10 15,10 10,10 5,10 0,11 -5,11 -9,11
R3は、約(-4,3)、(-3,4)、または(-2,5)においてs=11の値と一致することが発見される。しかしながら、t=11のマッチは表の外にあり、(-2,5)を超えることがわかる。z=-2という値は浅すぎるので、推測されるR3は対象の現在のビジョン範囲の外側にあると結論付けることができる。したがって、zは「-3」と設定される。
z=-3に対するz平面における標的点1のためのz平面は、CT1(-3,4,-3)に対するマッチを有する。
z=-3
x= -4 -3 -2 -1 0 1 2
y=1 4,3 3,3 2,3 1,3 0,4 -1,4 -2,4
y=2 8,6 6,6 4,6 2,6 0,6 -2,6 -4,6
y=3 12,9 9,9 6,9 3,9 0,9 -3,9 -6,10
y=4 15,11 11,11 8,11 4,12 0,12 -4,12 -8,12
y=5 20,15 15,15 10,15 5,15 0,15 -5,15 -9,15
z=-2-2=-4に対するz平面における標的点2のためのz平面は、CT2(3,4,-4)に対するマッチを有する。
z=-4
x= 0 1 2 3 4 5
y=1 0,4 -1,4 -2,4 -3,4 -3,4 null
y=2 0,8 -2,8 -4,8 -6,8 -7,8 null
y=3 0,12 -3,12 -6,12 -9,12 -11,12 null
y=4 0,16 -4,16 -8,16 -13,15 -15,15 null
CT2(x2+3,y2-1,z2-2)=(-13,15)と比較すると、次が得られる。x2=0、y2=5、z=-3、かつz2=z+1=-2
したがって、光学デバイス1に対する位置(0,5,-2)における標的点2に対するマッチが発見された。
1つの光学デバイスにより見られる3つの標的点の例
仕事は、標的点1、2、および3の位置を得るために、光学デバイス1によって上記の3つの標的点の読取値を使用することである。すなわち、CT(x1,y1,z1)=R3、CT1(x2,y2,z1+z2)=R4、かつCT(x3,y3,z1+Z3)=R5であり、D12、D23、およびD13が正しくなるような、x1、y1、z1、x2、y2、x3、y3を見つける。
この例では、
R3:CT1(x1,y1,z1)=(11,11)
R4:CT1(x2,y2,z1+1)=(0,11)
R5:CT1(x3,y3,z1-1)=(-6,11)
R3+R4の値はすでに得られている。同様に、R4+R5およびR3+R5は個々に選択され、別々に解かれ得る。次のように、情報のより多くのセットに基づくよりロバストな計算を用いて、複数の点も一周で解かれ得る。
標的点1を探すためにz=-4に対してz平面探索が実行されたとき、標的点3はz軸上で1レベル低いことが与えられているので、同時に標的点3に対してz=-5を試すことができる。
z=-5
x= -4 -3 -2 -1 0 1 2
y=1 4,5 3,5 2,5 1,5 0,5 -1,5 -1,5
y=2 8,10 6,10 4,10 2,10 0,10 -2,9 -4,9
y=3 12,14 9,14 6,14 3,14 0,14 -3,14 -6,14
y=4 15,19 11,19 8,19 4,19 0,19 -4,19 -8,19
y=5 20,24 15,24 10,24 5,24 0,24 -5,24 -9,24
線形補間/外挿を使用すると、x=2かつy>2の場合にのみs値が5より大きく、一方で同じエントリーが13より大きいtを有し、したがって、(-6,11)に一致するエントリーは対象の範囲外であることが発見される。したがって、1レベル浅くする必要がある。
z=-4
x= -4 -3 -2 -1 0 1 2
y=1 4,4 3,4 2,4 1,4 0,4 -1,4 -1,4
y=2 8,7 6,7 4,7 2,8 0,8 -2,8 -4,8
y=3 12,12 9,12 6,12 3,12 0,12 -3,11 -6,11
y=4 15,15 11,15 8,16 4,16 0,16 -4,16 -8,16
y=5 20,20 15,20 10,20 5,20 0,20 -5,20 -9,20
これは、CT1(2,3,-4)=(-6,11)であることを意味する。最初の2は、2つの標的点の例ですでに発見されている。標的点1と3との間の距離は6.2であることが発見され、標的点2と4との間の距離は4.1であることが発見された。距離の条件は満たされている。したがって、すべての3つのマッチを発見した。
R3:CT1(-3,4,3)=(11,11)
R4:CT1(0,5,-2)=(0,11)
R5:CT1(2,3,-4)=(-6,11)
すなわち、光学デバイス1に対して相対的に、標的点1は(-3,4,3)であり、標的点2は(0,5,-2)であり、標的点3は(2,3,-4)である。
1つの標的点、2つの光学デバイスの例
このセクションは、2つのカメラがビジョン範囲の中のある標的点に面しているシナリオを説明する(これは、システムがy0=0かつz0=0へと縮約される従来の2カメラステレオビジョンより1ステップ進化している。「対応付け」を見つける従来のステレオビジョンは、この構成では、標的要素を配置し標的点の中心を特定することにより置き換えられる)。
R4:CT2(x2,y2,z2)=(0,11)
R2:CT2(x2-x0,y2-y0,z2-0)=CT2(x2+3,y2-1,y2-2)=(-13,15)
z=-2における標的点1に対するz平面は、CT1(0,5,2)=(0,11)に対するマッチを有する。
z=-2
x= -4 -3 -2 -1 0 1 2
y=1 4,2 3,2 2,2 1,2 0,3 -1,3 -2,3
y=2 8,3 6,3 4,4 2,4 0,4 -2,4 -4,4
y=3 12,6 9,6 6,6 3,6 0,6 -3,6 -5,6
y=4 16,8 12,8 8,8 4,8 0,8 -4,8 -7,8
y=5 20,10 15,10 10,10 5,10 0,11 -5,11 -9,11
z=-2-2=-4における標的点2に対するz平面は、CT2(3,4,-4)=(-13,15)に対するマッチを有する。
z=-4
x= 0 1 2 3 4 5
y=1 0,4 -1,4 -2,4 -3,4 -3,4 null
y=2 0,8 -2,8 -4,8 -6,8 -7,8 null
y=3 0,12 -3,12 -6,12 -9,12 -11,12 null
y=4 0,16 -4,16 -8,16 -13,15 -15,15 null
したがって、答えは光学デバイス1に対して相対的に(0,5,-2)、または光学デバイス2に対して相対的に(3,4,-4)である。
逆較正要約テーブル方法の例(すべての較正テーブル探索に適用可能)
探索較正テーブル選択方法に基づいて、下記の逆テーブルを次のように得ることができる。要約であるので、sおよびtの値はグループへとグループ化されると仮定され、それにより、0〜4の間の値は0として表され、5〜9の間の値は9として表され、10〜14の間の値は10として表され、15〜19の間の値は15として表され、20〜24の間の値は20として表される。z値を介してまず較正テーブルが編成され、次いで、各z値に対する逆テーブルが、そのテーブルのヘッダが光学デバイスのセンサ上での標的中心の捕捉された画像の2次元位置を備えるように、かつ、そのテーブルの内容が光学デバイスに対する標的中心の関連する相対的な場所を備えるように、構築される。下の例では、テーブルのヘッダは(s,t)値を備える一方で、テーブルの内容は(x,y,z)の読取値を備える。これは、
CTI(s,t,z)=(x,y)
として示され得る。
Z=-2
x= -4 -3 -2 -1 0 1 2
y=1 4,2 3,2 2,2 1,2 0,3 -1,3 -2,3
y=2 8,3 6,3 4,4 2,4 0,4 -2,4 -4,4
y=3 12,6 9,6 6,6 3,6 0,6 -3,6 -5,6
y=4 16,8 12,8 8,8 4,8 0,8 -4,8 -7,8
y=5 20,10 15,10 10,10 5,10 0,11 -5,11 -9,11

s= -10 -5 0 5 10 15 20
t=0 -1,1 -3,2
t=5 2,3 0,3 -2,3
t=10 1,5 0,5 -1,5 -2,5 -3,5 -4,5
t=15
t=20

Z=-3
x= -4 -3 -2 -1 0 1 2
y=1 4,3 3,3 2,3 1,3 0,4 -1,4 -2,4
y=2 8,6 6,6 4,6 2,6 0,6 -2,6 -4,6
y=3 12,9 9,9 6,9 3,9 0,9 -3,9 -6,10
y=4 15,11 11,11 8,11 4,12 0,12 -4,12 -8,12
y=5 20,15 15,15 10,15 5,15 0,15 -5,15 -9,15

s= -10 -5 0 5 10 15 20
t=0 -1,1
t=5 0,2 -3,2 -4,3
t=10 2,4 0,4 -2,4 -3,4
t=15 1,5 0,5 -1,5 -2,5 -3,5 -4,5
t=20

Z=-4
x= -4 -3 -2 -1 0 1 2
y=1 4,4 3,4 2,4 1,4 0,4 -1,4 -1,4
y=2 8,7 6,7 4,7 2,8 0,8 -2,8 -4,8
y=3 12,12 9,12 6,12 3,12 0,12 -3,11 -6,11
y=4 15,15 11,15 8,16 4,16 0,16 -4,16 -8,16
y=5 20,20 15,20 10,20 5,20 0,20 -5,20 -9,20

s= -10 -5 0 5 10 15 20
t=0 -1,1
t=5 0,2 -3,2 -2,3
t=10 2,3 0,3 -2,3 -4,3
t=15 2,4 0,4 -2,4 -3,4 -4,4
t=20 1,5 0,5 -1,5 -2,5 -3,5 -4,5

Z=-5
x= -4 -3 -2 -1 0 1 2
y=1 4,5 3,5 2,5 1,5 0,5 -1,5 -1,5
y=2 8,10 6,10 4,10 2,10 0,10 -2,9 -4,9
y=3 12,14 9,14 6,14 3,14 0,14 -3,14 -6,14
y=4 15,19 11,19 8,19 4,19 0,19 -4,19 -8,19
y=5 20,24 15,24 10,24 5,24 0,24 -5,24 -9,24

s= -10 -5 0 5 10 15 20
t=0
t=5 -1,1
t=10 2,3 -1,2 -3,2 -4,3
t=15 2,4 0,4 -2,4 -3,4 -4,4
t=20 1,5 0,5 -1,5 -2,5 -3,5 -4,5
R3:CT1(x1,y1,z1)=(11,11)
R4:CT1(x2,y2,z1+1)=(0,11)
と仮定する。
逆テーブルを利用することができ、
CTI1(11,11,-2)=(-2,5) CTI1(0,11,-2)=(0,5)
CTI1(11,11,-3)=(-3,4) CTI1(0,11,-3)=(0,4)
CTI1(11,11,-4)=(-4,3) CTI1(0,11,-4)=(0,3)
CTI1(11,11,-5)=(-4,3) CTI1(0,11,-5)=(-1,2)
であることが発見される。
z2=z1+1を満たすために、(-3,4)が(0,5)とペアにされ、(-4,3)が(-1,4)とペアにされ、(-4,3)が(0,3)とペアにされる。0〜4を0として、5〜9を9として、10〜14を10として、15〜19を15として、20〜24を20として要約することにより、これらのペアリングがまさに検証されるべき提案であることが観察される。(-3,4)(0,5)のペアリングだけが、sおよびtの読取値によく一致することが発見され、CT1(-3,4,-3)=(11,11)かつCT1(0,5,-2)=(0,11)である。
2つの点(-3,4,-3)(0,5,-2)との間の距離は3.3であり、これはDと一致する。
やはり、分解能が限られていることにより、厳密な答えは逆較正要約テーブルから発見される。75,000,000個の(x,y,z)の場所が存在する現実世界の状況では、正確な答えを導出するためにローカルの勾配ステッピングを使用する必要があるであろう。
例示的な線形の空間解釈
2次元の解釈
2次元の空間解釈がこのセクションで説明される。
「R3の(s,t)値は(11,11)である。テーブルをスキャンすると、
X= -4 -3
y=2 8,7 6,7
y=3 12,12 9,12
であることが発見される。図21(A)に示されるような2次元の空間解釈を使用すると、z=-4に対してx=-3.93、y=2.8であることが発見される」
図21(A)を参照すると、z=-4のz平面におけるデバイス1の較正テーブルから、4つの近隣の点(-4,2)、(-4,3)、(-3,2)、および(-3,3)のグループが以下の特性を伴う正方形を形成することが発見される。
a)4辺の中で、線分(-4,3)--(-4,2)および(-4,3)--(-3,3)がS=11をカバーするs値を有する。
b)線分(-4,3)--(-4,2)および(-3,3)--(-3,2)はT=11をカバーするt値を有する。
線形補間されたS=11に対応する点はそれぞれ、(-4,2.75)および(-3.66,3)である。これは、上記の2点を接続する線により図21(A)において表される。上記の2点におけるtの読取値は、線形補間によりそれぞれ10.7および12である。上記の2点を接続する線上でtを補間すると、
(y-2.75)=(3-2.75)*(0.3/1.3)=0.05であるので、解釈されるyは2.75+0.05=2.8に等しい。
(x-(-4))=(-3.66+4)*(0.3/1.3)=0.07であるので、解釈されるx値は-4+0.07=-3.93に等しい。
(-3.93,2.8)が、光学デバイス1の較正テーブルに基づく、z=-4のz平面上の(11,11)の空間解釈に対応する点に対する答えである。
3次元の解釈
光学デバイスから捕捉された標的点画像を処理することにより得られる値(S,T)と照合するために、3次元の較正テーブルが横断される。(|s-S|+|t-T|)が最小となるような(x,y,z)値が発見されるという仮定のもとで。この結果は次いで、軸単位長の断片へと解釈されることになり、較正テーブルの中の近隣の点と関連付けられるsおよびtの値に基づく解釈された値がそれぞれSおよびTに等しくなるような(X,Y,Z)の値が発見される。
すなわち、z値が指定され、(x,y,z)と(x,y,z+1)との間の補間されたテーブル値が発見され、ここでz>Z>z+1である。次いで、2次元の空間解釈が正方形に対して実行される。得られる(X,Y)が答えである。
図21を参照すると、この例では、S=-3.5であるとき、T=5.5が光学デバイス1から読み取られ、線形に解釈される精密な位置が得られることが望まれる。CT1を横断することによって、グループ(1,2,-3)(1,2,-2)(1,3,-2)(1,3,-3)(2,2,-3)(2,2,-2)(2,3,-2)(2,3,-3)が(-3.5,5.5)をカバーする範囲を有するような、(x,y,z)=(1,2,-3)が発見される。第1の仮定は、z=-2.4であると仮定し、(1,2,-2.4)(1,3,-2.4)(2,3,-2.4)(2,2,-2.4)に対して空間解釈を実行することである。
補間された読取値はそれぞれ、(-2,4.8)、(-3,7.2)、(-5.4,7.6)、および(-4,4.8)である。(1.75,2,-2.4)の値がまず、線分(1,2,-2.4)--(2,2,-2.4)の間の(-3.5,4.8)という補間された読取値とともに発見される。次いで、値(1.2,3,-2.4)が、線分(1,3,-2.4)--(2,3,-2.4)上の(-3.5,7.3)という補間された読取値とともに発見される。5.5のT値は4.8と7.3の間にあることがわかるので、補間された読取値(-3.5,5.5)を用いて点(1.6,2.28,-2.4)へと解釈する。したがって、(1.6,2.28,-2.4)が答えである。
例示的なピクセル化された解釈
図22は、光学センサの格子のもとでのPの読取値を示す。図15の標的点2のような前方の中心にある、および図15の標的点3のような広角にある標的のピクセル化された解釈が、それぞれ図22(A)および図22(B)に示される。図22(C)および図22(D)はそれぞれ、ピクセルセンサ読取値および(A)と(B)のピクセル化された解釈を示す。
図22(C)の正方形の端部ピクセルが、それらの重み属性と一緒に図22(E)に示される。図の中で正方形の点として表される幾何学的中心からの累積の偏位は、
X=-(0.8*-0.5+0+0.7*0.5-0.6+0.4-0.6+0.4+0.9*-0.5+0+0.85*0.5)/3=0.16
Y=-(0.8*0.5+0.5+0.5+0.7*0.5+0+0+0+0+0.9*-0.5-0.75-0.75+0.85*-0.5)/3=0.21
である。
図22(D)の正方形の端部ピクセルが、それらの重み属性と一緒に図22(F)に示される。図の中で正方形の点として表される幾何学的中心からの累積の偏位は、
X=-(0.7*0.5+0.4+0.6+0.7+0.9*0.7+0+0.7*0.5+0+0+0+0-0.1-0.4-0.6-0.7-0.9*0.5+0+0+0-0.8*0.3)/7=-0.08
Y=-(0.7*0.5+0+0+0-0.9*0.3+0-0.7*0.5-0.4-0.2-0.1+0+0+0+0+0+0.9*0.5+0.3+0.1+0+0.8*0.7)/7=-0.06
である。
そのような方法に基づいて、光学デバイスの読取値(s,t)は小数として得られ、もはやセンサの行および列として反映されるだけではない。
処理システムの構成要素
図26は、本発明の実施形態による実施形態を実装するための、任意のコンピューティングデバイス内に設けられ得る処理システム2600の構成要素を表すブロック図を示す。これらのモジュールおよびサーバ内に設けられる各処理システムの厳密な構成は異なることがあり、処理システム2600の厳密な構成は変化することがあり、図26は例として与えられているだけであることを、当業者は認識するであろう。
本発明の実施形態では、モジュール2600はコントローラ2601およびユーザインターフェース2602を備える。ユーザインターフェース2602は、ユーザとモジュール2600との間の相互対話を可能にするように構成され、この目的で、ユーザが制御モジュール2600に命令を入力するのに必要とされる入力/出力構成要素を含む。当業者は、ユーザインターフェース2602の構成要素が実施形態ごとに変化し得るが、通常はディスプレイ2640、キーボード2635、および光学デバイス2636のうちの1つまたは複数を含むことを、認識するであろう。
コントローラ2601は、バスグループ2615を介してユーザインターフェース2602とデータ通信しており、メモリ2620、プロセッサ2605、本実施形態の方法を実行するための命令およびデータを処理する回路基板に搭載されるハードウェア/ファームウェア2608、オペレーティングシステム2606、駆動ソフトウェア2607、ユーザインターフェース2602と通信するための入力/出力(I/O)インターフェース2630、ならびに、この実施形態ではネットワークカード2650の形態である通信インターフェースを含む。ネットワークカード2650は、たとえば、有線もしくはワイヤレスネットワークを介して電子デバイス2600から他の処理デバイスにデータを送信し、または有線もしくはワイヤレスネットワークを介してデータを受信するために利用され得る。ネットワークカード2650により利用され得るワイヤレスネットワークは、限定はされないが、ワイヤレスフィデリティ(Wi-Fi)、Bluetooth（登録商標）、近距離通信(NFC)、セルラーネットワーク、衛星ネットワーク、遠隔通信ネットワーク、ワイドエリアネットワーク(WAN)などを含む。
メモリ2620および駆動ソフトウェア2607/オペレーティングシステム2606は、バスグループ2610を介してCPU2605とデータ通信している。本発明の実施形態では、光学デバイス2636は、バスグループ2610を介してメモリ2620と直接通信するように構成され得る。メモリ構成要素は、揮発性メモリと不揮発性メモリの両方と、ランダムアクセスメモリ(RAM)2620、読取り専用メモリ(ROM)2625、およびマスストレージデバイス2645を含む各タイプのメモリのうちの2つ以上を含み、マスストレージデバイス2645は1つまたは複数のソリッドステートドライブ(SSD)を備える。メモリ2620はまた、秘密鍵(secret key)または秘密鍵(private key)を安全に記憶するためのセキュアストレージ2646を含む。セキュアストレージ2646の内容には、モジュール2600のスーパーユーザまたは管理者のみがアクセス可能であり、モジュール2600のいずれのユーザもアクセスできないことに留意されたい。上で説明されたメモリ構成要素は、非一時的コンピュータ可読媒体を備え、一時的な伝播信号を除きすべてのコンピュータ可読媒体を備えるものと解釈されるべきであることを、当業者は認識するであろう。通常、命令はメモリ構成要素にプログラムコードとして記憶されるが、ハードワイヤリングされてもよい。メモリ2620は、揮発性か不揮発性のいずれかのメモリに記憶され得るソフトウェアアプリケーションなどの、カーネルおよび/またはプログラミングモジュールを含み得る。
本明細書では、「プロセッサ」という用語は、そのような命令を処理できる任意のデバイスまたは構成要素を一般に指すために使用され、マイクロプロセッサ、マイクロコントローラ、プログラマブル論理デバイス、または他の計算デバイスを含み得る。すなわち、プロセッサ2605は、入力を受け取り、メモリに記憶されている命令に従って入力を処理し、(たとえば、メモリ構成要素に対して、またはディスプレイ2640上で)出力を生成するための、任意の適切な論理回路により提供され得る。この実施形態では、プロセッサ2605は、メモリアドレス指定可能な空間を伴うシングルコアまたはマルチコアプロセッサであり得る。一例では、プロセッサ2605は、たとえば8コアのCPUを備えるマルチコアであり得る。
上記は、以下の特許請求の範囲に記載されるような本発明に従ったシステムおよびプロセスの実施形態の説明である。他者が、以下の特許請求の範囲内にある代替形態を設計でき、設計するであろうことが予想される。
34 フォークブレード
70 フォークリフト
71 高精度レール
72 単眼カメラ
73 高さ位置
74 車両
75 較正画面
76 傾斜計およびジャイロスコープ
77 画面パターン
79 正方形
82 カラーフィルタ
120 機械標識
122 ヘッダ
124 情報
126 点
128 平坦
130 境界
146 画像
148 中心線
280 z平面
282 点
284 点
286 点
290 カメラ
291 点
292 点
293 標的要素
294 標的要素
295 点
296 円
297 z平面
298 z平面
2600 モジュール
2601 コントローラ
2602 ユーザインターフェース
2605 プロセッサ
2606 オペレーティングシステム
2607 駆動ソフトウェア
2610 バスグループ
2620 メモリ
2630 入力/出力
2635 キーボード
2636 光学デバイス
2640 ディスプレイ
2645 マスストレージ
2646 セキュアストレージ
2650 ネットワークカード

Claims (44)

  1. 光学デバイスの3次元座標系において、前記光学デバイスの視野内の標的要素の位置を決定するためのシステムであって、
    第1の標的要素および第2の標的要素の画像を捕捉し、前記捕捉された画像から制約規則のセットを取得し、
    前記光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成し、
    前記光学デバイスのセンサ上での前記第2の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成する
    ように構成される前記光学デバイスと、
    前記光学デバイスに通信可能に結合されるコンピューティングデバイスとを備え、前記コンピューティングデバイスが、前記捕捉された出力(s,t)、(u,v)および制約規則の前記セットと一緒に所定の横断計画を較正テーブルに適用することによって、前記光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するように構成され、前記較正テーブルが、
    複数の標的中心を備える標的画面からの複数の較正場所において前記光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記光学デバイスが、
    前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記光学デバイスの3次元座標系の中の位置として定義され、それにより前記光学デバイスの位置が前記光学デバイスの3次元座標系の原点として定義される、システム。
  2. 各標的要素が、マーカーパターンおよび標識パターンを備え、
    前記マーカーパターンがさらに、対称的な幾何学的特徴を備え、前記対称的な幾何学的特徴の対称性の中心が前記標的要素の中心を定義し、
    前記標識パターンがさらに、第1の形状が第1の状態を表し第2の形状が第2の状態を表すような一連の指示物を備え、前記第1の状態および第2の状態が二進記号を表すために使用される、請求項1に記載のシステム。
  3. 前記第1の状態が、下側のブロックより大きな上側のブロックを有する指示物により定義され、前記第2の状態が、上側のブロックより大きな下側のブロックを有する指示物により定義される、請求項2に記載のシステム。
  4. 前記コンピューティングデバイスがさらに、前記標的要素の前記捕捉された画像と関連付けられる前記標識パターンから制約規則の前記セットを取得するように構成される、請求項2に記載のシステム。
  5. 制約規則の前記セットが、
    前記第1の標的要素と第2の標的要素との間のずれDと、
    参照平面からの前記第1の標的要素の垂直方向のずれと参照平面からの前記第2の標的要素の垂直方向のずれとの間の、ずれの差分Δdとを備え、前記参照平面が、前記第1または第2の標的要素から所定の距離だけ離れて設けられる、請求項1に記載のシステム。
  6. 各標的要素のマーカーパターンが少なくとも第1の色を備え、前記光学デバイスに前記第1の色を検出するための第1の色サンプリングフィルタが設けられる、請求項2に記載のシステム。
  7. 前記捕捉された出力(s,t)(u,v)および制約規則の前記セットと一緒に前記所定の横断計画を前記較正テーブルに適用するように構成される前記コンピューティングデバイスが、
    前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の第1の点と前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の第2の点との間の距離D12が前記第1の標的要素と第2の標的要素との間の前記ずれDに等しくなるように、
    前記参照平面からの前記第1の点の垂直方向のずれと前記第2の点の垂直方向のずれとの間のずれの差分Δd12が、前記ずれの差分Δdに等しくなるように、
    前記第1の点を特定するために前記較正テーブルを再帰的に横断し、前記第2の点を特定するために前記較正テーブルを横断し、
    前記光学デバイスの3次元座標系において、前記出力(s,t)の位置として前記第1の点を設定し、前記出力(u,v)の位置として前記第2の点を設定するように構成される、前記コンピューティングデバイスを備える、請求項5に記載のシステム。
  8. 前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の前記第1の点を特定するために前記較正テーブルを横断し、前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の前記第2の点を特定するために前記較正テーブルを横断するように構成される、前記コンピューティングデバイスが、
    前記較正テーブルから前記参照平面に平行な任意の平面を生成し、前記任意の平面から距離Δdだけ離れて設けられる別の平面を生成し、
    前記出力(s,t)と関連付けられる前記任意の平面の中の点を特定し、前記出力(u,v)と関連付けられる前記別の平面の中の別の点を特定し、
    前記第1の点として前記任意の平面の中の前記特定された点を設定し、前記第2の点として前記別の平面の中の前記別の特定された点を設定する
    ように構成される、前記コンピューティングデバイスを備える、請求項7に記載のシステム。
  9. 前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の前記第1の点を特定するために前記較正テーブルを横断し、前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の前記第2の点を特定するために前記較正テーブルを横断するように構成される、前記コンピューティングデバイスが、
    前記較正テーブルから前記参照平面に平行な任意の平面を生成し、前記任意の平面から距離Δdだけ離れて設けられる前記参照平面に平行な別の平面を生成し、
    前記出力(s,t)と関連付けられる前記任意の平面の中の点を特定し、前記特定された点を中心とする半径Dの球面をプロットし、
    前記球面と交差する前記別の平面の中の別の点を特定し、前記別の点が前記出力(u,v)と関連付けられるかどうかを決定し、前記別の点が前記出力(u,v)と関連付けられると決定される場合、前記第1の点として前記任意の平面の中の前記特定された点を設定し、前記第2の点として前記別の平面の中の前記別の特定された点を設定する
    ように構成される、前記コンピューティングデバイスを備える、請求項7に記載のシステム。
  10. 前記出力(s,t)と関連付けられる前記参照平面に平行な前記任意の平面の中の前記点を特定するように構成される前記コンピューティングデバイスが、
    前記出力(s,t)のs値と関連付けられる点を特定するために、前記任意の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LSを形成するように接続され、
    前記線分LSから前記出力(s,t)と関連付けられる前記点を含む領域を特定する
    ように構成される、前記コンピューティングデバイスを備える、請求項8または9に記載のシステム。
  11. 前記出力(u,v)と関連付けられる前記別の平面の中の前記別の点を特定するように構成される前記コンピューティングデバイスが、
    前記出力(u,v)のu値と関連付けられる点を特定するために、前記別の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LUを形成するように接続され、
    前記線分LUから、前記出力(u,v)と関連付けられる前記点を含む領域を特定する
    ように構成される、前記コンピューティングデバイスを備える、請求項8に記載のシステム。
  12. 前記出力(s,t)と関連付けられる前記任意の平面の中の前記点を特定するように構成される前記コンピューティングデバイスが、
    最小の値をもたらす勾配ベクトルを特定するために、前記任意の平面上の任意の点からローカルの勾配探索を実行し、
    最小の値を有する点が特定されるまで、前記任意の平面上の関連する点にわたって前記勾配ベクトルから前記ローカルの勾配探索を再帰的に実行するように構成される、前記コンピューティングデバイスを備え、前記点が前記出力(s,t)と関連付けられる前記任意の平面の中の前記点として特定され、それにより、
    前記ローカルの勾配探索が、前記較正テーブルの中の各点と関連付けられる前記光学デバイスのセンサ上での前記2次元位置を使用して実行される、請求項8から10のいずれか一項に記載のシステム。
  13. 前記出力(u,v)と関連付けられる前記別の平面の中の前記別の点を特定するように構成される前記コンピューティングデバイスが、
    最小の値をもたらす前記別の平面上の勾配ベクトルを特定するために、前記別の平面上の任意の点からローカルの勾配探索を再帰的に実行し、
    最小の値を有する点が特定されるまで、前記別の平面上の関連する点にわたって前記勾配ベクトルから前記ローカルの勾配探索を再帰的に実行するように構成される、前記コンピューティングデバイスを備え、前記点が、前記出力(u,v)と関連付けられる前記別の平面の中の前記点として特定され、それにより、
    前記ローカルの勾配探索が、前記較正テーブルの中の各点と関連付けられる前記光学デバイスのセンサ上での前記2次元位置を使用して実行される、請求項8または11に記載のシステム。
  14. 前記出力(s,t)と関連付けられる前記点に接する前記領域の中の点に空間解釈を適用して、前記領域の中の前記点が整数のみを備える場合に前記点を小数の場所で定義し、
    前記出力(u,v)と関連付けられる前記点に接する前記領域の中の点に空間解釈を適用して、前記領域の中の前記点が整数のみを備える場合に前記点を小数の場所で定義する
    ように構成される前記コンピューティングデバイスをさらに備える、請求項10または11に記載のシステム。
  15. 前記較正テーブルの中のデータの第1のセットが周辺温度において事前に生成され、前記較正テーブルの中のデータの少なくとも1つの追加のセットが別の温度において事前に生成され、それにより、前記捕捉された出力(s,t)、(u,v)および制約規則の前記セットと一緒に所定の横断計画を前記較正テーブルに適用することによって前記光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するように構成される前記コンピューティングデバイスがさらに、
    前記較正テーブルの中のデータの前記第1のセットおよび前記別のセットに基づいて熱膨張の勾配を計算し、
    前記光学デバイスの周辺温度を取得し、
    前記周辺温度および熱膨張の前記計算された勾配を使用して、前記出力(s,t)および前記出力(u,v)を調整し、
    前記光学デバイスの3次元座標系の中の前記場所へと前記調整された出力を変換する
    ように構成される前記コンピューティングデバイスを備える、請求項1に記載のシステム。
  16. 前記光学デバイスのセンサ上での前記標的要素の前記捕捉された画像の前記2次元位置を生成するように構成される前記光学デバイスが、
    前記標的要素の中心を表す形状を特定し、
    前記特定された形状の前記幾何学的中心を決定し、
    前記特定された形状の端部にx軸およびy軸のベクトル値を割り当て、
    前記特定された形状の前記端部に割り当てられた前記x軸およびy軸のベクトル値を使用して、前記x軸およびy軸に沿った累積の偏位を決定する
    ように構成される前記光学デバイスを備える、請求項1に記載のシステム。
  17. 第1の光学デバイスの3次元座標系において、前記第1の光学デバイスの視野内の標的要素の位置を決定するためのシステムであって、
    第1の標的要素の画像を捕捉し、
    前記第1の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成する
    ように構成される前記第1の光学デバイスと、
    前記第1の光学デバイスから離れた固定された位置に設けられる第2の光学デバイスであって、
    前記第1の標的要素の画像を捕捉し、
    前記第2の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成する
    ように構成される前記第2の光学デバイスと、
    前記第1の光学デバイスおよび第2の光学デバイスに通信可能に結合されるコンピューティングデバイスとを備え、前記コンピューティングデバイスが、前記捕捉された出力(s,t)と一緒に所定の横断計画を第1較正テーブルに適用することによって、および、前記捕捉された出力(u,v)と一緒に前記所定の横断計画を第2の較正テーブルに適用することによって、前記第1の光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するように構成され、
    前記較正テーブルの各々が、
    複数の標的中心を備える標的画面からの複数の較正場所において前記較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記関連付けられる光学デバイスが、前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記関連付けられる光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記関連付けられる光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記関連付けられる光学デバイスの3次元座標系の中の位置として定義され、それにより前記関連付けられる光学デバイスの位置が前記関連付けられる光学デバイスの3次元座標系の原点として定義される、システム。
  18. 前記捕捉された出力(s,t)と一緒に前記所定の横断計画を前記第1の較正テーブルに前記適用することおよび前記捕捉された出力(u,v)と一緒に前記所定の横断計画を前記第2の較正テーブルに前記適用することが、前記コンピューティングデバイスが、
    a)前記出力(s,t)と関連付けられる前記第1の光学デバイスの3次元座標系の中の第1の点を特定するために前記第1の較正テーブルを横断し、前記出力(u,v)と関連付けられる前記第2の光学デバイスの3次元座標系の中の第2の点を特定するために前記第2の較正テーブルを横断し、
    b)前記第1の光学デバイスに対する前記第2の光学デバイスの前記固定された位置に基づいて前記第1の光学デバイスと前記第2の光学デバイスとの間の相対的なずれ、および角度差を取得し、前記取得された相対的なずれ、および角度差を使用して前記特定された第2の点を正規化し、
    c)前記正規化された特定された第2の点の前記位置が前記第1の点に等しくない場合、ステップ(a)から(b)を繰り返し、
    それにより、前記第1の点が、前記正規化された特定された第2の点が前記第1の点に等しい場合、前記出力(s,t)の前記位置として設定される
    ように構成されることを備える、請求項17に記載のシステム。
  19. 第1の光学デバイスの3次元座標系において、前記第1の光学デバイスの視野内の標的要素の位置を決定するためのシステムであって、
    第1の標的要素の画像を捕捉し、
    前記第1の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成する
    ように構成される前記第1の光学デバイスと、
    前記第1の光学デバイスに関して固定された位置に設けられる第2の光学デバイスであって、
    第2の標的要素の画像を捕捉することであって、前記第2の標的要素が前記第1の標的要素から位置DT2だけ離れた位置に設けられる、捕捉することと、
    前記第2の光学デバイスのセンサ上での前記第2の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成することと
    を行うように構成される、第2の光学デバイスと、
    前記第1の光学デバイスおよび第2の光学デバイスに通信可能に結合されるコンピューティングデバイスとを備え、前記捕捉された画像から制約規則のセットを取得するように構成される前記コンピューティングデバイスが、前記捕捉された出力(s,t)および制約規則の前記セットと一緒に所定の横断計画を第1較正テーブルに適用することによって、および、前記捕捉された出力(u,v)と一緒に前記所定の横断計画を第2の較正テーブルに適用することによって、前記第1の光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換し、
    前記較正テーブルの各々が、
    複数の標的中心を備える標的画面からの複数の較正場所において前記較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記関連付けられる光学デバイスが、前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記関連付けられる光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記関連付けられる光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記関連付けられる光学デバイスの3次元座標系の中の位置として定義され、それにより前記関連付けられる光学デバイスの位置が前記関連付けられる光学デバイスの3次元座標系の原点として定義される、システム。
  20. 制約規則の前記セットが、
    前記第1の標的要素と第2の標的要素との間のずれDを備え、Dが0以上の値を備え、
    Dの前記値が0より大きい場合、制約規則の前記セットがさらに、参照平面からの前記第1の標的要素の垂直方向のずれと参照平面からの前記第2の標的要素の垂直方向のずれとの間のずれの差分Δdを備え、前記参照平面が前記第1の標的要素または第2の標的要素から所定の距離だけ離れて設けられる、請求項19に記載のシステム。
  21. 前記捕捉された出力(s,t)および制約規則の前記セットと一緒に前記所定の横断計画を前記第1の較正テーブルに前記適用することおよび前記捕捉された出力(u,v)と一緒に前記所定の横断計画を前記第2の較正テーブルに前記適用することが、前記コンピューティングデバイスが、
    a)前記出力(s,t)と関連付けられる前記第1の光学デバイスの3次元座標系の中の第1の点を特定するために前記第1の較正テーブルを横断し、前記出力(u,v)と関連付けられる前記第2の光学デバイスの3次元座標系の中の第2の点を特定するために前記第2の較正テーブルを横断し、
    b)前記第1の光学デバイスに対する前記第2の光学デバイスの前記固定された位置に基づいて、前記第1の光学デバイスと前記第2の光学デバイスとの間の相対的なずれ、および角度差を取得し、前記取得された相対的なずれ、および角度差を使用して前記特定された第2の点を正規化し、
    c)前記第1の光学デバイスの3次元座標系の中の前記第1の点と前記正規化された特定された第2の点との間のずれD12が前記第1の標的要素と第2の標的要素との間の前記ずれDに等しくない場合、および、前記参照平面からの前記第1の点の垂直方向のずれと前記正規化された第2の点の垂直方向のずれとの間のずれの差分Δd12が前記ずれの差分Δdに等しくない場合、ステップ(a)から(b)を繰り返し、
    それにより、ステップ(c)の条件が満たされる場合、前記第1の光学デバイスの3次元座標系において、前記第1の点が前記出力(s,t)の前記位置として設定され、前記正規化された第2の点が前記出力(u,v)の前記位置として設定される
    ように構成されることを備える、請求項20に記載のシステム。
  22. 前記コンピューティングデバイスがさらに、前記制約規則の中のグローバルな座標系に対する位置情報を利用して、グローバルな系に対する前記光学デバイスについての位置決め情報を抽出するように構成される、請求項1、17、または19のいずれか一項に記載のシステム。
  23. 光学デバイスの3次元座標系において、前記光学デバイスの視野内の標的要素の位置を決定するための方法であって、前記光学デバイスがコンピューティングデバイスに通信可能に結合され、前記方法が、
    前記光学デバイスを使用して、第1の標的要素および第2の標的要素の画像を捕捉し、前記捕捉された画像から制約規則のセットを取得するステップと、
    前記光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成するステップと、
    前記光学デバイスのセンサ上での前記第2の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成するステップと、
    前記コンピューティングデバイスを使用して、前記捕捉された出力(s,t)、(u,v)および制約規則の前記セットと一緒に所定の横断計画を較正テーブルに適用することによって、前記光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するステップとを備え、前記較正テーブルが、
    複数の標的中心を備える標的画面からの複数の較正場所において前記光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記光学デバイスが、
    前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記光学デバイスの3次元座標系の中の位置として定義され、それにより前記光学デバイスの位置が前記光学デバイスの3次元座標系の原点として定義される、方法。
  24. 各標的要素がマーカーパターンおよび標識パターンを備え、
    前記マーカーパターンがさらに、対称的な幾何学的特徴を備え、前記対称的な幾何学的特徴の対称性の中心が前記標的要素の中心を定義し、
    前記標識パターンがさらに、第1の形状が第1の状態を表し第2の形状が第2の状態を表すような一連の指示物を備え、前記第1の状態および第2の状態が二進記号を表すために使用される、請求項23に記載の方法。
  25. 前記第1の状態が、下側のブロックより大きな上側のブロックを有する指示物により定義され、前記第2の状態が、上側のブロックより大きな下側のブロックを有する指示物により定義される、請求項24に記載の方法。
  26. 前記コンピューティングデバイスを使用して、前記標的要素の前記捕捉された画像と関連付けられる前記標識パターンから制約規則の前記セットを取得するステップをさらに備える、請求項24に記載の方法。
  27. 制約規則の前記セットが、
    前記第1の標的要素と第2の標的要素との間のずれDと、
    参照平面からの前記第1の標的要素の垂直方向のずれと参照平面からの前記第2の標的要素の垂直方向のずれとの間の、ずれの差分Δdとを備え、前記参照平面が、前記第1または第2の標的要素から所定の距離だけ離れて設けられる、請求項23に記載の方法。
  28. 各標的要素のマーカーパターンが少なくとも第1の色を備え、前記光学デバイスに前記第1の色を検出するための第1の色サンプリングフィルタが設けられる、請求項24に記載の方法。
  29. 前記捕捉された出力(s,t)(u,v)および制約規則の前記セットと一緒に前記所定の横断計画を前記較正テーブルに適用する前記ステップが、
    前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の第1の点と前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の第2の点との間の距離D12が前記第1の標的要素と第2の標的要素との間の前記ずれDに等しくなるように、
    前記参照平面からの前記第1の点の垂直方向のずれと前記第2の点の垂直方向のずれとの間のずれの差分Δd12が、前記ずれの差分Δdに等しくなるように、
    前記コンピューティングデバイスを使用して、前記第1の点を特定するために前記較正テーブルを再帰的に横断し、前記第2の点を特定するために前記較正テーブルを横断するステップと、
    前記光学デバイスの3次元座標系において、前記出力(s,t)の位置として前記第1の点を設定し、前記出力(u,v)の位置として前記第2の点を設定するステップとを備える、請求項27に記載の方法。
  30. 前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の前記第1の点を特定するために前記較正テーブルを横断し、前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の前記第2の点を特定するために前記較正テーブルを横断する前記ステップが、
    前記較正テーブルから前記参照平面に平行な任意の平面を生成し、前記任意の平面から距離Δdだけ離れて設けられる別の平面を生成するステップと、
    前記出力(s,t)と関連付けられる前記任意の平面の中の点を特定し、前記出力(u,v)と関連付けられる前記別の平面の中の別の点を特定するステップと、
    前記第1の点として前記任意の平面の中の前記特定された点を設定し、前記第2の点として前記別の平面の中の前記別の特定された点を設定するステップとを備える、請求項29に記載の方法。
  31. 前記出力(s,t)と関連付けられる前記光学デバイスの3次元座標系の中の前記第1の点を特定するために前記較正テーブルを横断し、前記出力(u,v)と関連付けられる前記光学デバイスの3次元座標系の中の前記第2の点を特定するために前記較正テーブルを横断する前記ステップが、
    前記較正テーブルから前記参照平面に平行な任意の平面を生成し、前記任意の平面から距離Δdだけ離れて設けられる前記参照平面に平行な別の平面を生成するステップと、
    前記出力(s,t)と関連付けられる前記任意の平面の中の点を特定し、前記特定された点を中心とする半径Dの球面をプロットするステップと、
    前記球面と交差する前記別の平面の中の別の点を特定し、前記別の点が前記出力(u,v)と関連付けられるかどうかを決定し、前記別の点が前記出力(u,v)と関連付けられると決定される場合、前記第1の点として前記任意の平面の中の前記特定された点を設定し、前記第2の点として前記別の平面の中の前記別の特定された点を設定するステップとを備える、請求項29に記載の方法。
  32. 前記出力(s,t)と関連付けられる前記参照平面に平行な前記任意の平面の中の前記点を特定する前記ステップが、
    前記出力(s,t)のs値と関連付けられる点を特定するために、前記任意の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LSを形成するように接続される、ステップと、
    前記線分LSから前記出力(s,t)と関連付けられる前記点を含む領域を特定するステップとを備える、請求項30または31に記載の方法。
  33. 前記出力(u,v)と関連付けられる前記別の平面の中の前記別の点を特定する前記ステップが、
    前記出力(u,v)のu値と関連付けられる点を特定するために、前記別の平面の各辺上で線形補間を実行し、それにより別個の辺上の点が線分LUを形成するように接続される、ステップと、
    前記線分LUから、前記出力(u,v)と関連付けられる前記点を含む領域を特定するステップとを備える、請求項30に記載の方法。
  34. 前記出力(s,t)と関連付けられる前記任意の平面の中の前記点を特定する前記ステップが、
    最小の値をもたらす勾配ベクトルを特定するために、前記任意の平面上の任意の点からローカルの勾配探索を実行するステップと、
    最小の値を有する点が特定されるまで、前記任意の平面上の関連する点にわたって前記勾配ベクトルから前記ローカルの勾配探索を再帰的に実行するステップとを備え、前記点が前記出力(s,t)と関連付けられる前記任意の平面の中の前記点として特定され、それにより、
    前記ローカルの勾配探索が、前記較正テーブルの中の各点と関連付けられる前記光学デバイスのセンサ上での前記2次元位置を使用して実行される、請求項30から32のいずれか一項に記載の方法。
  35. 前記出力(u,v)と関連付けられる前記別の平面の中の前記別の点を特定する前記ステップが、
    最小の値をもたらす前記別の平面上の勾配ベクトルを特定するために、前記別の平面上の任意の点からローカルの勾配探索を再帰的に実行するステップと、
    最小の値を有する点が特定されるまで、前記別の平面上の関連する点にわたって前記勾配ベクトルから前記ローカルの勾配探索を再帰的に実行するステップとを備え、前記点が、前記出力(u,v)と関連付けられる前記別の平面の中の前記点として特定され、それにより、
    前記ローカルの勾配探索が、前記較正テーブルの中の各点と関連付けられる前記光学デバイスのセンサ上での前記2次元位置を使用して実行される、請求項30または33に記載の方法。
  36. 前記コンピューティングデバイスを使用して、前記出力(s,t)と関連付けられる前記点に接する前記領域の中の点に空間解釈を適用して、前記領域の中の前記点が整数のみを備える場合に前記点を小数の場所で定義するステップと、
    前記出力(u,v)と関連付けられる前記点に接する前記領域の中の点に空間解釈を適用して、前記領域の中の前記点が整数のみを備える場合に前記点を小数の場所で定義するステップとをさらに備える、請求項32または33に記載の方法。
  37. 前記較正テーブルの中のデータの第1のセットが周辺温度において事前に生成され、前記較正テーブルの中のデータの少なくとも1つの追加のセットが別の温度において事前に生成され、それにより、前記捕捉された出力(s,t)、(u,v)および制約規則の前記セットと一緒に所定の横断計画を前記較正テーブルに適用することによって前記光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換する前記ステップがさらに、
    前記コンピューティングデバイスを使用して、前記較正テーブルの中のデータの前記第1のセットおよび前記別のセットに基づいて熱膨張の勾配を計算するステップと、
    前記光学デバイスの周辺温度を取得するステップと、
    前記周辺温度および熱膨張の前記計算された勾配を使用して、前記出力(s,t)および前記出力(u,v)を調整するステップと、
    前記光学デバイスの3次元座標系の中の前記場所へと前記調整された出力を変換するステップとを備える、請求項23に記載の方法。
  38. 前記光学デバイスのセンサ上での前記標的要素の前記捕捉された画像の前記2次元位置を生成する前記ステップが、
    前記光学デバイスを使用して、前記標的要素の中心を表す形状を特定するステップと、
    前記特定された形状の前記幾何学的中心を決定するステップと、
    前記特定された形状の端部にx軸およびy軸のベクトル値を割り当てるステップと、
    前記特定された形状の前記端部に割り当てられた前記x軸およびy軸のベクトル値を使用して、前記x軸およびy軸に沿った累積の偏位を決定するステップとを備える、請求項23に記載の方法。
  39. 第1の光学デバイスの3次元座標系において、前記第1の光学デバイスの視野内の標的要素の位置を決定するための方法であって、前記第1の光学デバイスおよび第2の光学デバイスがコンピューティングデバイスに通信可能に結合され、前記方法が、
    前記第1の光学デバイスを使用して、第1の標的要素の画像を捕捉するステップと、
    前記第1の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成するステップと、
    前記第1の光学デバイスから離れた位置に設けられる第2の光学デバイスを使用して、前記第1の標的要素の画像を捕捉するステップと、
    前記第2の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成するステップと、
    前記コンピューティングデバイスを使用して、前記捕捉された出力(s,t)と一緒に所定の横断計画を第1較正テーブルに適用することによって、および、前記捕捉された出力(u,v)と一緒に前記所定の横断計画を第2の較正テーブルに適用することによって、前記第1の光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するステップとを備え、
    前記較正テーブルの各々が、
    複数の標的中心を備える標的画面からの複数の較正場所において前記較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記関連付けられる光学デバイスが、前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記関連付けられる光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記関連付けられる光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記関連付けられる光学デバイスの3次元座標系の中の位置として定義され、それにより前記関連付けられる光学デバイスの位置が前記関連付けられる光学デバイスの3次元座標系の原点として定義される、方法。
  40. 前記捕捉された出力(s,t)と一緒に前記所定の横断計画を前記第1の較正テーブルに適用する前記ステップおよび前記捕捉された出力(u,v)と一緒に前記所定の横断計画を前記第2の較正テーブルに適用する前記ステップが、
    a)前記コンピューティングデバイスを使用して、前記出力(s,t)と関連付けられる前記第1の光学デバイスの3次元座標系の中の第1の点を特定するために前記第1の較正テーブルを横断し、前記出力(u,v)と関連付けられる前記第2の光学デバイスの3次元座標系の中の第2の点を特定するために前記第2の較正テーブルを横断するステップと、
    b)前記第1の光学デバイスに対する前記第2の光学デバイスの前記固定された位置に基づいて前記第1の光学デバイスと前記第2の光学デバイスとの間の相対的なずれ、および角度差を取得し、前記取得された相対的なずれ、および角度差を使用して前記特定された第2の点を正規化するステップと、
    c)前記正規化された特定された第2の点が前記第2の光学デバイスの前記正規化された位置に等しくない場合、ステップ(a)から(b)を繰り返すステップとを備え、
    d)それにより、前記第1の点が、前記正規化された特定された第2の点が前記第1の点に等しい場合、前記出力(s,t)の前記位置として設定される、請求項39に記載の方法。
  41. 第1の光学デバイスの3次元座標系において、前記第1の光学デバイスの視野内の標的要素の位置を決定するための方法であって、前記第1の光学デバイスおよび第2の光学デバイスがコンピューティングデバイスに通信可能に結合され、前記方法が、
    前記第1の光学デバイスを使用して、第1の標的要素の画像を捕捉するステップと、
    前記第1の光学デバイスのセンサ上での前記第1の標的要素の前記捕捉された画像の2次元位置を定義するような出力(s,t)を生成するステップと、
    前記第1の光学デバイスに関して固定された位置に設けられる第2の光学デバイスを使用して、第2の標的要素の画像を捕捉するステップであって、前記第2の標的要素が前記第1の標的要素から位置DT2だけ離れて設けられる、ステップと、
    前記第2の光学デバイスのセンサ上での前記第2の標的要素の前記捕捉された画像の2次元位置を定義するような出力(u,v)を生成するステップと、
    前記コンピューティングデバイスを使用して、前記捕捉された画像から制約規則のセットを取得するステップと、
    前記コンピューティングデバイスを使用して、前記捕捉された出力(s,t)および制約規則の前記セットと一緒に所定の横断計画を第1の較正テーブルに適用することによって、および、前記捕捉された出力(u,v)と一緒に前記所定の横断計画を第2の較正テーブルに適用することによって、前記第1の光学デバイスの3次元座標系の中の場所へと前記出力(s,t)および前記出力(u,v)を変換するステップとを備え、
    前記較正テーブルの各々が、
    複数の標的中心を備える標的画面からの複数の較正場所において前記較正テーブルと関連付けられる光学デバイスを位置決めすることによって事前に生成され、それにより、各較正場所において、前記標的画面上の前記標的中心の各々に対して、前記関連付けられる光学デバイスが、前記標的中心の画像を捕捉し、前記較正テーブルにおいて、前記関連付けられる光学デバイスのセンサ上での前記標的中心の前記捕捉された画像の2次元位置を前記関連付けられる光学デバイスに対する前記標的中心の場所と関連付け、前記場所が前記関連付けられる光学デバイスの3次元座標系の中の位置として定義され、それにより前記関連付けられる光学デバイスの位置が前記関連付けられる光学デバイスの3次元座標系の原点として定義される、方法。
  42. 制約規則の前記セットが、
    前記第1の標的要素と第2の標的要素との間のずれDを備え、Dが0以上の値を備え、
    Dの前記値が0より大きい場合、制約規則の前記セットがさらに、参照平面からの前記第1の標的要素の垂直方向のずれと参照平面からの前記第2の標的要素の垂直方向のずれとの間のずれの差分Δdを備え、前記参照平面が前記第1の標的要素または第2の標的要素から所定の距離だけ離れて設けられる、請求項41に記載の方法。
  43. 前記捕捉された出力(s,t)および制約規則の前記セットと一緒に前記所定の横断計画を前記第1の較正テーブルに適用する前記ステップおよび前記捕捉された出力(u,v)と一緒に前記所定の横断計画を前記第2の較正テーブルに適用する前記ステップが、
    a)前記コンピューティングデバイスを使用して、前記出力(s,t)と関連付けられる前記第1の光学デバイスの3次元座標系の中の第1の点を特定するために前記第1の較正テーブルを横断し、前記出力(u,v)と関連付けられる前記第2の光学デバイスの3次元座標系の中の第2の点を特定するために前記第2の較正テーブルを横断するステップと、
    b)前記第1の光学デバイスに対する前記第2の光学デバイスの前記固定された位置に基づいて、前記第1の光学デバイスと前記第2の光学デバイスとの間の相対的なずれ、および角度差を取得し、前記取得された相対的なずれ、および角度差を使用して前記特定された第2の点を正規化するステップと、
    c)前記第1の光学デバイスの3次元座標系の中の前記第1の点と前記正規化された特定された第2の点との間のずれD12が前記第1の標的要素と第2の標的要素との間の前記ずれDに等しくない場合、および、前記参照平面からの前記第1の点の垂直方向のずれと前記正規化された第2の点の垂直方向のずれとの間のずれの差分Δd12が前記ずれの差分Δdに等しくない場合、ステップ(a)から(b)を繰り返すステップとを備え、
    それにより、ステップ(c)の条件が満たされる場合、前記第1の光学デバイスの3次元座標系において、前記第1の点が前記出力(s,t)の前記位置として設定され、前記正規化された第2の点が前記出力(u,v)の前記位置として設定される、請求項42に記載の方法。
  44. 前記コンピューティングデバイスを使用して、前記制約規則の中のグローバルな座標系に対する位置情報を利用して、グローバルな系に対する前記光学デバイスについての位置決め情報を抽出するステップをさらに備える、請求項23、39、または41のいずれか一項に記載の方法。
JP2018523788A 2017-08-25 2017-11-17 標的要素の位置を特定するためのマシンビジョンシステムおよび方法 Active JP7101616B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201706981P 2017-08-25
SG10201706981P 2017-08-25
PCT/SG2017/050573 WO2019039996A1 (en) 2017-08-25 2017-11-17 ARTIFICIAL VISION SYSTEM AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS

Publications (2)

Publication Number Publication Date
JP2020532772A true JP2020532772A (ja) 2020-11-12
JP7101616B2 JP7101616B2 (ja) 2022-07-15

Family

ID=65438752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523788A Active JP7101616B2 (ja) 2017-08-25 2017-11-17 標的要素の位置を特定するためのマシンビジョンシステムおよび方法

Country Status (4)

Country Link
US (1) US11080880B2 (ja)
EP (1) EP3465618B1 (ja)
JP (1) JP7101616B2 (ja)
WO (1) WO2019039996A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
US11003972B2 (en) * 2018-06-27 2021-05-11 Intel Corporation Localizing a vehicle's charging or fueling port—methods and apparatuses
US11436753B2 (en) 2018-10-30 2022-09-06 Liberty Reach, Inc. Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN113226952B (zh) * 2018-12-27 2023-04-18 日本电气通信系统株式会社 物品位置管理装置、物品位置管理系统、物品位置管理方法和程序
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
CN110217727B (zh) * 2019-06-10 2023-05-26 国网江苏省电力有限公司南京供电分公司 远程操控环境下ar辅助进叉校准方法及配套叉车
CN110515835B (zh) * 2019-07-30 2023-05-23 上海云扩信息科技有限公司 一种基于机器视觉和dom树结构的测试方法
EP3795798B1 (en) * 2019-09-20 2023-11-22 Sandvik Mining and Construction Oy Positioning of mobile device in underground worksite
CN111783659B (zh) * 2020-06-30 2023-10-20 福建汇川物联网技术科技股份有限公司 基于机器视觉远程放样方法、装置及终端设备、存储介质
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
EP4275174A1 (en) * 2021-01-05 2023-11-15 Liberty Reach Inc. Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
DE102021102633A1 (de) * 2021-02-04 2022-08-04 Jungheinrich Aktiengesellschaft Verfahren zur Bestimmung einer Orientierung eines Flurförderzeugs
CN112950722B (zh) * 2021-03-03 2022-10-04 深圳市旗众智能科技有限公司 点胶机相机与点胶头之间的偏移量标定方法
CN113033349B (zh) * 2021-03-11 2023-12-26 北京文安智能技术股份有限公司 行人重识别的俯视图像选取方法、存储介质和电子设备
CN113870364B (zh) * 2021-09-30 2024-05-24 吉林大学重庆研究院 一种自适应的双目相机标定方法
CN114067197B (zh) * 2021-11-17 2022-11-18 河南大学 一种基于目标检测及双目视觉的管道缺陷识别与定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090118A (ja) * 2000-09-19 2002-03-27 Olympus Optical Co Ltd ３次元位置姿勢センシング装置
JP2003177017A (ja) * 2001-10-03 2003-06-27 Mamoru Otsuki 写真測量方法および写真測量プログラム
US20170094255A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Online compensation of thermal distortions in a stereo depth camera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311013A (ja) * 1996-05-22 1997-12-02 Anima Kk 三次元座標計測装置
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP2003269928A (ja) * 2002-03-12 2003-09-25 Nec Corp ３次元形状計測方法および装置ならびにプログラム
EP1665162A1 (de) * 2003-09-26 2006-06-07 Micro-Epsilon Messtechnik GmbH & Co. KG Verfahren und vorrichtung zur berührungslosen optischen 3d-l agebestimmung eines objekts
US9256220B1 (en) * 2008-06-25 2016-02-09 The Boeing Company System and method for monitoring completed manufacturing operations
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
JP5447963B2 (ja) * 2010-03-01 2014-03-19 サクサ株式会社 立体マーカを利用した位置計測システム
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US8115761B1 (en) * 2010-10-12 2012-02-14 Google Inc. Locking geometric and camera parameters in image-based three-dimensional modeling, and applications thereof
US10327708B2 (en) * 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
CN105551039B (zh) 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
US9747668B2 (en) * 2016-01-21 2017-08-29 Disney Enterprises, Inc. Reconstruction of articulated objects from a moving camera
EP3326527A1 (en) * 2016-11-23 2018-05-30 TTY-säätiö sr Method and arrangement for electromagnetic radiation based non-invasive monitoring of a performance of an anatomic object during an operation or medical intervention

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090118A (ja) * 2000-09-19 2002-03-27 Olympus Optical Co Ltd ３次元位置姿勢センシング装置
JP2003177017A (ja) * 2001-10-03 2003-06-27 Mamoru Otsuki 写真測量方法および写真測量プログラム
US20170094255A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Online compensation of thermal distortions in a stereo depth camera

Also Published As

Publication number Publication date
EP3465618B1 (en) 2021-06-09
US20190096080A1 (en) 2019-03-28
EP3465618A1 (en) 2019-04-10
WO2019039996A1 (en) 2019-02-28
US11080880B2 (en) 2021-08-03
EP3465618A4 (en) 2019-05-15
JP7101616B2 (ja) 2022-07-15

Similar Documents

Publication Publication Date Title
JP7101616B2 (ja) 標的要素の位置を特定するためのマシンビジョンシステムおよび方法
CN108074267B (zh) 交点检测装置及方法、摄像头校正系统及方法及记录介质
CN101305262B (zh) 测量仪器和使用测量仪器提供测量数据的方法
Habib et al. Automatic calibration of low-cost digital cameras
CN111121754A (zh) 移动机器人定位导航方法、装置、移动机器人及存储介质
Wang et al. Automated road sign inventory system based on stereo vision and tracking
CN105379264A (zh) 用于成像设备建模与校准的系统和方法
JP6878415B2 (ja) ライトフィールド・データ表現
EP2111530A1 (en) Automatic stereo measurement of a point of interest in a scene
Parian et al. Sensor modeling, self-calibration and accuracy testing of panoramic cameras and laser scanners
JPH06129851A (ja) ステレオカメラの校正方法
CN111429527B (zh) 一种车载相机的外参自动标定方法及系统
Yilmazturk et al. Geometric evaluation of mobile‐phone camera images for 3D information
CN105979248B (zh) 具有混合深度估计的图像处理系统及其操作方法
Bulyshev et al. Three-dimensional super-resolution: theory, modeling, and field test results
Robson et al. Optimised multi-camera systems for dimensional control in factory environments
Arfaoui et al. Fisheye lens calibration using virtual grid
CN108444452A (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
Zhou et al. Calibration method for IATS and application in multi-target monitoring using coded targets
CN117109561A (zh) 融合激光定位的远距二维码地图创建及定位方法、系统
CN109690241A (zh) 三维测定装置和三维测定方法
US11250589B2 (en) General monocular machine vision system and method for identifying locations of target elements
Zhang et al. Microscopic vision based on the adaptive positioning of the camera coordinate frame
Sampath et al. Two methods for self calibration of digital camera
Lingenauber et al. In-situ close-range imaging with Plenoptic cameras

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20180629

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150