JP2015079518A - マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 - Google Patents
マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 Download PDFInfo
- Publication number
- JP2015079518A JP2015079518A JP2014224043A JP2014224043A JP2015079518A JP 2015079518 A JP2015079518 A JP 2015079518A JP 2014224043 A JP2014224043 A JP 2014224043A JP 2014224043 A JP2014224043 A JP 2014224043A JP 2015079518 A JP2015079518 A JP 2015079518A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- hlgs
- detected
- model
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 199
- 230000008569 process Effects 0.000 claims abstract description 129
- 230000036544 posture Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 229910052770 Uranium Inorganic materials 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 101150110390 Slc10a6 gene Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 1
- 229960001685 tacrine Drugs 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】3D(ステレオ)センサスシステムはオブジェクトを観測し、それらの撮像画像はエッジを強調される。次に少なくとも2個(1対)の前処理された画像で、ステレオマッチングプロセスが同時に実行される。各対のカメラについて3Dポイントが計算されて3Dポイントクラウドが導出される。ポイントクラウドからの3Dデータの量は、より高水準の幾何学形状(HLGS、たとえば線分)を抽出することによって削減される。実行時に検出されたHLGSがモデルのHLGSに対応させられて、候補3D姿勢を生成し、段階的に候補姿勢を絞り、残った候補姿勢は、候補姿勢の検出された3Dまたは2Dポイントをより大きいセットの対応する3次元または2次元モデルポイントに適合させることによって検証され、その場合に最もマッチしたものを求める3次元姿勢とする。
【選択図】図2
Description
校正を経た後、そして3Dセンサシステムがオブジェクト視野のワールド3D座標空間を基準にしたワールド校正を経た後、オブジェクトが1以上の有利な地点から位置合わせされるエリアを観測する。3Dモデルは適当な技術によって、システムのアライメントアルゴリズムにより即時使用可能な形でシステムに提供される。このモデルは、対象オブジェクト内の十分な数のエッジおよび/またはその他の明確に分解可能な特徴を提供するように適合してもよい。モデルのトレーニングに続く実行時間の間、3Dセンサシステムは実行時オブジェクトに対する1以上の離散的な有利な地点に位置する1以上の3Dセンサを用いてオブジェクトの3Dポイントクラウドを生成する。一実施態様において、ポイントクラウドは、最初に各カメラから取得された画像を例示のステレオカメラヘッド配列で修正することによって生成される。次に修正された画像は、それらのエッジ特徴を強調するために、たとえばゼロ交差技術を用いて前処理される。それから少なくとも2個(1対)の修正された前処理された画像において、最初の画像上で所定の特徴を特定し、次に同じ特徴を他の画像内に(典型的には各々の画像のゼロ交差に)特定することによって同時にステレオマッチングプロセスが実行される。画像対における各特徴のそれぞれの位置の間の何らかの差異は視差を定義し、これが奥行きとして計算されて結果として生じる奥行き画像に符号化される。次いで各カメラ対について、物理的単位で表された奥行きを有する奥行き画像における視差(非ゼロピクセル値)に基づいて3Dポイントが計算される。それから各カメラ対の3Dポイントを、ワールド校正中に生成されたワールド3D座標空間に変換することによって3Dポイントクラウドが生成される。処理オーバーヘッドを減らして速度を増すために、ポイントクラウドからの3Dデータの量は、より高水準の幾何学形状(HLGS)を抽出することによって削減される。ポイントクラウドはオブジェクトエッジからなるので、ポイントはオブジェクト上の具体的なHLGS、たとえば線分や非直線的な曲線を定義できる。本例では、システムは離散的な線分/曲線を表す3D共線的ポイントに対するクラウドをサーチして、それらを抽出する- 何らかの二重の線分/曲線は除かれる。次に、システムは実行時オブジェクトから検出された1対のHLGS(たとえば非平行な線分)をモデル上の1対のHLGSに対応させて、6自由度の候補姿勢を生み出す。全部または大多数の対応(候補姿勢)は最初のステップで生成することができる。一般に、抽出されたHLGSの種々異なるサブセットは余すところなくモデルのHLGSに対応させられる。各々の候補対応は抽出された特徴のサブセットとモデルとの間のマッピングまたは姿勢を含意する。採点プロセスは粗い採点プロセスを用いて候補姿勢の数を減らすことができる。- たとえば与えられた線分について半径を定義し、対応させられた線分の一方または両方の端点がこの半径の外に出ている対応を排除する。残った候補姿勢はさらに、一層精緻な細かい採点プロセス - たとえば検出された実行時線分がモデル線分と位置合わせされる角度に入れられて、比較的少ない所定の数が残るまでが続けられる。これらの残った候補姿勢は次いで検証プロセスに入れられ、候補姿勢の検出された3Dポイントまたはそれらの2Dポイントへの投影が、より大きいセットの対応する3次元またはそれらの2次元モデルポイントへの投影に適合されて、最も近いマッチが所望のアライメント解決策を提供するために許容することができる高得点姿勢として生成される。
以下に本発明を添付の図面に基づいて説明する。
図1は、本発明の例示的な実施態様に従い、観測されるオブジェクト110の3次元アライメントまたは姿勢を決定するためのシステム100の典型的な配列を図示している。この例では、システム100は例示された画像処理システム130と相互に接続された例示の複数の3次元ステレオカメラヘッド120および122を使用する。この例では、画像処理システムはディスプレイ132、キーボード134およびマウスインターフェース136を備えたPCタイプのコンピュータである。PCは適当なビデオ処理コンポーネントを有し、コンピュータ可読媒体に記憶された本発明に従うシステムおよび方法を可能にするプログラム命令を実行する。PCが画像処理装置の1タイプに過ぎないことは、当業者にとって明白なはずである。代替的な実施態様において、処理コンポーネントは直接1以上のステレオヘッドカメラ(または他の3Dセンサ)のハウジング内に設けられてよく、離散的なカメラヘッド/3Dセンサはケーブルによって、および/または無線で処理コンポーネントと通信するように適合させることができる。
例示的な実施態様に従う3Dアライメントは、オブジェクト110の数学的モデルを使用することを必要とする。オブジェクトをモデル化するには多くの方法があり、たとえばCAD モデル、サーフェスモデル、ワイヤーフレームモデル、ポイントクラウドなどを使用する。モデルトレーニングのプロセスは、オブジェクトのユーザ指定モデルを3Dアライメントにとって最適な形に変換することを含む。より具体的には、モデルトレーニングのアウトプットは、例示的な実施態様に従う3Dアライメント手順の種々の部分で即時使用可能に形成されたユーザ指定モデルオブジェクトの数学的モデルである。以下に記すように、この実施態様におけるモデルは一連のより高水準の幾何学形状(HLGS)、たとえば線分、曲線、アーチ、スプラインおよびこれに類するものとして規定されている。
システムの校正およびトレーニングが完了したら、例示のオブジェクト110で実行時アライメントプロセスを行うことができる。ここでは全アライメントプロセスのステップを示す図2のフローチャート200を参照する。このプロセス200は複数のステップからなり、オブジェクトに対する種々の有利な地点に配置された1個または(典型的には)それ以上の3Dセンサから3Dポイントクラウドを生成することで始まる。最初のステップであるオブジェクトの実行時画像の同時取得(ステップ210)と、これらの画像の修正/前処理(ステップ212)については上述した。以下に、実行時オブジェクトに対するアライメントまたは姿勢決定プロセスについて、一般的に図2の各ステップを参照して、特にステレオマッチングを用いてオブジェクトの3Dポイントクラウド
を生成するステップ220を参照して詳述する。
本発明の実施態様は、撮像されたオブジェクトから3D情報を導出する他の技術はカメラの代替配列(たとえば3眼立体視カメラヘッド)および/または 他のタイプの3Dセンサ(LIDARなど)を使用するのに対し、例示的な実施態様はステレオマッチングプロセスを採用することを明示的に考えている。これらのプロセスは一般に、本発明に従いオブジェクトを効果的に位置合わせするのに十分な3Dポイントのクラウドを生成することに向けられている。具体的には、ステレオマッチングを用いて奥行き画像から3Dポイントを生成するプロセスは、多様な技術を使用して達成できる。これらの技術は通常の当業者には十分理解される。この他の背景技術として、ハートレーおよびジッサーマンによる「コンピュータビジョンにおける多重視点ジオメトリ」またはマ、ソアット、コセカおよびサストリーによる「3Dビジョンへの招待」を参照されたい。
3Dポイントクラウドは数千個、さらには数万個の3Dポイントを有するのが普通である。現在商業利用可能な計算装置を用いてアライメントを行う際に必要な速度と精度を達成するために、処理されるデータの量を減らすことが望ましい。システムによって処理されるデータの量を減らすために、プロセス200はより高水準の幾何学形状(より高い次元性を有する幾何学形状)、すなわち「HLGS」を利用して3Dアライメント(ステップ230)を実行する。この実施態様の3Dポイントクラウド内のポイントはオブジェクト上の分解可能なエッジに対応しており、またエッジは1次元幾何学形状であるため、プロセス200では3Dポイントクラウドから1またはそれ以上の次元性を有する幾何学形状を抽出する。本明細書に記載された実施態様に従って用いられるHLGSは3D線分であり、これらは3Dポイントクラウドから抽出される。以下に述べる3D線分抽出プロセスは3Dポイントクラウド中をサーチして共線的3Dポイントのセットを探す。共線的3Dポイントの各セットが3D線分を決定する。3D線分のセットが決定されたら、これらのセットは二重またはほぼ二重の3D線分を除去するために削られる。別の例示的な実施態様において、抽出プロセスは任意の受入れ可能なHLGS 特徴(種々異なるタイプHLGSの組み合わせを含む)、たとえば線分、微小エッジ、アーチ、スプラインなどを抽出する。たとえばある例示的な実施態様におけるプロセスは、3Dポイントクラウドからの1次元幾何学形状、線分および非直線的な曲線を含むHLGSを抽出できる。
再びこの実施態様の図2の主要なアライメントプロセス200を参照して、検出された線分(または他のタイプのHLGS)の最終セットが抽出されたら、次にそれらは1対の非平行なモデル3D線分と対応させられる。他のタイプのHGLSが用いられる場合は、この対応は対よりも大きいかまたは小さいグループであってよい。多くの実施態様において対応のベースとして、1次元幾何学形状(非直線的な曲線および/または線分)が使用される。同様に、検出されモデルと対応させるために組み合わされたHLGSのセットは、非平行であるということ以外の理由で向きが異なってよい(たとえば対応する互いからの所定の3D間隔で特定された非直線的な曲線の検出された対と、所定の間隔範囲における非直線的なモデル曲線との対応)。このような対応は各々6自由度の「候補姿勢」のグループを生成できる。堅牢性のために、検出された線分対とモデル線分対のすべての可能な組み合わせがステップ240に従って試みられる。これらの可能なすべての組み合わせは、数百万の候補姿勢を生み出す。プロセス200の速度と効率を増すために、迅速な採点技術を用いて候補姿勢のセットをより合理的なサイズに切り詰める。この時点で精緻な採点が実行することができる。
A2= A + ((AB2)ドット積(AA’))AA’ / (|AA'|*|AA'|)(これはポイントB2のAA’への投影である)
Wは正規化された(A2A’)である。
VはWとUのクロス積である。
A2は図10に示すようにU、WおよびVによって定義される新しい座標系の原点である。
M1* T1をモデル線分対AA’およびBB’に適用し、M2 * T2を検出された線分対に適用すると、マッピングされたAA'とマッピングされたaa'はいずれも新しい座標系のz軸上にある。
(|P0P1| > 0)および(|b0b1| > 0)のとき
fabs(|P0P1| - |b0b1|)< distanceToleranceであるならば、
b1_newは座標(x1 * |b0b1| /|P0P1|,y1 * |b0b1| /|P0P1|,z1)を有する。
(|P0P1| == 0)(すなわち線BB’は新しい座標系でz軸と交差する。B2は線BB上にもあり、B2はx軸にあるから、線BB'はXZ平面上にある)のとき、(|b0b1| < distanceTolerance)であるならば、ポイントb1_newに対して次の2個の位置が存在する(これらは| b0b1| == 0のときは同じである)。
一方の位置は(0,|b0b1|,z1)
他方の位置は(0,-|b0b1|,z1)である。これら2個の離散的な位置は図14に示されている。
(|P0P1| > 0)であるが、(|b0b1| = 0)であるならば、
z軸に沿った回転角度はベクトルB→B’およびベクトルb→b’によって決定することができる。これら2個のベクトルをXY平面に投影すると、回転により投影されたベクトル(b→b’)は投影されたベクトル(B→B')に対して平行になる。この向きは図15に示されている。
(D-d)< distanceTolerance
M3 = Mt * Mr
最初に、P(x,y,z)をPm(x new,y new,z)に変換するMtを解くことができる。なぜならz軸のみに沿って回転させるための回転行列には2個の変数(cosθとsinθ)しかなく、また次の制限もあるからである。
x*x + y*y=x new*xnew + y new*y new
移動Mtはベクトル(0,0,z new-z)に基づいている。
T1_inverse * M1_inverse * M3_inverse * M2 * T2
この採点プロセスは、1対の検出された線と1対のモデル線によって生成される各々の姿勢に適用される。得点は、この検出された線対から生成された姿勢に基づくマッピングの後で、(上記の)モデル線パイプ内にある検出された線対の端点の数である。
2. すべての検出された3D線の端点を用いる採点
この採点プロセスでは得点は次のように定義される。
得点 = Σ長さ(線(i))
ここでは各々の検出された線(i)について、与えられた姿勢を用いたマッピングの後で、線(i)の2個の端点が同じモデル線パイプ内にある。この技術は、以下に述べるように候補姿勢を切り詰めた後で、精緻な採点の最初の部分であってよい。
この採点プロセスにおいて、変数NumlnPipe は、与えられた姿勢を用いたマッピングの後でモデル線分のパイプ内にある検出された3Dポイントの数である。変数Numlnlnterior は、与えられた姿勢を用いたマッピングの後で部品本体の内部にある検出された3Dポイントである。したがって得点は次のように定義される。
得点 = NumlnPipe - 4* Numlnlnterior
この例示的な採点プロセスに従い、部品の内部に検出された3Dポイントは得点に不利に影響する。このプロセスは、以下に述べる全採点プロセスに従い、粗い採点の後で線の精緻な採点に使用して候補姿勢/線分の数を切り詰めることができる。
モデル一致得点は、以下に詳細に述べる全採点プロセスで使用されて、与えられた姿勢を用いたマッピングの後で検出された3Dポイントによってカバーされるモデル線分のパーセンテージを表す。この実施態様では、モデル一致得点を計算するプロセスは、図18に図示されているような3Dルックアップテーブル1800を使用することに基づいている。
(a)ビンを通過するモデル線分があれば、ビンの値は1とする。
(b)ビンがオブジェクトの内部にあれば、ビンの値 は-4とする(部品内部にあるポイントに対するペナルティーを用いる)。さもなければ
(c)ビンの値は0とする。
(a)1個の検出およびマッピングされたポイントがこのビン内にあれば、このビンの値はlとする。
(b)1個の検出およびマッピングされたポイントがすぐ隣のビン内にあり、かつ対応するモデルルックアップテーブルのビンの値が0より大きければ、このビンの値 は1とする。さもなければ
(c)このビンの値は0とする。
次に、上で導出されたすべてのビンに対する全モデル一致得点は、一般に次式によって特徴付けることができる。
図19のフローチャートに、姿勢の細かい採点プロセス1900がさらに詳細に示されている。このプロセス1900は、上にそれぞれのセクション1〜4で説明した各々の採点プロセスに様々に関係している。最初にステップ1910において、プロセス1910は1以上の端点がモデルパイプの外にあるセットを取り除いて線分のセットを切り詰め、これにより候補姿勢および関連する検出された線分の数を実質的に切り詰める。これは上述した図2の全アライメントプロセスにおける粗い採点ステップ250に対応している。線分の切り詰められたセットが細かい採点プロセス(図2のステップ260)に提供されるが、これは上記セクション2〜4の採点プロセスを用いる。次にプロセス1900は、ステップ1920で上記セクション1のプロセスに従い検出された線の端点を用いて得点を計算する。生成された各々の姿勢に対して1個の得点が計算される。例示的な実施態様において、最高得点の128姿勢が特定される。次のステップ1930は、上位128姿勢の各々について(上記セクション4のプロセスで説明されたように)モデル一致得点を計算する。例示的なプロセス1900は上記セクション2のプロセスに従い、すべての検出された3Dポイントの得点も計算する。次に上位128姿勢はそれらのモデル一致得点によって仕分けられ、128姿勢から最高のモデル一致得点を有する(この実施態様では)上位8姿勢が選択される。この実施態様では上位128 候補姿勢を決定するために3Dモデル一致得点が用いられるが、それはモデル一致得点が正規化された得点であり、シーン中の3Dポイントの密度に依存しないからである。むしろすべての(または所定の割合の)3Dポイントの得点は、3Dポイントの密度に依存する。紛らわしい画像において、より多くの3Dポイントがある(たとえばカメラ上のラベル文)幾つかの不正確な姿勢について、すべての検出された3Dポイントの得点は、この部品の正確な姿勢に対応する得点より高いことがある。このようにして例示的な実施態様において、最初のステップとして候補姿勢のより大きいグループをフィルタ処理するためにモデル一致得点を用いると、最も有望な姿勢を保持できる。
(j = l; j < 8; ++j)について
(model_coverage_score[j] < model_coverage_score[0] - 0.15)ならば
姿勢 jを除去する。
Claims (28)
- 3次元(3D)空間におけるオブジェクトのアライメントを決定するためのシステムであって、
あるシーンの3D表現を生成するように構成および配置された1以上の3Dセンサおよび1以上の処理素子と;
前記3D表現から前記シーンの検出された3Dのより高水準の幾何学形状(HLGS)を生成する特徴抽出プロセスと;
検出された3D HLGSをモデル3D HLGSと比較して前記シーン中の1以上のオブジェクトの1以上の候補3D姿勢を生成する対応プロセスと、
を含み、前記対応プロセスは複数の候補3D姿勢を採点して、十分高い得点に基づき少なくとも1個の高得点姿勢を選択するように構成および配置されていることを特徴とする、上記システム。 - 前記1以上の3Dセンサは各々複数の2Dカメラの配列を含んでいる、請求項1記載のシステム。
- 前記1以上の3Dセンサは各々ステレオカメラヘッドを含んでいる、請求項2記載のシステム。
- 前記3D表現は、3D座標と、少なくとも1個の他の幾何学的パラメータまたは非幾何学的パラメータとによって定義される、請求項1記載のシステム。
- 前記少なくとも1個の他の幾何学的パラメータまたは非幾何学的パラメータは、少なくとも1個のエッジ方向、色および強度を含む、請求項4記載のシステム。
- 前記シーンは要素の雑然とした背景または紛らわしい背景を含み、前記3Dセンサは
位置決めされ、前記特徴抽出プロセスは HLGS を要素の雑然とした背景または紛らわしい背景から識別するように構成および配置されている、請求項1記載のシステム。 - 前記シーンはその中に複数のオブジェクトを含んでおり、前記特徴抽出プロセスは1以上の複数のオブジェクトのHLGS を識別するように構成および配置されている、請求項1記載のシステム。
- 前記シーンはその中に分解可能なオブジェクトを含んでおらず、各々の特徴抽出プロセスおよび対応プロセスは、シーン中に分解可能なオブジェクトがないことを特定するように構成および配置されている、請求項1記載のシステム。
- 前記対応 プロセスは、(a)複数の粗く採点された候補3D姿勢を生成する粗い採点プロセスと、(b)1以上の粗く採点された候補3D姿勢から1以上の細かく採点された候補3D姿勢を生成する 細かい採点プロセスを使用して、1以上の候補3D姿勢を採点するように構成および配置されている、請求項1記載のシステム。
- さらに、1以上のオブジェクトの少なくとも1個の検出された2Dポイントおよび検出された3Dポイントを、少なくとも1個のモデル2Dポイントおよびモデル3Dポイントを基準として比較し、それにより少なくとも1個の高得点姿勢を導出するように構成および配置されている検証プロセスを含む、請求項1記載のシステム。
- 前記採点プロセスは、(a)1以上の候補3D姿勢に対してモデル一致得点を計算し、(b)各々高いモデル一致得点を有する1以上の高得点の候補3D姿勢を提供し、(c)検出された3Dポイントとモデル3Dポイントとの比較に基づいて高得点の候補3D姿勢のそれぞれの姿勢を精緻化し、(d)高得点の候補3D姿勢と精緻な候補3D姿勢との組み合わせから少なくとも1個の高得点姿勢を選択するように構成および配置されている、請求項1記載のシステム。
- 前記採点プロセスは、各々のモデル3D HLGSを取り囲む所定の幾何学的区域を定義し、検出された3D HLGSがそれぞれ所定の幾何学的区域外にある部分を含んでいる少なくとも1個の候補3D姿勢を除去するように構成および配置されている、請求項1記載のシステム。
- 精緻な候補3D姿勢のセットは、幾何学的区域内にある検出された3D HLGSの部分の適合に基づいて生成される、請求項12記載のシステム。
- 各々の検出された3D HLGSおよびモデル3D HLGS は線分であり、所定の幾何学的区域は横断面の形状が少なくとも1個の円形、楕円形、多角形または不規則な包囲形状を有するパイプであり、前記部分は線分の端点である、請求項13記載のシステム。
- 前記部分は検出された3D HLGSに関して検出された3Dポイントの全部または所定の割合を含む、請求項13記載のシステム。
- 検出された3D HLGSおよびモデル3D HLGS は、少なくとも1個の線分、微小エッジ、スプラインおよび曲線に基づいている、請求項1記載のシステム。
- 1以上の3Dセンサは少なくとも1個の3眼立体視カメラヘッドを含む、請求項1記載のシステム。
- 3次元(3D)空間におけるオブジェクトのアライメントを決定するための方法であって、
1以上の3Dセンサおよび1以上の処理素子を用いてあるシーンの3D表現を生成し;
前記3D表現から前記シーンの検出された3D高水準幾何学形状(HLGS)を生成するために特徴を抽出し;
前記シーン中の1以上のオブジェクトの1以上の候補3D姿勢を生成するために検出された3D HLGSをモデル3D HLGSに対応させることからなり、1以上の候補3D姿勢を採点して、十分高い得点に基づき少なくとも1個の高得点姿勢を選択することを含む、上記方法。 - 前記3Dセンサは複数のステレオカメラヘッドの各々を含み、さらに複数のステレオカメラヘッドの各々をシーンに対するそれぞれ有利な地点に配置して、シーン中の1以上のオブジェクトの遮蔽および妨害がより少ない視野を提供することを含む、請求項18記載の方法。
- 前記対応ステップは、(a)1以上の候補3D姿勢を生成する粗い採点と、(b)1以上の粗く採点された候補3D姿勢から1以上の細かく採点された候補3D姿勢を生成する
細かい採点とによって、1以上の候補3D姿勢を採点することを含む、請求項18記載の方法。 - 1以上のオブジェクトの少なくとも1個の検出された2Dポイントおよび検出された3Dポイントを、少なくとも1個のモデル2Dポイントおよびモデル3Dポイントを基準として比較し、それにより 少なくとも1個の高得点姿勢を導出することを含む、請求項20記載の方法。
- 前記採点ステップは、(a)1以上の候補3D姿勢に対してモデル一致得点を計算し、(b)各々高いモデル一致得点を有する1以上の高得点の候補3D姿勢を提供し、(c)検出された3Dポイントとモデル3Dポイントとの比較に基づいて高得点の候補3D姿勢のそれぞれの姿勢を精緻化し、(d)高得点の候補3D姿勢と精緻な候補3D姿勢との組み合わせから少なくとも1個の高得点姿勢を選択することを含む、請求項18記載の方法。
- 前記採点ステップは、各々のモデル3D HLGSを取り囲む所定の幾何学的区域を定義し、検出された3D HLGSがそれぞれ所定の幾何学的区域外にある部分を含んでいる少なくとも1個の候補3D姿勢を除去することを含む、請求項18記載の方法。
- 幾何学的区域内にある検出された3D HLGSの部分の適合に基づき、1以上の候補3D姿勢から精緻な候補3D姿勢のセットを生成する、請求項23記載の方法。
- 各々の検出された3D HLGSおよびモデル3D HLGS は線分であり、所定の幾何学的区域は横断面の形状が少なくとも1個の円形、楕円形、多角形または不規則な包囲形状を有するパイプであり、前記部分は線分の端点である、請求項24記載の方法。
- 前記部分は検出された3D HLGSに関して検出された3Dポイントの全部または所定の割合を含む、請求項24記載の方法。
- 検出された3D HLGSおよびモデル3D HLGSは、少なくとも1個の線分、微小エッジ、スプラインまたは曲線に基づいている、請求項18記載の方法。
- 3次元(3D)空間におけるオブジェクトのアライメントを決定するための方法であって、
1以上の3Dセンサおよび1以上の処理素子を用いてあるシーンの3D表現を生成し;
前記3D表現から前記シーンの検出された3D高水準幾何学形状(HLGS)を生成するために特徴を抽出し;
前記シーン中の1以上のオブジェクトの1以上の候補3D姿勢を生成するために検出された3D HLGSをモデル3D HLGSに対応させることからなり、1以上の候補3D姿勢を採点して、十分高い得点に基づき少なくとも1個の高得点姿勢を選択することを含む、上記方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/345,130 | 2008-12-29 | ||
US12/345,130 US8442304B2 (en) | 2008-12-29 | 2008-12-29 | System and method for three-dimensional alignment of objects using machine vision |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011543535A Division JP2012514252A (ja) | 2008-12-29 | 2009-12-01 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016128208A Division JP2017004533A (ja) | 2008-12-29 | 2016-06-28 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015079518A true JP2015079518A (ja) | 2015-04-23 |
JP6267097B2 JP6267097B2 (ja) | 2018-01-24 |
Family
ID=42078999
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011543535A Pending JP2012514252A (ja) | 2008-12-29 | 2009-12-01 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
JP2014224043A Active JP6267097B2 (ja) | 2008-12-29 | 2014-11-04 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
JP2016128208A Pending JP2017004533A (ja) | 2008-12-29 | 2016-06-28 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011543535A Pending JP2012514252A (ja) | 2008-12-29 | 2009-12-01 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016128208A Pending JP2017004533A (ja) | 2008-12-29 | 2016-06-28 | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8442304B2 (ja) |
EP (1) | EP2370935B1 (ja) |
JP (3) | JP2012514252A (ja) |
WO (1) | WO2010077524A1 (ja) |
Families Citing this family (122)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
US8126260B2 (en) | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
US7929804B2 (en) * | 2007-10-03 | 2011-04-19 | Mitsubishi Electric Research Laboratories, Inc. | System and method for tracking objects with a synthetic aperture |
US9734419B1 (en) | 2008-12-30 | 2017-08-15 | Cognex Corporation | System and method for validating camera calibration in a vision system |
US20110165923A1 (en) * | 2010-01-04 | 2011-07-07 | Davis Mark L | Electronic circle game system |
US9533418B2 (en) | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
US9479768B2 (en) | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
JP5503438B2 (ja) * | 2009-07-21 | 2014-05-28 | 富士フイルム株式会社 | 3次元画像表示装置及び3次元画像表示方法 |
JP5415170B2 (ja) * | 2009-07-21 | 2014-02-12 | 富士フイルム株式会社 | 複眼撮像装置 |
US20110047951A1 (en) | 2009-08-25 | 2011-03-03 | Francis Wilson Moore | Fruit tree pruner and harvesting machine |
JP5430456B2 (ja) * | 2010-03-16 | 2014-02-26 | キヤノン株式会社 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
EP2386998B1 (en) * | 2010-05-14 | 2018-07-11 | Honda Research Institute Europe GmbH | A Two-Stage Correlation Method for Correspondence Search |
US8295589B2 (en) * | 2010-05-20 | 2012-10-23 | Microsoft Corporation | Spatially registering user photographs |
WO2011163454A1 (en) * | 2010-06-25 | 2011-12-29 | Trimble Navigation Ltd. | Method and apparatus for image-based positioning |
JP5067450B2 (ja) | 2010-06-29 | 2012-11-07 | カシオ計算機株式会社 | 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 |
KR101791590B1 (ko) * | 2010-11-05 | 2017-10-30 | 삼성전자주식회사 | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 |
DE102010050695A1 (de) * | 2010-11-06 | 2012-05-10 | Carl Zeiss Meditec Ag | Anordnung und Verfahren zur automatischen Grobpositionierung ophthalmologischer Geräte |
US20130258067A1 (en) * | 2010-12-08 | 2013-10-03 | Thomson Licensing | System and method for trinocular depth acquisition with triangular sensor |
US9124873B2 (en) * | 2010-12-08 | 2015-09-01 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
US8970708B2 (en) | 2011-05-23 | 2015-03-03 | The Johns Hopkins University | Automatic device alignment mechanism |
US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
US20130083201A1 (en) * | 2011-10-03 | 2013-04-04 | Raytheon Company | Methods and apparatus for determining misalignment of first and second sensors |
EP2602588A1 (en) * | 2011-12-06 | 2013-06-12 | Hexagon Technology Center GmbH | Position and Orientation Determination in 6-DOF |
JP2013137760A (ja) * | 2011-12-16 | 2013-07-11 | Cognex Corp | 複数のカメラに対する複数部品コレスポンダ |
CN104246598A (zh) * | 2012-02-22 | 2014-12-24 | 瑞士计时有限公司 | 用于3d显示终点摄影图像的装置 |
CN103322931A (zh) * | 2012-03-23 | 2013-09-25 | 鸿富锦精密工业(深圳)有限公司 | 点云间隙与断差量测系统及方法 |
US9317109B2 (en) | 2012-07-12 | 2016-04-19 | Mep Tech, Inc. | Interactive image projection accessory |
JP5469216B2 (ja) * | 2012-07-31 | 2014-04-16 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置 |
US9148650B2 (en) * | 2012-09-17 | 2015-09-29 | Nec Laboratories America, Inc. | Real-time monocular visual odometry |
CN103792667B (zh) | 2012-10-30 | 2016-06-01 | 财团法人工业技术研究院 | 立体摄像装置、自动校正装置与校正方法 |
JP6370038B2 (ja) * | 2013-02-07 | 2018-08-08 | キヤノン株式会社 | 位置姿勢計測装置及び方法 |
WO2014152254A2 (en) * | 2013-03-15 | 2014-09-25 | Carnegie Robotics Llc | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
US9665793B2 (en) * | 2013-03-15 | 2017-05-30 | Hunter Engineering Company | Method for determining parameters of a rotating object within a projected pattern |
US9384551B2 (en) | 2013-04-08 | 2016-07-05 | Amazon Technologies, Inc. | Automatic rectification of stereo imaging cameras |
WO2014178050A2 (en) * | 2013-04-30 | 2014-11-06 | Mantisvision Ltd. | 3d registration of a plurality of 3d models |
CN103322928B (zh) * | 2013-06-20 | 2016-01-20 | 中国矿业大学(北京) | 基于网格点阵的相似模型位移场测量系统及方法 |
US9208609B2 (en) * | 2013-07-01 | 2015-12-08 | Mitsubishi Electric Research Laboratories, Inc. | Method for fitting primitive shapes to 3D point clouds using distance fields |
US9355123B2 (en) | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
US9778546B2 (en) | 2013-08-15 | 2017-10-03 | Mep Tech, Inc. | Projector for projecting visible and non-visible images |
US11551287B2 (en) | 2013-10-17 | 2023-01-10 | Mashgin Inc. | Automated object recognition kiosk for retail checkouts |
US10366445B2 (en) | 2013-10-17 | 2019-07-30 | Mashgin Inc. | Automated object recognition kiosk for retail checkouts |
US9704291B2 (en) * | 2013-11-08 | 2017-07-11 | Here Global B.V. | Structure model creation from a three dimensional surface |
US9233469B2 (en) * | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
WO2015123647A1 (en) * | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
US9665606B2 (en) | 2014-02-14 | 2017-05-30 | Nant Holdings Ip, Llc | Edge-based recognition, systems and methods |
US9280825B2 (en) * | 2014-03-10 | 2016-03-08 | Sony Corporation | Image processing system with registration mechanism and method of operation thereof |
JP6299879B2 (ja) * | 2014-03-21 | 2018-04-11 | オムロン株式会社 | 光学システムにおける光学性能劣化の検出および緩和のための方法および装置 |
CN103853893B (zh) * | 2014-03-26 | 2016-10-26 | 中国民用航空总局第二研究所 | 一种从点云数据检测飞机姿态的参数模型匹配方法 |
CN105279785B (zh) * | 2014-06-24 | 2021-10-15 | 北京鸿合智能系统有限公司 | 一种展台三维建模的方法和装置 |
US9916002B2 (en) | 2014-11-16 | 2018-03-13 | Eonite Perception Inc. | Social applications for augmented reality technologies |
US10055892B2 (en) | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
US9754419B2 (en) | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
US10192283B2 (en) | 2014-12-22 | 2019-01-29 | Cognex Corporation | System and method for determining clutter in an acquired image |
US9978135B2 (en) * | 2015-02-27 | 2018-05-22 | Cognex Corporation | Detecting object presence on a target surface |
US9811734B2 (en) * | 2015-05-11 | 2017-11-07 | Google Inc. | Crowd-sourced creation and updating of area description file for mobile device localization |
US10033941B2 (en) | 2015-05-11 | 2018-07-24 | Google Llc | Privacy filtering of area description file prior to upload |
US9870514B2 (en) | 2015-07-02 | 2018-01-16 | Qualcomm Incorporated | Hypotheses line mapping and verification for 3D maps |
US9858640B1 (en) * | 2015-07-15 | 2018-01-02 | Hrl Laboratories, Llc | Device and method for merging 3D point clouds from sparsely distributed viewpoints |
US10297020B2 (en) | 2015-09-18 | 2019-05-21 | Datalogic Ip Tech S.R.L. | Stereoscopic system and method for quality inspection of cigarettes in cigarette packer machines |
US10527730B2 (en) * | 2015-10-22 | 2020-01-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object detection system |
US10451403B2 (en) * | 2015-10-23 | 2019-10-22 | The Boeing Company | Structure-based camera pose estimation system |
US10260862B2 (en) * | 2015-11-02 | 2019-04-16 | Mitsubishi Electric Research Laboratories, Inc. | Pose estimation using sensors |
JP6463593B2 (ja) * | 2015-11-02 | 2019-02-06 | コグネックス・コーポレイション | ビジョンシステムでラインを検出するためのシステム及び方法 |
US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
DE102016120775A1 (de) | 2015-11-02 | 2017-05-04 | Cognex Corporation | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem |
US10757394B1 (en) | 2015-11-09 | 2020-08-25 | Cognex Corporation | System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance |
US10812778B1 (en) * | 2015-11-09 | 2020-10-20 | Cognex Corporation | System and method for calibrating one or more 3D sensors mounted on a moving manipulator |
US11562502B2 (en) | 2015-11-09 | 2023-01-24 | Cognex Corporation | System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance |
US10452949B2 (en) * | 2015-11-12 | 2019-10-22 | Cognex Corporation | System and method for scoring clutter for use in 3D point cloud matching in a vision system |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
CN108780154B (zh) * | 2016-03-14 | 2023-06-09 | 亿目朗欧洲股份有限公司 | 3d点云的处理方法 |
CN105865335A (zh) * | 2016-04-21 | 2016-08-17 | 四川大学 | 一种基于机器视觉的定子线棒截面尺寸检测系统 |
US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
JP2018040760A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | 構造物寸法計測システム及び計測方法 |
US9928660B1 (en) | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
US10462972B2 (en) | 2016-09-15 | 2019-11-05 | Harvestmoore, L.L.C. | Methods for automated pruning and harvesting of fruit plants utilizing a graphic processor unit |
JP6867132B2 (ja) * | 2016-09-30 | 2021-04-28 | 株式会社小松製作所 | 作業機械の検出処理装置及び作業機械の検出処理方法 |
US20180225799A1 (en) * | 2017-02-03 | 2018-08-09 | Cognex Corporation | System and method for scoring color candidate poses against a color image in a vision system |
CN110753952A (zh) * | 2017-02-28 | 2020-02-04 | 优质视觉技术国际公司 | 3d模型到测试对象的自动对准 |
US11366450B2 (en) * | 2017-03-23 | 2022-06-21 | Abb Schweiz Ag | Robot localization in a workspace via detection of a datum |
US10753726B2 (en) * | 2017-03-26 | 2020-08-25 | Cognex Corporation | System and method for 3D profile determination using model-based peak selection |
FI127555B (en) * | 2017-04-05 | 2018-08-31 | Oy Mapvision Ltd | Computer vision systems that include coordinate correction |
CN107121131B (zh) * | 2017-04-06 | 2019-06-25 | 大连理工大学 | 一种双目摄像头水平相对位姿识别方法 |
US10628695B2 (en) | 2017-04-26 | 2020-04-21 | Mashgin Inc. | Fast item identification for checkout counter |
US10467454B2 (en) | 2017-04-26 | 2019-11-05 | Mashgin Inc. | Synchronization of image data from multiple three-dimensional cameras for image recognition |
US11281888B2 (en) | 2017-04-26 | 2022-03-22 | Mashgin Inc. | Separation of objects in images from three-dimensional cameras |
US10803292B2 (en) * | 2017-04-26 | 2020-10-13 | Mashgin Inc. | Separation of objects in images from three-dimensional cameras |
WO2018204649A1 (en) | 2017-05-04 | 2018-11-08 | Intraop Medical Corporation | Machine vision alignment and positioning system for electron beam treatment systems |
US11143261B2 (en) | 2017-05-10 | 2021-10-12 | Harvestmoore, L.L.C. | Shock damping systems and methods for using shock damping systems |
US10785912B2 (en) | 2017-05-18 | 2020-09-29 | Harvestmoore, L.L.C. | End effectors for harvesting machines and methods for using end effectors |
US10674666B2 (en) | 2017-05-18 | 2020-06-09 | Harvestmoore, L.L.C. | End effectors for harvesting machines and methods for using end effectors |
US10967862B2 (en) | 2017-11-07 | 2021-04-06 | Uatc, Llc | Road anomaly detection for autonomous vehicle |
US11636668B2 (en) | 2017-11-10 | 2023-04-25 | Nvidia Corp. | Bilateral convolution layer network for processing point clouds |
JP7003617B2 (ja) * | 2017-12-12 | 2022-01-20 | 富士通株式会社 | 推定装置、推定方法、及び推定プログラム |
JP6911777B2 (ja) * | 2018-01-23 | 2021-07-28 | トヨタ自動車株式会社 | 動作軌道生成装置 |
US20190236360A1 (en) | 2018-01-30 | 2019-08-01 | Mashgin Inc. | Feedback loop for image-based recognition |
US10957072B2 (en) * | 2018-02-21 | 2021-03-23 | Cognex Corporation | System and method for simultaneous consideration of edges and normals in image features by a vision system |
CN109463003A (zh) * | 2018-03-05 | 2019-03-12 | 香港应用科技研究院有限公司 | 对象识别 |
US10671835B2 (en) * | 2018-03-05 | 2020-06-02 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Object recognition |
US11562505B2 (en) | 2018-03-25 | 2023-01-24 | Cognex Corporation | System and method for representing and displaying color accuracy in pattern matching by a vision system |
CN112292092A (zh) * | 2018-05-03 | 2021-01-29 | 直观外科手术操作公司 | 用于使用立体内窥镜测量距离的系统和方法 |
US10887579B2 (en) * | 2018-08-30 | 2021-01-05 | Veo Robotics, Inc. | Depth-sensing computer vision system |
JP7182528B2 (ja) * | 2018-09-12 | 2022-12-02 | コグネックス・コーポレイション | マシンビジョン用の画像データを処理するための方法及び装置 |
US10825199B2 (en) | 2018-09-12 | 2020-11-03 | Cognex Corporation | Methods and apparatus for processing image data for machine vision |
US10878299B2 (en) | 2018-09-12 | 2020-12-29 | Cognex Corporation | Methods and apparatus for testing multiple fields for machine vision |
US10846563B2 (en) * | 2018-09-12 | 2020-11-24 | Cognex Corporation | Methods and apparatus for generating a dense field of three dimensional data for machine vision |
US11293748B2 (en) * | 2019-03-07 | 2022-04-05 | Faro Technologies, Inc. | System and method for measuring three-dimensional coordinates |
CN110411340B (zh) * | 2019-07-30 | 2021-04-27 | 广东博智林机器人有限公司 | 一种3d视觉检测装置及方法 |
US11536843B2 (en) * | 2020-02-08 | 2022-12-27 | The Boeing Company | De-jitter of point cloud data for target recognition |
JP2021149513A (ja) * | 2020-03-19 | 2021-09-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
AU2021291293A1 (en) * | 2020-06-18 | 2023-02-02 | Deka Products Limited Partnership | System and method for aerial to ground registration |
US11134798B1 (en) * | 2020-06-29 | 2021-10-05 | Ncr Corporation | Vision-based frictionless self-checkouts for small baskets |
CN112509139A (zh) * | 2020-12-14 | 2021-03-16 | 盈嘉互联(北京)科技有限公司 | Bim模型管道中心线提取方法及装置 |
CN112580578A (zh) * | 2020-12-28 | 2021-03-30 | 珠海亿智电子科技有限公司 | 双目活体摄像头人脸测距方法及系统 |
CN113052797B (zh) * | 2021-03-08 | 2024-01-05 | 江苏师范大学 | 基于深度图像处理的bga锡球三维检测方法 |
CN113223177B (zh) * | 2021-05-12 | 2023-08-04 | 武汉中仪物联技术股份有限公司 | 基于标准姿态角校正的管道三维模型构建方法和系统 |
KR102358372B1 (ko) * | 2021-06-02 | 2022-02-08 | 아주대학교 산학협력단 | 영상의 스테레오 정합 방법 및 장치 |
CN114322943B (zh) * | 2021-12-15 | 2023-03-28 | 南京航空航天大学 | 一种基于无人机前视图像的目标距离测量方法及装置 |
US20230196608A1 (en) * | 2021-12-16 | 2023-06-22 | Here Global B.V. | Method and apparatus for improving localization of a device |
US20230419533A1 (en) * | 2022-06-24 | 2023-12-28 | Hover Inc. | Methods, storage media, and systems for evaluating camera poses |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10206135A (ja) * | 1997-01-21 | 1998-08-07 | Agency Of Ind Science & Technol | 3次元物体位置姿勢決定方法 |
JP2006214893A (ja) * | 2005-02-04 | 2006-08-17 | Iwate Univ | 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム |
JP2007502473A (ja) * | 2003-08-15 | 2007-02-08 | スカーペ アクティーゼルスカブ | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4949277A (en) * | 1988-03-09 | 1990-08-14 | North American Philips Corporation | Differential budding: method and apparatus for path planning with moving obstacles and goals |
US5257203A (en) | 1989-06-09 | 1993-10-26 | Regents Of The University Of Minnesota | Method and apparatus for manipulating computer-based representations of objects of complex and unique geometry |
JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
JPH09178426A (ja) * | 1995-12-26 | 1997-07-11 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
US6075881A (en) | 1997-03-18 | 2000-06-13 | Cognex Corporation | Machine vision methods for identifying collinear sets of points from an image |
US6078701A (en) | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
US6151406A (en) | 1997-10-09 | 2000-11-21 | Cognex Corporation | Method and apparatus for locating ball grid array packages from two-dimensional image data |
US6178392B1 (en) * | 1998-09-22 | 2001-01-23 | Intel Corporation | Method for combining the computer models of two surfaces in 3-D space |
US6553138B2 (en) | 1998-12-30 | 2003-04-22 | New York University | Method and apparatus for generating three-dimensional representations of objects |
US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
US6476803B1 (en) | 2000-01-06 | 2002-11-05 | Microsoft Corporation | Object modeling system and process employing noise elimination and robust surface extraction techniques |
US7027642B2 (en) | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
EP1285224A1 (de) | 2000-05-16 | 2003-02-26 | Steinbichler Optotechnik Gmbh | Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes |
US6728582B1 (en) * | 2000-12-15 | 2004-04-27 | Cognex Corporation | System and method for determining the position of an object in three dimensions using a machine vision system with two cameras |
JP2002197472A (ja) * | 2000-12-26 | 2002-07-12 | Masahiro Tomono | 物体認識方法 |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
US7215810B2 (en) * | 2003-07-23 | 2007-05-08 | Orametrix, Inc. | Method for creating single 3D surface model from a point cloud |
US8111904B2 (en) * | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
JP4758218B2 (ja) * | 2005-12-16 | 2011-08-24 | 株式会社山武 | 3次元パターン位置・姿勢検出装置 |
FR2896441B1 (fr) * | 2006-01-23 | 2009-07-03 | Jerome Grosbois | Procede et systeme permettant la prehension automatisee de piece(s) |
-
2008
- 2008-12-29 US US12/345,130 patent/US8442304B2/en active Active
-
2009
- 2009-12-01 JP JP2011543535A patent/JP2012514252A/ja active Pending
- 2009-12-01 EP EP09796877.0A patent/EP2370935B1/en active Active
- 2009-12-01 WO PCT/US2009/066247 patent/WO2010077524A1/en active Application Filing
-
2014
- 2014-11-04 JP JP2014224043A patent/JP6267097B2/ja active Active
-
2016
- 2016-06-28 JP JP2016128208A patent/JP2017004533A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10206135A (ja) * | 1997-01-21 | 1998-08-07 | Agency Of Ind Science & Technol | 3次元物体位置姿勢決定方法 |
JP2007502473A (ja) * | 2003-08-15 | 2007-02-08 | スカーペ アクティーゼルスカブ | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム |
JP2006214893A (ja) * | 2005-02-04 | 2006-08-17 | Iwate Univ | 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム |
Non-Patent Citations (1)
Title |
---|
JPN6015031859; 友納 正裕、油田 信一: '"パラメータ空間分割による段階的モデルマッチングを用いた3次元物体認識"' 情報処理学会研究報告 Vol.2001, No.4, 20010119, pp.71-78, 社団法人情報処理学会 * |
Also Published As
Publication number | Publication date |
---|---|
JP2017004533A (ja) | 2017-01-05 |
WO2010077524A1 (en) | 2010-07-08 |
US8442304B2 (en) | 2013-05-14 |
JP2012514252A (ja) | 2012-06-21 |
JP6267097B2 (ja) | 2018-01-24 |
US20100166294A1 (en) | 2010-07-01 |
EP2370935B1 (en) | 2020-04-22 |
EP2370935A1 (en) | 2011-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6267097B2 (ja) | マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法 | |
US10109055B2 (en) | Multiple hypotheses segmentation-guided 3D object detection and pose estimation | |
Choi et al. | Robust 3D visual tracking using particle filtering on the special Euclidean group: A combined approach of keypoint and edge features | |
US9154773B2 (en) | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations | |
EP2430588B1 (en) | Object recognition method, object recognition apparatus, and autonomous mobile robot | |
KR20180014677A (ko) | 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법 | |
Tang et al. | 3D mapping and 6D pose computation for real time augmented reality on cylindrical objects | |
JP6983828B2 (ja) | ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法 | |
KR102011564B1 (ko) | 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법 | |
Yang et al. | Robi: A multi-view dataset for reflective objects in robotic bin-picking | |
Sansoni et al. | Optoranger: A 3D pattern matching method for bin picking applications | |
US20230041378A1 (en) | Systems and methods for object detection | |
CN108335325A (zh) | 一种基于深度相机数据的立方体快速测量方法 | |
CN114022542A (zh) | 一种基于三维重建的3d数据库制作方法 | |
Cociaş et al. | Multiple-superquadrics based object surface estimation for grasping in service robotics | |
CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 | |
Wang et al. | RGBD object recognition and flat area analysis method for manipulator grasping | |
Zhu et al. | Target Measurement Method Based on Sparse Disparity for Live Power Lines Maintaining Robot | |
Figueroa et al. | 3D registration for verification of humanoid justin's upper body kinematics | |
Mishra et al. | Development and evaluation of a Kinect based Bin-Picking system | |
Gil et al. | A detection method of intersections for determining overlapping using active vision | |
JP2023102783A (ja) | 物体検出のためのシステム及び方法 | |
Grundmann | Scene analysis for service robots | |
Denker | Acquisition and On-line Reconstruction of 3D Point Data from Hand-held Laser Scanners and Multi-camera Stereo-matching | |
Baseski et al. | A hierarchical 3D circle detection algorithm applied in a grasping scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6267097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |