JP2020061132A - マシンビジョン用の画像データを処理するための方法及び装置 - Google Patents
マシンビジョン用の画像データを処理するための方法及び装置 Download PDFInfo
- Publication number
- JP2020061132A JP2020061132A JP2019164865A JP2019164865A JP2020061132A JP 2020061132 A JP2020061132 A JP 2020061132A JP 2019164865 A JP2019164865 A JP 2019164865A JP 2019164865 A JP2019164865 A JP 2019164865A JP 2020061132 A JP2020061132 A JP 2020061132A
- Authority
- JP
- Japan
- Prior art keywords
- data
- pose
- value
- image data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 201
- 238000012545 processing Methods 0.000 title claims description 26
- 238000013479 data entry Methods 0.000 claims abstract description 250
- 238000012360 testing method Methods 0.000 claims abstract description 148
- 239000013598 vector Substances 0.000 claims description 173
- 239000000523 sample Substances 0.000 claims description 106
- 238000003860 storage Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000036544 posture Effects 0.000 claims description 21
- 230000001186 cumulative effect Effects 0.000 claims description 17
- 238000003491 array Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000002991 molded plastic Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Claims (56)
- モデルの姿勢を3次元データにおいてテストするためのコンピュータ化された方法であって、
当該方法は、物体の3次元データを受け取るステップを有し、3次元データはデータエントリのセットを包含するものであり、
当該方法は、3次元データを各々関連する値を持つセルのセットを包含するフィールドに変換するステップを有し、前記変換するステップは各セル値について3次元データのデータエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定することを含んでおり、かつ
当該方法は、モデルの姿勢をフィールドによってテストして姿勢に対するスコアを決定するステップを有する、
上記方法。 - 3次元データをフィールドへと前記変換するステップは、値のセットの3次元アレイを生成することを含む、請求項1に記載の方法。
- 3次元データをフィールドへと前記変換するステップは、密集格子を生成することを含み、密集格子は格子の各セルに対するデータを包含する、請求項1に記載の方法。
- 3次元データの前記データエントリのセットはポイントのリストを含んでおり、
各セルについて前記1以上のデータエントリに基づいて代表的なデータを決定することは、ポイントのリスト内の1以上の関連するポイントに基づいてベクトルを決定することを含む、
請求項1に記載の方法。 - 1以上の関連するポイントについて前記ベクトルを決定することは、ポイントのリストに基づいて決定することを含み、前記セルは物体の内部部分に関連付けられており、かつ
前記ベクトルを決定することはベクトルをゼロに設定することを含む、
請求項4に記載の方法。 - モデルの姿勢をフィールドによってテストしてスコアを決定する前記ステップは、
モデルのプローブのセットをフィールドに対してテストしてスコアを決定することを含み、前記決定することは各プローブのドット積とフィールド内の関連するベクトルを合計することを含む、請求項5に記載の方法。 - 各セル値について代表的ベクトルを決定することを含めて、3次元データを各々関連する値を持つセルのセットを包含するフィールドへと前記変換するステップは、
ベクトルのセットの各ベクトルとそれ自体の外積を計算することを含む累積マトリックスを生成することを含み、ここで、ベクトルのセットは3次元データのデータエントリのセットから1以上のデータエントリに基づいて決定されるデータであり、かつ
前記変換するステップは、累積マトリックスから固有ベクトル、固有値、又はその両方を抽出して代表的ベクトルを決定することを含む、
請求項1に記載の方法。 - モデルの姿勢を3次元データにおいてテストするためのシステムであって、当該システムは1以上のプロセッサを備え、
前記プロセッサは物体の3次元データを受け取るよう構成され、前記3次元データはデータエントリのセットを包含するものであり、
前記プロセッサはさらに3次元データを各々関連する値を持つセルのセットを包含するフィールドに変換するよう構成され、前記変換することは各セル値について3次元データのデータエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定することを含んでおり、かつ
前記プロセッサはさらにモデルの姿勢をフィールドによってテストして姿勢に対するスコアを決定するよう構成され、てなる
上記システム。 - 3次元データをフィールドへと前記変換することは、値のセットの3次元アレイを生成することを含む、請求項8に記載のシステム。
- 3次元データをフィールドへと前記変換することは、密集格子を生成することを含み、密集格子は格子の各セルに対するデータを包含する、前記変換項8に記載のシステム。
- 3次元データの前記データエントリのセットはポイントのリストを含んでおり、
各セルについて1以上のデータエントリに基づいて代表的なデータを前記決定することは、ポイントのリスト内の1以上の関連するポイントに基づいてベクトルを決定することを含む、
請求項8に記載のシステム。 - 1以上の関連するポイントについて前記ベクトルを決定することは、ポイントのリストに基づいて決定することを含み、前記セルは物体の内部部分に関連付けられ、かつ
前記ベクトルを決定することはベクトルをゼロに設定することを含む、
請求項11に記載のシステム。 - モデルの姿勢をフィールドによってテストして前記スコアを決定することは、モデルのプローブのセットをフィールドに対してテストしてスコアを決定することを含み、前記決定することは各プローブのドット積とフィールド内の関連するベクトルの合計を含む、
請求項12に記載のシステム。 - 各セル値について代表的ベクトルを決定することを含めて、3次元データを各々関連する値を持つセルのセットを包含するフィールドへと前記変換することは、ベクトルのセットの各ベクトルとそれ自体の外積を計算することを含む累積マトリックスを生成することを含み、ここで、ベクトルのセットは3次元データのデータエントリのセットから1以上のデータエントリに基づいて決定されるデータであり、かつ
前記変換することは、累積マトリックスから固有ベクトル、固有値、又はその両方を抽出して代表的ベクトルを決定することを含む、
請求項8に記載のシステム。 - プロセッサ実行可能命令を保存している少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記命令は少なくとも1つのコンピュータハードウェアプロセッサによって実行されると、少なくとも1つのコンピュータハードウェアプロセッサに以下の動作を実行させるものであり、
前記動作は物体の3次元データを受け取る動作であり、前記3次元データはデータエントリのセットを包含するものであり、
前記動作はさらに、3次元データを各々関連する値を持つセルのセットを包含するフィールドに変換する動作であり、前記変換することは各々の前記セルの値について3次元データのデータエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定することを含んでおり、かつ
前記動作はさらに、モデルの姿勢をフィールドによってテストして姿勢に対するスコアを決定する動作である、
上記非一時的コンピュータ可読記憶媒体。 - 前記3次元データをフィールドに変換する動作は、値のセットの3次元アレイを生成することを含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
- 前記3次元データをフィールドに変換する動作は、密集格子を生成することを含み、前記密集格子は格子の各々の前記セルに対するデータを包含する、請求項15に記載の非一時的コンピュータ可読記憶媒体。
- 前記3次元データのデータエントリのセットはポイントのリストを含んでおり、各々の前記セルについて1以上のデータエントリに基づいて代表的なデータを決定することは、前記ポイントのリスト内の1以上の関連するポイントに基づいてベクトルを決定することを含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
- 前記1以上の関連するポイントについてベクトルを決定することはポイントのリストに基づいて決定することを含み、前記セルは物体の内部部分に関連付けられ、
前記ベクトルを決定することはさらにベクトルをゼロに設定することを含む、
請求項18に記載の非一時的コンピュータ可読記憶媒体。 - 各セル値について代表的ベクトルを決定することを含めて、3次元データを各々関連する値を持つセルのセットを包含するフィールドに変換することは、ベクトルのセットの各ベクトルとそれ自体の外積を計算することを含む累積マトリックスを生成することを含み、ここで、前記ベクトルのセットは3次元データのデータエントリのセットから1以上のデータエントリに基づいて決定されるデータであり、かつ
前記フィールドに変換することは、累積マトリックスから固有ベクトル、固有値、又はその両方を抽出して代表的ベクトルを決定することを含む、
請求項15に記載の非一時的コンピュータ可読記憶媒体。 - モデルの姿勢を画像データに対してテストするためのコンピュータ化された方法であって、
前記方法は物体の画像データを受け取ることを含み、前記画像データはデータエントリのセットを包含するものであり、
前記方法はさらに前記画像データの領域のセットを決定することを含み、前記領域のセットにおける各領域はデータエントリのセット内の隣接するデータエントリの関連するセットを包含しており、
前記方法はさらに処理済み画像データを生成することを含み、前記処理済み画像データは、各々関連する値を持つセルのセットを包含し、
前記処理済み画像データを生成することは、領域のセット内の各領域について、画像データから隣接するデータエントリの関連するセット内の各データエントリの最大可能スコアを決定することと、決定された最大可能スコアに基づいて値のセットの1以上の値を設定することとを含んでおり、かつ
前記方法はさらに前記処理済み画像データを使用してモデルの姿勢をテストすることを含む、
前記方法。 - 画像データを受け取ることは2D画像データを受け取ることを含み、前記各データエントリは2Dベクトルを包含しており、
前記値のセットの各処理済み画像データ値に対して最大可能スコアを決定することは、値に関連付けられた領域内の2Dベクトルに基づいてスカラー値を決定することを含む、
請求項21に記載の方法。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、ならびに
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること、
を含む請求項22に記載の方法。 - 画像データを受け取ることは3D画像データを受け取ることを含み、前記各データエントリは3Dベクトルを包含しており、
値のセットの各処理済み画像データ値に対して最大可能スコアを決定することは値に関連付けられた領域内の3Dベクトルに基づいてスカラー値を決定することを含む、
請求項21に記載の方法。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、ならびに
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること、
を含む請求項24に記載の方法。 - 3次元データを各々第2の値と関連付けられたセルの第2のセットを包含する第2のフィールドに変換することは、
各第2のセル値について、3次元データのデータエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定すること、ならびに
モデルの姿勢をフィールドによってテストすることに基づいてモデルの姿勢を第2のフィールドによってテストすること、
を含む請求項21に記載の方法。 - モデルの姿勢を画像データに対してテストするためシステムであって、前記システムは1以上のプロセッサを備え、
前記プロセッサは物体の画像データを受け取るよう構成され、前記画像データはデータエントリのセットを包含するものであり、
前記プロセッサはさらに画像データの領域のセットを決定するよう構成され、前記領域のセットにおける各領域は前記データエントリのセット内の隣接するデータエントリの関連するセットを包含しており、
前記プロセッサはさらに処理済み画像データを生成するよう構成され、
前記処理済み画像データは各々関連する値を持つセルのセットを包含しており、
前記処理済み画像データを生成することは、前記領域のセット内の各領域について、前記画像データから隣接するデータエントリの関連するセット内の各データエントリの最大可能スコアを決定すること、および、決定され前記た最大可能スコアに基づいて値のセットの1以上の値を設定することを含み、かつ
前記プロセッサはさらに処理済み画像データを使用してモデルの姿勢をテストするよう構成されてなる、
前記システム。 - 前記画像データを受け取ることは2D画像データを受け取ることを含み、前記各データエントリは2Dベクトルを包含しており、
前記値のセットの各処理済み画像データ値の最大可能スコアを決定することは、値に関連付けられた領域内の2Dベクトルに基づいてスカラー値を決定することを含む、
請求項27に記載のシステム。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、および、
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること
を含む請求項28に記載のシステム。 - 前記画像データを受け取ることは3D画像データを受け取ることを含み、各データエントリは3Dベクトルを包含しており、
前記値のセットの各処理済み画像データ値の最大可能スコアを決定することは、値に関連付けられた領域内の3Dベクトルに基づいてスカラー値を決定することを含む、
請求項27に記載のシステム。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、および、
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること、
を含む請求項30に記載のシステム。 - 前記1以上のプロセッサは更に、
3次元データを各々第2の値と関連付けられたセルの第2のセットを包含する第2のフィールドに変換し、各第2のセル値について、データエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定すること、および、
モデルの姿勢をフィールドによってテストすることに基づいてモデルの姿勢を第2のフィールドによってテストすること、
を成すよう構成されてなる、請求項27に記載のシステム。 - プロセッサ実行可能命令を保存している少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記命令は少なくとも1つのコンピュータハードウェアプロセッサによって実行されると、前記少なくとも1つのコンピュータハードウェアプロセッサに下記動作を実行させるものであり、
前記動作は物体の画像データを受け取る動作であり、前記画像データはデータエントリのセットを包含するものであり、
前記動作はさらに前記画像データの領域のセットを決定する動作であり、前記領域のセットにおける各領域は前記データエントリのセット内の隣接するデータエントリの関連するセットを包含しており、
前記動作はさらに処理済み画像データを生成する動作であり、
前記処理済み画像データは各々関連する値を持つセルのセットを包含し、
前記処理済み画像データを生成することは、領域のセット内の各領域について、前記画像データから隣接するデータエントリの関連するセット内の各データエントリの最大可能スコアを決定し、決定された最大可能スコアに基づいて値のセットの1以上の値を設定することを含み、かつ
前記動作はさらに処理済み画像データを使用してモデルの姿勢をテストする動作である、
前記非一時的コンピュータ可読記憶媒体。 - 前記画像データを受け取る動作は2D画像データを受け取ることを含み、各データエントリは2Dベクトルを包含しており、
値のセットの各処理済み画像データ値の最大可能スコアを決定することは、値に関連付けられた領域内の2Dベクトルに基づいてスカラー値を決定することを含む、
請求項33に記載の非一時的コンピュータ可読記憶媒体。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、および、
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること、
を含む請求項34に記載の非一時的コンピュータ可読記憶媒体。 - 前記画像データを受け取る動作は3D画像データを受け取ることを含み、各データエントリは3Dベクトルを包含しており、
値のセットの各処理済み画像データ値に対して最大可能スコアを決定することは、値に関連付けられた領域内の3Dベクトルに基づいてスカラー値を決定することを含む、
請求項33に記載の非一時的コンピュータ可読記憶媒体。 - 前記処理済みデータを使用してモデルの姿勢をテストすることは、
姿勢のスコアが所定の閾値を超えていないと判定し、モデルの複数のプローブを処理済みデータの関連するスカラー値に対してテストすること、および、
関連するスカラー値を決定するために使用された各々の領域と関連付けられた姿勢のセットを以後のテストから除外すること
を含む請求項36に記載の非一時的コンピュータ可読記憶媒体。 - さらに、前記命令は前記1以上の前記プロセッサに、
3次元データを各々第2の値と関連付けられたセルの第2のセットを包含する第2のフィールドに変換させる動作であって、各第2のセル値について3次元データのデータエントリのセットから1以上のデータエントリに基づいて代表的なデータを決定することを含む前記動作、および、
モデルの姿勢をフィールドによってテストすることに基づいてモデルの姿勢を第2のフィールドによってテストさせる動作、
を実行させるよう構成されたものである、請求項35に記載の非一時的コンピュータ可読記憶媒体。 - 3次元モデルの姿勢をテストするためのコンピュータ化された方法であって、
前記方法は3次元モデルを保存することを含み、前記3次元モデルはプローブのセットを包含するものであり、
前記方法はさらに物体の3次元データを受け取ることを含み、前記3次元データはデータエントリのセットを包含しており、
前記方法はさらに3次元データをフィールドのセットに変換することを含み、
前記変換することは値の第1のセットを包含する第1のフィールドを生成することを含み、前記値の第1のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第1の特徴を示し、
前記変換することはさらに値の第2のセットを包含する第2のフィールドを生成することを含み、前記値の第2のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第2の特徴を示し、第1の特徴は第2の特徴とは異なるものであり、かつ
前記方法はさらに3次元モデルの姿勢をフィールドのセットでテストすることを含み、前記テストすることはプローブのセットをフィールドのセットに対してテストすることを含み、それにより姿勢に対するスコアが決定するものである、
前記方法。 - 前記第1のフィールドと第2のフィールドを生成することは、各フィールドに対する3次元アレイを生成することを含み、前記3次元アレイの各々は各次元に対するインデックスを包含する3つのインデックスのセットからなり、前記3次元アレイの各々は3つのインデックスのセットにより関連付けられた第1の値と第2の値の各々のx位置、y位置及びz位置を含んでいる、請求項39に記載の方法。
- 前記プローブ、第1のフィールドの値の第1のセット、及び第2のフィールドの値の第2のセットは、面法線データ、エッジ境界データ、強度データ、又はそれらの何らかの組合せを含む、請求項39に記載の方法。
- 前記姿勢に対するスコアを決定するために姿勢をテストすることは、各プローブのドット積と関連する値を合計することを含む、請求項39に記載の方法。
- さらに、
複数の関連するスコアを決定するために複数の姿勢をテストすることと、
複数の姿勢のどの姿勢が姿勢のセットを生成するための所定の閾値を超えるスコアを有するか判定することと、
後続の処理のために姿勢のセットを保存することと、
を含む請求項39に記載の方法。 - 姿勢のセットにおける各姿勢は関連するスコアのローカルピークを表し、前記方法はさらに姿勢のセットを精緻化してモデルの最上の姿勢を決定することを含む、請求項43に記載の方法。
- 画像取得のためのパラメータを決定するための、1以上のプロセッサを備えるシステムであって、
前記プロセッサは3次元モデルを保存するよう構成され、前記3次元モデルはプローブのセットを包含するものであり、
前記プロセッサはさらに物体の3次元データを受け取るよう構成され、前記3次元データはデータエントリのセットを包含し、
前記プロセッサはさらに前記3次元データをフィールドのセットに変換するよう構成され、
前記変換することは、値の第1のセットを包含する第1のフィールドを生成することを含み、前記値の第1のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第1の特徴を示し、
前記変換することはさらに、値の第2のセットを包含する第2のフィールドを生成することを含み、前記値の第2のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第2の特徴を示し、第2の特徴は第1の特徴と異なっており、かつ、
前記プロセッサはさらに3次元モデルの姿勢をフィールドのセットでテストするよう構成され、前記テストすることはプローブのセットをフィールドのセットに対してテストすることを含み、それにより姿勢に対するスコアが決定するものである、
前記システム。 - 前記第1のフィールドと第2のフィールドを生成することは、各フィールドに対する3次元アレイを生成することを含み、前記3次元アレイの各々は各次元に対するインデックスを包含する3つのインデックスのセットからなり、前記3次元アレイの各々は3つのインデックスのセットにより関連付けられた第1の値と第2の値の各々のx位置、y位置及びz位置を含んでいる、請求項45に記載のシステム。
- 前記プローブ、第1のフィールドの値の第1のセット、及び第2のフィールドの値の第2のセットは、面法線データ、エッジ境界データ、強度データ、又はそれらの何らかの組合せを含む、請求項45に記載のシステム。
- 前記姿勢に対するスコアを決定するために姿勢をテストすることは、各プローブのドット積と関連する値を合計することを含む、請求項45に記載のシステム。
- 前記1以上のプロセッサは更に
複数の関連するスコアを決定するために複数の姿勢をテストし、
複数の姿勢のどの姿勢が姿勢のセットを生成するための所定の閾値を超えるスコアを有するか判定し、かつ、
後続の処理のために姿勢のセットを保存する、
ように構成されている、請求項45に記載のシステム。 - 姿勢のセットにおける各姿勢は関連するスコアのローカルピークを表し、前記プロセッサはさらに姿勢のセットを精緻化してモデルの最上の姿勢を決定するよう構成されてなる、請求項49に記載のシステム。
- プロセッサ実行可能命令を保存している少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記命令は少なくとも1つのコンピュータハードウェアプロセッサによって実行されると、前記少なくとも1つのコンピュータハードウェアプロセッサに下記動作を実行させるものであり、
前記動作は3次元モデルを保存する動作であり、前記3次元モデルはプローブのセットを包含するものであり、
前記動作はさらに物体の画像データを受け取る動作であり、前記画像データはデータエントリのセットを包含しており、
前記動作はさらに3次元データをフィールドのセットに変換する動作であり、
前記変換することは、値の第1のセットを包含する第1のフィールドを生成することを含み、前記値の第1のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第1の特徴を示し、
前記変換することはさらに、値の第2のセットを包含する第2のフィールドを生成することを含み、前記値の第2のセットの各値はデータエントリのセットから関連する1以上のデータエントリの第2の特徴を示し、第2の特徴は第1の特徴と異なっており、かつ、
前記動作はさらに3次元モデルの姿勢をフィールドのセットでテストする動作であり、前記テストすることはプローブのセットをフィールドのセットに対してテストすることを含み、それにより姿勢に対するスコアが決定するものである、
前記非一時的コンピュータ可読記憶媒体。 - 前記第1のフィールドと第2のフィールドを生成することは、各フィールドに対する3次元アレイを生成することを含み、前記3次元アレイの各々は各次元に対するインデックスを包含する3つのインデックスのセットからなり、前記3次元アレイの各々は3つのインデックスのセットにより関連付けられた第1の値と第2の値の各々のx位置、y位置及びz位置を含んでいる、請求項51に記載の非一時的コンピュータ可読記憶媒体。
- 前記プローブ、第1のフィールドの値の第1のセット、及び第2のフィールドの値の第2のセットは、面法線データ、エッジ境界データ、強度データ、又はそれらの何らかの組合せを含む、請求項51に記載の非一時的コンピュータ可読記憶媒体。
- 前記姿勢に対するスコアを決定するために姿勢をテストする動作は、各プローブのドット積と関連する値を合計することを含む、請求項51に記載の非一時的コンピュータ可読記憶媒体。
- さらに、前記命令は前記1以上のプロセッサに
複数の関連するスコアを決定するために複数の姿勢をテストする動作、
複数の姿勢のどの姿勢が姿勢のセットを生成するための所定の閾値を超えるスコアを有するか判定する動作、かつ、
後続の処理のために姿勢のセットを保存する動作、
を実行させるものである、請求項51に記載のシステム。 - 姿勢のセットにおける各姿勢は関連するスコアのローカルピークを表し、前記命令はさらに姿勢のセットを精緻化してモデルの最上の姿勢を決定する動作を前記1以上のプロセッサに実行させるものである、請求項55に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022111466A JP7469391B2 (ja) | 2018-09-12 | 2022-07-11 | マシンビジョン用の画像データを処理するための方法及び装置 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/129,170 | 2018-09-12 | ||
US16/129,148 US10825199B2 (en) | 2018-09-12 | 2018-09-12 | Methods and apparatus for processing image data for machine vision |
US16/129,121 US10846563B2 (en) | 2018-09-12 | 2018-09-12 | Methods and apparatus for generating a dense field of three dimensional data for machine vision |
US16/129,148 | 2018-09-12 | ||
US16/129,121 | 2018-09-12 | ||
US16/129,170 US10878299B2 (en) | 2018-09-12 | 2018-09-12 | Methods and apparatus for testing multiple fields for machine vision |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022111466A Division JP7469391B2 (ja) | 2018-09-12 | 2022-07-11 | マシンビジョン用の画像データを処理するための方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020061132A true JP2020061132A (ja) | 2020-04-16 |
JP7182528B2 JP7182528B2 (ja) | 2022-12-02 |
Family
ID=67997332
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164865A Active JP7182528B2 (ja) | 2018-09-12 | 2019-09-10 | マシンビジョン用の画像データを処理するための方法及び装置 |
JP2022111466A Active JP7469391B2 (ja) | 2018-09-12 | 2022-07-11 | マシンビジョン用の画像データを処理するための方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022111466A Active JP7469391B2 (ja) | 2018-09-12 | 2022-07-11 | マシンビジョン用の画像データを処理するための方法及び装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3624062A1 (ja) |
JP (2) | JP7182528B2 (ja) |
KR (3) | KR102511821B1 (ja) |
CN (1) | CN110895679B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102385076B1 (ko) * | 2020-07-10 | 2022-04-11 | 주식회사 메디트 | 데이터 잠금 시스템 및 데이터 잠금 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004158043A (ja) * | 2004-02-06 | 2004-06-03 | Mitsubishi Electric Corp | 画像処理装置 |
JP2016153984A (ja) * | 2015-02-20 | 2016-08-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両 |
JP2017091103A (ja) * | 2015-11-06 | 2017-05-25 | オムロン株式会社 | 粗密探索方法および画像処理装置 |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
JP2017182785A (ja) * | 2016-02-12 | 2017-10-05 | コグネックス・コーポレイション | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7689021B2 (en) * | 2005-08-30 | 2010-03-30 | University Of Maryland, Baltimore | Segmentation of regions in measurements of a body based on a deformable model |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
JP4677536B1 (ja) * | 2009-11-20 | 2011-04-27 | 株式会社三次元メディア | 3次元物体認識装置及び3次元物体認識方法 |
JP5839929B2 (ja) * | 2010-11-19 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
SG11201610035RA (en) * | 2014-06-30 | 2017-01-27 | Evolving Machine Intelligence Pty Ltd | A system and method for modelling system behaviour |
JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
US20180225799A1 (en) * | 2017-02-03 | 2018-08-09 | Cognex Corporation | System and method for scoring color candidate poses against a color image in a vision system |
-
2019
- 2019-09-10 JP JP2019164865A patent/JP7182528B2/ja active Active
- 2019-09-11 EP EP19196665.4A patent/EP3624062A1/en active Pending
- 2019-09-12 CN CN201910865951.8A patent/CN110895679B/zh active Active
- 2019-09-16 KR KR1020190113580A patent/KR102511821B1/ko active IP Right Grant
-
2022
- 2022-07-11 JP JP2022111466A patent/JP7469391B2/ja active Active
-
2023
- 2023-03-15 KR KR1020230033739A patent/KR102617732B1/ko active IP Right Grant
- 2023-12-20 KR KR1020230186810A patent/KR20240013085A/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004158043A (ja) * | 2004-02-06 | 2004-06-03 | Mitsubishi Electric Corp | 画像処理装置 |
JP2016153984A (ja) * | 2015-02-20 | 2016-08-25 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両 |
JP2017091103A (ja) * | 2015-11-06 | 2017-05-25 | オムロン株式会社 | 粗密探索方法および画像処理装置 |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
JP2017182785A (ja) * | 2016-02-12 | 2017-10-05 | コグネックス・コーポレイション | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20230042237A (ko) | 2023-03-28 |
KR102617732B1 (ko) | 2023-12-27 |
KR102511821B1 (ko) | 2023-03-21 |
JP7469391B2 (ja) | 2024-04-16 |
KR20240013085A (ko) | 2024-01-30 |
CN110895679B (zh) | 2024-05-28 |
JP2022140857A (ja) | 2022-09-28 |
JP7182528B2 (ja) | 2022-12-02 |
CN110895679A (zh) | 2020-03-20 |
KR20200030485A (ko) | 2020-03-20 |
EP3624062A1 (en) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657630B2 (en) | Methods and apparatus for testing multiple fields for machine vision | |
US20210118176A1 (en) | Methods and apparatus for processing image data for machine vision | |
US10846563B2 (en) | Methods and apparatus for generating a dense field of three dimensional data for machine vision | |
Ming et al. | Rapid reconstruction of 3D neuronal morphology from light microscopy images with augmented rayburst sampling | |
CN107292925A (zh) | 基于Kinect深度相机测量方法 | |
KR20240013085A (ko) | 기계 시각을 위한 이미지 데이터 처리 방법들 및 장치 | |
JP2018055199A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
CN110147837B (zh) | 基于特征聚焦的任意方向密集目标检测方法、系统及设备 | |
US11816857B2 (en) | Methods and apparatus for generating point cloud histograms | |
JP2019133545A (ja) | 特徴表現装置、それを含む認識システム、及び特徴表現プログラム | |
CN113139540B (zh) | 背板检测方法及设备 | |
Cai et al. | KBN-YOLOv5: Improved YOLOv5 for detecting bird’s nest in high-voltage tower | |
Zhang et al. | A lightweight YOLOv7 insulator defect detection algorithm based on DSC-SE | |
JP6441032B2 (ja) | 対応点探索装置と対応点探索プログラム並びに対応点探索方法 | |
KR20190076202A (ko) | 3차원 손 자세 인식 장치 및 방법 | |
WO2024036320A1 (en) | Methods and apparatus for determining orientations of an object in three-dimensional data | |
JP2022151129A (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
Jia et al. | Pieces Identification in the chess system of dual-robot coordination based on vision | |
Tang | Mathematical Image Analysis of Light Fused with Computer Fuzzy Algorithm | |
Zhi et al. | Boundary distribution estimation for precise object detection | |
CN117333937A (zh) | 基于分类和蒸馏的人体姿态估计方法、装置及电子设备 | |
JP2023087700A (ja) | 橋梁データ抽出装置、橋梁データ抽出方法、及びプログラム | |
Zentner et al. | Runtime analysis of GPU-based stereo matching | |
CN118052788A (zh) | 电塔检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210405 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220711 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20220728 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220914 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |