JP2023134688A - ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 - Google Patents
ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2023134688A JP2023134688A JP2023116363A JP2023116363A JP2023134688A JP 2023134688 A JP2023134688 A JP 2023134688A JP 2023116363 A JP2023116363 A JP 2023116363A JP 2023116363 A JP2023116363 A JP 2023116363A JP 2023134688 A JP2023134688 A JP 2023134688A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- shapes
- trained
- pattern detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 95
- 230000001537 neural effect Effects 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 2
- 229960001685 tacrine Drugs 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
Abstract
【課題】ニューラルネット分類器を組み込んだ画像内のパターンを検出するシステム及び方法を提供する。【解決手段】ビジョンシステム100において、パターン検出ツールは、ツールの前又は後で実行できる分類器150と連結されて、サブピクセル精度でラベリングされたパターン堅守地結果を有する。【効果】複数のテンプレートを検出できるパターン検出ツールの場合、ニューラルネット分類器は、パターン検出ツールに、最初にトレーニングされたテンプレートのサブセットでのみ作業するように通知するとその性能が改善され、最初にパターンを検出するパターン検出ツールの場合、ツールが正しいパターンを検出したかどうか判定でき、ニューラルネットワークが撮像された形状を再構成/除去することができ、関心のある形状にあまり関連しないピクセルを排除し、それによって検索時間を短縮するだけでなく、正しい形状をロックオンする可能性を大幅に増やせる。【選択図】図1
Description
本発明は、マシンビジョンシステム及び方法に関し、より具体的にはパターン検索及び認識ツールに関する。
本明細書では「ビジョンシステム」とも呼ぶマシンビジョンシステムは、製造環境において様々なタスクを実行するために使用される。概して、ビジョンシステムは、製造中のオブジェクトを含むシーンのグレースケール画像又はカラー画像を取得する画像センサ(若しくは「イメージャ」)を備えた1台以上のカメラからなる。オブジェクトの画像を分析して、データ/情報をユーザ及び関連する製造工程に提供することができる。画像によって生成されたデータは、通常ビジョンシステムにより1台以上のビジョンシステムプロセッサで分析及び処理され、これらのビジョンシステムプロセッサは専用に構築されるか、汎用コンピュータ(例えばPC、ラップトップ、タブレット又はスマートフォン)内でインスタンス化された1以上のソフトウェアアプリケーションの一部であってもよい。
一般的なビジョンシステムのタスクには、位置合わせと検査が含まれる。位置合わせタスクでは、マサチューセッツ州ネイティックのコグネックスコーポレーションから市販されている周知のパットマックス(R)システムなどのビジョンシステムツールが、シーンの画像内の特徴を(実際のモデル又は合成モデルを使用して)トレーニングされたパターンと比較して、撮像されたシーンにおけるパターンの有無と姿勢を決定する。この情報は、後続の検査(又はその他の)操作で欠陥を検索したり、部品の拒否などの他の操作を実行したりするために使用できる。
検索可能なパターン(例えば円形、正方形、スクリューの画像など)の所定のリストを含めることができる従来のパターン検出ツールの性能を向上させることが望ましい。そのようなツールはしばしば、微妙な違いがある特定のトレーニングされたパターン(例えば円と小さいノッチのある円)を適切に区別できないことがある。
本発明は従来技術のこの発明の欠点を、ニューラルネットワーク(「ニューラルネット」とも呼ぶ)分類器(「アナライザ」と呼ぶこともある)を組み込んだ、画像内のパターンを検出するためのシステム及び方法を提供することによって克服する。パターン検出ツールは、ツールの前又は後で実行できる分類器と連結されて、サブピクセル精度でラベリングされたパターン検出結果を持つ。複数のテンプレートを検出できるパターン検出ツールの場合、ニューラルネット分類器がパターン検出ツールに、最初にトレーニングされたテンプレートのサブセットでのみ作業するように通知するとその性能が改善される。代替的に、パターン検出ツールの性能は、ニューラルネットワークを使用して、パターン検出ツールを実行する前に画像を再構成/除去すると改善できる。追加的に、ニューラルネットワークを使用して、画像内の各画素についてパターンに属する画素がマッチングする可能性に基づいて重み付け値を計算することができる。同様に、最初にパターンを検出するツールの場合、ニューラルネット分類器は、当該ツールが正しいパターンを見つけたか否かを判断することができる。
例示的な実施形態において、画像内のパターンを検出するためのシステム及び方法は、関心のあるパターンを含む1以上のトレーニング画像に関連する1以上のテンプレートに基づいてトレーニングされたパターン検出ツールを含んでいる。ニューラルネット分類器は、1以上のトレーニング画像でトレーニングされ、実行時にテンプレートマッチングプロセスが動作して、(a)トレーニングされたニューラルネット分類器が、実行時画像に基づく1以上のテンプレートをパターン検出ツールに提供し、トレーニングされたパターン検出ツールが、実行時画像と組み合わされた1以上のテンプレート画像に基づいてパターンマッチングを実行するか、又は(b)トレーニングされたパターン検出ツールが、実行時画像から検出されたパターンをトレーニングされたニューラルネット分類器に提供し、トレーニングされたニューラルネット分類器が、検出されたパターンと実行時画像に基づいてパターンマッチングを実行する。パターン検出ツールは、複数のテンプレート又は単一のテンプレートを使用してトレーニングされるように適合されている。ニューラルネットは、畳み込みニューラルネットワーク(CNN)を含む。
別の実施形態では、画像内のパターンを検出するためのシステムと方法が提供され、画像内に1以上の候補形状を特定するようにトレーニングされ、実行時動作中に画像内に1以上の形状が存在する確率を識別するように構成されたニューラルネットワークを含んでいる。それによりニューラルネットワークは、(a)確率しきい値を超える1以上の候補形状の特徴を有する重み付きマスクを生成し、及び/又は(b)ニューラルネットワークアナライザが確率しきい値を超える1以上の候補形状の特徴の存在を識別する画像で、1以上の候補形状のモデルの特徴が置換された再構成画像を生成する。例示的に、パターン検出ツールは、1以上の候補形状に関連する1以上のモデルを使用して、(a)重み付きマスク及び/又は(b)再構成画像内に1以上の候補形状を検出するようにトレーニングされる。ニューラルネットワークは、各ピクセルが1以上の形状の識別に関係するスコアを有している重み付きマスクを定義する。再構成画像はバイナリ画像として定義できる。例示的に、ニューラルネットワークアナライザは、1以上の候補形状のタイプの存在に関するデータをパターン検出ツールに提供し、パターン検出ツールはプロセスを、当該タイプを特定することに関連するプロセスに制限する。概して、ニューラルネットワークは畳み込みニューラルネットワーク(CNN)を含んでいてもよい。
以下に本発明を添付図面を参照して説明する。
I.システムの概要
図1は、例示的なシステム及び方法によって使用するための一般化されたビジョンシステム構成100を示す。ビジョンシステムは、部品/表面検査、ロボット制御、部品の位置合わせなどを含む、任意の許容可能な環境で実装できる。このシステムは、光学系O及び画像センサ(「センサ」又は「イメージャ」とも呼ぶ)Sを有する少なくとも1台のビジョンシステムカメラアセンブリ110を含み、オンボード照明又は別個の照明(図示せず)も含んでいてもよい。カメラアセンブリは、1以上の静止又は移動するオブジェクト130を含んでよいシーン120を撮像する。この例では、オブジェクトは、輪郭形状、ならびに幾何学的に規則的もしくは不規則な多様な内部形状132、134、136及び138を含む。より一般的に、パターンは任意の幾何学的形状又はオブジェクトの任意の2D画像であってもよい。
カメラアセンブリ110及び関連するセンサSは、ビジョンシステムプロセッサ140と相互接続されており、ビジョンシステムプロセッサ140は完全に又は部分的にカメラアセンブリ110内に配置でき、又は別個の処理装置、例えばサーバ、PC、ラップトップ、タブレット又はスマートフォン(コンピュータ160)内に配置することができる。コンピューティングデバイスは、ディスプレイ/タッチスクリーン162、キーボード164及びマウス166などの適切なユーザインターフェースを含んでいてもよい。
例示的に、ビジョンシステムプロセス(プロセッサ)140は、様々なビジョンシステムツール及び関連するソフトウェア/ファームウェアを操作して、実行時に取得及び/又は保存されたオブジェクト130の画像を処理及び分析する。プロセス(プロセッサ)140は、特定のパラメータに従って機能し、トレーニング手順を使用してオブジェクトで検出される特定の形状を認識するようにトレーニングすることができる。プロセス(プロセッサ)140は、上記のパットマックス(R)ソフトウェアパッケージ及びそのバリエーション、例えばパットマックス(R)マルチモデルに見られるようなパターン検出ツール142を含め、様々なビジョンシステムコンポーネントを含む。パターン検出ツールは、トレーニングされたパターンや標準形状のパターン(正方形、円など)を使用でき、これらはトレーニングテンプレートに含まれている。以下に説明するように、ビジョンシステムプロセス(プロセッサ)は、ニューラルネットワークプロセス(プロセッサ)150も含み、又はこれと連動している。ニューラルネットワークプロセス(プロセッサ)(「ニューラルネット」とも呼ぶ)は、分類器の形で様々なパターンで動作して、システム100のパターン検出速度及び性能を強化する。
パターン検出の結果は、コンピュータインターフェース162を介してユーザ及び/又は他の下流の利用デバイス又はプロセス(プロセッサ)180に送信することができる、このような装置又はプロセス(プロセッサ)は、組立ロボットコントローラ、ライン検査、部品の検査/拒否、品質管理などを含んでいてもよい。
パターンマッチングの従来の手法は、慣用的なパターンマッチングツール、例えばパットマックス(R)又はパットマックス(R)マルチモデルを、関心のある形状又は特徴を有するモデル画像を使用してトレーニングすることを伴うことが認識されている。実行時にパターンマッチングツールは、検査されるオブジェクトの取得した画像内のトレーニングされたパターンとの正確なマッチングを特定する努力において1以上(場合によっては全部)のトレーニングされたテンプレートを通して実行する。
他方、本実施形態は、従来のパターン検出ツールを強化するためにニューラルネットプロセスを利用するスマートパターン検出ツールを提供し、それによりパターン検出ツールにツール結果に検出されたパターンを自動的にラベリングする能力、又は関連するニューラルネット分類器を使用してパターンを確実に検出する能力を提供する。この手法により操作において、テンプレートを含む画像のデータベースでスマートパターン検出ツールをトレーニングすることが可能になる。トレーニング後は、実行時にスマートパターン検出ツールは、従来のパターン検出器の最良の特徴とニューラルネット分類器を組み合わせて、高精度の姿勢(位置、スケール、回転など)を有する正しくラベリングされたパターン検出結果を提供する。
II.ニューラルネットワークを使用して検索を絞り込むパターン検出
図2を参照すると、これは実行時に先立つトレーニング時手順200を表すブロック図を示している。ツール210は、慣用的なパターン検出ツール220と、1組/複数のトレーニングされたパターン(テンプレート)240の中から正しいパターンを検出する際にパターン検出ツールを支援する、関連するニューラルネット分類器を含む。
より具体的には、トレーニング時に、従来のパターンの検出ツール220(例えばパットマックス(R)マルチモデル)は、1以上のテンプレート画像でトレーニングされる。同時に、ニューラルネット分類器(例えば畳み込みニューラルネットワーク(CNN))230は、各テンプレートによって表されるパターンの複数の例示的な画像でトレーニングされる。ニューラルネット分類器230は、入力画像を処理し、入力画像内に検出されたテンプレートラベルのサブセットを報告するようにトレーニングされる。
図3は、(事前分類を使用する)実行時手順300を示しており、トレーニングされたニューラルネットワーク分類器310は最初に(カメラ110によって取得した及び/又は以前の取得から保存された)実行時入力画像320で実行され、各テンプレートの確率を決定する。スマートパターン検出ツールは、結果が最良のものをフィルタリングし、次にトレーニングされたパターン検出ツール350に、N個のテンプレート(図2の240)のフルセットではなく、これらのマッチングしたM個のテンプレートのサブセットで作業するように通知する。したがって最も良くマッチングするM個のテンプレート340のサブセットが検索パラメータとして、トレーニングされたパターン検出ツール350に提供される。入力画像320はパターン検出ツール350に提供され、検索パラメータは、ツール350の出力としてマッチングしたテンプレート結果360を生成するために使用される。これらの結果は、ユーザに表示でき、又は下流の利用操作(例えば部品の位置合わせ、検査など)において使用できる。有利には、このプロセス300は、マッチングしたテンプレートを生成する際に通常ならば必要とする計算量を削減する。
本明細書の実施形態によれば、様々な専有及び市販(例えばオープンソース)のニューラルネットワークアーキテクチャ及び関連する分類器を使用できる。例えばテンソルフロー、マイクロソフトCNTKなど。
上述したトレーニング時手順200及び実行時手順300を使用できる応用例は、基準の形状が異なる部品によって変化し得る場合に(十字、菱形など)、正しい基準を検出することである。例示的に、従来のパターン検出ツールは、それぞれの可能な基準パターンを表すテンプレート画像でトレーニングされる。さらに、ニューラルネット分類器(例えばテンソルフロー)は、各基準パターンと関連付けられたラベルと共に、各基準パターンの外観との変化を示す複数の画像でトレーニングされる。実行時には、最初にトレーニングされたニューラルネット分類器が実行されて、実行時画像に検出されたラベルのセットを返す。この情報を使用して、システムはパターン検出ツール(例えばパットマックス(R)マルチモデル)に、ニューラルネット分類器によって生成されたラベルで表されるテンプレートのセットでのみ実行するように通知し、それによって位置合わせを迅速化し、より信頼性の高い結果を生み出す。
図4に示す構成では、従来のパターン検出ツールが特定のパターンを検出して、ニューラルネット分類器がそれが正しいマッチングであるか否か判定する(即ち事後分類)。トレーニング時に、従来のパターン検出ツール410は、単一の画像テンプレート440を用いてトレーニングされる。次に、ツール410に関連付けられたニューラルネット分類器(例えばテンソルフロー)430が、所望のテンプレートに対する複数の画像でトレーニングされる。分類器430の入力は、従来のパターン検出ツール440に入力されたものと同じ画像である。
図5は、(事後分類を使用する)実行時手順500を示しており、パターン検出ツール550の最初に入力画像520内のパターンを検出する。入力画像520は、従来のパターン検出ツール(例えばパットマックス(R))の出力から計算される任意選択の境界ボックスと共に、トレーニングされたニューラルネットワーク分類器510に提供される。次に、分類器510は従来のパターン検出が正しい/マッチングしたパターン560を検出したか判定する。分類器の出力510は、トレーニングされたテンプレートが検出されたことの全体的な信頼性である。
例として、操作上の使用ケースは、円とノッチのある円などのわずかな違いを有する非常に紛らわしい形状を伴う。従来のパターン検出ツール(例えばパットマックス(R))350がノッチのある円を表すテンプレート画像でトレーニングされると仮定する。次に、ニューラルネット分類器510は、他の紛らわしい形状(ノッチのない円)と共に所望の形状(ノッチのある円)を含む画像でトレーニングされる。実行時に、入力画像は従来のパターン検出ツールの出力から計算された任意選択の境界ボックスと共に、トレーニングされたニューラルネット分類器510に供給され、次に分類器は従来のパターン検出が正しいパターン(ノッチのある円)を検出したか判定する。この手順により、この例示的なケースでパターン検出の堅牢性が改善される。
従来のパターン検出ツールと、1以上のテンプレートでトレーニングするその能力は、代替実施形態において極めて可変であることに留意されたい。上記の事前分類手順と事後分類手順は、それぞれ代替実施形態において異なるタイプのパターン検出ツール及び関連するテンプレートを含むように修正することができる。
III.トレーニングされたパターンツールを使用して検索を絞り込むパターン検出
図6を参照すると、図1の構成100によって実施できる別の例示的な実施形態に従うスマートパターン検出のための全体的な(一般化された)手順600が示されている。幾つかのパターンは、取得した画像で動作する従来のトレーニングされたパターン検出ツールを使用して特定するのがより困難であることが判明することがあると考えられる。場合によっては、ニューラルネットワーク/ディープラーニングアーキテクチャの固有の特性が、最初に画像内のパターン候補を特定する際にメリットを提供できる。したがって手順600では、ニューラルネットワークは、様々なパターンタイプを特定するようにトレーニングされ、ステップ610で取得した画像に適用される。それによって所与のタイプの形状に関連するスコアを有する候補のリストを生成する。次に、手順600はスコアに基づいて、従来のパターン検出ツール(例えばパットマックス(R)マルチモデル)を、特定の閾値を超えるスコアを有する形状候補に適用する(ステップ620)。パターン検出ツールは、ニューラルネットワークによって識別された特定の形状を検索するか、各候補における様々なタイプの形状を検索できる。
有利には、ニューラルネットワークは可能な候補を効率的に識別できる一方で、サブピクセルレベルでのモデルフィッティングなどの計算困難なタスクは、パターン検出ツールによって堅牢な方法で処理することができる。
ニューラルネットワークが特定の形状を認識するためのトレーニングは、図7の手順700のステップ710に記載されている。トレーニングされると、実行時(ステップ720)にニューラルネットワークはトレーニングされた構成を使用して、取得した画像がトレーニングされた形状の一部であるように見えるかどうかに基づいて、当該画像の各ピクセルにスコア(確率)を割り当てる。その結果(ステップ730)は、画像内のピクセルがそれぞれスコアを割り当てられた確率画像である。ステップ730からの確率画像は保存でき、次にパターン検出ツールに(例えばマスクとして)提供できる。パターン検出ツールでは、候補形状を有さないように見えるピクセルは、パターン検出ツールが動作する画像結果からマスクされる(ステップ740)。ニューラルネットワークの結果は、確率画像内の候補形状のタイプを含んでいてもよい。形状タイプの情報により、パターン検出ツールは確率画像における(選択された位置での)検索を、専ら結果によって提供される形状タイプに狭めることができる(ステップ750)。それゆえパターン検出ツールは、候補形状に関係のないツールの実行を回避するので、より迅速かつ効率的に動作できる。
上記の手順600は、種々の応用において有利である。例えばニューラルネットワークを使用して最初に画像をスクリーニングすることは、局所的な歪みが大きい場合に有用である。なぜなら、ニューラルネットワークは、パターン検出によって分析するのがより簡単な方法で、確率に基づいて画像を本質的に再構成するからである。例として、入ってくる画像は非常にテクスチャ化されて、定義されたコントラストラインを欠いていることがある。ニューラルネットワークによって処理した後、結果として生じる確率画像は、長方形、三角形、円などを表す高コントラストの定義された境界を持つバイナリ表現である。具体的な例では、ニューラルネットワークは、すり減る(非常にテクスチャ化された領域を生み出す)ことがあるロープ又はケーブルの端で形状を効果的に解像できる。ニューラルネットワークはパターン検出ツールに、暗い背景の上の明るい長方形、又はその逆を提供する。
図3の手順800で説明したように、実行時に、トレーニングされた(関心のある形状に関するモデルベースのテンプレートを用いてトレーニングされた)パターン検出ツールは、ニューラルネットワークから確率画像(マスク)、及び(任意選択で)画像内で識別された候補形状のタイプに関する情報を受け取る(ステップ810)。パターン検出ツールは画像上で、選択された領域に焦点を合わせ、識別された画像タイプに関連するツール及びプロセスを使用して動作する(ステップ820)。次に、パターン検出ツールは検出された形状が画像内に配置された結果を生成し、形状に関する適切な座標(及びその他の)データがステップ830の後続操作に出力される。
さらに、図9を参照すると、取得した画像内の関心のある形状に関連して重み付きマスクを作成して使用するための例示的な手順900のブロック図が示されている。そこに示されているように、画像910はニューラルネットワーク920に入力される。適切にトレーニングされた技術を使用して、ニューラルネットワーク920は関心のある形状930の重み付きマスクを出力する。上記のように、各ピクセルは、関心のある形状の一部である可能性に基づいてスコア付けされる。次に、重み付きマスク930は、生画像データ910と共に、パターン検出(テンプレートマッチング)ツール(例えばコグネックスサーチマックス(R)、パットマックス(R)など)に入力される。これによりツール940は、画像950内における関心のある形状の位置と、重み付きマスク930に含まれるデータに基づくことができる追加のマッチングスコア情報960を出力する。
手順900は、図10の略図1000に図示されている。例示的な関心のある形状1010は、連続境界を有するU字型構造として示されている。しかし関連する取得した画像1012は、壊れた境界1014及び介入する形状1016を提供する。さらに、関心のある画像形状1012は、シーン内部で予想される形状1010の向きに対してある角度で回転している。取得した画像と予想される形状の間に、他の歪みに基づく違いも存在し得る。本明細書で説明されるように、関心のある形状データ1010及び画像データ1012は、ニューラルネットワーク1020に入力される。結果として得られる画像の出力重み付きマスク1030は、基礎となる関心のある形状を近似して、介入する形状データ1016を省略した一連の形状セグメント1040として表現される。ここに示されているように、セグメント1040は、確率/可能性がより高い周囲ピクセルの範囲を包含する。この領域は、関心のある形状のエッジの一般的な輪郭を近似している。この表現1040は、従来のモデルトレーニングされたパターン検出(テンプレートマッチング)ツールによってより容易にマッチングされる。
別の例示的な実施形態において、ニューラルネットワークを使用して画像内の関心のある形状を再構成及び/又は除去することができる。図11の手順1100に示されているように、ニューラルネットワーク1120は取得した画像データ1110を受け取り、トレーニングを使用して関心のある形状1130の再構成を出力し、その中で各ピクセルは当該ピクセルが関心のある形状(即ちニューラルネットワークのトレーニングの対象)に属する可能性によってスコア付けされている。次に、この再構成は、関心のある形状のテンプレートを含むモデルベースのパターン検出(テンプレートマッチング)ツール1140に入力される。ツールは、関心のある形状1150の粗い位置を出力する。この粗い位置は、該当する場合は下流のプロセスによって使用されることができ、及び/又は任意選択で再びモデルトレーニングされたパターン検出ツール1160(ブロック1140と同じツールか又は異なるツール)に入力され得る。生画像データ1110もパターン検出ツール1160に提供される。入力1110及び1150からのツール1160の出力は、画像1110内の関心のある形状の精緻な位置1170である。
手順1100の例として図12の略図1200は画像内の2つの入力形状1210及び1212を示している。各形状は、上記のようにニューラルネットワーク再構成1220及び1222を受ける。それにより取得した画像データにおいて使用するために再構成された形状1230及び1232がそれぞれ生み出される。その結果、再構成は、既存の歪んだ又は不明瞭な形状に取って代わることができる。したがってニューラルネットワークを使用して画像データ内の不完全な又は歪んだ形状の除去及び/又は再構成を効果的に提供することができ、そのようなデータは下流操作によってより効果的に使用され得る。この下流操作には上記のパターン検出ツール又は別の適切なツールを使用するパターン検出が含まれる。ここに示されているように、形状は予想される形状/モデル形状の境界に適合する明確に定義された境界を持つバイナリ画像として表現できる。
IV.結論
上述したシステム及び方法が、従来のパターンマッチング応用とニューラルネット分類器の組み合わせを使用してトレーニングされたパターンの検出及びマッチングのためのより信頼できる高速の技術を提供することは明らかであろう。この手法により、テンプレートの数が削減され、又は検出されたパターンをフィルタリングすることが可能になり、その結果として正しいマッチングに関するシステム及び方法の決定が強化される。さらに、上記のシステム及び方法は、ニューラルネットワークを撮像された形状の再構成/除去ツールとして使用すること、及び/又は関心のある形状にあまり関係のないピクセルを排除し、それにより検索時間を大幅に短縮することだけでなく、正しい形状にロックオンする可能性を大幅に高めることを効果的に可能にする。この技術は、特に画像内の形状が歪んでいるか、又は形状の特徴が欠落している場合に効果的である。
以上は本発明の例示的な実施形態を詳細に説明したものである。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するために適切である限り、別の記載された実施形態の特徴と組み合わされてよい。さらに、以上に本発明の装置と方法の多数の別個の実施形態を説明したが、ここに記載されたものは本発明の原理の応用を例示したものにすぎない。例えば本明細書中で使用される「プロセス」及び/又は「プロセッサ」という言葉は電子ハードウェア及び/又はソフトウェアをベースとする多様な機能及びコンポーネント(或いは機能的「モジュール」又は「エレメント」と呼ぶことがある)を含むものと広く解釈すべきであることにも留意されたい。さらに、表示されたプロセス又はプロセッサは他のプロセス及び/又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び/又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び/又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせを用いて実施できることが明確に想定されている。加えて、本明細書で使用される様々な方向及び/又は向きを表わす用語、例えば「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」、及びこれに類するものは、相対的な表現法として用いられているにすぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。加えて、特定の測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む(例えば1~5パーセント)。したがってこの説明は例としてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。
以下に特許請求の範囲を記載する。
Claims (22)
- 画像内のパターンを検出するためのシステムであって、
関心のあるパターンを含む1以上のトレーニング画像に関連する1以上のテンプレートに基づいてトレーニングされたパターン検出ツールと、
1以上のトレーニング画像でトレーニングされたニューラルネット分類器と、
実行時に、下記(a)又は(b)すなわち
(a)トレーニングされた前記ニューラルネット分類器が、実行時画像に基づく1以上のテンプレートを前記パターン検出ツールに提供し、トレーニングされた前記パターン検出ツールが、前記実行時画像と組み合わされた1以上の前記テンプレート画像に基づいてパターンマッチングを実行する:あるいは
(b)トレーニングされた前記パターン検出ツールが、前記実行時画像から検出されたパターンをトレーニングされた前記ニューラルネット分類器に提供し、トレーニングされた前記ニューラルネット分類器が、検出された前記パターンと前記実行時画像に基づいてパターンマッチングを実行する:テンプレートマッチングプロセスと、
を備える上記システム。 - 前記パターン検出ツールが複数の前記テンプレートを使用してトレーニングされるように適合されている、請求項1記載のシステム。
- 前記パターン検出ツールが単一の前記テンプレートを用いてトレーニングされる、請求項1記載のシステム。
- 前記ニューラルネットが畳み込みニューラルネットワーク(CNN)を含む、請求項1記載のシステム。
- 画像内のパターンを検出するためのシステムであって、
画像内に1以上の候補形状を特定するようにトレーニングされ、実行時動作中に前記画像内に1以上の前記形状が存在する確率を識別するように構成されたニューラルネットワークを有し、それにより前記ニューラルネットワークは、(a)確率しきい値を超える1以上の前記候補形状の特徴を有する重み付きマスクを生成するか、又は(b)確率しきい値を超える1以上の前記候補形状の特徴の存在を前記ニューラルネットワークが識別する前記画像内で、1以上の前記候補形状のモデルの前記特徴が置換された再構成画像を生成する、
上記システム。 - (a)前記重み付きマスク又は(b)前記再構成画像、の中に1以上の前記候補形状を検出するために、1以上の前記候補形状に対応する1以上のモデルを使用してトレーニングされたパターン検出ツールをさらに有する、請求項5記載のシステム。
- 前記ニューラルネットワークが、各ピクセルが1以上の前記形状の識別に関係するスコアを有している前記重み付きマスクを定義する、請求項6記載のシステム。
- 前記再構成画像がバイナリ画像として定義される、請求項5記載のシステム。
- 前記ニューラルネットワークが1以上の前記候補形状のタイプの存在に関するデータを前記パターン検出ツールに提供し、前記パターン検出ツールは前記タイプを特定することに関連するプロセスに制限する、請求項6記載のシステム。
- 前記ニューラルネットワークが畳み込みニューラルネットワーク(CNN)を含む、請求項5記載のシステム。
- 画像内のパターンを検出するためのシステムであって、
画像内に1以上の候補形状を特定するようにトレーニングされ、実行時動作中に前記画像内に1以上の前記形状が存在する確率を識別するように構成されたニューラルネットワークを有し、それにより前記ニューラルネットワークは、(a)確率しきい値を超える1以上の前記候補形状の特徴を有する重み付きマスクを生成し、かつ、(b)前記確率しきい値を超える1以上の前記候補形状の特徴の存在を前記ニューラルネットワークが識別する前記画像内で、1以上の前記候補形状のモデルの前記特徴が置換された再構成画像を生成する、
上記システム。 - (a)前記重み付きマスク及び(b)再構成画像、の中に1以上の前記候補形状を検出するために、1以上の前記候補形状に対応する1以上のモデルを使用してトレーニングされたパターン検出ツールをさらに有する、請求項11記載のシステム。
- 画像内のパターンを検出するための方法であって、
ニューラルネットワークを用いて、画像内に1以上の候補形状を見出して実行時動作中に前記画像内に1以上の前記形状が存在する確率を識別すること、並びに
(a)確率しきい値を超える1以上の前記候補形状の特徴を有する重み付きマスクを生成すること、又は(b)確率しきい値を超える1以上の前記候補形状の特徴の存在を前記ニューラルネットワークが識別する前記画像内で、1以上の前記候補形状のモデルの前記特徴が置換された再構成画像を生成すること、
を有する上記方法。 - 1以上の前記候補形状に対応する1以上のモデルを使用してトレーニングされたパターン検出ツールを用いて、(a)重み付きマスク又は(b)再構成画像、の中に1以上の前記候補形状を検出することをさらに有する、請求項13記載の方法。
- 前記ニューラルネットワークを用いて、各ピクセルが1以上の前記形状の識別に関係するスコアを有するように前記重み付きマスクを定義することをさらに有する、請求項14記載の方法。
- 前記再構成画像をバイナリ画像として定義することをさらに有する、請求項13記載の方法。
- さらに、1以上の前記候補形状のタイプの存在に関して前記ニューラルネットワークからデータを前記パターン検出ツールに提供すること、並びに、前記パターンを検出する当該方法を前記タイプの特定に関連することに制限すること、を有する、請求項16記載の方法。
- 前記ニューラルネットワークが畳み込みニューラルネットワーク(CNN)を含む、請求項13記載の方法。
- 画像内のパターンを検出するためのシステムであって、
画像内に1以上の候補形状を特定するようにトレーニングされ、実行時動作中に前記画像内に1以上の前記形状が存在する確率を識別するように構成されたニューラルネットワークを有し、それによりそれにより前記ニューラルネットワークは、確率しきい値を超える1以上の前記候補形状の特徴を有する重み付きマスクを生成する、
上記システム。 - 前記重み付けマスク内に1以上の前記候補形状を検出するために、1以上の前記候補形状に対応する1以上のモデルを使用してトレーニングされたパターン検出ツールをさらに有する、請求項19記載のシステム。
- 画像内のパターンを検出するためのシステムであって、
画像内に1以上の候補形状を特定するようにトレーニングされ、実行時動作中に前記画像内に1以上の前記形状が存在する確率を識別するように構成されたニューラルネットワークと、それにより確率しきい値を超える1以上の前記候補形状の特徴の存在を前記ニューラルネットワークが識別する前記画像内で、1以上の候補形状のモデルの特徴が置換された再構成画像と、
を有する上記システム。 - 前記再構成画像がバイナリ画像を定義する、請求項21記載のシステム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862681619P | 2018-06-06 | 2018-06-06 | |
US62/681,619 | 2018-06-06 | ||
US201962793364P | 2019-01-16 | 2019-01-16 | |
US62/793,364 | 2019-01-16 | ||
PCT/US2019/035840 WO2019236885A1 (en) | 2018-06-06 | 2019-06-06 | System and method for finding and classifying patterns in an image with a vision system |
JP2020568316A JP7316731B2 (ja) | 2018-06-06 | 2019-06-06 | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020568316A Division JP7316731B2 (ja) | 2018-06-06 | 2019-06-06 | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023134688A true JP2023134688A (ja) | 2023-09-27 |
Family
ID=68769594
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020568316A Active JP7316731B2 (ja) | 2018-06-06 | 2019-06-06 | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 |
JP2023116363A Pending JP2023134688A (ja) | 2018-06-06 | 2023-07-15 | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020568316A Active JP7316731B2 (ja) | 2018-06-06 | 2019-06-06 | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11568629B2 (ja) |
JP (2) | JP7316731B2 (ja) |
KR (2) | KR20240042143A (ja) |
CN (1) | CN112567384A (ja) |
DE (1) | DE112019002848T5 (ja) |
WO (1) | WO2019236885A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7372076B2 (ja) * | 2019-08-07 | 2023-10-31 | ファナック株式会社 | 画像処理システム |
US11593931B2 (en) | 2020-06-09 | 2023-02-28 | Howmedica Osteonics Corp. | Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types |
KR102509460B1 (ko) * | 2020-11-25 | 2023-03-14 | 파크시스템스 주식회사 | 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법 |
KR102465302B1 (ko) * | 2020-12-04 | 2022-11-10 | 파크시스템스 주식회사 | 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법 |
US20230249349A1 (en) * | 2020-12-18 | 2023-08-10 | Strong Force Vcn Portfolio 2019, Llc | Deployment System for Additive Manufacturing Robot Fleet |
KR102554224B1 (ko) | 2020-12-31 | 2023-07-12 | 파크시스템스 주식회사 | 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
EP0632404B1 (en) | 1993-07-01 | 1997-12-29 | International Business Machines Corporation | Pattern recognition by generating and using zonal features and anti-features |
JP4613466B2 (ja) | 2001-09-28 | 2011-01-19 | パナソニック株式会社 | 実装部品検査方法および装置 |
US7668388B2 (en) | 2005-03-03 | 2010-02-23 | Mitutoyo Corporation | System and method for single image focus assessment |
JP2007220004A (ja) | 2006-02-20 | 2007-08-30 | Funai Electric Co Ltd | テレビおよび認証装置 |
US7724962B2 (en) * | 2006-07-07 | 2010-05-25 | Siemens Corporation | Context adaptive approach in vehicle detection under various visibility conditions |
WO2008022156A2 (en) | 2006-08-14 | 2008-02-21 | Neural Id, Llc | Pattern recognition system |
US8165407B1 (en) | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
WO2008133951A2 (en) | 2007-04-24 | 2008-11-06 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
US8103085B1 (en) * | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
US8379940B2 (en) | 2009-06-02 | 2013-02-19 | George Mason Intellectual Properties, Inc. | Robust human authentication using holistic anthropometric and appearance-based features and boosting |
US8600192B2 (en) * | 2010-12-08 | 2013-12-03 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
US11488322B2 (en) * | 2010-12-08 | 2022-11-01 | Cognex Corporation | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same |
US9015092B2 (en) | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
EP2915101A4 (en) | 2012-11-02 | 2017-01-11 | Itzhak Wilf | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person |
US9488483B2 (en) * | 2013-05-17 | 2016-11-08 | Honda Motor Co., Ltd. | Localization using road markings |
WO2015034759A1 (en) | 2013-09-04 | 2015-03-12 | Neural Id Llc | Pattern recognition system |
JP2015095042A (ja) | 2013-11-11 | 2015-05-18 | 独立行政法人科学技術振興機構 | 画像認識装置、画像認識方法、および、プログラム |
WO2015112932A1 (en) * | 2014-01-25 | 2015-07-30 | Handzel Amir Aharon | Automated histological diagnosis of bacterial infection using image analysis |
CA2941250A1 (en) | 2014-03-19 | 2015-09-24 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
US10504020B2 (en) | 2014-06-10 | 2019-12-10 | Sightline Innovation Inc. | System and method for applying a deep learning neural network to data obtained from one or more sensors |
US9684826B2 (en) | 2014-08-28 | 2017-06-20 | Retailmenot, Inc. | Reducing the search space for recognition of objects in an image based on wireless signals |
US10061972B2 (en) * | 2015-05-28 | 2018-08-28 | Tokitae Llc | Image analysis systems and related methods |
US20170098161A1 (en) | 2015-10-06 | 2017-04-06 | Evolv Technologies, Inc. | Augmented Machine Decision Making |
JP6327274B2 (ja) | 2016-03-22 | 2018-05-23 | トヨタ自動車株式会社 | ロックアップクラッチの制御装置 |
US10970887B2 (en) | 2016-06-24 | 2021-04-06 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
US10185914B2 (en) | 2016-11-03 | 2019-01-22 | Vicarious Fpc, Inc. | System and method for teaching compositionality to convolutional neural networks |
CN108108731B (zh) | 2016-11-25 | 2021-02-05 | 中移(杭州)信息技术有限公司 | 基于合成数据的文本检测方法及装置 |
US10360494B2 (en) | 2016-11-30 | 2019-07-23 | Altumview Systems Inc. | Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules |
US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
US10755428B2 (en) | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
US10108850B1 (en) | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
US10552962B2 (en) | 2017-04-27 | 2020-02-04 | Intel Corporation | Fast motion based and color assisted segmentation of video into region layers |
WO2018208791A1 (en) | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
US10467756B2 (en) * | 2017-05-14 | 2019-11-05 | International Business Machines Corporation | Systems and methods for determining a camera pose of an image |
WO2019075276A1 (en) | 2017-10-11 | 2019-04-18 | Aquifi, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING OBJECT |
-
2019
- 2019-06-06 JP JP2020568316A patent/JP7316731B2/ja active Active
- 2019-06-06 US US16/433,602 patent/US11568629B2/en active Active
- 2019-06-06 WO PCT/US2019/035840 patent/WO2019236885A1/en active Application Filing
- 2019-06-06 KR KR1020247008933A patent/KR20240042143A/ko active Search and Examination
- 2019-06-06 CN CN201980047703.0A patent/CN112567384A/zh active Pending
- 2019-06-06 DE DE112019002848.0T patent/DE112019002848T5/de active Pending
- 2019-06-06 KR KR1020217000060A patent/KR102649930B1/ko active IP Right Grant
-
2023
- 2023-01-30 US US18/103,432 patent/US20240005148A1/en active Pending
- 2023-07-15 JP JP2023116363A patent/JP2023134688A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7316731B2 (ja) | 2023-07-28 |
KR102649930B1 (ko) | 2024-03-20 |
KR20240042143A (ko) | 2024-04-01 |
US20240005148A1 (en) | 2024-01-04 |
JP2021527256A (ja) | 2021-10-11 |
DE112019002848T5 (de) | 2021-04-01 |
KR20210020065A (ko) | 2021-02-23 |
US11568629B2 (en) | 2023-01-31 |
WO2019236885A1 (en) | 2019-12-12 |
US20200005069A1 (en) | 2020-01-02 |
CN112567384A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7316731B2 (ja) | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 | |
US11699283B2 (en) | System and method for finding and classifying lines in an image with a vision system | |
US8135172B2 (en) | Image processing apparatus and method thereof | |
US8542912B2 (en) | Determining the uniqueness of a model for machine vision | |
WO2019190405A1 (en) | Method and apparatus for detecting condition of a bolt on a bolted structure | |
WO2019171628A1 (en) | Image processing system and image processing method | |
US9836673B2 (en) | System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments | |
TWI776176B (zh) | 手部作業動作評分裝置、方法及電腦可讀取存儲介質 | |
US8542905B2 (en) | Determining the uniqueness of a model for machine vision | |
CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
Wu et al. | Automatic gear sorting system based on monocular vision | |
Pradhan et al. | A hand gesture recognition using feature extraction | |
JP2022009474A (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
TWI543117B (zh) | 物件辨識與定位方法 | |
CN111460858A (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
Hoque et al. | Computer vision based gesture recognition for desktop object manipulation | |
CN108255285A (zh) | 一种基于掌间点检测的运动手势检测方法 | |
CA3232479A1 (en) | Inspection method for inspecting an object and machine vision system | |
Wang et al. | Face detection based on color template and least square matching method | |
CN113139946A (zh) | 一种基于视觉的衬衫污渍定位设备 | |
US20240078801A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
Noroozi et al. | Towards Optimal Defect Detection in Assembled Printed Circuit Boards Under Adverse Conditions | |
Chen et al. | EEE-Net: Efficient Edge Enhanced Network for Surface Defect Detection of Glass | |
Seiffert | Prototyping a controlled robotic arm with digital image processing to detect smartphone screen edges: Prototipação de um braço robótico controlado com processamento de imagem digital para detectar bordas de tela de smartphone | |
Wang et al. | Keycap Defect Detection: Simplifying Deep Learning Tasks with Traditional Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230810 |