JP2012048593A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2012048593A JP2012048593A JP2010191661A JP2010191661A JP2012048593A JP 2012048593 A JP2012048593 A JP 2012048593A JP 2010191661 A JP2010191661 A JP 2010191661A JP 2010191661 A JP2010191661 A JP 2010191661A JP 2012048593 A JP2012048593 A JP 2012048593A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- template
- edge
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 132
- 239000013598 vector Substances 0.000 claims abstract description 113
- 238000004364 calculation method Methods 0.000 claims abstract description 60
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 104
- 230000008569 process Effects 0.000 claims description 62
- 238000012937 correction Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000007423 decrease Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 description 26
- 230000015654 memory Effects 0.000 description 20
- 239000000758 substrate Substances 0.000 description 19
- 238000003708 edge detection Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 11
- 230000032258 transport Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002924 energy minimization method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】テンプレートを記憶し、テンプレートを用いて対象物を探索する画像処理装置において、対象物のテンプレート画像の濃淡画像データ及びサーチ画像の濃淡画像データの少なくとも一方からエッジ画像を生成するエッジ画像生成手段と、エッジ画像から画像エネルギーを生成する画像エネルギー生成手段と、画像エネルギーからサーチ画像内の点及びテンプレートの特徴点の少なくとも一方が受ける移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトルを移動量に変換する移動量変換手段と、移動ベクトルの総和が収束条件を満たすか否かによりテンプレートがサーチ画像上の対象物の位置に合致したことを判定する判定手段と、判定手段が収束条件を満たすと判定した時の移動量から探索情報を求める探索情報取得手段とを備えている。
【選択図】図13
Description
(1)モデルを初期位置姿勢に配置
(2)モデルと計測点群の対応点を決定
(3)対応点間距離が最小になるようモデルの位置姿勢を変換
(4)モデルと計測点群の新たな対応点を決定
(5)以下、収束するまで繰り返す。
画像内の対象物の輪郭線抽出処理は、位置決め処理とも考えることができ、上述のマッチング方法として応用できる。
ICP法におけるサーチ画像とテンプレート画像との対応付けはテンプレート画像の各特徴点と当該各特徴点に個々に対応するサーチ画像上の各エッジ点との距離の総和が最小になるテンプレート画像の位置を探すというものである。単純に考えると、特徴点とエッジ点の組み合わせ数の演算が必要でとても膨大な処理量になる。
K−D木を用いた高速な探索方式を組み合わせて使い、これらの処理量を軽減する手法もあるが、さらにエッジ点数が増えると、メモリ量の問題や、K−D木作成に時間がかかるという問題も発生する。
図25に示す形状の対象物は、その長手方向がx方向に沿っている場合、y方向のエッジ勾配ベクトルDyがx方向のエッジ勾配ベクトルDxに比べて極端に出現頻度(数量)が高くなる。このような対象物については、y方向のエッジ勾配ベクトルDyを持った特徴点について対応点が収束してしまうと、x方向のエッジ勾配ベクトルDxを持った特徴点の対応点間距離は、ある程度の大きさが残っていたとしても、全体の一致度合いから見ると、誤差のレベルになってしまい、まだ十分近づいていないにもかかわらず、収束条件を満たしてしまい、位置合わせが終了してしまう。
理装置を提供することをその目的とする。
また、ノイズ成分や形状の相違により処理が不安定にならないこと、ロバスト性を向上させることをさらに他の目的とする。
探索の対象物の特徴点の座標を含むデータをあらかじめテンプレートとして記憶し、前記テンプレートのデータを用いて、対象物が撮像されたサーチ画像から任意の回転、スケール、平行移動の変動を受けた前記対象物を探索する画像処理装置において、
前記対象物のテンプレート画像の濃淡画像データ及び前記サーチ画像の濃淡画像データの少なくとも一方からエッジ画像を生成するエッジ画像生成手段と、
前記エッジ画像から画像エネルギーを生成する画像エネルギー生成手段と、
前記画像エネルギーから前記サーチ画像内の点及び前記テンプレートの特徴点の少なくとも一方が受ける移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトルを移動量に変換する移動量変換手段と、
前記移動ベクトルの総和が収束条件を満たすか否かにより前記テンプレートがサーチ画像上の対象物の位置に合致したことを判定する判定手段と、
前記判定手段が収束条件を満たすと判定した時の前記移動量から探索情報を求める探索情報取得手段とを備えることを特徴とする。
前記判定手段が収束条件を満たすと判定するまで前記移動ベクトル算出手段と前記移動量変換手段と前記移動量に応じて、テンプレートとサーチ画像との相対位置を更新させる移動手段とがその処理を繰り返し行うことを特徴とする。
前記移動ベクトル算出手段と前記移動手段との繰り返すサーチループ処理において、
前記移動量変換手段が、前記移動ベクトルを移動量に変換する際に、ループ回数が増えるたびに移動量を小さくする補正係数を乗算することを特徴とする。
前記エッジ画像生成手段は前記対象物のテンプレート画像と前記サーチ画像の双方の濃淡画像データについてエッジ画像を生成し、
前記画像エネルギー生成手段は前記エッジ画像から画像エネルギーを生成し、
前記サーチ画像内で前記テンプレートをピクセル単位の誤差範囲で探索する粗サーチ手段と、
前記粗サーチの探索結果に基づいて前記テンプレートを前記サーチ画像の座標系に当て嵌めて、当該テンプレートの複数の特徴点に近似するエッジ点の中から複数の対応点を求める対応点取得手段と、
前記移動ベクトル算出手段が、前記複数の対応点を前記テンプレート画像の座標系に当て嵌めると共に、前記テンプレートの画像エネルギーから前記サーチ画像の対応点が受ける移動ベクトルを算出することを特徴とする。
前記粗サーチ手段による探索後に、その探索結果に基づいて、前記特徴点と対応点の相互間距離である対応点間距離の二乗総和を求め、当該二乗総和が最小となる変換量で前記各特徴点を変換して新たな対応点を求めることで前記粗サーチ手段による探索結果を補正する補正手段を備えることを特徴とする。
前記補正手段は、前記二乗総和が所定の収束条件を満たすまで前記各特徴点の変換と前記二乗総和の算出を繰り返し実行すると共に、その過程で前記対応点間距離が所定値以上となる場合或いは前記対応点間距離が減少しない特徴点については、外れ点として特定とすることを特徴とする。
前記各特徴点について所定の重み付けを行うと共に、
前記補正手段は、前記二乗総和の算出を繰り返し実行する場合に、繰り返し回数が進むにつれて前記特徴点の参加数を段階的に増加させ、その際の特徴点の参加する優先順位を前記重み付けの重い順にすることを特徴とする。
前記テンプレートとして、前記複数の特徴点の各々のエッジ勾配ベクトルを求め、勾配が所定範囲で共通するベクトル数である出現頻度を求めて、当該出現頻度数に応じて前記各特徴点について重み付けを行う第一の重み付け手段を備えることを特徴とする。
前記テンプレートとして、前記複数の特徴点の各々のコーナー度を求め、当該コーナー度が高い特徴点について重み付けを重くして前記各特徴点の重み付けを行う第二の重み付け手段を備えることを特徴とする。
フィルタ演算を行うための並列演算機構を備えることを特徴とする。
本発明の実施形態について、図1乃至図19に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品を探索するための画像処理装置10が電子部品実装装置100に搭載され、後述する吸着ノズルに吸着された電子部品の位置を検出する目的に利用される場合の例を示している。
図1は電子部品実装装置100の平面図、図2は制御系を示すブロック図である。電子部品実装装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダ101と、電子部品フィーダ101を複数並べて保持する電子部品供給部としてのフィーダバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、電子部品を吸着する吸着ノズル105を保持して電子部品の保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、吸着ノズル105に吸着された電子部品の撮像を行う標準カメラ115及び高解像度カメラ116と、撮像位置に照明光を照射する照明装置117と、電子部品実装装置100の各構成に対して制御を行う制御装置120と、カメラ115,116の撮像画像から探索対象となる電子部品の探索処理を実行する画像処理装置10とを備えている。
画像処理装置10は、カメラ115,116による電子部品Cの撮像画像から正確な位置情報を求め、制御装置120に出力することでヘッド106の位置決め動作に反映させるために利用される。
標準カメラ115及び高解像度カメラ116はいずれもCCDカメラであり、搭載が行われる電子部品の電極サイズによって使い分けられるようになっている。以下の記載では、標準カメラ115が使用される前提で説明を行うこととする。
また、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
また、各吸着ノズル105は負圧発生装置108に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダ101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ115,116は、ベースフレーム114に搭載されており、X−Yガントリ107によりヘッド106が各カメラ115,116の位置決めされて撮像が行われるようになっている。
各カメラ115,116は、ベースフレーム114から上方に向けられた状態で保持されており、吸着ノズル105に吸着された電子部品Cを下方から撮像し、撮像画像を画像処理装置10に出力する。
なお、各モータは、ぞれぞれの回転量が制御装置120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105や各カメラ115,116の位置決めを行っている。
また、電子部品の必要上、前記したフィーダバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
各電子部品フィーダ101は、後端部に電子部品が一列に並んで封止された部品テープのリール(図示略)が保持されており、部品テープはリールから電子部品フィーダ101の先端部(基板側の端部)の上側に設けられた部品受け渡し位置101aまで繰り出され、当該部品受け渡し位置101aにおいて吸着ノズル105により電子部品の吸着が行われるようになっている。
かかる制御装置120は、電子部品Cの吸着ノズル105による吸着後に標準カメラ115又は高解像度カメラ116による撮像が行われ、当該撮像画像に基づいて画像処理装置10が求めた電子部品の正確な位置及び向きに基づいて電子部品Cの向きをθ軸モータ112により補正し、X軸モータ109及びY軸モータ110により搭載時のヘッド106による搭載位置を補正するようになっている。
画像処理装置10は、各カメラ115,116及びその照明装置117と画像処理装置全体を制御する制御部11と、各カメラ115,116の画像信号をデジタル化するA/D変換器12と、デジタル化された撮像画像データを記憶する画像メモリ13と、撮像画像データに基づいて電子部品の探索対象を探索するための画像処理を実行する演算部14と、画像処理や各部の制御において作業領域となる作業用メモリ15と、後述する各種フィルタ演算を高速で行う高速フィルタ演算モジュールである並列演算機構16と、画像処理装置10の制御部11が制御装置120とのデータ通信を行うインタフェース17と、画像データに対してエッジ検出処理を行う撮像画像演算機構18と、テンプレートデータを格納するテンプレートデータ格納メモリ19と、各種の処理を施された画像データをアナログ化してモニタ21に出力するD/A変換器20と、各種のテーブルを記憶するテーブルメモリ22とを備えている。
また、制御装置120は、通常、対象物のサイズによって、撮像するカメラ115又は116を選択し、対象物Cを吸着ノズル105で吸着し、選択したカメラ115又は116の撮像位置にセットする。さらに、照明装置117を選択したカメラ115又は116で撮像できるよう移動、点灯させ、画像処理装置10にインタフェース17を介して、選択したカメラチャネル情報とともに処理実行を指示する。画像処理装置10は、指定されたカメラ115又は116を制御し、対象物Cの画像を撮像し、A/Dコンバータ12でデジタル化し、画像メモリ13に多値画像データとして記憶する。
上記画像処理装置10は、電子部品の撮像画像から電子部品の探索処理を行うものである。
画像処理装置10では、テンプレートとなる対象物C(電子部品)を撮像してその基準画像データを画像メモリ13に格納し、当該画像データからなる濃淡画像を微分処理してエッジ画像のデータを取得し、さらにこのエッジ画像を反転させ、画像エネルギーのデータを取得する。さらに、画像エネルギーを微分しマイナスをかけた、画像のエッジからの力のデータを取得し、この画像のエッジからの力に係数をかけ、エッジから受ける単位あたりの移動量を取得する。画像エネルギー、画像のエッジからの力、エッジから受ける単位値の移動量の関係については後述する。
そして、テンプレートがサーチ画像上の任意の位置において受ける力を算出し、その力から重力、回転力、拡大縮小力を算出、そして各力から移動ベクトルを算出、さらに移動量に変換し、対象物の次ポジションを設定する。移動ベクトル総和にしきい値を設け、収束条件とする。エネルギー最小となる位置(サーチ画像上の対象物の位置)に辿り着くまで延々と処理を繰り返す。
従って、画像処理装置10では、予めテンプレートについて画像エネルギー、画像のエッジからの力、及びエッジから受ける単位あたりの移動量を算出しておき、サーチ画像内のエッジ点から対象物のモデルを作成してテンプレートに対して位置合わせを行うことで、探索処理の実行中に画像エネルギーの生成演算を行うことを回避している。
さらに、対象物のモデル作成時には、動的にノイズ成分や形状相違部分を削除し、テンプレートのロバスト性を向上させている。
そのため、エッジ検出フィルタとして、フィルタサイズの大きなガウシアンフィルタを使用することが望ましい。
フィルタサイズは7×7〜15×15、係数はfloat変数となる。
これらのフィルタ演算を2回、画像全面にもれなくかけることが望ましい。
これらの処理は位置決め処理の大半を占めるが、高精度な結果を得るためには不可欠な処理である。これらの処理を高速に行うために、フィルタサイズに対応した撮影画像演算機構18(後述)を搭載している。
この特性のため、まだ、一致していない特徴点が受ける力がエッジ点全体に作用し、前述した図25のような極性のある対象物(例えば一方向に長い部品)でも長手方向に直交する方向について位置が一致した時点では止まらずにさらに長手方向についても移動して正確に位置合わせがおこなわれる。
従って、画像処理装置10では、ループ回数が増えるにつれて、画像エネルギーから求まる重力及び回転力に対して係数が小さくなるように重み付けを行うこととしている。これにより、振動の発生を抑止し、収束時間の高速化を図っている。
以下、画像処理装置10が行う対象物Cの探索処理を順を追って詳細に説明する。
まず、画像処理装置10では、探索を実行する前の準備段階(例えば、電子部品の実装作業を開始する前の段階)で、対象物Cのテンプレート作成を行う。かかるテンプレート作成について図3のフローチャートに基づいて説明する。
本発明の画像処理装置10を電子部品の位置決め、搭載を行う実装機に応用する場合、テンプレート作成は、実装作業時以外の機会で実行するものとし、作成作業には時間がかかっても構わない。テンプレートデータとして事前に準備しておける作業はすべてこのフェーズで行い、実装作業中に行われるサーチ処理を高速に行えるようにする。
画像処理装置10は、指定されたカメラ115もしくは116を制御し、基準姿勢の対象物Cの画像を撮像、A/Dコンバータ12でデジタル化し、画像メモリ13に基準画像データとして記憶させる。
撮像した基準画像についてエッジ検出処理を行う。
エッジは、ガウシアンフィルタなどのノイズ削除が行える平滑化効果を併せ持つ、エッジ検出フィルタをかけ、フィルタ出力結果に対して、しきい値処理等により検出する。
また、エッジ検出パラメータによっては、並列演算機構16を用いた高速フィルタ演算モジュールで処理しても構わない。フィルタ出力結果は、作業用メモリ15に格納される。
次に、エッジ候補点の周辺のフィルタ出力値を調べ、非極大点を削除、細線化する。そして、残ったエッジ候補点をラベリング処理し、セグメント化する。
エッジセグメントの最大エッジ強さをそのセグメントの代表値として、セグメント別にしきい値処理を行い、エッジ点を検出する。
s12で検出したエッジ点について、例えばHarrisやSUSANなど、コーナー抽出器を用いてコーナー度を計算する。計算結果は、各エッジ点の属性データとして、作業用メモリ15に格納される。
図4及び図5を用いてコーナー度について詳しく説明する。
コーナー度とは周辺領域との類似度である。ある点(x0,y0)を基準とする少領域Rと、そこから少しだけ動いた(x0+dx,y0+dy)を基準とする小領域Raを考える。(図4)
これら2つの領域の類似度は、以下の式で求めることができる。
コーナー度が高いほど、対応付けがし易い点だといえる。例えば、図5のRAの領域は本来の位置からずれたとしても類似度は下がらない。また、RBの領域は領域内に唯一の辺方向(図5矢印の方向)以外にずれた場合は、類似度は下がるが、辺方向にずれた場合は、類似度は下がらない。一方、RCの領域はいずれの方向にずれたとしても類似度は下がる。すなわち、領域内により多数の方向のエッジを含んでいれば類似度は下がり、コーナー度は上がる。
あるしきい値以上の値となる点について、特徴点として抽出し、抽出された特徴点の中で最大値のものを1、最小値のものを0として、0〜1の範囲で正規化し、重み値とする(第二の重み付け手段としての処理)。
また、HarrisやSUSANなどのコーナー抽出器は、計算コストがかかるため、テンプレート作成時のように重み値の設定が必要な場合のみ使用するものとする。
粗サーチ時(後述するs24の場合)の通常の特徴点は、先に求めた基準点を始点、終点としたエッジセグメントについて折線近似法を適用、曲率の高いエッジ点を抽出し、追加する。
特徴点を間引く場合、エッジ点列の重心(エッジ点から構成される図形上の重心)が変わらないように間引く必要がある。各特徴点が受ける力の総和が重心にかかる力となる。特徴点の分布に偏りがあると重心にかかる力にも偏りが発生するので、サーチ画像中での対象物の探索時に収束位置がずれることがある。例えば、サーチ画像上の対象物の形状がテンプレートの形状と若干異なるような場合、分布が高い部分の一致度がより高くなるように収束することになり、全体としては位置がずれる。
逆に、特徴点に重み付けすることで一致度を高めたい部位を制御することも可能である。
精サーチ用の特徴点数は用途に合わせて、調整すべきである。
s13で抽出した各特徴点について、そのエッジ勾配ベクトルの向き別に出現頻度を計算し、ヒストグラムを作成する。エッジ勾配ベクトルについて一定の角度範囲ごとに出現頻度を求め、それぞれの出現頻度の比に応じて、ベクトル向き別に重みを設定する。重みは出現頻度の比の逆数となるようにする。また、重み値は0〜1で表し、最小頻度の重み値が1となるように設定する。
例えば、出現頻度が 2:4:8:1であった場合、重み値は 0.5:0.25:0.125:1となる。
画像処理装置10では、テンプレート作成時の特徴点の重み情報として、s13、s14で、それぞれ求めることができる2つの値が存在する。
これらの2つの重み値を掛け合わせ、1つの重み値として設定する。
画像処理装置10では、テンプレートデータとして、特徴点の座標、エッジ勾配ベクトル、そして重み値がテンプレートデータ格納メモリ19に格納される。テンプレートデータを外部メディアに出力する場合は、これらのデータのみが出力される。
これらテンプレートデータは、サーチ処理を高速に行うためのデータ形式(以降、内部処理用データという)にさらに展開する。テンプレートデータを外部メディアから読み込んだ場合も同様に、これらの展開処理が必要である。
内部処理用データへの展開処理とは、次のような処理となる。
(1)各特徴点の座標を重心を原点とする座標系に変換する。
(2)各特徴点の重心法線単位ベクトルの取得
図6に重心と特徴点上の重心法線と拡大縮小ベクトル、回転ベクトルの関係を示す。また、図7に重心法線ベクトルとエッジ勾配ベクトルの関係を示す。これらの図において、Gは重心、Tは特徴点、gは平行移動ベクトル、hは拡大縮小ベクトル、vは回転ベクトル、Rdは重心−特徴点間距離、jは重心法線である。
平行移動ベクトルgは特徴点Tにおけるエッジ勾配ベクトルに平行であって当該特徴点Tが画像エネルギーから受ける力であって位置合わせのための移動力を示す。
拡大縮小ベクトルhは、平行移動ベクトルgの重心法線方向成分であり、テンプレートを拡大縮小させる力を示す。
回転ベクトルvは、平行移動ベクトルgの重心法線jに対する直交方向成分であり、この回転ベクトルvと重心−特徴点間距離Rdとの乗算値がテンプレートを回転させる力を示す。
濃淡画像、エッジ画像、画像エネルギー、画像のエッジからの力、エッジから受ける単位あたりの移動量の関係を図8に示す。
濃淡画像は、例えば、画面内の各画素位置における輝度値からなる画像データであり(図8(A))、当該濃淡画像を一定方向(例えばX方向)に沿って微分すると、エッジ勾配が強い部分がピークとなるエッジ画像が求まる(図8(B))。
これを上下逆さに反転させると、図9に示すようなエッジ点が底となる谷ができる。これが画像エネルギーである(図8(C))。
画像のエッジからの力は、画像エネルギーを微分してマイナスをかけることで求めることができる(図8(D)、以降、エネルギーベクトルと呼ぶ)。
さらにこのエッジからの力に係数をかけ、エッジから受ける単位あたりの移動量を求めることができる(図8(E))。
しかしながら、再び重力の影響を受け、ボールは谷の勾配のどこかで止まり、逆向きに下り始める。このような動作を繰り返しながら、徐々に振幅が小さくなり、ボールは谷から受けるエネルギーが最小となる谷底、つまりエッジ点に収束して止まる。
サーチ画像の対象物Cのエッジ近傍には当該エッジに向かってくる方向(エッジ勾配ベクトル方向)を向いたエネルギーベクトルbeが存在している。
テンプレートMの各特徴点にはそれぞれ、直下の(特徴点を通過する)エネルギーベクトルbeの影響を受け、サーチ画像における近傍エッジに向かう力が発生する。これらの力の総和がテンプレート全体、すなわちテンプレートの重心Gにかかる力Fとなる。また、各特徴点における拡大縮小ベクトルhの総和がテンプレートM全体に対する拡大縮小力であり、各特徴点における回転ベクトルvの総和がテンプレートMの重心G回りの回転力となる。
テンプレートは図11(A)から(C)に推移するように徐々にサーチ画像の対象物の位置に近づいていき、やがて止まる。
これらの処理はサーチ処理の高速化のため、前処理として予め行っておく。
次に、テンプレートとサーチ画像における対象物との位置合わせ処理であるサーチ処理について図12のフローチャートに基づいて説明する。
図13は図12に対応したデータフロー図である。
サーチ処理におけるエッジ検出は、高速フィルタ演算モジュールを用いて行う。
さらに、画像データをピラミッド化し、上位階層のデータを用いて処理することで、さらなる高速化が可能となる。エッジ検出処理をサブピクセル化すれば、1階層上位のデータを用いても精度は同等レベルを保つことができる。
画像処理装置10は、指定されたカメラ115もしくは116を制御し、任意の姿勢の対象物Cの画像を撮像、A/Dコンバータ12でデジタル化し、画像メモリ13にサーチ画像データとして記憶させる(s11と同様)。
撮像したサーチ画像は、画像メモリ13に記憶されると、撮像画像演算機構18でエッジ検出処理を行う。
図14は撮像画像演算機構18の構成図である。
M×Nで表わされるフィルタ係数処理を行う場合、並列演算機構としての撮像画像演算機構18は、(M×N)個のフィルタ係数格納メモリ31、フィルタ係数処理を行う1つの積算器32、フィルタ係数処理を行う(M−1)×N個の積和演算器33、フィルタ係数処理結果を格納数(M−1)×N個のデータバッファ器34、画像データの水平方向のフィルタ係数処理結果を格納数(N−1)個のラインバッファ器35、フィルタ係数処理後の積和データに対する絶対値演算器36、絶対値演算結果に対する除算器37、データバッファ器34とラインバッファ器35をコントロールするバッファコントローラ38から構成される。
この時、積算器32と積和演算器33は順次接続される構成とし、前段の演算結果を取得できるようにする。各演算器32,33に入力された画像データとフィルタ係数格納メモリ31から読みだされた各フィルタ係数との演算を行う。
データバッファ器34では、演算結果のデータと後段の演算器33で使用するデータの切り替えをバッファコントローラ38からのバッファコントロール信号を取得し行う。
ラインバッファ器35では、演算結果のデータと後段の演算器33で使用するデータの入出力を行う為、ディレイバッファを設ける。
バッファコントローラ38では、画像データのプログレッシブ転送に同期し、画素毎、垂直方向の管理を行い、各バッファのコントロールを行う。
最終段のフィルタ演算結果に対して、絶対値演算器36、除算器37で演算することによってM×Nで表わされるフィルタ処理が完了する。
エッジ検出結果は、作業用メモリ15に格納される(s12と同様)。
s22で検出したエッジ点について、例えばHarrisやSUSANなど、コーナー抽出器を用いてコーナー度を計算する。計算結果は、各エッジ点の属性データとして、作業用メモリ15に格納される。コーナー度をs13と同様の処理で0〜1の値に正規化し、重み値とし、エッジ点の属性データとして保持しておく。タクトを優先する場合は、HarrisやSUSANなどのコーナー抽出器は、計算コストがかかるため、使用せず、重み値はすべて1に設定しておけばよい。
効果は弱まるが、サーチ画像のばらつき状況(形状相違、ノイズのレベル)とタクト、精度のトレードオフで選択すればよい。
サーチ処理時には、精サーチ用の特徴点を抽出する必要はない。
画像エネルギーを用いた位置合わせ処理は、位置合わせを行うもの同士がある程度近くに存在しなければならず、適当な粗サーチ方法と組み合わせ、初期位置を設定しなければならない。
収束時間と精度は、初期位置の与え方に依存する。
±2画素程度の精度で初期位置を設定できれば、全く問題ない。
例えば、Geometrical Hashing 等を用いれば、対象部品の姿勢やスケールに関係なく、ほぼ同じタクトで位置決めが可能である。
次にサーチ画像からのモデル生成処理について詳細に説明する。
最小二乗法のICP法をベースに、タクトが増大しないよう、粗サーチ用の特徴点を用いて行う。
この処理はモデル生成すると同時に粗サーチの位置決め結果の精度不足を補完する役割がある。
テンプレートの粗サーチ用の特徴点について、それぞれ、自身との距離が最小となるサーチ画像上のエッジ点を抽出し、対応点とする。
サーチ画像のエッジ点データは、2−D木構造で管理し、高速に対応点の抽出が行えるようにする。また、このs31から後述するs37までは所定の収束条件を満たすまで繰り替えされるループ処理であり、対応点数はループ処理の繰り返し回数が進むにつれて段階的に増やしていく。ループ回数とテンプレートとの二乗距離総和により収束状態を判定し、位置合わせに使う対応点の数を設定する。
この値が小さいほど、より真の位置(テンプレートとモデルの合致位置)に近づいている。
位置合わせの初期にはテンプレートの特徴点の中で、重み値が高い、つまり、間違えにくい特徴ある点(コーナーの点、例えば、図11の●)に絞り込んで少ない点数で処理を行い、高速化を図る。そして、位置が近づいてきたならば、処理点数を増やしていき(図18の●と▲)、高精度化を図る。)
例えば、図15のテーブルの例では、最大ループ回数を1000回までとしてループ回数を200回増えるごとに、或いは、二乗距離総和を2000pix以内として400pix減るごとに、特徴点の処理点数を段階的に増やすように設定されている。
図16において、Mがテンプレートであり、これを回転(R)、平行移動(T)したものをM1とした時、M1とサーチ画像上の形状であるCの二乗距離総和(Σ(m1i−ci)2)を最小にするR、Tを最小二乗法によって算出する。このとき、各対応点間距離は、実際の2点間距離(m1i−ci)に対して、サーチ画像上のエッジ点(ci)の重み値(コーナー度)と、テンプレートの特徴点(m1i)の重み値を掛けた値を用いる。
s32で求めた変換行列で求まるテンプレート位置における対応点の二乗距離総和の算出結果が、予め決めておいたしきい値以下になったかどうかを判定する。この二乗距離総和のしきい値により精度を制御することができる。一般にしきい値を小さくすれば精度は上がる。
また、二乗距離総和がしきい値以下となっていない場合でも、ループ回数についても、無限ループに陥ることを防ぐため、予め決めておいた最大ループ回数を超えたかどうかを判定する。
二乗距離総和がしきい値以下になるか、前回の処理と二乗距離総和が変わらないか、ループ回数が最大ループ回数を越えるかした場合、収束条件が成立し、処理ループを脱出してs38に処理を進める。
一方、二乗距離総和がしきい値以上で、かつループ回数が最大ループ回数以下の場合、s31からs37の処理を繰返し行う。
収束条件をクリアしない場合には、外れ点の削除の処理を実行する。サーチ画像上に対応点がないテンプレートの特徴点を外れ点と呼ぶ。
このような点は、s31で示すような対応付けを行うと、間違った対応付けを行うため、位置合わせ処理に悪影響を及ぼす。このような点は、対応点間距離が大きい、もしくは、全体としては収束が進んでいるにもかかわらず、個別にみると対応点間距離が収束していないなどの特性がある。
また、このような状態がループ回数を重ねても続くときは、s31の対応付け処理からも除外するようにする。
対応点間距離がしきい値以内の点について、対応点間距離が0の場合、重み値を1、対応点間距離がしきい値の場合に重み値を0として、テンプレートの各特徴点について、対応点間距離を0〜1に正規化し、重み値とする。
s36で求めた重み値を、テンプレート作成時にコーナー度から求めた重み値に掛け、テンプレート特徴点の重み値を再設定する。このとき、テンプレートデータ格納メモリ10内において、重み値について降順になるよう特徴点を並び替えておく。即ち、s31では、ループ回数又は収束が進むと、特徴点数を段階的に増やして処理するので、重み値順に特徴点が並んでいると、重み値が大きいものから処理に加えられることとなる。
s31〜s37のループ処理を経ると、テンプレートの特徴点は重み値について降順、つまり対応の確からしさの順で並んでいる。
まず、重み値についてしきい値を設定し、対応付けが不安定であった特徴点を削除する。
例えば、重み値が0の特徴点を削除するようにすればよい。
こうして残った特徴点について、それぞれ、自身との距離が最小となるサーチ画像上のエッジ点を抽出し、これらのエッジ点を新たなテンプレートの特徴点として扱う。
s38でサーチ画像エッジ点から作成した新たなテンプレートについて、サーチ画像上での粗サーチの位置決め結果をテンプレート座標系に変換し、初期位置を設定する。同時に、テンプレートデータ、サーチ画像エッジデータを入れ替える。
前述したように、図10にはサーチ画像のエネルギーベクトルとテンプレート、そしてテンプレートにかかる力の関係を示している。エネルギーベクトルは先に述べた通り、画像の濃度データをx、y方向それぞれに2階微分したもので、離散的な2次元ベクトルデータである。サーチ画像のエッジの近傍にエッジに向かうベクトルとして発生する。(以降、力場という)
テンプレートを移動させるためには、テンプレートが受ける力をテンプレートの重心Gにかかる、重力、回転力、拡大縮小力の3つに整理する必要がある。
また、エネルギー場は画像データ同様、離散的なデータであるので、サブピクセル位置の値を求めるためには、いずれかの補間手法と組み合わせて実装する必要がある。
精度を重視する場合は、ピークを求めたいサブピクセルずれ分ずらしたフィルタ係数を再設定して、エネルギーベクトルを再計算すればよい。
図17にテンプレートM上の任意の特徴点T上における力の関係を示す。
ある特徴点は、サーチ画像上のエッジEの近傍にあるとき、力場から力を受け、エッジEに引き寄せられる。この力の内、その特徴点Tが受ける力は、その特徴点Tのテンプレート画像におけるエッジ勾配ベクトルbtの方向成分のみである。この力が重力、すなわち特徴点の平行移動ベクトルgである。なお、符号beは前述したエッジEにおけるエッジ勾配ベクトルである。
特徴点Tの平行移動ベクトルgをその特徴点TとテンプレートMの重心Gを結ぶ直線(重心法線)方向を基準に垂直成分、水平成分に分解する。このときの垂直成分が拡大縮小ベクトルhであり、水平成分が回転ベクトルvである。
テンプレートM上の各特徴点Tについて、それぞれ各平行移動ベクトルgを算出し、さらに拡大縮小ベクトルh、回転ベクトルvを算出し、3つの移動ベクトルごとにその総和を求め、テンプレートMの移動ベクトルとする。
s42で求めた3つのベクトルg、h、vについて、その大きさを求め、足し合わせたものが移動ベクトル総和である。テンプレートMがサーチ画像上の対象物とピッタリ一致した場合、0となる。
この移動ベクトル総和に対して、予め決めておいたしきい値以下になったかどうかを判定する。
移動ベクトル総和がしきい値以下かつ、ループ回数が最大ループ回数以内の場合、収束条件が成立し、正常に位置合わせできたこととして、処理ループを脱出する。
また、移動ベクトル総和がしきい値以下でなくても、ループ回数が最大ループ回数を超えた場合は、処理ループを脱出する。これは、サーチ処理において、時間切れとなったことを意味する。
また、移動ベクトル総和がしきい値以上で、かつループ回数が最大ループ回数以下の場合、s45に処理を進めて、s41からs46の処理を繰返し行う。
移動ベクトル総和について収束条件を満たさない場合には、画像データ上でテンプレートを移動させるために、移動ベクトルを移動量に変換する。
平行移動、回転、拡大縮小毎に、さらに全体にと4つの補正係数を用意、下記の式を定義する。
scl:スケール変動量 単位:倍率(等倍のとき、1.0)
Γ:全体の補正係数(デフォルト値:0.2)
γg:平行移動の補正係数(デフォルト値:1.0)
γθ:回転の補正係数(デフォルト値:1.0)
γscl:拡大縮小の補正係数(デフォルト値:0.007)
g:平行移動ベクトル、v:回転ベクトル、h:拡大縮小ベクトル
Rd:重心−特徴点間距離
補正係数を大きくすれば、1回のループ処理でのテンプレートの移動量が大きくなり、収束までの時間を短縮できる。但し、真値を通り過ぎ、振動するなど、精度が落ちるリスクがある。
また、補正係数を小さくすれば、1回のループ処理でのテンプレートの移動量は小さくなり、収束までに時間がかかる。但し、確実に真値に辿り着くことができる。
収束判定のしきい値を小さくし、合わせてこの補正係数を小さくすれば、より高精度なサーチが期待できる。
サーチ画像上の対象物の大体のずれ量が既知の場合、図18に示すようなループ回数による移動量のリミットテーブルを作成し、移動量を制御することで、上記のようなタクトと精度を両立する実装が可能である。
なお、図18において、xは平行移動量mのx方向成分に対する補正係数であり、yは平行移動量mのy方向成分に対する補正係数であり、θは回転角度に対する補正係数である。これらの補正係数は、いずれも1以下であって、ループ回数の進行に応じて数値が小さくなるように設定される。
これにより、図19に示すように、テンプレートMが毎回のループ処理において、画像エネルギーに基づいて移動した場合に、エッジを通過して振動することなく、徐々にエッジに近づけることを可能とする。つまり、振動を回避して、タクトと精度とを両立することができる。なお、この図19に示すテーブルもテーブルメモリ22に格納されている。
s45で求めた移動量に従い、テンプレートのカレント位置を更新する。
この位置更新によりテンプレートMは前述した図11(A)〜(C)のようにその位置が推移し、サーチ画像のエッジ近傍にある特徴点はエッジに引き寄せられ、徐々にサーチ対象と一致していく。
s41〜s46のループ処理により求まったテンプレートの変動量をサーチ画像座標系に逆変換し、s40の初期位置の元となったサーチ画像上の位置(粗サーチで求められた位置)に対して、逆変換した変動量を加え、サーチ画像上での最終位置を求める。
テンプレートデータとサーチ画像エッジデータは再度、入れ替える。
テンプレート特徴点のベクトル方向とサーチ画像上のエッジ点のベクトル方向との一致度の総和を算出する。相関値は、以下の式で求める。nは特徴点数、θはテンプレート特徴点のベクトル方向とサーチ画像上のエッジ点のベクトル方向との開き角を表わす。
画像処理装置10は、テンプレートMの特徴点Tを次位置に移動させる力の算出は直下のエネルギーベクトルを参照し、取得することができるので、総当りによる特徴点の対応付けが不要になり、処理時間を削減、高速で高精度な位置決めができる。
また、ループ処理において、テンプレートMの特徴点Tから外れ点、不安定な点を除くので、これらによる精度低下のリスクを軽減、処理時間を削減、高速で高精度な位置決めができる。
さらに、テンプレート上に不要な特徴点があったとしても、サーチ画像上で付近にエッジが存在しなければ、なんら作用しないので、テンプレートのロバスト性が向上、サーチ対象物の形状変動に柔軟な安定した位置決めができる。
なお、テンプレート読み出し時にテンプレート画像について、画像エネルギー等の生成を行っても良い。
また、これにより、より収束しやすくなり、ループ回数が抑えられ、高速に結果を得ることが出来る。さらに、処理対象となる特徴点数が減り、高速に結果を得ることが出来る。
18 撮像画像演算機構(並列演算機構)
19 テンプレートデータ格納メモリ(テンプレート記憶部)
100 電子部品実装装置
Claims (11)
- 探索の対象物の特徴点の座標を含むデータをあらかじめテンプレートとして記憶し、前記テンプレートのデータを用いて、対象物が撮像されたサーチ画像から任意の回転、スケール、平行移動の変動を受けた前記対象物を探索する画像処理装置において、
前記対象物のテンプレート画像の濃淡画像データ及び前記サーチ画像の濃淡画像データの少なくとも一方からエッジ画像を生成するエッジ画像生成手段と、
前記エッジ画像から画像エネルギーを生成する画像エネルギー生成手段と、
前記画像エネルギーから前記サーチ画像内の点及び前記テンプレートの特徴点の少なくとも一方が受ける移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトルを移動量に変換する移動量変換手段と、
前記移動ベクトルの総和が収束条件を満たすか否かにより前記テンプレートがサーチ画像上の対象物の位置に合致したことを判定する判定手段と、
前記判定手段が収束条件を満たすと判定した時の前記移動量から探索情報を求める探索情報取得手段とを備えることを特徴とする画像処理装置。 - 前記判定手段が収束条件を満たすと判定するまで前記移動ベクトル算出手段と前記移動量変換手段と前記移動量に応じて、テンプレートとサーチ画像との相対位置を更新させる移動手段とがその処理を繰り返し行うことを特徴とする請求項1記載の画像処理装置。
- 前記移動ベクトル算出手段と前記移動手段との繰り返すサーチループ処理において、
前記移動量変換手段が、前記移動ベクトルを移動量に変換する際に、ループ回数が増えるたびに移動量を小さくする補正係数を乗算することを特徴とする請求項2記載の画像処理装置。 - 前記エッジ画像生成手段は前記対象物のテンプレート画像と前記サーチ画像の双方の濃淡画像データについてエッジ画像を生成し、
前記画像エネルギー生成手段は前記エッジ画像から画像エネルギーを生成し、
前記サーチ画像内で前記テンプレートをピクセル単位の誤差範囲で探索する粗サーチ手段と、
前記粗サーチの探索結果に基づいて前記テンプレートを前記サーチ画像の座標系に当て嵌めて、当該テンプレートの複数の特徴点に近似するエッジ点の中から複数の対応点を求める対応点取得手段と、
前記移動ベクトル算出手段が、前記複数の対応点を前記テンプレート画像の座標系に当て嵌めると共に、前記テンプレートの画像エネルギーから前記サーチ画像の対応点が受ける移動ベクトルを算出することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 前記粗サーチ手段による探索後に、その探索結果に基づいて、前記特徴点と対応点の相互間距離である対応点間距離の二乗総和を求め、当該二乗総和が最小となる変換量で前記各特徴点を変換して新たな対応点を求めることで前記粗サーチ手段による探索結果を補正する補正手段を備えることを特徴とする請求項4記載の画像処理装置。
- 前記補正手段は、前記二乗総和が所定の収束条件を満たすまで前記各特徴点の変換と前記二乗総和の算出を繰り返し実行すると共に、その過程で前記対応点間距離が所定値以上となる場合或いは前記対応点間距離が減少しない特徴点については、外れ点として特定とすることを特徴とする請求項5記載の画像処理装置。
- 前記各特徴点について所定の重み付けを行うと共に、
前記補正手段は、前記二乗総和の算出を繰り返し実行する場合に、繰り返し回数が進むにつれて前記特徴点の参加数を段階的に増加させ、その際の特徴点の参加する優先順位を前記重み付けの重い順にすることを特徴とする請求項6記載の画像処理装置。 - 前記テンプレートとして、前記複数の特徴点の各々のエッジ勾配ベクトルを求め、勾配が所定範囲で共通するベクトル数である出現頻度を求めて、当該出現頻度数に応じて前記各特徴点について重み付けを行う第一の重み付け手段を備えることを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。
- 前記テンプレートとして、前記複数の特徴点の各々のコーナー度を求め、当該コーナー度が高い特徴点について重み付けを重くして前記各特徴点の重み付けを行う第二の重み付け手段を備えることを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- フィルタ演算を行うための並列演算機構を備えることを特徴とする請求項1から9のいずれか一項に記載の画像処理装置。
- 前記サーチ画像上の位置でテンプレートとの相関値を求め、サーチ画像上の対象物を正しく探し出したことを判定できる手段を設けたことを特徴とする請求項1から10のいずれか一項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010191661A JP5689629B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010191661A JP5689629B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012048593A true JP2012048593A (ja) | 2012-03-08 |
JP5689629B2 JP5689629B2 (ja) | 2015-03-25 |
Family
ID=45903355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010191661A Active JP5689629B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5689629B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015136714A1 (ja) * | 2014-03-14 | 2015-09-17 | オムロン株式会社 | 画像識別装置、画像センサ、画像識別方法 |
CN107079071A (zh) * | 2014-10-30 | 2017-08-18 | 惠普发展公司,有限责任合伙企业 | 确定扫描条的坐标 |
JP2018036528A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法 |
JPWO2021141028A1 (ja) * | 2020-01-06 | 2021-07-15 | ||
US11727667B2 (en) | 2020-12-09 | 2023-08-15 | Brother Kogyo Kabushiki Kaisha | Computer-readable storage medium, image processing apparatus, and method for image processing |
US11869215B2 (en) | 2020-12-09 | 2024-01-09 | Brother Kogyo Kabushiki Kaisha | Computer-readable storage medium, image processing apparatus, and method for image processing |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008028A (ja) * | 2000-06-27 | 2002-01-11 | Matsushita Electric Ind Co Ltd | パターンマッチング方法と装置 |
JP2007188329A (ja) * | 2006-01-13 | 2007-07-26 | Toshiba Corp | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP2007257518A (ja) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP2010091525A (ja) * | 2008-10-10 | 2010-04-22 | Juki Corp | 電子部品のパターンマッチング方法 |
-
2010
- 2010-08-30 JP JP2010191661A patent/JP5689629B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008028A (ja) * | 2000-06-27 | 2002-01-11 | Matsushita Electric Ind Co Ltd | パターンマッチング方法と装置 |
JP2007188329A (ja) * | 2006-01-13 | 2007-07-26 | Toshiba Corp | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP2007257518A (ja) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP2010091525A (ja) * | 2008-10-10 | 2010-04-22 | Juki Corp | 電子部品のパターンマッチング方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015136714A1 (ja) * | 2014-03-14 | 2015-09-17 | オムロン株式会社 | 画像識別装置、画像センサ、画像識別方法 |
JPWO2015136714A1 (ja) * | 2014-03-14 | 2017-04-06 | オムロン株式会社 | 画像識別装置、画像センサ、画像識別方法 |
CN107079071A (zh) * | 2014-10-30 | 2017-08-18 | 惠普发展公司,有限责任合伙企业 | 确定扫描条的坐标 |
JP2017530651A (ja) * | 2014-10-30 | 2017-10-12 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. | 走査バーの座標を求めること |
US10277752B2 (en) | 2014-10-30 | 2019-04-30 | Hewlett-Packard Development Company, L.P. | Determining coordinates of scan bars |
CN107079071B (zh) * | 2014-10-30 | 2019-10-25 | 惠普发展公司,有限责任合伙企业 | 确定扫描条的坐标 |
JP2018036528A (ja) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法 |
JPWO2021141028A1 (ja) * | 2020-01-06 | 2021-07-15 | ||
WO2021141028A1 (ja) * | 2020-01-06 | 2021-07-15 | ファナック株式会社 | 物体検出装置及びモデルパターン評価装置 |
JP7425089B2 (ja) | 2020-01-06 | 2024-01-30 | ファナック株式会社 | 物体検出装置及びモデルパターン評価装置 |
US11727667B2 (en) | 2020-12-09 | 2023-08-15 | Brother Kogyo Kabushiki Kaisha | Computer-readable storage medium, image processing apparatus, and method for image processing |
US11869215B2 (en) | 2020-12-09 | 2024-01-09 | Brother Kogyo Kabushiki Kaisha | Computer-readable storage medium, image processing apparatus, and method for image processing |
Also Published As
Publication number | Publication date |
---|---|
JP5689629B2 (ja) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5689629B2 (ja) | 画像処理装置 | |
JP4047352B2 (ja) | 画像歪み補正プログラム,画像歪み補正装置並びに画像歪み補正方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN110815213A (zh) | 一种基于多维度特征融合的零件识别装配方法和装置 | |
CN114119488B (zh) | 一种面向工厂化的预制叠合板尺寸质量智能检测方法 | |
JP6612822B2 (ja) | モデルを修正するためのシステムおよび方法 | |
KR20090009824A (ko) | 인식 처리 방법 및 이 방법을 이용한 화상 처리 장치 | |
JP2009230537A (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器 | |
CN110322492B (zh) | 一种基于全局优化的空间三维点云配准方法 | |
CN111523547B (zh) | 一种3d语义分割的方法及终端 | |
JP5439277B2 (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
CN112132876B (zh) | 2d-3d图像配准中的初始位姿估计方法 | |
CN115816471A (zh) | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 | |
CN114289332A (zh) | 工件分拣的视觉识别与定位方法、装置及分拣系统 | |
CN112329880A (zh) | 一种基于相似性度量和几何特征的模板快速匹配方法 | |
CN116977328B (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
JP4851240B2 (ja) | 画像処理装置及びその処理方法 | |
JP5957310B2 (ja) | 画像処理装置 | |
KR20050063991A (ko) | 영상 피라미드를 이용한 영상정합 처리방법 및 장치 | |
JP2007322404A (ja) | 画像処理装置及びその処理方法 | |
CN113223189B (zh) | 机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法 | |
CN111526297B (zh) | 曲面屏图像采集方法、装置及终端设备 | |
JP2022191000A (ja) | 寸法測定装置および寸法測定方法 | |
JP5438574B2 (ja) | 画像探索方法 | |
JP5249157B2 (ja) | 3次元モデルを高速に高精度化する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5689629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |