JP2014006682A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2014006682A JP2014006682A JP2012141641A JP2012141641A JP2014006682A JP 2014006682 A JP2014006682 A JP 2014006682A JP 2012141641 A JP2012141641 A JP 2012141641A JP 2012141641 A JP2012141641 A JP 2012141641A JP 2014006682 A JP2014006682 A JP 2014006682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- feature
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】画像処理装置10は、テンプレート生成用画像内に特徴部位が表示された状態で対象物の特定部分に対応する特徴部位の編集指示の入力を受け付ける受付手段と、編集すべきと判定された特徴部位を編集する編集手段と、編集すべきでないと判定された場合に、対象物の検出精度が低下する旨を報知する報知手段と、特徴部位リストに含まれる複数の特徴部位について重要度の低い方から順に特徴部位を削除していき、何れか一の特徴部位を削除する毎に、探索評価用画像内で対象物の探索を行って当該対象物の特定部分の位置検出の評価値を算出する評価値算出手段と、算出された評価値に基づいて複数の特徴部位の中で対象物の特定部分の位置検出に用いられる特徴部位を特定する特徴部位特定手段とを備える。
【選択図】図2
Description
この画像処理装置では、予め正姿勢の対象物をテンプレートとして登録しておき、当該テンプレートを用いて対象物を探索するようになっている。
また、上記特許文献2の場合、通常、対象物全体の位置検出の精度を確保したテンプレートが自動的に生成される。このため、ユーザの特定の要求を満たすテンプレート、即ち、例えば、ボス穴へ挿入されるコネクタやカードスロット用のコネクタ等の対象物の特定部分の位置検出の精度を他の部分(例えば、端子部分等)よりも向上させたテンプレート等を生成することができないといった問題がある。つまり、対象物の特定部分については、上記のように依然としてユーザが対話形式にて手動で指定しなければならない。
このとき、位置検出のアルゴリズムやその挙動についてのノウハウに乏しい者にとっては、特定部分のみを指定すべきなのか、他の部分も追加して指定する必要があるのかを判断することができず、生成されるテンプレートの内容によっては対象物の位置検出の要求精度やタクトを実現できない虞がある。
探索の対象物の特徴部位の座標を含むデータをテンプレートとして、パターンマッチングにより探索用画像から前記対象物を探索する画像処理装置において、
対象物のテンプレートの生成用のテンプレート生成用画像から特徴部位を抽出する抽出手段と、
前記テンプレート生成用画像内に抽出された特徴部位が表示された状態で、前記対象物の特定部分に対応する特徴部位の編集指示の入力を受け付ける受付手段と、
前記編集指示が入力された特徴部位を編集すべきか否かを判定する判定手段と、
前記判定手段により編集すべきと判定された特徴部位を編集する編集手段と、
前記判定手段により編集すべきでないと判定された場合に、前記対象物の検出精度が低下する旨を報知する報知手段と、
前記編集手段により編集された特徴部位を含む複数の特徴部位を、前記探索用画像内で前記対象物を検出する際の重要度に従って所定の順序で並べた特徴部位リストを生成するリスト生成手段と、
前記特徴部位リストに含まれる前記複数の特徴部位について、前記重要度の低い方から順に特徴部位を削除していき、何れか一の特徴部位を削除する毎に、所定の探索評価用画像内で前記対象物の探索を行って当該対象物の特定部分の位置検出の評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された評価値に基づいて、前記複数の特徴部位の中で前記対象物の特定部分の位置検出に用いられる特徴部位を特定する特徴部位特定手段と、
を備えることを特徴としている。
前記受付手段は、前記特徴部位の編集指示として、当該特徴部位の追加及び削除のうち、少なくとも一方の指示の入力を受け付けることを特徴としている。
前記特徴部位の重要度を補正する補正手段を更に備え、
前記リスト生成手段は、前記補正手段により補正された重要度に従って前記複数の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴としている。
前記抽出手段は、前記テンプレート生成用画像から複数種類の特徴部位を抽出し、
前記リスト生成手段は、前記特徴部位の種類に応じた重要度に従って前記複数種類の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴としている。
前記抽出手段は、前記テンプレート生成用画像から、前記対象物の最外輪郭線上に存する基準コーナー点及び前記基準コーナー点の近傍に存する当該基準コーナー点と逆方向の勾配のエッジベクトルを有する補助コーナー点のうち、少なくとも一方を特徴部位として抽出し、
前記リスト生成手段は、前記基準コーナー点及び前記補助コーナー点のうちの少なくとも一方がこれら以外の特徴部位に対して相対的に高くなるように算出された重要度に従って前記複数の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴としている。
前記特徴部位特定手段により特定された特徴部位に基づいてテンプレートを生成するテンプレート生成手段と、
生成された前記テンプレートが格納される格納領域の容量、前記対象物の特定部分の位置検出の精度及び処理時間のうち、少なくとも何れか一を基準として、前記テンプレート生成手段により生成されるテンプレートのデータ形式を特定するデータ形式特定手段と、を更に備えることを特徴としている。
さらに、複数の特徴部位が探索用画像内で対象物を検出する際の重要度に従って所定の順序で並べられた特徴部位リストを用いて、当該複数の特徴部位の中で重要度の低い特徴部位を削除していき、対象物の特定部分の位置検出に用いられる特徴部位を特定することができ、テンプレートの生成に係る特徴部位の点数を削減することができることとなって、テンプレートデータのデータサイズを小さくすることができる。これにより、対象物の位置検出の精度を確保しつつ処理の高速化を図ることが可能なテンプレートを生成することができる。
このように、対象物の特定部分の位置検出の精度を確保したテンプレートの生成を対話形式で適正に、且つ、簡便に行うことができる。
本発明の実施形態について、図1〜図26に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品を探索するための画像処理装置10が電子部品実装装置100に搭載され、後述する吸着ノズルに吸着された電子部品の位置を検出する目的に利用される場合の例を示している。
図1は電子部品実装装置100の平面図であり、図2は電子部品実装装置100の制御系を示すブロック図である。
電子部品実装装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダ101と、電子部品フィーダ101を複数並べて保持する電子部品供給部としてのフィーダバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、電子部品を吸着する吸着ノズル105を保持して電子部品の保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、吸着ノズル105に吸着された電子部品の撮像を行う標準カメラ115及び高解像度カメラ116と、撮像位置に照明光を照射する照明装置117と、電子部品実装装置100の各構成に対して制御を行う制御装置120と、カメラ115,116の撮像画像からテンプレートデータを生成したり、テンプレートデータを用いて探索対象となる電子部品の探索処理を実行する画像処理装置10とを備えている。
標準カメラ115及び高解像度カメラ116は、例えば、CCDカメラやCMOSカメラ等から構成され、搭載が行われる電子部品の電極サイズによって使い分けられるようになっている。以下の記載では、標準カメラ115が使用される前提で説明を行うこととする。
また、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送するとともに停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
また、各吸着ノズル105は負圧発生装置108に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダ101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ115,116は、ベースフレーム114に搭載されており、X−Yガントリ107によりヘッド106が各カメラ115,116の位置決めされて撮像が行われるようになっている。
各カメラ115,116は、ベースフレーム114から上方に向けられた状態で保持されており、吸着ノズル105に吸着された電子部品Sを下方から撮像し、撮像画像を画像処理装置10に出力する。
なお、各モータは、ぞれぞれの回転量が制御装置120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105や各カメラ115,116の位置決めを行っている。
また、電子部品の必要上、前記したフィーダバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
各電子部品フィーダ101は、後端部に電子部品が一列に並んで封止された部品テープのリール(図示略)が保持されており、部品テープはリールから電子部品フィーダ101の先端部(基板側の端部)の上側に設けられた部品受け渡し位置101aまで繰り出され、当該部品受け渡し位置101aにおいて吸着ノズル105により電子部品の吸着が行われるようになっている。
かかる制御装置120は、電子部品Sの吸着ノズル105による吸着後に標準カメラ115又は高解像度カメラ116による撮像が行われ、当該撮像画像に基づいて画像処理装置10が求めた電子部品の正確な位置及び向きに基づいて電子部品Sの向きをθ軸モータ112により補正し、X軸モータ109及びY軸モータ110により搭載時のヘッド106による搭載位置を補正するようになっている。
画像処理装置10は、各カメラ115,116及びその照明装置117と画像処理装置全体を制御する制御部11と、各カメラ115,116の画像信号をデジタル化するA/D変換器12と、デジタル化された撮像画像データを記憶する画像メモリ13と、撮像画像データに基づいて電子部品の探索対象を探索するための画像処理を実行する演算部14と、画像処理や各部の制御において作業領域となる作業用メモリ15と、後述する各種フィルタ演算を高速で行う高速フィルタ演算モジュールである並列演算機構16と、画像処理装置10の制御部11が制御装置120とのデータ通信を行うインターフェース17と、画像データに対してエッジ検出処理を行う撮像画像演算機構18と、テンプレートデータを格納するテンプレートデータ格納メモリ19と、各種の処理を施された画像データをアナログ化してモニタ21に出力するD/A変換器20と、図示しない端末装置と制御装置120とのデータ通信を行うマンマシンインターフェース22とを備えている。
このとき、画像処理装置10は、各種処理を制御部11や演算部14を用いて行い、生成させた処理データを作業用メモリ15に格納する。また、位置決め結果等の処理結果は、レスポンスとして画像処理装置10からインターフェース17を介して制御装置120に送信される。
まず、画像処理装置10は、探索を実行する前の準備段階(例えば、電子部品の実装作業を開始する前の段階)で、対象物(電子部品)Sのテンプレートを生成するテンプレート生成処理を行う(図3参照)。
テンプレート生成処理について、図3のフローチャートに基づいて説明する。
なお、本発明の画像処理装置10を電子部品の位置決め、搭載を行う実装機に応用する場合、テンプレートの生成は、実装作業時以外の機会で実行するものとし、生成作業には時間がかかっても構わない。テンプレートデータとして事前に準備しておける作業はすべてこのフェーズで行い、実装作業中に行われるサーチ処理を高速に行えるようにする。
画像処理装置10は、指定された標準カメラ115又は高解像度カメラ116を制御し、基準姿勢の対象物Sの画像を撮像、A/Dコンバータ12でデジタル化し、テンプレート生成用画像P1の多値画像データ(図4参照)として画像メモリ13に記憶させる。
図4に示すテンプレート生成用画像P1の多値画像データは、例えば、各画素の画素値(例えば、輝度値)を1Byte(8bit;256階調)で表した画像データである。
画像処理装置10は、テンプレート生成用画像P1から重要度(位置決め精度に寄与する度合い)が相対的に高い、即ち、探索に用いられる対象物Sの特徴部位を自動的に所定数抽出する。ここで、画像処理装置10は、対象物Sのテンプレートの生成用のテンプレート生成用画像P1から特徴部位を抽出する抽出手段として機能する。
さらに、画像処理装置10は、テンプレート生成用画像P1とともに特徴部位を表示して、対象物Sのユーザ所望の特定部分(例えば、ボス穴へ挿入されるコネクタやカードスロット用のコネクタに対応する部分等)に対応する特徴部位の追加や削除といった編集指示を入力可能な状態とする。
なお、特徴部位抽出処理の具体的な処理内容については後述する。
画像処理装置10は、受付手段として、テンプレート生成用画像P1内に特徴部位が表示された状態で、対象物Sの特定部分に対応する特徴部位の編集指示の入力を受け付ける。そして、画像処理装置10は、入力された編集指示に従って当該特徴部位を編集する。
具体的には、画像処理装置10は、制御装置120のマンマシンインターフェース22及びインターフェース17を介して、編集終了指示が入力されたか否かを判定する(ステップS31)。ここで、編集終了指示が入力されていないと判定されると(ステップS31;NO)、画像処理装置10は、制御装置120のマンマシンインターフェース22及びインターフェース17を介して、対象物Sの特定部分に対応する特徴部位の追加指示が入力されたか否かを判定する(ステップS32)。
そして、画像処理装置10は、対象物Sの検出精度が相対的に低下しないと判定した場合には、当該特徴部位を追加する一方で、対象物Sの検出精度が相対的に低下すると判定した場合には、その旨をマンマシンインターフェース22を介して接続されている端末装置から報知させる。
一方、ステップS32にて、特定部分に対応する特徴部位の追加指示が入力されていないと判定されると(ステップS32;NO)、画像処理装置10は、ステップS33をスキップして、処理をステップS34に移行させる。
そして、特徴部位の削除指示が入力されたと判定されると(ステップS34;YES)、画像処理装置10は、特徴部位の削除編集処理を行う(ステップS35)。具体的には、画像処理装置10は、削除指示が入力された特徴部位を削除すべきか否かを対象物Sの検出精度を基準として判定し、対象物Sの検出精度が相対的に低下しないと判定した場合には、当該特徴部位を削除する一方で、対象物Sの検出精度が相対的に低下すると判定した場合には、その旨をマンマシンインターフェース22を介して接続されている端末装置から報知させる。
なお、削除される特徴部位は、対象物Sの特定部分に対応する特徴部位であっても良いし、これ以外の特徴部位であっても良い。
一方、ステップS34にて、特徴部位の削除指示が入力されていないと判定されると(ステップS34;NO)、画像処理装置10は、ステップS35をスキップして、処理をステップS31に移行させる。
画像処理装置10は、編集処理後の複数の特徴部位の中で対象物Sの特定部分の位置検出に用いられる特徴部位を自動的に特定する特徴部位特定処理を行う。
具体的には、画像処理装置10は、先ず、編集処理後の複数の特徴部位を、対象物Sの探索用画像(図示略)内で対象物Sを検出する際の重要度に従って所定の順序(例えば、重要度の低い順等)で並べた特徴部位リストを生成する。そして、画像処理装置10は、特徴部位リストに含まれる複数の特徴部位について、重要度の低い方から順に特徴部位を仮削除していき、何れか一の特徴部位を仮削除する毎に、所定の探索評価用画像(図23(b)参照)内で対象物Sの探索を行って当該対象物Sの特定部分の位置検出の評価値を算出する。その後、画像処理装置10は、算出された評価値を考慮して、所定の検出精度を維持できるように、複数の特徴部位の中で対象物Sの特定部分の位置検出に用いられる特徴部位を特定する。
ここで、画像処理装置10は、編集手段により編集された特徴部位を含む複数の特徴部位を、探索用画像内で対象物Sを検出する際の重要度に従って所定の順序で並べた特徴部位リストを生成するリスト生成手段、特徴部位リストに含まれる複数の特徴部位について、重要度の低い方から順に特徴部位を削除していき、何れか一の特徴部位を削除する毎に、所定の探索評価用画像内で対象物Sの探索を行って当該対象物Sの特定部分の位置検出の評価値を算出する評価値算出手段、評価値算出手段により算出された評価値に基づいて、複数の特徴部位の中で対象物Sの特定部分の位置検出に用いられる特徴部位を特定する特徴部位特定手段として機能する。
なお、特徴部位特定処理の具体的な処理内容については後述する。
画像処理装置10は、テンプレート濃淡画像、テンプレートエッジ画像(Byte型)、テンプレートエッジ画像(Bit型)、テンプレートエッジ点情報の中で(図25、図26等参照)、何れか一のテンプレートデータの形式を自動的に特定するデータ形式特定処理を行う。
具体的には、画像処理装置10は、テンプレートデータ格納メモリ19の容量や、対象物Sの特定部分の位置検出の精度及びタクト等を考慮して、テンプレートデータの形式を特定する。
ここで、画像処理装置10は、テンプレートが格納される格納領域の容量、対象物Sの特定部分の位置検出の精度及び処理時間のうち、少なくとも何れか一を基準として、生成されるテンプレートのデータ形式を特定するデータ形式特定手段として機能する。
なお、データ形式特定処理の具体的な処理内容については後述する。
画像処理装置10は、特徴部位特定処理により特定された特徴部位に基づいてテンプレートを生成する。具体的には、画像処理装置10は、データ形式特定処理にて特定されたテンプレートデータの形式(例えば、テンプレートエッジ画像(Byte型)等)に従って、テンプレートを生成する。
ここで、画像処理装置10は、特徴部位特定処理により特定された特徴部位に基づいてテンプレートを生成するテンプレート生成手段として機能する。
次に、テンプレート生成処理における特徴部位抽出処理(ステップS2)について図5〜図20を参照して詳細に説明する。
図5は、特徴部位抽出処理に係る動作の一例を示すフローチャートである。
辺部位は、例えば、後述する変曲点間の距離が所定の閾値より大きい(長い)部分であり、また、コーナー部位は、一の辺と、この一の辺の近傍(例えば、30画素以内等)に存する開き角度が60°〜120°となる他の辺との2つ辺により規定される部分である。
コーナー部位としては、例えば、基準コーナー点、補助コーナー点、通常コーナー点等が挙げられ、辺部位としては、例えば、補助辺、通常辺等が挙げられる(詳細後述)。
重要度={(辺長1×i×j)+(辺長2×i×j)+(R長×k)}×l×m …式(1)
エッジ検出処理は、例えば、ガウシアンフィルタなどのノイズ削除が行える平滑化効果を併せ持つ、エッジ検出フィルタをテンプレート生成用画像P1にかけ、フィルタ出力結果に対して、しきい値処理等によりエッジ(輪郭)を検出する。このとき、エッジ検出のパラメータによっては、並列演算機構16を用いた高速フィルタ演算モジュールで処理しても構わない。
そして、画像処理装置10は、対象物Sの輪郭を表すエッジ画像P2(図11等参照)を取得して、作業用メモリ15に格納する。
そして、画像処理装置10は、ラベル番号が付加されたラベル画像を作業用メモリ15に格納する。
このとき、検出した際の再帰の回数がより少ないほど、そのセグメントの輪郭線においてより抽象度の高い重要な特徴点といえる。従って、特徴点として抽出した際、この値(検出再帰回数)も一緒に記録しておく。再帰処理が終了した際、最大の再帰ネスト回数を分母として正規化を行い、0〜1の値で特徴点の重要度を表すようにする。
以下に、コーナー抽出処理について詳細に説明する。
図8は、コーナー抽出処理に係る動作の一例を示すフローチャートである。また、図9(a)及び図9(b)は、コーナー抽出処理におけるコーナー部位の抽出を説明するための図である。
コーナー部位には、例えば、基準コーナー点、補助コーナー点、通常コーナー点の3種が含まれる。また、位置決め精度に寄与する度合い(重要度)は、基準コーナー点>補助コーナー点>通常コーナー点となっている。
基準コーナー点とは、エッジ画像P2の対象物Sに相当する部分の最外輪郭線O(図12(c)等参照)上に存し、主として、探索処理における粗サーチ(特許文献2参照)にて用いられる基準点を含むコーナー点である。
補助コーナー点とは、基準コーナー点の近傍に存する当該基準コーナー点と逆方向の勾配のエッジベクトルを有するコーナー点である。また、補助コーナー点は、主として、探索処理における精サーチ(特許文献2参照)にて用いられ、基準コーナー点が真の位置から外れ、誤って近隣のエッジに収束してしまうことを抑止するためのものである。
通常コーナー点とは、コーナー点のうち、基準コーナー点及び補助コーナー点以外のコーナー点である。
即ち、画像処理装置10は、テンプレートと探索用画像内の対象物Sとの位置合わせ処理(探索処理)を画像エネルギーを用いて行う。具体的には、画像処理装置10は、テンプレートを所定方向に少しずつ移動させながら当該テンプレート上の各エッジ点が探索用画像から受けるエネルギーを逐次算出する処理を繰り返し、画像エネルギーが最小となる位置を探し出す。このとき、位置合わせを行うものどうしがある程度近くに存在しなければならず、精サーチにおける初期位置を設定するために相対的に精度の低い適当な粗サーチ方法と組み合わせる。
粗サーチは、例えば、探索用画像内でテンプレートをピクセル単位の誤差範囲(例えば、±2画素程度)で探索する処理である。そして、精サーチでは、探索用画像上での粗サーチの位置決め結果を基準として初期位置を設定する。
即ち、コーナー部位には、2つ辺と、これら辺どうしが交わるコーナー点、当該コーナー点を挟み2つの辺の間の部分である2つのR部が含まれている。
以下に、最外輪郭線検出処理について詳細に説明する。
図10は、最外輪郭線検出処理に係る動作の一例を示すフローチャートである。また、図11(a)〜図11(c)並びに図12(a)〜図12(c)は、最外輪郭線検出処理を説明するための図である。
なお、以下の説明では、エッジ画像P2の左上角部を原点(0,0)として説明する。また、図11(a)〜図11(c)並びに図12(a)〜図12(c)にあっては、各コーナー点を斜線が付された正方形で表し、各変曲点を内部が塗り潰された正方形で表す。
ここで、基準点が始点に戻っていないと判定されると(ステップS213;NO)、画像処理装置10は、基準点bから各コーナー点に対して掃引線cを引き(ステップS214;図11(b)参照)、掃引線cと所定の軸(例えば、x軸(y=0)やy軸(x=0)との角度が最小となるコーナー点dを選択する(ステップS215;図11(c)参照)。ここで、掃引線cは、最外輪郭線Oの一部分を構成する。
そして、画像処理装置10は、選択されたコーナー点dを基準点bとして特定した後(ステップS216;図12(a)参照)、処理をステップS213に戻す。
そして、ステップS213にて、基準点bが始点aに戻ったと判定されるまで(ステップS213;YES)、画像処理装置10は、ステップS214〜S216の各処理を繰り返し行って(図12(b)参照)、複数の掃引線cを含んで構成された最外輪郭線Oを検出する(図12(c)参照)。
また、基準点bが始点aに戻ったと判定されると(ステップS213;YES)、画像処理装置10は、当該最外輪郭線検出処理を終了する。
以下に、基準コーナー抽出処理について詳細に説明する。
図13は、基準コーナー抽出処理に係る動作の一例を示すフローチャートである。また、図14(a)〜図14(c)は、基準コーナー抽出処理を説明するための図である。
なお、図14(a)〜図14(c)にあっては、各コーナー点を斜線が付された正方形で表す。
続けて、画像処理装置10は、最外輪郭線O上の複数のコーナー点のうち、線分ABを底辺とする三角形の頂点となり、且つ、面積が最大となるコーナー点Cを基準コーナー点として選択する(ステップS222;図14(b)参照)。
次に、画像処理装置10は、最外輪郭線O上の複数のコーナー点のうち、線分ABを挟んでコーナー点Cと反対側にあり、且つ、コーナー点Cから最も離れたコーナー点Dを基準コーナー点として選択する(ステップS223;図14(c)参照)。
ここで、図15(a)及び図15(b)は、補助コーナー点の抽出を説明するための図である。なお、図15(a)及び図15(b)にあっては、各コーナー点を斜線が付された正方形で表し、各基準コーナー点を基準とする探索領域を破線で表す。
そして、図15(b)に示すように、画像処理装置10は、探索領域内で基準コーナー点A〜Dと逆方向の勾配のエッジベクトルを有するコーナー点A’〜D’を補助コーナー点として抽出する。
各コーナー点(コーナー部位)は2つの辺を含んでなるので、画像処理装置10は、各辺(特に、辺の長さ)を基準にして式(1)に従って重要度を算出する(図6参照)。
図6に示すように、評価要素としては、例えば、辺(線分)の長さ、辺(線分)の粗さ、ノイズ成分との距離、R部のサイズ、中心からの距離、種別、ユーザ補正値等が挙げられる。
辺の粗さとは、各辺を構成する複数の画素(エッジ点)のうち、当該辺の延在方向に直交する方向へのずれ具合のことである(図16参照)。また、辺の粗さに対応する補正係数iは、当該粗さが小さいほど大きくなる(重要度が高く)なるように設定されている。
ノイズ成分との距離とは、各辺の周辺に存する他の辺等のセグメントをノイズ成分とみなした場合の当該ノイズ成分と各辺との距離のことである(図16参照)。また、ノイズ成分との距離に対応する補正係数jは、当該距離が大きいほど大きくなる(重要度が高く)ように設定されている。
R部のサイズは、各コーナー点(コーナー部位)に対応する2つの辺により規定される。また、R部のサイズに対応する補正係数kは、当該サイズが大きいほど大きくなる(重要度が高く)なるように設定されている。
中心からの距離は、各コーナー点のエッジ画像P2の中心からの距離のことである。また、中心からの距離に対応する補正係数lは、当該距離が大きい(中心から離れている)ほど大きくなる(重要度が高く)なるように設定されている。
種別は、コーナー部位及び辺部位に対応するものであり、例えば、基準コーナー点、補助コーナー点、通常コーナー点、補助辺、通常辺の順に大きく(重要度が高く)なるように補正係数mが設定されている。即ち、基準コーナー点や補助コーナー点の重要度は、通常コーナー点、補助辺、通常辺等の特徴部位に対して相対的に高くなる。
ユーザ補正値は、コーナー点や辺の重要度をユーザが任意に指定した場合の補正係数である。即ち、各特徴部位の重要度は、ユーザによる端末装置(図示略)の所定操作に基づいてユーザ補正値が指定されることで補正可能となっているが、本実施形態では、ユーザ補正値は設定されていないものとする。
重要度={(辺長1×i×j)+(辺長2×i×j)+(R長×k)}×l×m …式(1)
そして、画像処理装置10は、算出された重要度を各コーナー点と対応付けて作業用メモリ15に格納する。
また、画像処理装置10は、抽出されたコーナー点の重要度のスコアを閾値として、通常コーナー点の中で当該閾値を上回るものをコーナー点として追加して表示させても良い。
図5に戻り、画像処理装置10は、エッジ画像P2内で、例えば、補助辺、通常辺等を抽出する辺抽出処理(図18参照)を行う(ステップS25)。
以下に、辺抽出処理について詳細に説明する。
図18は、辺抽出処理に係る動作の一例を示すフローチャートである。また、図19(a)及び図19(b)並びに図20(a)及び図20(b)は、辺抽出処理を説明するための図である。なお、図19(a)及び図19(b)にあっては、各基準コーナー点を斜線が付された正方形で表し、各変曲点を内部が塗り潰された正方形で表す。
そこで、辺抽出処理は、コーナー抽出処理にて抽出されたコーナー点が3点未満であった場合やコーナー点の重要度のスコアが著しく低かった場合や辺の重要度のスコアが突出して高い場合に限り行うこととする。
補助辺とは、基準コーナー点が3点以上あった場合に、所定数の基準コーナー点により設定された選択領域内に存する辺であって、最外輪郭線O上の縦方向及び横方向で最も長い辺である。この補助辺は、コーナー点による位置決めをさらに高精度化できる。
通常辺とは、上記した補助辺以外の辺である。
重要度={(辺長1×i×j)+(辺長2×i×j)+(R長×k)}×l×m …式(1)
ただし、式(1)において、辺長2及びR長の項目は0として演算するものとする。
そして、画像処理装置10は、算出された重要度を各辺と対応付けて作業用メモリ15に格納する。
ここで、基準コーナー点が3点以上抽出されており、補助辺の選択が可能であると判定されると(ステップS233;YES)、画像処理装置10は、3点以上の基準コーナー点のうち、2点の基準コーナー点を用いて、エッジ画像P2内で補助辺の選択領域(例えば、2点の基準コーナー点を対角とする矩形領域等)をそれぞれ設定する(ステップS234;図19(a)参照)。
そして、画像処理装置10は、各選択領域内から補助辺を選択する(ステップS235)。具体的には、画像処理装置10は、抽出済みの辺のうち、最外輪郭線Oを構成する辺であって縦方向及び横方向で最も長い辺を各選択領域内から選択して、補助辺として抽出する(ステップS235;図19(b)参照)。なお、図19(b)にあっては、補助辺を太い実線で表す。
即ち、画像処理装置10は、抽出済みの辺のうち、補助辺よりも重要度の高い辺があれば、存在位置に拘わらず当該辺を通常辺として選択する。また、画像処理装置10は、補助辺がない場合には、抽出済みの辺のうち、縦方向及び横方向で最外に存する最も長い4つの辺を通常辺として選択する(図20(a)参照)。なお、図20(a)にあっては、形状の異なる対象物Sを模式的に表し、通常辺を太い実線で表す。
ここで、画像処理装置10は、抽出された補助辺や通常辺の長さ、基準点、矩形領域、傾き等を各辺と対応付けて作業用メモリ15に格納しても良い。
図5に戻り、画像処理装置10は、テンプレート生成用画像P1の多値画像データに基づいて、テンプレート生成用画像P1を端末装置に表示させるための画像データを生成して、制御装置120のマンマシンインターフェース22及びインターフェース17を介して端末装置に表示させる(ステップS26)。続けて、画像処理装置10は、抽出された特徴部位(基準コーナー点等)をテンプレート生成用画像P1に重畳して表すための画像データを生成して、制御装置120のマンマシンインターフェース22及びインターフェース17を介して端末装置に表示させる(ステップS27)。
その後、画像処理装置10は、上記したように、ユーザによる端末装置の所定操作に基づいて、例えば、基準コーナー点等の特徴部位の編集処理(ステップS3)を実行し、編集処理の終了後に、特徴部位特定処理を実行する。
次に、テンプレート生成処理における特徴部位特定処理(ステップS4)について図21〜図23を参照して詳細に説明する。
図21は、特徴部位特定処理に係る動作の一例を示すフローチャートである。
この特徴部位リストは、重要度の低い、即ち、対象物Sの位置検出の精度に寄与しないであろう特徴部位から順番に削除していき、位置検出の精度をある程度保持できる最小限の特徴部位の構成になるように調整するためのものである。また、テンプレート生成処理(図3参照)における編集処理(ステップS3)にて特定部分に対応する特徴部位が追加されている場合には、当該特定部分に対応する特徴部位を特徴部位リストの上位、即ち、例えば、重要度が最も高い最上位に配置するものとする。
また、ユーザ補正値により各特徴部位の重要度が補正された場合には、当該重要度に従って複数の特徴部位を所定の順序で並べて特徴部位リストを生成するようになっている。
ここで、不要な特徴部位を削除する調整が終了していないと判定されると(ステップS242;NO)、画像処理装置10は、特徴部位リストに含まれる複数の特徴部位について、重要度の低い方から特徴部位を仮削除して、特徴部位リストの残りの特徴部位を用いてテンプレート画像P3(図23(a)参照)を生成する(ステップS243)。この場合、画像処理装置10は、特徴部位リストの重要度が最も低い特徴部位を仮削除する。
その後、画像処理装置10は、生成されたテンプレート画像P3を用いて、位置検出の評価値を算出する評価値算出処理(図22参照)を実行する(ステップS244)。
以下に、評価値算出処理について詳細に説明する。
図22は、評価値算出処理に係る動作の一例を示すフローチャートである。また、図23(a)は、テンプレート画像P3を模式的に示す図であり、図23(b)は、探索評価用画像P4を模式的に示す図であり、図23(c)は、探索評価用画像P4とテンプレート画像P3との位置決めを模式的に示す図である。
なお、図23(a)に示すテンプレート画像P3にあっては、対象物Sの中で特に位置検出の精度が要求される特定部分を太い実線で表している。当該特定部分は、例えば、テンプレート生成処理(図3参照)における編集処理(ステップS3)にて追加された特徴部位に対応するものとする。
ここで、付与された変動量は、後述する対象物Sの位置検出の際の基準値(真値)を構成する。なお、探索評価用画像は、既知の変動を実際に加えた対象物Sを撮像して画像データを生成することで取得しても良い。
続けて、画像処理装置10は、対象物Sの特定部分のずれ量を位置検出の評価値として算出する(ステップS253)。具体的には、画像処理装置10は、対象物Sの中で特に位置検出の精度が要求される特定部分(図中、下辺部等)に対応する各エッジ点について、探索評価用画像P4の対応する各エッジ点との各距離の二乗を加算して、その総和をずれ量として算出する。図23(c)にあっては、探索評価用画像P4のエッジ点(真値)を実線で表し、パターンマッチング後のテンプレート画像P3のエッジ点を破線で表している。
なお、予め特定部分が指定されていない場合には、全ての特徴部位を位置検出の精度が要求される部分とみなして、評価値を算出するようにしても良い。
ステップS245にて、所定の検出精度が確保されていると判定されると(ステップS245;YES)、画像処理装置10は、ステップS243にて仮削除した特徴部位を実際に削除する削除処理を行って(ステップS246)、処理をステップS242に移行して、それ以降の処理を実行する。
即ち、ステップS243にて、画像処理装置10は、特徴部位リストに含まれる複数の特徴部位の中で重要度が次に低い特徴部位を仮削除して、特徴部位リストの残りの特徴部位を用いてテンプレート画像P3を生成する。そして、ステップS244にて、上記と同様に、画像処理装置10は、位置検出の評価値を算出する評価値算出処理を行った後、ステップS245にて、算出された評価値に基づいて所定の検出精度が確保されているか否かを判定する。
このように、画像処理装置10は、上記の各処理を繰り返し実行することで、特徴部位リストに含まれる複数の特徴部位の中から重要度の低い、即ち、対象物Sの位置検出の精度に寄与しない特徴部位を削除していき、所定の検出精度を確保できる特徴部位を特定する。
即ち、ステップS243にて、特徴部位を仮削除すると、対象物Sの検出精度を十分に確保できないと判断して、画像処理装置10は、当該特徴部位の仮削除を中止する。
この場合、ステップS242にて、画像処理装置10は、不要な特徴部位を削除する調整が終了したと判定して(ステップS242;YES)、当該特徴部位特定処理を終了する。
次に、テンプレート生成処理におけるデータ形式特定処理(ステップS5)について図24〜図26を参照して詳細に説明する。
図24は、データ形式特定処理に係る動作の一例を示すフローチャートである。
本実施形態では、特徴部位の選択のため、特徴部位の形状、構成要素(直線部、コーナーのR部等)の寸法データも取得するので、テンプレートデータのデータ形式としては、エッジ点データを最小構成要素として出力する形式の他にも、部品の特徴を記した寸法データの形式等が挙げられる。また、上記特許文献2のような方式で、対象物Sの高精度の探索(精サーチ)を行う場合、テンプレートデータの画像エネルギーベクトルが必要となる。
画像エネルギーベクトルは、例えば、float型で保持すると各画素が8Byteのデータとなり、そのままテンプレートに付加すると、テンプレートデータのサイズが大きくなってしまう。そこで、画像エネルギーベクトルに展開可能な、例えば、テンプレート濃淡画像、テンプレートエッジ画像、テンプレートエッジ点情報の3つの形式のデータとして保持することで、テンプレートデータサイズを抑制することができる。
即ち、各画素位置における輝度値からなるテンプレート生成用画像P1の多値画像データ(濃淡画像データ)を一定方向(例えばX方向)に沿って微分すると、エッジ勾配が強い部分がピークとなるエッジ画像P2が求まる。エッジ画像P2のピークを上下逆さに反転させると、エッジ点が底となる谷ができる(画像エネルギー)。画像のエッジからの力は、画像エネルギーを微分してマイナスをかけることで求めることができる(以降、エネルギーベクトルと呼ぶ)。
例えば、谷の端にボールを置いたとすると、ボールは重力の影響で谷の勾配を下り、スピードを増しながら落ちていく。ボールは谷底であるエッジ点を通過し、対面の勾配を上るが、再び重力の影響を受け、谷の勾配のどこかで止まり、逆向きに下り始める。このような動作を繰り返しながら、徐々に振幅が小さくなり、ボールは谷から受けるエネルギーが最小となる谷底、つまりエッジ点に収束して止まる。
このような原理を利用することで、テンプレートを探索用画像上の対象物Sに位置合わせする。
テンプレート濃淡画像は、例えば、図26(a)に示すように、テンプレート生成用画像P1の多値画像データ(濃淡画像データ)をそのままの形式で保持するものである。
このテンプレート濃淡画像は、当該濃淡画像を2階微分することで画像エネルギーベクトルを生成できる。また、テンプレート生成用画像P1の多値画像を1階微分することで、例えば、float型やdouble型の実数値で各画素が表されたエッジ画像P2を求め、それに対し、演算を行うことで画像エネルギーベクトルが求められるため、当該画像エネルギーベクトルの精度が相対的に高い。また、テンプレートデータの確認も容易であるという利点もある。しかしながら、テンプレートエッジ画像やテンプレートエッジ点情報に比べて、データサイズが相対的に大きくなってしまう。
テンプレートエッジ画像は、例えば、図26(b)に示すように、テンプレート生成用画像P1の多値画像データを1階微分することで得られるものである。
また、テンプレートエッジ画像は、各エッジ点のエッジ強さを0〜255(8bit)の階調で表したエッジ画像(Byte型)と、0か1でエッジの有無を表したエッジ画像(Bit型)との2つのデータ形式で表される。なお、図26(b)には、テンプレートエッジ画像(Bit型)の一例を模式的に表している。
(i)テンプレートエッジ画像(Byte型)
テンプレート生成用画像P1の多値画像データの1階微分により求められたエッジ画像P2は、エッジ強さが実数値で表されているため、データサイズが大きくなってしまう。そこで、エッジ点のエッジ強さを256階調(0〜255)で正規化して、1Byte(8Bit)で表すByte型のデータの形式で保持する。また、画像エネルギーベクトルの生成の際には、演算が1階微分で済むのでタクト的に有利になる。
(ii)テンプレートエッジ画像(Bit型)
テンプレートエッジ画像(Byte型)の各エッジ点を1Bitで表したエッジ画像P2に圧縮して保持することにより、データサイズを相対的に小さくしたテンプレートエッジ画像(Bit型)が生成される。画像エネルギーベクトルの生成の際には、各エッジ点に対してエッジ強さを256階調の中間値(128)で持たせる等のエッジ画像変換処理を行い、生成されたエッジ画像P2に対して1階微分を行う。
エッジ画像変換処理においてエッジ強さは固定値となってしまうため、画像エネルギーベクトルの精度は落ちてしまうが、対象物Sの探索(精サーチ)の精度に悪影響を及ぼすレベルではないと考えられる。
テンプレートエッジ点情報は、例えば、図26(c)に示すように、テンプレート生成用画像P1の多値画像データの1階微分により求められたエッジ画像P2から各エッジ点の座標及びエッジ強さ(Height)を取得することで得られるリスト形式のデータである。
テンプレートエッジ点情報は、エッジ点のみのデータ保有で済むため、テンプレート生成用画像P1のサイズの影響を受け難く、データサイズを抑制することができる。また、例えば、エッジ強さは256階調(0〜255)に正規化することでデータサイズを抑制することができる。画像エネルギーベクトルの生成の際には、リスト形式のデータからエッジ画像P2を生成するエッジ画像変換処理を行い、生成されたエッジ画像P2に対して1階微分を行う。
なお、図25にあっては、テンプレートのデータサイズ、位置決め精度、タクトの各項目の優劣を「◎>○>△」で表している。
また、位置決め精度は、画像エネルギーベクトルの精度と関連性があり、画像エネルギーベクトルの精度が高いほど、位置決め精度が良くなる。テンプレート濃淡画像の場合、各画素のエッジ強さを実数値で表したエッジ画像P2から画像エネルギーベクトルを生成することができるため、最も位置決め精度が最も良くなる。これに対して、テンプレートエッジ画像(Byte型)及びテンプレートエッジ点情報は、エッジ画像P2のエッジ強さが256階調(0〜255)に正規化された値であるため相対的に精度が低下し、テンプレートエッジ画像(Bit型)はエッジ強さが0か255の2値となるため更に精度が低下する。
また、テンプレートエッジ画像(Byte型)の場合、エッジ画像P2の1階微分処理のみで画像エネルギーベクトルを生成できるため、タクトは最も短くなる。これに対して、テンプレートエッジ画像(Bit型)及びテンプレートエッジ点情報は、エッジ画像P2に対する1階微分処理の前に、所定のエッジ画像変換処理を必要とするため、その処理の分だけタクトが長くなる。また、テンプレート濃淡画像の場合、エッジ画像P2を生成するための微分処理が更に必要となり、当該微分処理はエッジ画像変換処理よりもタクトがかかるため、最もタクトが長くなる。
具体的には、図24に示すように、画像処理装置10は、先ず、特徴部位特定処理にて特定された所定数の特徴部位の各々をエッジ点として、エッジ点数を算出する(ステップS261)。
続けて、画像処理装置10は、テンプレートデータ格納メモリ19の所定のデータ格納領域に、算出されたエッジ点データ及び各種パラメータを格納した場合における当該メモリ19の残容量を算出する(ステップS262)。具体的には、画像処理装置10は、テンプレートデータのデータ形式を、テンプレート濃淡画像、テンプレートエッジ画像(Byte型)、テンプレートエッジ画像(Bit型)、テンプレートエッジ点情報としてそれぞれ格納した場合の残容量を算出する。
ここで、多値画像データが入る容量があると判定されると(ステップS263;YES)、画像処理装置10は、予めユーザにより指定されている優先度に応じて処理を分岐させる(ステップS264)。
具体的には、対象物Sの位置検出の精度を優先する場合には(ステップS264;精度)、画像処理装置10は、処理をステップS265に移行させ、テンプレートデータのデータ形式として、テンプレート濃淡画像を特定する(ステップS265)。
一方、対象物Sの位置検出の際のタクトを優先する場合には(ステップS264;タクト)、画像処理装置10は、処理をステップS266に移行させ、テンプレートデータのデータ形式として、テンプレートエッジ画像(Byte型)を特定する(ステップS266)。
具体的には、テンプレートエッジ画像(Bit型)を格納する容量がある場合には(ステップS267;エッジ画像P2)、画像処理装置10は、処理をステップS268に移行させ、テンプレートデータのデータ形式として、テンプレートエッジ画像(Bit型)を特定する(ステップS268)。
一方、テンプレートエッジ点情報を格納する容量がある場合には(ステップS267;エッジ点情報)、画像処理装置10は、処理をステップS269に移行させ、テンプレートデータのデータ形式として、テンプレートエッジ点情報を特定する(ステップS269)。
また、テンプレートエッジ画像(Bit型)及びテンプレートエッジ点情報の何れも格納する容量がない場合には(ステップS267;入らない)、画像処理装置10は、処理をステップS270に移行させ、端末装置に警告を表示させるための画像データを生成する。この場合、ユーザは、端末装置の所定操作に基づいてテンプレートデータ格納メモリ19の空き容量を確保する処理を行う必要がある。
その後、画像処理装置10は、データ形式特定処理にて特定されたテンプレートデータの形式(例えば、テンプレートエッジ画像(Byte型)等)に従って、テンプレートを生成する(ステップS6)。
つまり、テンプレート生成処理にて、テンプレートの特性、テンプレートデータ格納メモリ19の残容量、テンプレートデータサイズ、位置決め精度、タクト等を考慮して最適なテンプレートデータのデータ形式を決定してテンプレートデータを生成することができる。
そして、画像処理装置10は、テンプレートと探索用画像内の対象物Sとの位置合わせ処理(探索処理)にて、テンプレートデータのデータ形式に合わせてテンプレートを復元して、対象物Sの探索処理を行う。
なお、探索処理は、上記したように、画像エネルギーベクトルを利用する手法であり(特許文献2参照)、その詳細な説明は省略する。
以上のように、本実施形態の画像処理装置10によれば、テンプレート生成用画像P1内に抽出された特徴部位が表示された状態で、特に位置検出の精度が要求される対象物Sの特定部分に対応する特徴部位の編集指示の入力を受け付け、当該編集指示に係る特徴部位を編集すべきと判定された特徴部位を編集することができる一方で、編集すべきでないと判定された場合に、対象物Sの検出精度が低下する旨を報知することができる。これにより、位置検出の精度が特定部分によって異なる各種の対象物Sに対応することができるだけでなく、位置検出のアルゴリズムやその挙動についてのノウハウに乏しい者が操作しても、対象物Sの特定部分の位置検出の精度を低下させるようなテンプレートが生成されることを抑制することができる。このとき、テンプレートの生成に係る特徴部位を追加したり削除する編集作業を対話形式で適正に行うことができ、特に位置検出の精度が要求される特徴部位の編集を簡便に行うことができることとなって、テンプレートの生成の効率化を図ることができる。
さらに、探索用画像内で対象物Sを検出する際の重要度に応じた所定の順序で複数の特徴部位が並べられた特徴部位リストを用いて、当該複数の特徴部位の中で重要度の低い特徴部位を削除していき、対象物Sの特定部分の位置検出に用いられる最小限の特徴部位を特定することができる。これにより、テンプレートの生成に係る特徴部位の点数を削減することができることとなって、テンプレートデータのデータサイズを小さくすることができる。この結果、対象物Sの位置検出の精度を確保しつつ処理の高速化を図ることが可能なテンプレートを生成することができる。
このように、対象物Sの特定部分の位置検出の精度を確保したテンプレートの生成を対話形式で適正に、且つ、簡便に行うことができる。
例えば、特徴部位として、基準コーナー点、補助コーナー点、通常コーナー点、補助辺、通常辺等を例示したが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。さらに、特徴部位の種類として、コーナー部位と辺部位を例示したが、一例であってこれらに限られるものではなく、上記と同様に、適宜任意に変更可能である。
10 画像処理装置
22 マンマシンインターフェース
120 制御装置
S 対象物
Claims (6)
- 探索の対象物の特徴部位の座標を含むデータをテンプレートとして、パターンマッチングにより探索用画像から前記対象物を探索する画像処理装置において、
対象物のテンプレートの生成用のテンプレート生成用画像から特徴部位を抽出する抽出手段と、
前記テンプレート生成用画像内に抽出された特徴部位が表示された状態で、前記対象物の特定部分に対応する特徴部位の編集指示の入力を受け付ける受付手段と、
前記編集指示が入力された特徴部位を編集すべきか否かを判定する判定手段と、
前記判定手段により編集すべきと判定された特徴部位を編集する編集手段と、
前記判定手段により編集すべきでないと判定された場合に、前記対象物の検出精度が低下する旨を報知する報知手段と、
前記編集手段により編集された特徴部位を含む複数の特徴部位を、前記探索用画像内で前記対象物を検出する際の重要度に従って所定の順序で並べた特徴部位リストを生成するリスト生成手段と、
前記特徴部位リストに含まれる前記複数の特徴部位について、前記重要度の低い方から順に特徴部位を削除していき、何れか一の特徴部位を削除する毎に、所定の探索評価用画像内で前記対象物の探索を行って当該対象物の特定部分の位置検出の評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された評価値に基づいて、前記複数の特徴部位の中で前記対象物の特定部分の位置検出に用いられる特徴部位を特定する特徴部位特定手段と、
を備えることを特徴とする画像処理装置。 - 前記受付手段は、前記特徴部位の編集指示として、当該特徴部位の追加及び削除のうち、少なくとも一方の指示の入力を受け付けることを特徴とする請求項1に記載の画像処理装置。
- 前記特徴部位の重要度を補正する補正手段を更に備え、
前記リスト生成手段は、前記補正手段により補正された重要度に従って前記複数の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記抽出手段は、前記テンプレート生成用画像から複数種類の特徴部位を抽出し、
前記リスト生成手段は、前記特徴部位の種類に応じた重要度に従って前記複数種類の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。 - 前記抽出手段は、前記テンプレート生成用画像から、前記対象物の最外輪郭線上に存する基準コーナー点及び前記基準コーナー点の近傍に存する当該基準コーナー点と逆方向の勾配のエッジベクトルを有する補助コーナー点のうち、少なくとも一方を特徴部位として抽出し、
前記リスト生成手段は、前記基準コーナー点及び前記補助コーナー点のうちの少なくとも一方がこれら以外の特徴部位に対して相対的に高くなるように算出された重要度に従って前記複数の特徴部位を所定の順序で並べた特徴部位リストを生成することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。 - 前記特徴部位特定手段により特定された特徴部位に基づいてテンプレートを生成するテンプレート生成手段と、
生成された前記テンプレートが格納される格納領域の容量、前記対象物の特定部分の位置検出の精度及び処理時間のうち、少なくとも何れか一を基準として、前記テンプレート生成手段により生成されるテンプレートのデータ形式を特定するデータ形式特定手段と、を更に備えることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141641A JP5957310B2 (ja) | 2012-06-25 | 2012-06-25 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141641A JP5957310B2 (ja) | 2012-06-25 | 2012-06-25 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014006682A true JP2014006682A (ja) | 2014-01-16 |
JP5957310B2 JP5957310B2 (ja) | 2016-07-27 |
Family
ID=50104345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012141641A Active JP5957310B2 (ja) | 2012-06-25 | 2012-06-25 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5957310B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018185658A (ja) * | 2017-04-26 | 2018-11-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2019212835A (ja) * | 2018-06-07 | 2019-12-12 | キヤノンマシナリー株式会社 | 位置決め方法及び位置決め装置 |
CN110728285A (zh) * | 2019-08-23 | 2020-01-24 | 北京正安维视科技股份有限公司 | 一种基于动态变频的快速角点检测方法 |
CN112099439A (zh) * | 2020-09-17 | 2020-12-18 | 西安精雕软件科技有限公司 | 一种基于曲面特征分析技术的电极切角识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129770A (ja) * | 1993-10-28 | 1995-05-19 | Mitsubishi Electric Corp | 画像処理装置 |
JP2002319022A (ja) * | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | 画像処理装置 |
-
2012
- 2012-06-25 JP JP2012141641A patent/JP5957310B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129770A (ja) * | 1993-10-28 | 1995-05-19 | Mitsubishi Electric Corp | 画像処理装置 |
JP2002319022A (ja) * | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | 画像処理装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018185658A (ja) * | 2017-04-26 | 2018-11-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2019212835A (ja) * | 2018-06-07 | 2019-12-12 | キヤノンマシナリー株式会社 | 位置決め方法及び位置決め装置 |
JP7158901B2 (ja) | 2018-06-07 | 2022-10-24 | キヤノンマシナリー株式会社 | 位置決め方法及び位置決め装置 |
CN110728285A (zh) * | 2019-08-23 | 2020-01-24 | 北京正安维视科技股份有限公司 | 一种基于动态变频的快速角点检测方法 |
CN110728285B (zh) * | 2019-08-23 | 2022-06-24 | 北京正安维视科技股份有限公司 | 一种基于动态变频的快速角点检测方法 |
CN112099439A (zh) * | 2020-09-17 | 2020-12-18 | 西安精雕软件科技有限公司 | 一种基于曲面特征分析技术的电极切角识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5957310B2 (ja) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5957310B2 (ja) | 画像処理装置 | |
JP5874398B2 (ja) | 画像検査装置の検査領域設定方法 | |
JP6733267B2 (ja) | 情報処理プログラム、情報処理方法および情報処理装置 | |
JP6711591B2 (ja) | ロボット制御装置およびロボット制御方法 | |
CN112839764B (zh) | 用于焊接路径生成的系统和方法 | |
JP4868186B2 (ja) | マーカ生成及びマーカ検出のシステム、方法とプログラム | |
US7747080B2 (en) | System and method for scanning edges of a workpiece | |
JP2014028415A (ja) | バラ積みされた物品をロボットで取出す装置 | |
CN1293752A (zh) | 三维物体识别方法及使用该方法的零件抓取系统 | |
CN109052180B (zh) | 一种基于机器视觉的集装箱自动对位方法及系统 | |
JP5798318B2 (ja) | 距離データ生成装置、位置姿勢計測装置、距離データ生成装置の制御方法およびプログラム | |
CN110449783B (zh) | 一种机器人焊接装置及焊缝轨迹的获取方法 | |
JP5689629B2 (ja) | 画像処理装置 | |
JP2001126051A (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
CN110363769B (zh) | 一种高铁接触网支撑装置腕臂系统图像分割方法 | |
CN110673183A (zh) | 一种结合gps\ins的集装箱识别定位方法 | |
JP5759271B2 (ja) | 電子部品実装装置 | |
Hofmann et al. | Skyline matching based camera orientation from images and mobile mapping point clouds | |
JP6677113B2 (ja) | 電子機器の製造装置、及びケーブル形状推定プログラム | |
CN116160458B (zh) | 一种移动机器人多传感器融合快速定位方法、设备及系统 | |
JP2012203612A (ja) | 画像処理方法及び画像処理装置 | |
JP2005123352A (ja) | 部品データ生成装置及び電子部品実装装置 | |
JP5375488B2 (ja) | 外観検査装置,外観検査方法および外観検査プログラム | |
JP5438574B2 (ja) | 画像探索方法 | |
JP2012078105A (ja) | 姿勢制御装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5957310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |