JP2012122870A - 立体形状認識装置 - Google Patents
立体形状認識装置 Download PDFInfo
- Publication number
- JP2012122870A JP2012122870A JP2010274351A JP2010274351A JP2012122870A JP 2012122870 A JP2012122870 A JP 2012122870A JP 2010274351 A JP2010274351 A JP 2010274351A JP 2010274351 A JP2010274351 A JP 2010274351A JP 2012122870 A JP2012122870 A JP 2012122870A
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- pixel
- luminance values
- pixels
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数方向から照明光を照射する照明手段2と、対象物を撮像する撮像手段1と、これらの制御部120とを備え、照度差ステレオ法を用いて、複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとに法線ベクトルを算出する立体形状認識装置10において、撮像画像を構成するそれぞれの画素について、複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部21と、撮像画像を構成するそれぞれの画素について、選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて法線ベクトルを算出する算出部22とを備ている。
【選択図】図11
Description
また、複数枚の画像を扱った場合、影や鏡面反射などにより、明らかに演算に不適切なデータも存在し、実行する必要のない演算も行ってしまうという問題もあった。
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする。
素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
発明の実施形態について、図1乃至図12に基づいて説明する。図1は、本実施形態たる電子部品実装装置100の斜視図である。以下、図示のように、水平面において互いに直交する二方向をそれぞれX軸方向とY軸方向とし、これらに直交する鉛直方向をZ軸方向というものとする。
電子部品実装装置100は、基板Sに各種の電子部品Cの搭載を行うものであって、図1に示すように、搭載される電子部品Cを供給する複数の部品供給装置としての電子部品フィーダ108を複数(図1では一つのみ図示)並べて保持する設置部としてのフィーダバンク102からなる部品供給部と、X軸方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板Sに対する電子部品搭載作業を行うための基板保持部としての基板クランプ機構104と、部品配置部としての複数の吸着ノズル105を昇降可能に保持して電子部品Cの保持を行うヘッド106と、実装動作に要する各種の情報を得るために基板Sの半田パターンの撮像を行う撮像手段としてのカメラ1と、カメラ1による撮像持に照明光を照射する照明手段としての照明装置2と、ヘッド106を部品供給部と基板クランプ機構104とを含んだ作業エリア内の任意の位置に駆動搬送する移動機構としてのX−Yガントリ107と、上記各構成を搭載支持するベースフレーム114と、上記各構成の動作制御を行うホストコントローラ120と、撮像装置1の撮像により得られる撮像画像データを処理して形状認識を行う画像処理装置10を備えている。
を制御してヘッド106を電子部品Cの受け取り位置108aと実装位置とに移送し、各位置においてヘッド106を制御して吸着ノズル105の昇降動作及び吸着又は解放動作を行い、電子部品Cの実装の動作制御を実行する。
基板搬送手段103は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をX軸方向に沿って搬送する。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品Cを基板へ搭載する際の作業位置で基板Sを固定保持するための基板クランプ機構104が設けられている。かかる基板クランプ機構104が装備されており、基板搬送方向に直交する方向における両端部で基板Sをクランプするようになっている。また、基板クランプ機構104の下方には、クランプ時に基板Sの下面側に当接して電子部品搭載時に基板Sが下方に撓まぬように支承する複数の支持棒が設けられている。基板Sはこれらにより保持された状態で安定した電子部品Cの搭載作業が行われる。
X−Yガントリ107は、X軸方向にヘッド106の移動を案内するX軸ガイドレール107aと、このX軸ガイドレール107aと共にヘッド106をY軸方向に案内する二本のY軸ガイドレール107bと、X軸方向に沿ってヘッド106を移動させる駆動源であるX軸モータ109と、X軸ガイドレール107aを介してヘッド106をY軸方向に移動させる駆動源であるY軸モータ110とを備えている。そして、各モータ109、110の駆動により、ヘッド106を二本のY軸ガイドレール107bの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ109、110は、それぞれの回転量がホストコントローラ120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105の位置決めを行っている。
また、電子部品実装作業の必要上、前記した二つのフィーダバンク102,基板クランプ機構104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
ヘッド106は、その先端部で空気吸引により電子部品Cを保持する吸着ノズル105(図1参照)と、吸着ノズル105をZ軸方向に沿って昇降させる昇降機構としてのZ軸モータ111と、吸着ノズル105を回転させて保持された電子部品CをZ軸方向回りに角度調節するためのθ軸モータ112とが設けられている。
また、上記吸着ノズル105は、Z軸方向に沿った状態で昇降可能且つ回転可能にヘッド106に支持されており、昇降による電子部品Cの受け取り又は実装及び回転による電子部品Cの角度調節が可能となっている。
フィーダバンク102は、ベースフレーム114のY軸方向一端部(図1手前側)にX軸方向に沿った状態で設けられている。フィーダバンク102は、X−Y平面に沿った長尺の平坦部を備え、当該平坦部の上面に複数の電子部品フィーダ108等がX軸方向に沿って羅列して載置装備される(図1では電子部品フィーダ108を一つのみ図示しているが実際には複数の電子部品フィーダ108等が並んで装備される)。
また、フィーダバンク102は、各電子部品フィーダ108等を保持するための図示しないラッチ機構を備えており、必要に応じて、各電子部品フィーダ108等をフィーダバンク102に対して装着又は分離することを可能としている。
れたテープを巻回したテープリールを保持し、先端上部にはヘッド106に対する電子部品Cの供給位置である受け渡し部を有している。そして、電子部品フィーダ108がフィーダバンク102に取り付けられた状態における電子部品Cの受け渡し部の位置を示すX、Y座標値は前述した実装データに記録されている。
図2はカメラ1の周辺の構成を示す斜視図である。カメラ1及び照明装置2を下方の基板に向けてヘッド106に装備し、基板Sの例えば半田パターンなどを撮像対象とする。
上記カメラ1は、例えば、CCD撮像素子やCMOS撮像素子を備えたデジタル撮像画像データを取得可能なカメラであり、当該撮像素子の眼前に設けられた光学系が配設されている。なお、このカメラ1の撮像時に得られる画像信号は、画像処理装置10に出力される。
図3は照明装置2の平面図である。図2及び図3に示すように、撮像手段1のすぐ下側には、照明装置2が設けられている。この照明装置2は、Z軸方向に沿ったカメラ1の視線(光軸)を中心とする円周上に均一の角度間隔で複数の光源が設けられており、それぞれの光源は下方であってカメラ1の光軸上の一点に向けて照明光を照射するように配置されている。なお、ここでは、光軸の周囲で20°の角度間隔で18個の光源が設けられている照明装置2を例示するが光源の数は少なくと4以上であれば増減させても良い。
そして、この照明装置2の各光源は、ホストコントローラ120により個々に点灯を行うよう制御される。これにより、カメラ1の光軸上であって照明装置2の下方に配置された撮像対象に対して、20°の角度間隔で全方位から照明光の照射を行うことを可能としている。
図3は電子部品実装装置100の制御系を示すブロック図である。図示のように、X−Yガントリ107のX軸モータ109、Y軸モータ110、ヘッド106において吸着ノズル105の昇降を行うZ軸モータ111、吸着ノズル105の回転を行うθ軸モータ112は、それぞれ図示しない駆動回路を介してホストコントローラ120に接続されている。
また、撮像装置1の撮像の実行と照明装置2の光照射の実行とは、ホストコントローラ120により制御される。そして、撮像装置1の撮像による画像信号は、前述したように、画像処理装置10に入力されるようになっている。
そして、電子部品の実装時には、実装スケジュールデータを読み込んで、X軸及びY軸モータ109,110を制御して所定の電子部品フィーダ108の受け取り位置にヘッド106を搬送し、Z軸モータ111を制御して吸着ノズル105にて電子部品Cを吸着し、実装スケジュールデータに定められた基板実装位置に電子部品Cを搬送して実装を行う。
そして、実装スケジュールデータに定められた全ての電子部品Cについて実装を行い、動作制御を終了するようになっている。
力装置13から設定入力された撮像枚数を読み出すと共に、撮像対象物(例えば、半田パターン)の中心をカメラ1の光軸上となるようにした状態で、撮像対象物の上方から、設定された撮像枚数分の撮像を行う。そして、このとき、毎回の撮像持における照明光の照射方向が全て異なるように照明装置2を制御する。例えば、設定された撮像枚数が9枚の場合には、照明装置2の0°,40°,80°,120°,…に位置する光源を順番に発光させつつ(図3の白色部)、カメラ1による撮像を実行する。即ち、照明光の照射方向を40°間隔(一つ飛び)で切り換えながら順番に撮影を行う。このように、点灯を行う光源は、撮像枚数に応じてなるべく均一角度間隔となるように照射方向を切り替える制御が行われる。
そして、毎回の撮像によりカメラ1が出力する画像信号は、画像処理装置10に送信され、そのA/D変換部11によりデジタル化され、撮像画像データに変換されて画像記憶部12に記憶される。
このように、ホストコントローラ120は、カメラ1及び照明装置2を制御して、照明光の照射方向が異なる複数の撮像画像データを取得する制御部として機能する。
画像処理装置10は、照明光の照射方向が異なる複数の撮像画像データをカメラ1により取得し、それら複数の撮像画像データに基づいて、画像を構成する全ての画素について、撮像対象である電子部品Cの表面における法線ベクトルを算出する処理を行うものである。
また、画像処理装置10には、撮像画像等の表示を行う表示装置15と各種の設定や指令の入力を行うための操作入力装置13とが併設されており、画像処理装置10には、これらを接続するためのインターフェイス15a,13aが設けられている。
照度差ステレオ法では、照明光の照射方向が異なる三つの撮像画像データの同一の位置の画素における三つの輝度値から、当該画素における撮像対象物表面の法線ベクトルを算
出することが可能である。
即ち、照度差ステレオ法では、物体表面における拡散反射光の光強度が、物体表面に対する光源からの照明光の照射方向と当該光源の光強度との間で一定の関係にあることを利用して、異なる三方向からの各光源からの照射時におけるそれぞれの物体表面の輝度値から法線を逆算して求めるものである。
I=ρ・I0・L・n …(1)
で求められる。
この時、ベクトルNを次式(2)に示すように法線ベクトルnの定数倍と定義すると、
N=ρ・I0・n …(2)
式(1)、(2)により
I=L・N …(3)
さらに、式(3)により次式(4)が導き出される。
N=L−1・I …(4)
なお、各光線ベクトルL1,L2,L3のx,y,z成分の値は、撮像対象物である電子部品Cをカメラ1に対して規定の高さで撮像することを前提とした場合に、照明装置2の18個の光源のいずれから照射したかによって確定する値であり、これらは初期設定データとしてデータメモリ16内に登録されている。
従って、算出部22は、撮像画像の画素ごとに選択された三つの撮像画像データから、同一画素での輝度値I1,I2,I3を取得し、当該三つの撮像画像データの撮像時の光源から各光線ベクトルL1,L2,L3をデータメモリから読み出して、上記手法により法線ベクトルnの算出を行う。
むための処理及び制御を行うものである。なお、選出される三つの撮像画像データの組み合わせは各画素ごとに個別に選出される。
上述した照度差ステレオ法では、撮像対象物である電子部品Cの表面に生じる反射は拡散反射光のみとは限らない。撮像画像中には、鏡面反射光や陰影、外乱などにより照度差ステレオ法を適用できない部分が存在することがある。そこで、4枚以上の複数の撮像画像データから、注目座標(同じ位置の画素)ごとに適した三つの輝度値に絞り込みを行ってから照度差ステレオ法による法線ベクトルの算出を行う。
選出部21における絞り込みは、同じ位置の画素の九つの輝度値に対して、(i)輝度値について定められた上限閾値から下限閾値までの範囲外となるものを除外する、(ii)(i)による除外を行った上で残った輝度値を小さい順にソートして輝度値が最下位のもの(暗いもの)から順番に三つ選出する、という二段階で行う。
図5は閾値設定部23よる下限閾値を設定する処理を示すフローチャートである。かかる閾値設定処理は、電子部品実装装置100による電子部品の実装作業の中で行っても良いし、実装作業を行う前に実装作業と切り離して実行しても良い。
この閾値設定処理は、撮像対象物の撮像画像データを用いて作業者が所定の領域を特定し、当該領域に含まれる画素の輝度値に基づいて閾値が設定されるものである。その際、使用される撮像画像データは、前述した九つの撮像画像データを利用しても良いし、別に撮像を行って得られた撮像画像データを使用しても良いが、照明装置2によりいずれかの光源からの照明光の照射が行われており、法線ベクトルを算出する場合と同じ条件で同じ対象物を撮像した撮像画像データであることを必須とする。
操作入力装置13は、例えばマウスのような入力インターフェイスを備えており、その操作により図6に示すような、四角いフレーム状のウィンドウ領域W1の位置及び大きさを指定する。このとき、作業者は、図示のように、陰影部Dが指定領域内により多く含まれるように指定しつつ、陰影部D以外の周辺領域も含まれるように領域指定を行うことが望ましい。なお、このステップS13では、下限閾値設定のためのウィンドウ領域W1の指定を促すようなナビゲーション表示を行っても良い。
図7は、閾値設定部23により作成されたウィンドウ領域W1の輝度値のヒストグラムを示す線図である。かかるヒストグラムでは、画素の分布の集中するピークが複数現れることとなるが、陰影部Dを含むようにウィンドウ領域W1が指定されているため、複数あ
るピークの内で最も輝度値が低いピークが陰影部Dの輝度値と推定される。そこで、閾値設定部23では、最も輝度値が低いピークP1と二番目に輝度値が低いピークP2とを求め、その間に存在する谷の部分V1の輝度値を下限閾値Iminに設定する(ステップS17)。
そして、閾値設定部23では、指定された小ウィンドウ領域W11内の画素の輝度値がステップS17で求めた下限閾値Iminより小さい値となるか判定を行う(ステップS21)。なお、この判定において、小ウィンドウ領域W11内の画素の輝度値が下限閾値Imin以上となった場合には、ステップS13に処理を戻し、下限閾値設定のやり直しとなる。
そして、閾値設定部23では、指定された小ウィンドウ領域内の画素の輝度値がステップS17で求めた下限閾値Imin以上の値となるか判定を行う(ステップS25)。なお、この判定において、小ウィンドウ領域W12内の画素の輝度値が下限閾値Iminより小さくなった場合には、ステップS13に処理を戻し、下限閾値設定のやり直しとなる。
また、上記判定にて、小ウィンドウ領域W12内の画素の輝度値が下限閾値Imin以上となることが確認された場合には、下限閾値Iminが確定され、データメモリ16内に登録される。
そして、ウィンドウ領域W2に含まれる各画素の輝度値によるヒストグラムが作成され(図8参照)、ウィンドウ領域W1の場合と同様にピークが複数現れることとなるが、上限閾地の設定の場合には、閾値設定部23は、最も輝度値が高いピークP3と二番目に輝度値が高いピークP4とを求め、その間に存在する谷の部分V2の輝度値を上限閾値Imaxに設定する。
また、確認処理も下限閾値の場合と同様に、鏡面反射部Rのみからなる小ウィンドウ領域W21の指定入力を受け付けて、その輝度値が上限閾値Imaxより大きい値となるか判定し、さらに、鏡面反射部Rを含まない範囲の小ウィンドウ領域W22の指定入力を受け付けて、その輝度値が上限閾値Imax以下の値となるか判定を行う。そして、上限閾値Imaxが確認処理で不適切な場合にはウィンドウ領域W2の入力からやり直しとなり、適切な場合には上限閾値Imaxが確定され、データメモリ16内に登録される。
なお、上限閾値と下限閾値とはいずれを先に設定しても良い。
図9は画像処理装置10による撮像画像の各画素における法線ベクトルの取得するための処理を示すフローチャートである。
図9に示すように、まず、ホストコントローラ120により照明装置2とカメラ1とが制御され、基板Sの半田パターンを4以上の複数方向から照明光を照射しつつ撮像が行わ
れる(ステップS51)。
そして、各照射方向の撮像により得られた撮像画像データはそれぞれ照明装置2のいずれの光源による照明光が照射されたかを示す情報と共に画像記憶部12に記憶される。
ステップS55〜S61の法線ベクトルnの算出処理は、図10に示すように、撮像画像における全画素について画面の端に位置する画素から一つずつ順番に繰り返し実行される。なお、以下の説明では、法線ベクトルを算出する対象となっている画素を注目画素というものとする。
そして、選出部21により、五つの撮像画像データの注目画素の輝度値から三つに絞り込みが行われる(ステップS55)。
そして、上記閾値の範囲外となる場合には、当該輝度値の撮像画像データを計算不可能画像と判定し記録する(ステップS553)。
一方、上記閾値の範囲内となる場合には、当該輝度値の撮像画像データを使用画像と判定し記録する(ステップS555)
そして、上記ステップS551〜S555の処理を5つの撮像画像データの全てについて繰り返し実行する。
例えば、図12では二番目の撮像画像データ(×印)が計算不可能画素と判定された場合を示している。
そして、各注目画素の輝度値について、値が低いものから順番に三つまでを選出し(図12○印)、それらの輝度値となった三つの撮像画像データを最終的な使用画像に決定する(ステップS559)。
そして、例えば、5つの撮像画像データについて前述した絞り込みの処理のステップS551の判定が行われた結果、使用画像が三つに満たなくなった場合には、現在の注目画素は法線ベクトルnを求めることができない無効画素として処理結果記憶部30に記憶する(ステップS59)。
された場合には、それぞれの撮像画像データの注目画素における三つの輝度値I1,I2,I3と、三つの撮像画像データの撮像持の光源に応じた光源ベクトルL1,L2,L3とに基づいて算出部22が前述した式(6)を解いてベクトルNのxN,yN,zNを算出する。さらに、ベクトルNのxN,yN,zNをそのベクトル長さで除算して法線ベクトルnを算出する(ステップS61)。このとき、算出された法線ベクトルnは、その注目画素における法線ベクトルnとして処理結果記憶部30に記憶される。
そして、上記ステップS55〜S61までの処理が撮像画像の全ての画素について完了すると、当該撮像画像の全ての画素の法線ベクトルnが取得され、例えば、これらが撮像対象物である半田パターンの形状データとしてホストコントローラ120に送信される。
以上のように、電子部品実装装置100の画像処理装置10では、照明光の照射方向が異なるより多くの撮像画像データを使用する場合でも、選出部21により、各画素における法線ベクトルの算出よりも先に三つの撮像画像データへの輝度値の絞り込みを行うので、多大な数になる三つの撮像画像データの組み合わせの全てについて法線ベクトルを求める必要がなく、各画素について高速で法線ベクトルを求めることができると共にその算出処理負担を軽減することが可能である。
さらに、閾値設定部23では、実際の撮像画像内での陰影領域や鏡面反射領域を選択し、実際の陰影や鏡面反射の輝度値に基づいて閾値設定を行うので、照度差ステレオ法による法線ベクトルの算出において、不適切な輝度値を示す画素を処理からより効果的に除去することができ、精度の高い法線ベクトルの算出が可能となる。
上記選出部21では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、ソートして値の低いものから順番に輝度値の選出を行っているが、これに限られるものではない。例えば、図13(A)の○印に示すように、閾値により絞り込みを行った後に、ソートを行い、輝度値の高いものから順番に選出しても良い。
また、或いは、図13(B)の○印に示すように、輝度値の順番が丁度中間順位となるもの及び中間順位に近いものから順番に選出しても良い。
或いは、輝度値の高低がなるべくバラつくように選出しても良い。例えば、図13(C)の○印に示すように、輝度値が最も高いものと最も低いものと丁度中間のものとなるように選出しても良い。
輝度値の選出においてその順位の分布をいかなるものにすると、精度良く法線ベクトルが求まるかは、撮像対象物の表面状態や照明光の照射条件によっても変動する場合もあるので、これらに応じて適切な選出条件を選択することが望ましい。
上記選出部21では、上下の閾値により同じ位置の画素における複数の輝度値に対して絞り込みを行った後に、輝度値の順番に従って輝度値の選出を行っているが、これに限らず、例えば、それぞれの撮像画像データの撮像持の照明光の照射方向に着目しても良い。
例えば、図14(A)の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が最もバラつく組み合わせとなる撮像画像データの輝度値を選出しても良い。
或いは、図14(B)の○印に示すように、それぞれの撮像画像データの撮像持の照明光の照射方向が互いに最も近づく組み合わせとなる撮像画像データの輝度値を選出しても良い。
上記選出部21では、通常の絞り込み方法の他に、上述した絞り込みの他の例[1]や絞り込みの他の例[2]で示した他の絞り込み方向のいずれかを用いて、これら二つの方法で輝度値を選出し、算出部22が注目画素について二つの方法で選出された輝度値に基づいてそれぞれ法線ベクトルを算出しても良い。
そして、処理部20には、二つの方法で算出した同じ注目画素の法線ベクトルについて比較を行い、その方向の差が予め定めた許容値の範囲内か否かを判定する比較処理部を設けても良い。また、比較処理部は、比較の結果、許容値に範囲内であればどちらかの法線ベクトルを採用して処理結果記憶部30に記録し、許容値の範囲外であれば、組み合わせが異なる二つの絞り込みの方法で輝度値の選出及び法線ベクトルの算出を行うか、或いはその注目画素については法線ベクトルの算出不可能であることを処理結果記憶部30に記録する処理を行うことが望ましい。
上記電子部品実装装置100に、撮像対象物の撮像時における撮像枚数等の撮像条件や撮像時の照明光の照射方向や明るさ等の照明条件をパラメータとして設定する条件設定手段を付加しても良い。
例えば、撮像枚数を任意に設定可能とした場合、撮像枚数を多く設定する程、法線ベクトルの計算結果の精度は向上するが、複数の撮像対象について形状認識を行う場合には、全ての撮像対象物に対して最大の撮像枚数を設定しなくとも、撮像対象の材質の認識しやすさや、必要とされている精度によって枚数を調節することで、無駄な撮像や計算を省くことができる。
また、照明条件を任意に設定可能とした場合、撮像対象に合わせて最適な照明設定を切り替えることでより精度の高い計算が可能となる。
上記画像処理装置10には、算出された各画素における法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、各法線ベクトルが範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを付加しても良い。
さらに抽出された画素については、処理結果記憶部30に記憶しても良いし、表示装置15のモニタに表示する表示制御を行っても良い。これにより、撮像対象物の表面において、一定の方向となる部分を抽出し、所定の形状条件を満たす部位を抽出したり、当該部位に囲まれる領域を特定したりすることができ、特定形状に対する新たな制御、検査、画像処理などに応用することが可能である。
上記実施形態では、選出部21において輝度値を三つに絞り込んでいるが、これに限定されるものではなく、四以上に絞り込んでも良い。だたし、その場合には、絞り込まれた四以上の輝度値の中から三つの輝度値の組み合わせを複数作ることができるので、各組み
合わせから求まる複数の法線ベクトルについて平均化等により最終的に一つの法線ベクトルに確定する必要がある。
また、カメラ1及び照明装置2を上方に向けてベースフレーム114に装備し、ヘッド105を位置決めして吸着ノズル105の吸着された電子部品Cやそのバンプなどを撮像対象としても良い。
2 照明装置(照明手段)
10 画像処理装置(立体形状認識装置)
13 操作入力装置
15 表示装置
20 処理部
21 選出部
22 算出部
23 閾値設定部
100 電子部品実装装置
120 ホストコントローラ(制御部)
C 電子部品
S 基板(撮像対象物)
Claims (10)
- 対象物に対して異なる少なくとも四以上の方向から個別に照明光を照射する照明手段と、前記対象物を撮像する撮像手段と、前記照明手段及び前記撮像手段を制御して、前記照明光の照射方向が異なる複数の撮像画像データを取得する制御部とを備え、
照度差ステレオ法を用いて、前記照明光の照射方向が異なる複数の撮像画像データとそれぞれの照射方向とから撮像画像を構成する画素ごとにその位置の法線ベクトルを算出する立体形状認識装置において、
撮像画像を構成するそれぞれの画素について、前記複数の撮像画像データの同じ位置の画素における複数の輝度値を、予め定めた絞り込み条件に従って絞り込む選出部と、
撮像画像を構成するそれぞれの画素について、前記選出部により絞り込まれた同じ位置の画素における複数の輝度値に基づいて前記法線ベクトルを算出する算出部とを備えることを特徴とする立体形状認識装置。 - 前記選出部は、予め定められた前記輝度値に対する閾値との比較により前記同じ位置の画素における複数の輝度値の絞り込みを行うことを特徴とする請求項1記載の立体形状認識装置。
- ティーチング操作により選択された対象物の撮像画像の一部の領域に含まれる画素の輝度値に基づいて前記閾値に設定する閾値設定部を備えることを特徴とする請求項2記載の立体形状認識装置。
- 前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値について値が上位の所定数のもの、下位の所定数のもの又は中間順位の所定数のものに絞り込みを行うことを特徴とする請求項2又は3記載の立体形状認識装置。
- 前記選出部は、前記閾値により前記同じ画素における複数の輝度値の絞り込みを行った後に、前記同じ画素における複数の輝度値についてその値の大きさがよりバラつくように絞り込みを行うことを特徴とする請求項2又は3記載の立体形状認識装置。
- 前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより大きくなるように絞り込みを行うことを特徴とする請求項2又は3記載の立体形状認識装置。
- 前記選出部は、前記閾値により前記同じ位置の画素における複数の輝度値の絞り込みを行った後に、前記同じ位置の画素における複数の輝度値についてその撮像画像の照射光の照射方向のバラツキがより小さくなるように絞り込みを行うことを特徴とする請求項2又は3記載の立体形状認識装置。
- 撮像画像を構成するそれぞれの画素について、
前記選出部は複数の異なる絞り込み条件の内の二つの絞り込み条件により同じ位置の画素における複数の輝度値の絞り込みを行い、
前記算出部が、前記異なる二つの絞り込み条件で絞り込まれたそれぞれの輝度値について法線ベクトルを算出し、
前記異なる二つの絞り込み条件で絞り込まれた複数の輝度値により算出されたそれぞれの法線ベクトルを比較して許容値以上の差が生じた場合には、前記絞り込み条件を替えて再度算出又はその画素については法線ベクトル算出不能とする比較処理部を備えることを特徴とする請求項1から7のいずれか一項に記載の立体形状認識装置。 - 前記照明手段による照射条件を設定する照射条件入力部を備え、
前記制御部は、前記照射条件に従って各々の撮像画像データを取得することを特徴とする請求項1から8のいずれか一項に記載の立体形状認識装置。 - 前記法線ベクトルの方向について特定の範囲を設定入力する範囲設定部と、
前記算出部により算出された法線ベクトルが前記範囲設定部により設定された範囲内の方向に属する画素を特定し抽出する抽出部とを備えることを特徴とする請求項1から9のいずれか一項に記載の立体形状認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274351A JP5588331B2 (ja) | 2010-12-09 | 2010-12-09 | 立体形状認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274351A JP5588331B2 (ja) | 2010-12-09 | 2010-12-09 | 立体形状認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012122870A true JP2012122870A (ja) | 2012-06-28 |
JP5588331B2 JP5588331B2 (ja) | 2014-09-10 |
Family
ID=46504450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010274351A Active JP5588331B2 (ja) | 2010-12-09 | 2010-12-09 | 立体形状認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5588331B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103592307A (zh) * | 2012-08-17 | 2014-02-19 | 索尼公司 | 三维测定装置、三维测定方法、程序及基板的制造方法 |
JP2015118023A (ja) * | 2013-12-19 | 2015-06-25 | 富士通株式会社 | 法線ベクトル抽出装置、法線ベクトル抽出方法及び法線ベクトル抽出プログラム |
JP2015232484A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232485A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232477A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP2017076033A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
US9833218B2 (en) | 2013-05-21 | 2017-12-05 | Samsung Electronics Co., Ltd. | Apparatus for processing ultrasonic image and method thereof |
JP2018105870A (ja) * | 2018-01-17 | 2018-07-05 | 株式会社キーエンス | 検査装置 |
JP2019002940A (ja) * | 2018-09-19 | 2019-01-10 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2019015741A (ja) * | 2018-10-23 | 2019-01-31 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2019060903A (ja) * | 2019-01-29 | 2019-04-18 | 株式会社キーエンス | 検査装置 |
US10362235B2 (en) | 2016-09-28 | 2019-07-23 | Canon Kabushiki Kaisha | Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium |
JP2020042053A (ja) * | 2019-12-23 | 2020-03-19 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
EP4307228A1 (en) | 2022-07-12 | 2024-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP2010060407A (ja) * | 2008-09-03 | 2010-03-18 | Juki Corp | ボタン認識装置およびボタン認識方法 |
-
2010
- 2010-12-09 JP JP2010274351A patent/JP5588331B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP2010060407A (ja) * | 2008-09-03 | 2010-03-18 | Juki Corp | ボタン認識装置およびボタン認識方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014038049A (ja) * | 2012-08-17 | 2014-02-27 | Sony Corp | 3次元測定装置、3次元測定方法、プログラム及び基板の製造方法 |
CN103592307A (zh) * | 2012-08-17 | 2014-02-19 | 索尼公司 | 三维测定装置、三维测定方法、程序及基板的制造方法 |
US9833218B2 (en) | 2013-05-21 | 2017-12-05 | Samsung Electronics Co., Ltd. | Apparatus for processing ultrasonic image and method thereof |
US10080548B2 (en) | 2013-05-21 | 2018-09-25 | Samsung Electronics Co., Ltd. | Apparatus for processing ultrasonic image and method thereof |
JP2015118023A (ja) * | 2013-12-19 | 2015-06-25 | 富士通株式会社 | 法線ベクトル抽出装置、法線ベクトル抽出方法及び法線ベクトル抽出プログラム |
JP2015232484A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232485A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232477A (ja) * | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
US10489900B2 (en) | 2014-06-09 | 2019-11-26 | Keyence Corporation | Inspection apparatus, inspection method, and program |
JP2017076033A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
US10362235B2 (en) | 2016-09-28 | 2019-07-23 | Canon Kabushiki Kaisha | Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium |
JP2018105870A (ja) * | 2018-01-17 | 2018-07-05 | 株式会社キーエンス | 検査装置 |
JP2019002940A (ja) * | 2018-09-19 | 2019-01-10 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2019015741A (ja) * | 2018-10-23 | 2019-01-31 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2019060903A (ja) * | 2019-01-29 | 2019-04-18 | 株式会社キーエンス | 検査装置 |
JP2020042053A (ja) * | 2019-12-23 | 2020-03-19 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
EP4307228A1 (en) | 2022-07-12 | 2024-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5588331B2 (ja) | 2014-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5588331B2 (ja) | 立体形状認識装置 | |
JP3877501B2 (ja) | 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体 | |
EP2134149B1 (en) | Mounting apparatus and mounting method and board imaging device transfer method employed in the mounting apparatus | |
CN1727983A (zh) | 选通脉冲照明 | |
JP2011009705A (ja) | 撮像システムおよび電子回路部品装着機 | |
US20080156207A1 (en) | Stencil printers and the like, optical systems therefor, and methods of printing and inspection | |
US10205859B2 (en) | Mounting device, image processing method, and imaging unit | |
JP2013206912A (ja) | 部品実装装置、基板検出方法及び基板製造方法 | |
JP5759271B2 (ja) | 電子部品実装装置 | |
TW201918439A (zh) | 電子零件搬送裝置及電子零件檢查裝置 | |
JP6785407B2 (ja) | バンプ付電子部品搭載装置およびバンプ付電子部品搭載方法 | |
JP6472873B2 (ja) | 部品検査機及び部品装着機 | |
CN108702867B (zh) | 安装装置及拍摄处理方法 | |
WO2018047252A1 (ja) | 認識装置 | |
JP2011155050A (ja) | 電子部品装着装置 | |
JP3993107B2 (ja) | 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム | |
CN112986282A (zh) | 检查装置及检查方法 | |
JPWO2017081773A1 (ja) | 基板用の画像処理装置および画像処理方法 | |
JP2012132836A (ja) | 三次元形状計測装置、部品移載装置および三次元形状計測方法 | |
JP6836938B2 (ja) | ダイボンディング装置および半導体装置の製造方法 | |
JP2021141270A (ja) | ダイボンディング装置および半導体装置の製造方法 | |
JPWO2018055757A1 (ja) | 照明条件特定装置及び照明条件特定方法 | |
JP2000277999A (ja) | 電子部品装着方法 | |
EP3267146B1 (en) | Recognition device and recognition method | |
CN109238164A (zh) | 图像拾取装置、光学测量装置及测量系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5588331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |