JP2005078441A - 比較検定装置 - Google Patents

比較検定装置 Download PDF

Info

Publication number
JP2005078441A
JP2005078441A JP2003309079A JP2003309079A JP2005078441A JP 2005078441 A JP2005078441 A JP 2005078441A JP 2003309079 A JP2003309079 A JP 2003309079A JP 2003309079 A JP2003309079 A JP 2003309079A JP 2005078441 A JP2005078441 A JP 2005078441A
Authority
JP
Japan
Prior art keywords
verification
electronic camera
unit
initial position
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003309079A
Other languages
English (en)
Inventor
Shoji Yagi
章志 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2003309079A priority Critical patent/JP2005078441A/ja
Publication of JP2005078441A publication Critical patent/JP2005078441A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 1平面では全体の観察が行えない対象物品について、高精度で高能率な比較検定を行う。
【解決手段】 対象物品110の基準部位について、電子カメラ109による撮像画像と、三次元CADデータから生成される平面図形を取得する初期位置設定部111と、撮像画像と平面図形がある適合率以上で一致するように両図形の位置を初期設定する初期位置検定部112と、対象物品110の複数の検定部位について、撮像画像と平面図形を取得する検定位置設定部116と、各検定部位の撮像画像と平面図形がある適合率以上で一致しているかどうかを判定し、一致していなければ、取得する平面図形の位置をある範囲内で微調整し、微調整により両図形が適合率以上で一致するようになった場合には該当検定部位における検定の結果を適合とし、適合率以上で一致しない場合には該当検定部位における検定の結果を不適合とする各部比較検定部117を備える。
【選択図】 図1

Description

この発明は、物品を構成する各部品の欠品や位置不良等の検出、汚損等の有無の外観検査、或いは、加工位置の特定等を行うための比較検定装置に関するものである。
多軸駆動制御機構と連動し、可変位置から対象物品を撮像することができる電子カメラと、対象物品を任意の方向から観察した可変倍率の平面図形を生成することができる三次元CADデータ等が格納されたメモリ媒体と、CADデータ等に基づく平面図形が対象物品に対する撮像画像の外観と一致するように合同図形の検索・同定を行うことができる演算装置とを備えた撮像物品の比較検定方法として様々な技術が公開されている。
例えば、特許文献1に開示された従来の三次元物体の自動検査装置は、検査対象物に関するCAD(Computer Aided Design)/CAM(Computer Aided Manufacturing)等の設計データを入手し、またセンサ、照明系、画像処理系を用いて検査対象物の特徴を抽出し、こうして検査対象物の同定、認識を行い、同定した検査対象物に対して行うべき計測法及び検査法を決定し、センサ及び照明系の位置、姿勢を制御して検査を自動的に行うものである。
また、特許文献2に開示された従来の三次元認識装置は、複数の対象物の各CAD情報からこの対象物それぞれを所定方向の直交面に投影して導いたCAD図形の特徴量を算出すると共に、カメラが所定方向から捉えた特定の対象物から得られる2次元画像におけるカメラ図形の特徴量を算出し、CAD図形特徴量とカメラ図形特徴量とを比較することによりカメラが捉えた特定の対象物の種類・姿勢等を判別し、ロボットハンドによる対象物の把持方向を判別するものである。
また、特許文献3に開示された従来の遠隔監視装置は、コンピュータグラフィックスによって描かれた被監視環境を表示する仮想環境表示部と、該仮想環境におけるカメラ視点の位置及び方向を操作する仮想環境操作部と、電子カメラを三次元的に移動させるカメラ駆動部と、該カメラ駆動部を制御するカメラ駆動制御部と、仮想環境操作部によって仮想カメラ視点の位置と方向が実際のカメラの可動範囲内で変更されると、変更された視点での映像を仮想環境表示部に表示させる手段と、仮想環境でのカメラ視点と同じ視点に自動的に実際のカメラを移動させ、実際のカメラ映像をモニタ表示させる表示手段を備え、実際のカメラの位置と方向を迅速に設定するものである。
さらに、特許文献4に開示された従来の遠隔監視システムは、少なくとも1つ以上の可動部を有する位置決め機構と、位置決め機構の制御装置と、位置決め機構の先端に支持されたカメラと、カメラを制御する制御装置と、カメラの画像を表示する表示モニタとを備えた遠隔監視システムにおいて、少なくとも監視する作業環境、作業装置及び作業対象物の各々を三次元CADにモデル化した環境モデル、作業装置モデル及び作業対象物モデルと、この作業環境モデルを表示するグラフィック表示手段と、この表示手段に表示された作業環境上で監視対象物表面上の監視点を指定する監視点指定手段と、監視に用いるカメラを指定するカメラ指定手段と、指定された監視点の位置情報と作業環境モデルを構成するモデル情報から位置決め機構及びカメラを制御するデータを作成し位置決め機構の制御装置及びカメラの制御装置へ出力する演算手段とを備えた遠隔監視システムが提示され、遠隔監視カメラの駆動制御において三次元CADデータを用いる技術が提示されている。
特開平7−98217号公報 特開平9−167234号公報 特開平6−245124号公報 特開2001−100806号公報
特許文献1及び特許文献2に開示された技術は、三次元CADデータを有効活用しながら電子カメラを備えた多軸ロボットを制御して、撮像物品の認識把持や、外観検査・異品検定等を行う撮像物品の認識検定方法に関する概念を示したものであるが、高精度で高能率な比較検定方法について論及したものではない。
また、特許文献3及び特許文献4に開示された技術は、三次元CADデータ等による仮想環境上の仮想カメラと実際の監視カメラを連動させる概念を提示したものであって、両カメラによる画像の比較判定についての技術は開示されていない。
この発明は上記のような課題を解決するためになされたもので、電子カメラの1回の撮影では各部位の観察が十分に行えない立体的な対象物品や、広い平面体である対象物品について、高精度で高能率な比較検定を行うことができる比較検定装置を得ることを目的とする。
この発明に係る比較検定装置は、駆動機構によって電子カメラ又は検定対象物品の少なくとも一方の位置を制御する駆動制御装置と、駆動制御装置の制御によって可変位置から検定対象物品を撮像する電子カメラと、電子カメラによる検定対象物品の撮像図形と、検定対象物品の三次元CADデータに基づいて生成される平面図形との比較検定を行う演算装置とを備え、演算装置は、初期位置設定部と、初期位置検定部と、検定位置設定部と、比較検定部を有し、初期位置設定部は、検定対象物品の基準部位を観測する視点位置と方向を設定し、駆動制御装置に対して電子カメラの位置を制御する命令を供給すると共に、その視点位置と方向から検定対象物品を観測する仮想カメラによって得られる撮像画像に相当する平面図形を検定対象物品の三次元CADデータに基づいて生成し、初期位置検定部は、平面図形と電子カメラによる撮像図形とがある適合率以上で一致しているかどうかを判定し、一致していなければ、異常報知して動作を停止するか、仮想カメラの視点位置および方向を調整することにより仮想カメラによる平面図形と撮像図形が略一致するように初期設定し、検定位置設定部は、初期位置検定部による初期設定の後、検定対象物品についての比較検定結果を総合的に判定するための複数の検定部位を観測する視点位置と方向を設定し、駆動制御装置に対して電子カメラの位置を制御する命令を供給すると共に、その視点位置と方向から仮想カメラによって観測される平面図形を生成し、比較検定部は、平面図形と電子カメラの撮像図形とがある適合率以上で一致しているかどうかを判定し、一致していなければ、仮想カメラの視点位置または方向の少なくとも一方をある範囲内で微調整して再度一致判定を行い、微調整により仮想カメラによる平面図形と電子カメラの撮像図形が適合率以上で一致するようになった場合には該当検定部位における検定の結果を適合とし、適合率以上で一致しない場合には該当検定部位における検定の結果を不適合とするものである。
この発明によれば、初期位置設定部および初期位置検定部によって、検定対象物品の基準部位についての電子カメラによる撮像図形と、仮想カメラによる撮像図形に相当する三次元CADデータに基づいて生成した平面図形が略一致するように電子カメラおよび仮想カメラを初期設定し、検定位置設定部および比較検定部によって、検定対象物品の比較検定結果を総合的に判定するための複数の検定部位についての電子カメラによる撮像図形と仮想カメラによる平面図形が所定の適合率で一致した場合には該検定部位の検定結果を適合とし、一致しなければ仮想カメラの視点位置を調整して一致判定を行い、調整により仮想カメラによる平面図形と電子カメラの撮像図形が所定の適合率以上で一致するようになった場合には、該検定部位における検定の結果を適合とするようにした。これにより、電子カメラの1回の撮影では各部位の観察が十分に行えない立体的な対象物品や、広い平面体である対象物品について、対象物品を巨視観察するのではなく、複数の検定部位における比較検定結果を総合して高精度な比較検定を行うことができるという効果がある。また、仮想カメラの視点位置を調整することで電子カメラを移動する機械的動作を極力制限し、比較検定処理の能率を向上させる比較検定装置を得られるという効果がある。
以下、この発明の実施の様々な形態を説明する。
実施の形態1.
図1は、この発明の実施の形態1による検定装置100の構成を示すブロック図である。図に示すように、検定装置100は、演算装置101、メモリ媒体102、入力装置103、出力装置104、駆動制御装置105、CADデータ格納媒体108、電子カメラ109を備えている。
検定装置100は、対象物品110についての電子カメラ109を利用した撮像画像と、CADデータ格納媒体108に格納されたCADデータを利用して生成された平面図形を比較することにより、対象物品110の部品の欠落や破損、異品組付けや組付け位置不良等を検定する装置である。
演算装置101は、マクロプロセッサ及びメモリ媒体102を有するパーソナルコンピュータ等である。メモリ媒体102はRAMメモリやハードディスク等であり、入力装置103は、利用者が使用するキーボードやマウス等の入力機器であり、出力装置104はCRTや液晶等による表示機器である。入力装置103及び出力装置104は、演算装置101に接続されている。
電子カメラ109は、CCDカメラ等であり、演算装置101に接続されている。電子カメラ109と演算装置101は、電子カメラ109によって撮像された平面画像を構成する画素の輝度情報等をシリアル送信することが可能なように接続されている。
駆動制御装置105は、多軸コントローラとサーボアンプを含む多軸駆動制御機構106及びエンコーダ107を備えている。駆動制御装置105は演算装置101及び電子カメラ109に接続されており、演算装置101からの命令に従い、多軸駆動制御機構106を介して電子カメラ109の位置を調整する。エンコーダ107は、各駆動軸を駆動するサーボモータの回転軸に設けられ、サーボモータの回転位置を検出する。
CADデータ格納媒体108は、対象物品110に関する三次元CADデータ(三次元図形データ)を格納する、ハードディスクやCD−ROM等の記憶媒体であり、演算装置101と接続されている。CADデータ格納媒体108に格納されている三次元CADデータは、メモリ媒体102に予め転送されている。以下、CADデータとは、CADデータ格納媒体108からメモリ媒体102に転送された三次元CADデータのことを指すものとする。
メモリ媒体102には、システム稼動プログラムや入出力通信プログラム、モニタ画面表示プログラム等の基本的なプログラムに加え、後述する各種の制御プログラムが格納されている。また、メモリ媒体102には、CADデータ格納媒体108から転送された対象物品110の三次元CADデータや、後述する対象物品110の初期位置データ、検定位置データ、探索初期位置データやばらつき補正データなどの可変制御データが格納されている。更に、メモリ媒体102には、電子カメラ109による撮像画像の各画素の輝度情報である撮影画面データや、撮影画面データの輝度を二値化して輪郭図形化した撮像図形データ、または、三次元CADデータに基づいて生成された平面図形データが格納される。これらの撮像図形データや平面図形データは可変倍率で出力装置104に表示される。
図2は、実施の形態1による、演算装置101の構成を示すブロック図である。図中、初期位置設定部111、初期位置検定部112、初期位置移動設定部113、初期位置移動検定部114、検定位置設定部116、各部比較検定部117、検定位置移動設定部118、各部移動検定部119、ばらつき補正部120は、演算装置101のマイクロプロセッサをソフトウェアのモジュールに従って便宜的に分類したものである。
さらに、初期位置設定部111は、電子カメラ初期位置設定部1111及び仮想カメラ初期位置設定部1112を有する。また、初期位置移動設定部113は、電子カメラ初期位置移動設定部1131及び仮想カメラ初期位置移動設定部1132を有する。また、検定位置設定部116は、電子カメラ検定位置設定部1161及び仮想カメラ検定位置設定部1162を有する。また、検定位置移動設定部118は、電子カメラ検定位置移動設定部1181及び仮想カメラ検定位置移動設定部1182を有する。
ここで仮想カメラとは、CADデータを用いて生成される平面図形を仮想的なカメラによって撮像された図形と想定した場合の擬似的なカメラである。すなわち、仮想カメラ初期位置設定部1112や仮想カメラ検定位置設定部1162で行われる仮想カメラの位置設定とは、実際には、CADデータから所望の平面図形を抽出するために必要な視点位置や視線方向等のパラメータを指定する処理である。
次に、検定装置100の動作について説明する。
図3は、この発明の実施の形態1の検定装置100による、比較検定処理のフローチャートである。
まず、仮想カメラ初期位置設定部1112において、CADデータを利用して生成される平面図形の部位の設定、すなわち仮想カメラの初期位置B0が設定され、初期位置B0で得られる平面図形の特徴量が算出される(ステップST602)。
図5は、図3のステップST602で行われる、演算装置101の仮想カメラ初期位置設定部1112における仮想カメラの初期位置設定処理のフローチャートである。
まず、仮想カメラ初期位置設定部1112は、メモリ媒体102に予め格納されている初期位置データで指定される位置に仮想カメラを設置する。ただし、ここでの仮想カメラの設置とは、上述したように、CADデータを基に所望の平面図形を生成するために視点位置及び視線方向を指定することである。
次に、仮想カメラが指定された初期位置に設置されたかどうか、すなわち視点位置と視線方向が指定された値に設定されたかどうかを判定する(ステップST702)。
ステップST702で、仮想カメラの初期位置設定が未完了であると判定された場合には、完了と判定されるまで、ステップST702の判定動作が繰り返される。
ステップST702で、仮想カメラの初期位置設定が完了したと判定された場合には、設定された視点方向及び視線方向等に基づき、CADデータを用いて対象物品110の平面図形が生成される。
さらに、生成された平面図形の面積や平面図形の中心線の方向、中心点位置等の特徴量が算出される(ステップST703)。
以上で、仮想カメラ初期位置設定部1112における仮想カメラの初期位置設定処理が終了し、図3に示すステップST603に進む。
ステップST602の仮想カメラの初期位置設定が終了すると、電子カメラ初期位置設定部1111において、電子カメラ109の初期位置A0が設定され、初期位置A0における撮像図形の特徴量が算出される(ステップST603)。
図6は、図3のステップST603で行われる、演算装置101の電子カメラ初期位置設定部1111における電子カメラ109の初期位置設定処理のフローチャートである。
まず、電子カメラ初期位置設定部1111は、メモリ媒体102に予め格納されている初期位置データで示される位置に電子カメラ109を移動させる命令を、駆動制御装置105に対して通知する(ステップST801)。
駆動制御装置105は、目標位置への電子カメラ109の移動が完了すると、演算装置101に対して移動完了信号を送信する。電子カメラ初期位置設定部1111は、電子カメラ109の初期位置への移動が完了したかどうか判断する(ステップST802)。電子カメラ初期位置設定部1111は、駆動制御装置105からの移動完了信号を受信することにより電子カメラ109の移動が完了したと判定する。
ステップST802で、電子カメラ109の移動が未完了と判定された場合、すなわち、駆動制御装置105から移動完了信号が受信されるまでは、ステップST802の判定動作が繰り返される。
ステップST802で、駆動制御装置105からの移動完了信号を受信し、電子カメラ109の移動が完了したと判定された場合には、演算装置101から電子カメラ109に対してシャッタ駆動指令が与えられる(ステップST803)。
電子カメラ109は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置101へシリアル送信する。
電子カメラ109から撮像図形データを受信すると、電子カメラ初期位置設定部1111は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST803)。
以上で、電子カメラ初期位置設定部1111における電子カメラ109の初期位置設定処理が終了し、図3に示すステップST604に進む。
ステップST603の電子カメラ109の初期位置設定が終了すると、初期位置検定部112において、ステップST603で取得された初期位置A0における電子カメラ109の撮像図形との適合率が最も大きな平面図形が得られる仮想カメラの初期位置を、ステップST602で取得された初期位置B0を基準として探索し、仮想カメラの最適初期位置(D0)として取得する(ステップST604)。
図7は、ステップST604で行われる、初期位置検定部112における初期位置検定処理のフローチャートである。
まず、初期位置検定部112の一次調整処理機能(一次調整部)は、ステップST602で算出された仮想カメラによる平面図形の面積Sbと、電子カメラ109による撮像図形の面積Saとを比較する。面積Sa<面積Sbであれば、SaとSbの比率の平方根に比例した値で仮想カメラと仮想対象物品との距離を大きくし、面積Sa>面積Sbであれば、SaとSbの比率の平方根に比例した値で仮想カメラと仮想対象物品との距離を小さくすることによって面積Saと面積Sbとが等しくなるような仮想カメラの対物距離を算出し、算出した対物距離に基づいて視点位置及び視線方向を補正し、仮想カメラを移動させる(ステップST901)。
ステップST901の仮想カメラの移動処理は、両図形の面積が一致するように仮想カメラの位置を補正するものであり、図形形状自体の一致判定を行うものではない。なお、実際には視点位置と視線方向の有限な複数の組合せパターンに基づいて補正処理を行っている。
次に、仮想カメラが指定された補正位置に移動したかどうか、すなわち視点位置及び視線方向が補正された値に設定されたかどうかを判定する(ステップST902)。
ステップST902で、仮想カメラの補正位置に基づく設定が未完了であると判定された場合には、完了と判定されるまで、ステップST902の判定動作が繰り返される。
ステップST902で、仮想カメラの補正位置への設定が完了したと判定された場合には、設定された視点方向及び視線方向に基づき、CADデータを用いて対象物品110の平面図形が生成される。
さらに、生成された平面図形の面積(Sc)、図形の中心線、中心点位置等の特徴量が算出される(ステップST903)。
次に、ステップST903で算出された面積Scと、上述の電子カメラ109により撮像された図形の面積Saとが所定の誤差範囲内で一致しているかどうか判定する(ステップST904)。
ステップST904で、面積Saと面積Scが所定の誤差範囲内で一致していると判定された場合には、ステップST603で得られた電子カメラ109による撮像図形とステップST903で得られた仮想カメラによる補正位置での平面図形を、それぞれの中心線及び中心点位置を一致させて重ね合わせ、その状態で両図形の輪郭から形成される図形の重合図形の重合面積S0を算出する(ステップST905)。
次に、初期位置検定部112の初期位置探索処理機能(初期位置探索部)は、ステップST905で算出された重合面積S0と、面積Saとの比率S0/Sa(以下、適合率と記す。)が前回よりも改善されているかどうかを判定する(ステップST906)。
ここで、ステップST905での重合面積S0の算出が初回であるとき、または既に算出されている適合率に比べて今回算出された適合率が小さいときには、適合率は改善されていないと判定される。
ステップST906で適合率が改善されたと判定された場合には、図形の位置と適合率を改善された値で更新する(ステップST907)。
ステップST906で適合率が改善されていないと判定された場合、またはステップST907で図形の位置と適合率の更新が行われた後、図形の位置調整が完了しているかどうかを判定する(ステップST908)。
ここで、ステップST906で適合率が改善されていないと判定された場合であって、ステップST905での重合面積S0の算出が初回であるときは、図形の位置調整は完了していないと判定される。
ステップST908で図形の位置調整が完了していないと判定された場合には、初期位置検定部112の二次調整処理機能(二次調整部)により、ステップST903で得られた平面図形と、ステップST603で得られた電子カメラ109による撮像図形の位置調整を行う(ステップST910)。
ステップST910の図形の位置調整処理は、仮想カメラによる平面図形の中心位置を電子カメラ109による撮像画像の中心位置に対して任意の方向に所定量だけ移動させたり、仮想カメラによる平面図形の中心線を電子カメラ109による撮像画像の中心線に対して所定量の傾斜角だけ回転させたりするものである。この、図形の二次調整処理は、ステップST901で行う一次調整処理のように仮想カメラ自体の視点位置や視線方向を変更するものではなく、両図形を比較する上で図形の相対的な位置調整を行うものであり、実際には有限な複数の組合せパターンに基づく調整処理を行うようになっている。
図8は、図形の位置調整を説明するための図である。例えば、出力装置104に表示される比較用仮想画面において、画像501は台形形状をなす撮像輪郭画像、中心線505は画像501に対する長手方向の中心線、中心503は画像501の中心位置、図形502は画像501に対応したCADデータに基づく輪郭図形、中心線506は図形502に対する長手方向の中心線、中心504は図形502の中心位置である。中心線505及び中心線506は、例えば最小慣性モーメントを得るための仮想回転軸に相当する慣性主軸であり、中心503及び中心504は、図形の重心点として一般に公知の技術によって算出されるものである。なお、慣性主軸の代わりに画像501や図形502に対する最小面積の外接四角形を検索し、この外接四角形の長手方向の中心線を画像501や図形502に対する中心線とみなすこともできる。同様に、最小面積の外接四角形の対角線の交点を画像501や図形502に対する中心位置とみなすことができる。
また、輪郭画像と輪郭図形が複数の輪郭画像と輪郭図形を包含したものであって、特定の輪郭画像又は輪郭図形の輪郭面積が全体の輪郭面積の中で所定比率を越えて大きいものであるような場合には、その特定輪郭画像又は輪郭図形の中心線と中心位置によって全体の中心線と中心位置と見なすこともできる。なお、CADデータに基づく図形の中の特定部位に特殊な円形シンボルマークを設けておけば、その中心位置を検定することによって何等かの加工処理を施す必要のある部位を特定することができる。
なお、ステップST908では、ステップST910で行われる組合わせパターンに基づく図形の位置調整が完了したかどうかを判定するようになっているが、ステップST910で行われる位置調整のパターン数を制限し、補間演算により図形の適正位置を統計的に算出するようにしてもよい。
ステップST910の処理が終了すると、再びステップST905へ戻る。
ステップST904で、面積Saと面積Scが所定の誤差範囲内で一致しないと判定された場合、また、ステップST908で図形の位置調整が完了していると判定された場合には、仮想カメラの位置の補正(一次調整処理)が完了しているかどうかを判定する(ステップST909)。
ステップST909でもステップST908と同様に、ステップST901で行われる組合わせパターンに基づく仮想カメラの視点位置と視線方向の補正処理が完了したかどうかを判定するようになっているが、ステップST901で行われる視点位置と視線方向の組合わせパターン数を制限し、補間演算により適正な視点位置と方向を統計的に算出するようにしてもよい。
ステップST909で、仮想カメラの位置の補正が未完了であると判定された場合には、再びステップST901へ戻る。
ステップST909で、仮想カメラの位置の補正が完了したと判定された場合には、ステップST907で更新された最新の適合率が、所定の閾値以上であるかどうかを判定する(ステップST911)。
ステップST911で適合率が所定の閾値以上であると判定された場合には、ステップST901で設定された仮想カメラの補正位置(一次調整位置)、及びステップST907で記憶された図形の調整位置(二次調整位置)、をメモリ媒体102に記憶する(ステップST912)。ここで、記憶された補正位置及び調整位置が仮想カメラの最適な初期位置となる。
ステップST911で適合率が所定の閾値以上であると判定されなかった場合には、適正な初期位置が得られなかったとして、異常報知される(ステップST913)。
CADデータに基づいて生成される物品と対象物品110の形状、寸法等が完全に同一であって、対象物品110に対する治具寸法や治具投入位置等が正しければ、初期位置A0における電子カメラ109の撮像図形と初期位置B0における仮想カメラの平面図形は合同となるように初期位置を設定することができる。しかし、対象物品110が異品であったり、対象物品110を設置する治具寸法のばらつきや治具の投入位置のばらつき変動等がある場合には、両図形が合同となる初期位置が得られるとは限らず、このような場合にステップST913で異常報知される。
以上で、初期位置検定部112における初期位置検定処理が終了し、図3に示すステップST605に進む。
仮想カメラ初期位置移動設定部1132において、仮想カメラを初期位置B0から微調整した移動初期位置B0+ΔB0に移動させ、初期位置B0+ΔB0で得られる平面図形の特徴量が算出される(ステップST605)。
移動初期位置B0+ΔB0は、対物距離比例補正機能(対物距離比例補正部)によって、仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、仮想カメラの移動距離ΔB0が、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、仮想カメラの移動初期位置への設定と特徴量の算出は、上述の図5で示したステップST602の処理と同様に行う。
次に、電子カメラ初期位置移動設定部1131において、電子カメラ109を初期位置A0から微調整した移動初期位置A0+ΔA0に移動させ、移動初期位置A0+ΔA0における撮像図形の特徴量を算出する(ステップST606)。
初期位置A0+ΔA0は、対物距離比例補正機能によって仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、電子カメラ109の移動距離(ΔA0)が、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、電子カメラ109の移動初期位置への設定と特徴量の算出は、上述の図6で示したステップST603の処理と同様に行う。
次に、初期位置移動検定部114において、ステップST606で取得された移動初期位置A0+ΔA0における電子カメラ109の撮像画像との適合率が最も大きな平面図形が得られる仮想カメラの移動初期位置を、移動初期位置B0+ΔB0を基準として探索し、仮想カメラの最適移動初期位置D0+ΔD0として取得する(ステップST607)。最適移動初期位置D0+ΔD0の探索は、上述の図7で示したステップST604の処理と同様に行う。
ここで、図4を用いてステップST605からステップST607で初期位置移動設定部113及び初期位置移動検定部114において行われる初期位置移動設定及び検定処理の原理を説明する。
図4において、直方体401は寸法が正常な物品を表しており、上面寸法S1×高さ寸法H1の直方体である。直方体402は寸法が異なる物品を表しており、上面寸法S2×高さ寸法H2の直方体である。各々の寸法は、S1>S2、H1<H2の関係になっている。軸403は電子カメラ109の光軸である。
図に示すように、直方体401及び直方体402を高さH3の位置から観察すると、いずれの直方体の上面寸法もS3となって検出され、差異が識別できない。しかし、高さH45の上面位置から観察すると、直方体401の上面寸法はS4と観測され、直方体402の上面寸法はS5となって観測されるので、差異を識別することができる。このように、カメラを軸403方向に遠近移動したり、軸403を平行移動させたり、軸403の傾斜角度を変更したりすることによって視差を得ることができるものである。
初期位置移動設定及び検定処理は、初期位置検定処理による電子カメラ109の観察位置が偶然にも差異が識別できない観察位置ではなかったかどうかを確認するため、電子カメラ109の位置を意図的に異なる場所に設定変更して比較検定を行うためのものである。但し、検定したい対象物が例えば治具上に設置された対象物品のベース板の平面上に描かれたポジションマークであって、その高さが予め確定しているような場合には、必ずしも二眼視差による検定を行う必要はない。
なお、図4では対象物品の上面寸法に注目して説明したが、実際には対象物品の上面輪郭図形の内部面積等の関連面積に注目して一致判定を行うようになっている。関連面積は、例えば上記輪郭図形の内部面積又は最小外接四角形の面積などによる対象物の平面的な大きさを表す特徴量で表される。また、輪郭図形が幅を持たない線分である場合には、所定幅を有する面積の図形として取り扱う。また、輪郭図形が複数の輪郭図形を包含したものである場合、関連面積は複数の各部輪郭面積の合計値として算出されるものである。但し、大きな輪郭図形の中に小さな輪郭図形が包含される場合には、その差分を全体の輪郭面積とすることも可能であると共に、一画面内の各種輪郭図形の個数も比較検定の要素として採用すれば、対象物品の実物に付加された傷や汚損の有無を検定するのが容易となる。
次に、ステップST604の初期位置検定処理とステップST607の初期位置移動検定処理において、共に最適初期位置及び最適移動初期位置が取得できたか、すなわち、図7のステップST911における判定で適正と判定されたかどうかが判定される(ステップST608)。
ステップST608で、適正な最適初期位置D0及び最適移動初期位置D0+ΔD0が取得できたと判断された場合には、仮想カメラの初期位置を最適初期位置D0に、また、同様に移動初期位置を最適移動初期位置D0+ΔD0に設定する(ステップST609)。
また、ステップST608で、適正な最適初期位置及び最適移動初期位置が取得できなかったと判定された場合には、比較検定動作を終了し、異常報知を行う(ステップST622)。
これは、例えば対象物品110が異品であったり、適用治具が異品であったり、治具の搬入位置が異常であるなど、このままでは比較検定動作を開始できないときに、処理を中止するための工程である。
次に、仮想カメラ検定位置設定部1162において、仮想カメラの第n番目の検定位置Bnが設定され、検定位置Bnにおける平面図形データが取得され、平面図形の特徴量が算出される(ステップST610)。
図9は、図3のステップST610で行われる、仮想カメラ検定位置設定部1162における仮想カメラの検定位置設定処理のフローチャートである。
まず、仮想カメラ検定位置設定部1162は、メモリ媒体102に予め格納されている検定位置データで指定される位置に仮想カメラを設置する(ステップST1001)。ただし、ここでの仮想カメラの設置とは、上述したように、CADデータを基に所望の平面図形を生成するための視点位置と視線方向を指定することである。
次に、仮想カメラの位置が指定された位置となったかどうか、すなわち視点位置及び視線方向が指定された値に設定されたかどうかを判定する(ステップST1002)。
ステップST1002で、仮想カメラの位置設定が未完了であると判定された場合には、完了と判定されるまで、ステップST1002の判定動作が繰り返される。
ステップST1002で、仮想カメラの位置設定が完了したと判定された場合には、設定された視点方向及び視線方向に基づき、CADデータを用いて対象物品110の平面図形が生成される。
さらに、生成された平面図形の面積や図形の中心線の方向、中心点位置等の特徴量が算出される(ステップST1003)。
以上で、仮想カメラ検定位置設定部1162における仮想カメラの検定位置設定処理が終了し、図3に示すステップST611に進む。
次に、電子カメラ検定位置設定部1161において、電子カメラ109の第n番目の検定位置Anが設定され、検定位置Anにおける撮像図形データが取得され、撮像図形の特徴量が算出される(ステップST611)。
図10は、図3のステップST611で行われる、演算装置101の電子カメラ検定位置設定部1161における電子カメラの検定位置設定処理のフローチャートである。
まず、電子カメラ検定位置設定部1161は、メモリ媒体102に予め格納されている検定位置データで示される位置に電子カメラ109を移動させる命令を、駆動制御装置105に対して通知する(ステップST1101)。
駆動制御装置105は、目標位置への電子カメラ109の移動が完了すると、演算装置101に対して移動完了信号を送信する。電子カメラ検定位置設定部1161は、電子カメラ109の検定位置への移動が完了したかどうか判断する(ステップST1102)。電子カメラ検定位置設定部1161は、駆動制御装置105からの移動完了信号を受信することにより電子カメラ109の移動が完了したと判定する。
ステップST1102で、電子カメラ109の移動が未完了と判定された場合、すなわち、駆動制御装置105から移動完了信号が受信されるまでは、ステップST1102の判定動作が繰り返される。
ステップST1102で、駆動制御装置105からの移動完了信号を受信し、電子カメラ109の移動が完了したと判定された場合には、演算装置101から電子カメラ109に対してシャッタ駆動指令が与えられる(ステップST1103)。
電子カメラ109は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置101へシリアル送信する。
電子カメラ109から撮像図形データを受信すると、電子カメラ検定位置設定部1161は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST1103)。
以上で、電子カメラ検定位置設定部1161における電子カメラ109の検定位置設定処理が終了し、図3に示すステップST612に進む。
ステップST611の電子カメラ109の検定位置設定が終了すると、各部比較検定部117は、ステップST611で取得された検定位置Anにおける電子カメラ109の撮像図形と所定の値以上の適合率で一致する平面図形が得られる仮想カメラの検定位置を、ステップST610で取得された検定位置Bnを基準として探索し、仮想カメラの第n番目の適正検定位置Dnとして取得する(ステップST612)。
図11は、ステップST612で行われる、演算装置101の各部比較検定部117における各部比較検定処理のフローチャートである。
まず、各部比較検定部117は、電子カメラ109による検定位置Anの撮像図形の面積Saと仮想カメラによる検定位置Bnの平面図形の面積Sbとの比率Sa/Sbが所定の閾値を超えていないかどうかを判定する(ステップST1201)。比率Sa/Sbが所定の閾値を超えていると判定された場合には、ステップST1212へ進み、異常報知すると共に、当該検定位置は、異常部位としてメモリ媒体102に記憶される。
ステップST1201で、Sa/Sbが所定の閾値を超えていないと判定された場合には、各部比較検定部117の一次調整処理機能(一次調整部)は、電子カメラ109による図形の面積Saと仮想カメラによる図形の面積Sbとを比較する。面積Sa<面積Sbであれば、SaとSbの比率の平方根に比例した値で仮想カメラと仮想対象物品との距離を大きくし、面積Sa>面積Sbであれば、SaとSbの比率の平方根に比例した値で仮想カメラと仮想対象物品との距離を小さくすることによって面積Saと面積Sbとが等しくなるような仮想カメラの対物距離を算出し、算出した対物距離に基づいて視点位置及び視線方向を補正し、仮想カメラを移動させる(ステップST1202)。
ステップST1202の仮想カメラの移動処理は、両図形の面積が一致するように仮想カメラの位置を補正するものであり、図形形状自体の一致判定を行うものではない。なお、実際には視点位置と視線方向の有限な複数の組合せパターンに基づいて補正処理を行っている。
次に、仮想カメラが指定された補正位置に移動したかどうか、すなわち視点位置及び視線方向が指定された値に設定されたかどうかを判定する(ステップST1203)。
ステップST1203で、仮想カメラの補正位置に基づく設定が未完了であると判定された場合には、完了と判定されるまで、ステップST1203の判定動作が繰り返される。
ステップST1203で、仮想カメラの補正位置への設定が完了したと判定された場合には、設定された視点方向及び視線方向に基づき、CADデータを用いて対象物品110の平面図形が生成される。
さらに、生成された平面図形の面積Sc、輪郭図形の中心線、中心点位置等の特徴量が算出される(ステップST1204)。
次に、ステップST1204で算出された面積Scと、上述の電子カメラ109により撮像された図形の面積Saとが所定の誤差範囲内で一致しているかどうか判定する(ステップST1205)。
ステップST1205で、面積Saと面積Scが所定の誤差範囲内で一致していると判定された場合には、ステップST611で得られた電子カメラ109による撮像図形とステップST1204で得られた仮想カメラによる補正位置での平面図形を、それぞれの中心線及び中心点位置を一致させて重ね合わせ、その状態で両図形の重なり合う部分の面積、重合面積S0を算出する(ステップST1206)。
次に、各部比較検定部117の適合率判定処理機能(適合率判定部)は、ステップST1206で算出された重合面積S0と面積Saとの比率S0/Saで表される適合率が所定の閾値以上であるかどうかを判定する(ステップST1207)。
ステップST1207で適合率が所定の閾値以上でないと判定された場合には、ステップST1210で行われる図形の位置調整が完了しているかどうかを判定する(ステップST1208)。
ステップST1208で図形の位置調整が完了していないと判定された場合には、各部比較検定部117の二次調整処理機能(二次調整部)により、ステップST1204で得られた平面図形と、ステップST611で得られた電子カメラ109による撮像図形の位置調整を行う(ステップST1210)。
ステップST1210の図形の位置調整処理は、仮想カメラによる平面図形の中心位置を電子カメラ109による撮像画像の中心位置に対して任意の方向に所定量だけ移動させたり、仮想カメラによる平面図形の中心線を電子カメラ109による撮像画像の中心線に対して所定量の傾斜角だけ回転させたりするものである。この、図形の二次調整処理は、ステップST1202で行う一次調整処理のように仮想カメラ自体の視点位置や視線方向を変更するものではなく、両図形を比較する上で図形の相対的な位置調整を行うものであり、実際には有限な複数の組合せパターンに基づく調整処理を行うようになっている。
なお、ステップST1208では、ステップST1210で行われる組合わせパターンに基づく図形の位置調整が完了したかどうかを判定するようになっているが、ステップST1210で行われる位置調整のパターン数を制限し、補間演算により図形の適正位置を統計的に算出するようにしてもよい。
ステップST1205で、面積Saと面積Scが所定の誤差範囲内で一致していないと判定された場合、また、ステップST1208で図形の位置調整が完了していると判定された場合には、仮想カメラの視点位置と視線方向の調整(一次調整処理)が完了しているかどうかを判定する(ステップST1209)。
ステップST1209でもステップST1208と同様に、ステップST1202で行われる組み合わせパターンに基づく仮想カメラの視点位置と視線方向の補正処理が完了したかどうかを判定するようになっているが、ステップST1202で行われる視点位置と視線方向の組み合わせパターン数を制限し、補間演算により適正な視点位置と方向を統計的に算出するようにしてもよい。
ステップST1209で、仮想カメラの移動が未完了であると判定された場合には、再びステップST1202へ戻り、仮想カメラの視点位置や視線方向を変更する。
ステップST1209で、仮想カメラの視点位置及び視線方向の設定が完了したと判定された場合、またはステップST1201で、Sa/Sbが所定の閾値を超えていると判定された場合には、適正な検定位置が得られなかったとして異常報知すると共に、該当する検定位置を異常部位として記憶する(ステップST1212)。
電子カメラ109の検定位置Anと仮想カメラの検定位置Bnが対象物品110の同一部位を表しており、対象物品110がCADデータに基づいて生成される物品と形状、寸法等が完全に同一であって、対象物品110に対する治具寸法や治具投入位置等が正しければ、検定位置Anにおける電子カメラ109の撮像図形と検定位置Bnにおける仮想カメラの平面図形は合同となる。しかし、対象物品110が異品であったり、対象物品110を設置する治具寸法のばらつきや治具の投入位置のばらつき変動等があったりする場合は、両図形が合同となる検定位置が得られるとは限らず、このような場合にステップST1212で異常報知される。
ステップST1207で適合率が所定の閾値以上であると判定された場合には、ステップST1202で設定された仮想カメラの補正位置(一次調整位置)、及びステップST1210で記憶された図形の調整位置(二次調整位置)、をメモリ媒体102に記憶する(ステップST1211)。ここで、記憶された位置が適正な検定位置となる。
また、図7で示した初期位置検定処理では、対象物品110の搬入位置のずれ等によって必ずしも初期位置設定された電子カメラ109による撮像画像と仮想カメラによる平面画像が一致していないことがあるため、一次調整処理として行われるステップST901や二次調整処理として行われるステップST910は広範囲な調整を行う必要があるのに対し、図11で示した各部比較検定処理では、検定位置設定された電子カメラ109による撮像画像と仮想カメラによる平面画像は、本来ほぼ一致していなければならないため、一次調整処理として行われるステップST1202や二次調整処理として行われるステップST1210は、広範囲な調整を行わなくてもよい。
以上で、各部比較検定部117における各部比較検定処理が終了し、図3に示すステップST613に進む。
仮想カメラ検定位置移動設定部1182において、仮想カメラを検定位置Bnから微調整した移動検定位置Bn+ΔBnに移動させ、移動検定位置Bn+ΔBnで得られる平面図形の特徴量が算出される(ステップST613)。
移動検定位置Bn+ΔBnは、対物距離比例補正機能によって仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、仮想カメラの移動距離ΔBnが、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、仮想カメラの移動検定位置への設定と特徴量の算出は、上述の図9で示したステップST610の処理と同様に行う。
次に、電子カメラ検定位置移動設定部1181において、電子カメラ109を検定位置Anから微調整した移動検定位置An+ΔAnに移動させ、移動検定位置An+ΔAnにおける撮像図形の特徴量を算出する(ステップST614)。
移動検定位置An+ΔAnは、対物距離比例補正機能によって仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、電子カメラ109の移動距離ΔAnが、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、電子カメラ109の移動検定位置への設定と特徴量の算出は、上述の図10で示したステップST611の処理と同様に行う。
次に、各部移動検定部119において、ステップST614で設定された移動検定位置An+ΔAnにおける電子カメラ109の撮像画像との適合率が所定の閾値以上の平面図形が得られる仮想カメラの移動検定位置を、移動検定位置Bn+ΔBnを基準として探索し、仮想カメラの第n番目の適正移動検定位置Dn+ΔDnとして取得する(ステップST615)。適正移動検定位置Dn+ΔDnの探索は、上述の図11で示したステップST612の処理と同様に行う。
次に、各部移動検定部119において、ステップST612の各部比較検定処理とステップST615の各部移動検定処理で、共に適正検定位置及び適正移動検定位置が取得できたか、すなわち、図11のステップST1207の判定で適正と判定されたかどうかが判定される(ステップST616)。
ステップST616で、適正検定位置Dn及び適正移動検定位置Dn+ΔDnが取得できたと判断された場合には、仮想カメラの第n番目の検定位置が第n適正検定位置Dnに、同様に移動検定位置を適正移動検定位置Dn+ΔDnに設定される(ステップST617)。
次に、ばらつき補正部120において、ステップST617での第n検定位置についての適正検定位置の更新データの蓄積が所定数を超えたかどうかを判定する(ステップST618)。これは、すなわち同種類の対象物品の同一検定位置の適正検定位置のデータが所定の検体数分蓄積されたことを意味している。
ステップST618で更新データの蓄積が所定回数を超えたと判定された場合には、ばらつき補正部120において、第n検定位置についての更新データの平均値を算出し、メモリ媒体102に格納すると共に、算出された適正検定位置の平均値に基づいて、ステップST617で記憶した各々の更新データを消去する(ステップST619)。
ステップST619で検定位置及び移動検定位置が更新データの平均値に基づいて更新された後には、ステップST617で記憶された更新データは消去されており、ステップST617で検定位置及び移動検定位置の更新データを格納するメモリ媒体102の領域には、第n検定位置についての新たな適正検定位置及び適正移動検定位置のデータが順次格納される。そして、更新データ数が所定数を超過すると再びステップST619で、更新データの平均値が算出され、第n検定位置についての適正検定位置と適正移動検定位置が更新される。
ステップST616で、適正検定位置Dn及び適正移動検定位置Dn+ΔDnが取得されたと判定されなかった場合には、不適合となった検定位置の箇所数が所定の箇所数を超えていないかどうか判定する(ステップST620)。
ステップST620で不適合な検定位置の個数が所定の個数を超過していると判定された場合には、比較検定動作を中止し、異常報知を行う(ステップST621)。
これは、例えば対象物品110が異品であり、ほとんどの検定位置においてステップST616での判定結果が不適正である場合を想定しており、そのような場合に検定回数を所定の回数で打ち切るための工程である。
また、ステップST620で不適合な検定位置の個数が所定の個数を超過していない場合には、ステップST616で不適合と判定された検定位置の検定位置番号を記憶すると共に、当該検定位置についての異常報知を行う(ステップST623)。
ステップST618で、第n検定位置についての適正検定位置の蓄積数が所定数に満たない場合、または、ステップST619、またはステップST623に続いて、すべての検定位置についての適正検定位置探索の工程が完了したかどうかを判定する(ステップST624)。
ステップST624で、すべての検定位置についての適正検定位置探索の工程が完了していないと判定された場合には、ステップST610へ戻り、全検定位置の処理が完了するまで処理を繰り返す。ステップST624で全検定位置についての工程が完了したと判定された場合には処理を終了する。
演算装置101は、比較検定処理が終了した後、各々の検定位置についての適合率を総合的に判断して対象物品110を検定する。
以上のようにこの実施の形態1によれば、仮想カメラ初期位置設定部1112が仮想カメラの初期の視点位置と視線方向を設定し、CADデータを利用して生成される平面図形を取得すると共に、電子カメラ初期位置設定部1111が電子カメラ109を初期位置に移動させるように駆動制御装置105に命令を与え、初期位置検定部112は、それらの電子カメラ109による撮像図形と仮想カメラによる平面図形の適合率が最大となる初期位置を探索することにより、最適な初期位置を取得可能にしている。
また、電子カメラ109と仮想カメラの最適初期位置が設定された後、仮想カメラ検定位置設定部1162が各検定位置に合わせて仮想カメラの視点位置と視線方向を設定し、電子カメラ検定位置設定部1161が各検定位置に合わせて電子カメラ109を移動させる命令を駆動制御装置105に与え、各部比較検定部117は、それらの電子カメラ109による撮像図形と仮想カメラによる平面図形が所定の適合率以上で一致する検定位置を探索する。探索の結果、所定の適合率以上で一致した検定位置における検定結果は適合とし、所定の適合率以上で一致しなかった検定位置の検定結果は不適合とする。
各検定位置における検定結果を総合して、対象物品110がCADデータに基づく物品と一致するかどうかが判定される。このように、細部の観察を積み重ねることにより総合的な検定を行うので、高精度な検定が可能となる。
また、初期位置移動設定部113は、仮想カメラの視点位置又は視線方向の少なくとも一方を変化させて、初期位置検定部112によって設定された初期位置に対して視差を与え、再度両図形の適合率を判定する。移動前と移動後の双方で適合と判定された場合には、当該検定位置についての判定結果を適合とする。これにより、カメラの観測位置によって誤差が識別できない状況が発生する場合でも、誤った判定が行われることを防ぐことができる。
また、初期位置移動設定部113は、仮想カメラの位置の補正距離を仮想カメラと対象物体間の距離に比例した距離に設定するようにしたので、一定量の視差を確保して確実に判定を行うことができると共に、検定位置の設定計画作成に当たって、移動補正については一義的に決定できるという利便性がある。
また、実施の形態1の初期位置検定処理は、まず、一次調整処理として、電子カメラによる撮像画像と仮想カメラによる平面図形の面積が一致するように仮想カメラの位置調整を行い、次に二次調整処理として、両図形の重なり合った部分の図形と電子カメラによる撮像図形の適合率が最大になるように、図形の位置調整を行う。
このようにして最適初期位置の探索を行っているので、機械的動作を伴う電子カメラの移動を行う必要がない。また、二次調整処理においては比較画面上での図形の座標位置を調整するだけなので、位置調整をさらに能率的に行うことができる。
なお、二次調整処理においては、仮想カメラによる平面図形ではなく、電子カメラによる撮像画像の位置を調整するようにしてもよい。
また、実施の形態1の比較検定処理は、まず、一次調整処理として、電子カメラによる撮像画像と仮想カメラによる平面図形の面積が一致するように仮想カメラの位置調整を行い、次に二次調整処理として、両図形の重なり合った部分の図形と電子カメラによる撮像図形の適合率が所定の適合率以上になるように、図形の位置調整を行う。
このようにして適正検定位置の探索を行っているので、機械的動作を伴う電子カメラの移動を行う必要がない。また、二次調整処理においては比較画面上での図形の座標位置を調整するだけなので、位置調整がさらに能率的に行える。
また、各検定位置への電子カメラ109の設定は、初期位置検定処理で得られた、初期位置と最適初期位置との差分量に基づいて予め補正するようにしてもよい。
また、実施の形態1によれば、ばらつき補正部120によって、同一の検定位置についての適正検定位置のデータを複数対象物品について蓄積し、その平均値を当該検定位置についての適正検定位置の探索に反映させるようにしたので、同一仕様の対象物品を比較検定する場合には、わずかな相違であれば、一次調整処理や二次調整処理を行わなくてもただちに一致判定され、適正検定位置の探索処理の効率を向上させることができる。
また、ばらつき補正部120によって算出される適正検定位置の平均値は、常に新たな更新データによって更新されるので、適正検定位置の探索の精度が向上すると共に、対象物品の製造ロットが変化したような場合でも、新しいロットに対応した値に自動的に更新される。
実施の形態2.
図12は、この発明の実施の形態2による検定装置200の構成を示すブロック図である。図1と同一の符号は、同一の構成要素を表している。
実施の形態2では、駆動制御装置205は、電子カメラ109ではなく対象物品110に連結される。駆動制御装置205は、演算装置101からの命令に従い、多軸駆動制御機構206を介して対象物品110の位置を調整する。
演算装置201は、マクロプロセッサ及びメモリ媒体102を有するパーソナルコンピュータ等である。演算装置201の構成は図2に示す演算装置101の構成とほぼ同一であるが、相違する点については以下で説明する。
次に、検定装置200の動作について説明する。
図13は、この発明の実施の形態2の検定装置200による、比較検定処理のフローチャートである。
まず、仮想カメラ初期位置設定部1112において、CADデータを利用して生成される平面図形の部位の設定、すなわち仮想カメラの第1初期位置B1が設定され、第一初期位置B1で得られる平面図形の特徴量が算出される(ステップST1401)。
なお、ステップST1401で行われる、仮想カメラの第一初期位置への設定と特徴量の算出は、図5で示した実施の形態1の処理と同様に行う。
次に、電子カメラ初期位置設定部1111において、電子カメラ109の第一初期位置A1が設定され、第一初期位置A1における撮像図形の特徴量が算出される(ステップST1402)。
なお、ステップST1402で行われる電子カメラ109の第1初期位置への設定と特徴量の算出は、図6で示した実施の形態1の処理と同様に行う。ただし、実施の形態2では、電子カメラ109自体を動かすのではなく、対象物品110を動かすことによって、電子カメラ109と対象物品110間の相対距離を設定する。
ここで、対象物品110がCADデータを用いて生成される仮想対象物品と完全に同一のものであって、対象物品110に対する治具寸法や治具投入位置等が正しければ、初期位置A1における電子カメラ109の撮像図形と初期位置B1における仮想カメラの平面図形は合同となる。しかし、対象物品110が異品であったり、対象物品110を設置する治具寸法のばらつきがあったり、治具の投入位置のばらつき変動等がある場合には必ずしも合同となるわけではない。
次に、仮想カメラ初期位置移動設定部1132において、仮想カメラを第1初期位置B1から微調整した移動第一初期位置B1+ΔB1に移動させ、移動第一初期位置B1+ΔB1で得られる平面図形の特徴量が算出される(ステップST1403)。
移動第一初期位置B1+ΔB1は、仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、仮想カメラの移動距離ΔB1が、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、仮想カメラの移動初期位置への設定と特徴量の算出は、上述のステップST1401の処理と同様に行う。
次に、電子カメラ初期位置移動設定部1131において、電子カメラ109を第一初期位置A1から微調整した移動第一初期位置A1+ΔA1に移動させ、移動第一初期位置A1+ΔA1における撮像図形の特徴量を算出する(ステップST1404)。
移動第一初期位置A1+ΔA1は、仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、電子カメラ109の移動距離ΔA1が、仮想距離に比例するように設定される。これにより、安定した視差が確保できる。なお、電子カメラ109の移動初期位置への設定と特徴量の算出は、上述のステップST1402の処理と同様に行う。
さらに、電子カメラ109を移動第一初期位置A1+ΔA1へ移動させるのと平行して、初期位置検定部112は、ステップST1401で取得した第一初期位置B1における仮想カメラの平面画像とステップST1402で取得した第一初期位置A1における電子カメラ109の撮像画像との比較検定を行い、第一の最適初期位置D1を取得する。
図14は、図13のステップST1404で行われる、演算装置201の同時進行処理機能(同時進行処理部)による電子カメラ109の移動及び初期位置検定の同時進行処理のフローチャートである。
まず、電子カメラ初期位置移動設定部1131は、メモリ媒体102に予め格納されている初期位置データで示される位置に電子カメラ109を移動させる命令を、駆動制御装置205に対して通知する(ステップST1501)。ただし、実施の形態2では、駆動制御装置205によって実際に駆動されるのは、対象物品110である。
駆動制御装置205は、目標位置への電子カメラ109の移動が完了すると、演算装置201に対して移動完了信号を送信する。電子カメラ初期位置移動設定部1131は、電子カメラ109の初期位置への移動が完了したかどうか判断する(ステップST1502)。電子カメラ初期位置移動設定部1131は、駆動制御装置205からの移動完了信号を受信することにより電子カメラ109の移動が完了したと判定する。
ステップST1502で、駆動制御装置205からの移動完了信号を受信し、電子カメラ109の移動が完了したと判定された場合には、演算装置201から電子カメラ109に対してシャッタ駆動指令が与えられる(ステップST1503)。
電子カメラ109は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置201へシリアル送信する。
電子カメラ109から撮像図形データを受信すると、電子カメラ初期位置移動設定部1131は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST1503)。
ステップST1502で電子カメラ109の移動が未完了と判定された場合には、ステップST1505で行われる初期位置検定処理が既に実行されたかどうか判定する(ステップST1504)。
ステップST1504で、初期位置検定処理が実行されていないと判定された場合には、初期位置検定処理を行う(ステップST1505)。ステップST1505の処理は、図7で示された実施の形態1の初期位置検定処理と同様に行う。
ステップST1504で、初期位置検定処理が既に実行されたと判定され、またはステップST1505が終了したら、再びステップST1502へ戻る。
以上で、電子カメラ109の移動及び初期位置検定処理が終了し、図13に示すステップST1405に進む。
次に、仮想カメラ初期位置設定部1112において、仮想カメラの第二初期位置B2が設定され、第二初期位置B2で得られる平面図形の特徴量が算出される(ステップST1405)。
なお、ステップST1405で行われる、仮想カメラの第二初期位置への設定と特徴量の算出は、ステップST1401の処理と同様に行う。
次に、電子カメラ初期位置設定部1111によって電子カメラ109を第二初期位置A2に移動させると共に、初期位置移動検定部114によって、ステップST1403で取得した第一の移動初期位置B1+ΔB1における仮想カメラの平面画像とステップST1404で取得した第一の移動初期位置A1+ΔA1における電子カメラ109の撮像画像との比較検定を行い、第一の最適移動初期位置D1+ΔD1を取得する(ステップST1406)。
ステップST1406の処理は、ステップST1404と同様に図14に示す同時進行処理で行う。
次に、仮想カメラ初期位置移動設定部1132において、仮想カメラを第二初期位置B2から微調整した第二の移動初期位置B2+ΔB2に移動させ、B2+ΔB2で得られる平面図形の特徴量が算出される(ステップST1407)。
なお、ステップST1407で行われる、仮想カメラの第二の移動初期位置への設定と特徴量の算出は、ステップST1403の処理と同様に行う。
次に、電子カメラ初期位置移動設定部1131によって、電子カメラ109を第二の移動初期位置A2+ΔA2に移動させると共に、初期位置検定部112によってステップST1405で取得した第二の初期位置B2における仮想カメラの平面画像とステップST1406で取得した第二の移動初期位置A2における電子カメラ109の撮像画像との比較検定を行い、第二の最適初期位置D2を取得する(ステップST1408)。
ステップST1408の処理は、ステップST1404の同時進行処理と同様に行う。
次に、初期位置移動検定部114において、ステップST1407で取得した第二の移動初期位置B2+ΔB2における仮想カメラの平面画像とステップST1408で取得した第二の移動初期位置A2+ΔA2における電子カメラ109の撮像画像との比較検定を行い、第二の最適移動初期位置D2+ΔD2を取得する(ステップST1409)。
ステップST1409の処理は、図7で示された実施の形態1の初期位置検定処理と同様に行う。
次に、ステップST1404、ステップST1406、ステップST1408、ステップST1409において、最適初期位置及び最適移動初期位置が取得できたか、すなわち、図7のステップST911における判定で適正と判定されたかどうかが判定される(ステップST1410)。
ステップST1410で、最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2が取得できたと判断された場合には、演算装置201の座標校正記憶機能(座標校正記憶部)により、最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2に基づいて仮想カメラまたは電子カメラ109の位置が設定される(ステップST1411)。ここでは、設定された最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2において観察される複数の基準点間の距離と方向とが比較画面上で一致するように仮想カメラまたは電子カメラ109の座標位置と倍率を調整し、記憶する。
ステップST1410で、最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2が取得できたと判断されなかった場合には、比較検定動作を終了し、異常報知を行う(ステップST1412)。
これは、対象物品110が異品であったり、適用治具が異品であったり、また搬入位置が異常であるなど、このままでは比較検定動作を開始できない場合に相当する。
次に、仮想カメラ検定位置設定部1162において、仮想カメラの第n番目の検定位置Bnが設定され、検定位置Bnにおける平面図形データが取得され、平面図形の特徴量が算出される(ステップST1413)。
なお、ステップST1413で行われる、仮想カメラの検定位置Bnへの設定と特徴量の算出は、図9で示した実施の形態1の処理と同様に行う。
次に、ステップST1413の仮想カメラの検定部位Bnへの移動処理が初回動作であるかどうかを判定する(ステップST1414)。
ステップST1414で初回動作であると判定された場合には、ステップST1415へ進み、初回動作でなければステップST1416へ進む。
ステップST1415は、図10に示した実施の形態1の電子カメラ検定位置設定処理と同様の処理である。ここでは、電子カメラ109を第1番目の検定位置A3に移動させる。
なお、電子カメラ109の検定位置Anと仮想カメラの検定位置Bnは同じ位置であって、もしも対象物品110がCADデータを用いて生成された仮想の対象物品と完全に同一のものであれば、検定位置Anにおける電子カメラ109の撮像図形と検定位置Bnにおける仮想カメラの平面図形は合同となる。
しかし、対象物品110の各部位において部品寸法のばらつきや部品組付け位置のばらつき等がある場合、或いは欠品・異品等である場合には、必ずしも合同図形が得られるわけではない。
ステップST1416では図15のフローチャートに示す処理を行う。図15は、演算装置201の同時進行処理機能(同時進行処理部)による電子カメラ109の移動及び比較検定の同時進行処理のフローチャートである。ここでは、電子カメラ109を第n番目の検定位置Anへ移動させると共に、前回のステップST1413の処理で取得された仮想カメラの検定位置Bnにおける平面図形と、前回のステップST1415またはステップST1416の処理で取得された電子カメラ109の検定位置Anにおける撮像図形とを比較検定して、適正検定位置Dnを取得する。
まず、電子カメラ検定位置設定部1161は、メモリ媒体102に予め格納されている検定位置データで示される位置に電子カメラ109を移動させる命令を、駆動制御装置205に対して通知する(ステップST1601)。ただし、実施の形態2では、駆動制御装置205によって実際に駆動されるのは、対象物品110である。
駆動制御装置205は、目標位置への電子カメラ109の移動が完了すると、演算装置201に対して移動完了信号を送信する。電子カメラ検定位置設定部1161は、電子カメラ109の初期位置への移動が完了したかどうか判断する(ステップST1602)。電子カメラ検定位置設定部1161は、駆動制御装置205からの移動完了信号を受信することにより電子カメラ109の移動が完了したと判定する。
ステップST1602で、駆動制御装置205からの移動完了信号を受信し、電子カメラ109の移動が完了したと判定された場合には、演算装置201から電子カメラ109に対してシャッタ駆動指令が与えられる(ステップST1603)。
電子カメラ109は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置201へシリアル送信する。
電子カメラ109から撮像図形データを受信すると、電子カメラ検定位置設定部1161は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST1603)。
ステップST1602で、電子カメラ109の移動が未完了と判定された場合には、ステップST1605で行われる各部比較検定処理が既に実行されたかどうか判定する(ステップST1604)。
ステップST1604で、各部比較検定処理が実行されていないと判定された場合には、各部比較検定処理を行う(ステップST1605)。ステップST1605の処理は、図11で示された実施の形態1の各部比較検定処理と同様に行う。
ステップST1604で、各部比較検定処理が既に実行されたと判定され、またはステップST1605が終了したら、再びステップST1602へ戻る。
以上で、電子カメラ109の移動及び比較検定の同時進行処理が終了する。
ステップST1415またはステップST1416の処理が終了すると、すべての検定位置への設定処理が完了したかどうかが判定される(ステップST1417)。
ステップST1417で、全ての検定位置についての設定処理が終了していないと判定された場合には、ステップST1413へ戻り、次の検定位置についての検定処理を行う。
ステップST1417で、全ての検定位置についての設定処理が完了したと判定された場合には、図11で示した各部比較検定処理が行われる(ステップST1418)。
ステップST1418では、最後に実行されたステップST1413で得られた仮想カメラによる平面図形と最後に実行されたステップST1416で得られた電子カメラ109による撮像図形の比較検定処理を行い、適正検定位置を探索する。
次に、演算装置201の循環復帰機能(循環復帰部)により、仮想カメラ初期位置設定部1112が仮想カメラの第一初期位置B1を設定し、第一初期位置B1で得られる平面図形の特徴量を算出する(ステップST1419)。
なお、ステップST1419で行われる、仮想カメラの第一初期位置への設定と特徴量の算出は、ステップST1401と同様に行われ、初期位置にはステップST1401と同じB1が設定される。
同様に、演算装置201の循環復帰機能により、電子カメラ初期位置設定部1111が電子カメラ109の第一初期位置A1を設定し、第一初期位置A1における撮像図形の特徴量を算出する(ステップST1420)。
なお、ステップST1420で行われる、電子カメラの第一初期位置への設定と特徴量の算出は、ステップST1402の処理と同様に行われ、初期位置にはステップST1402と同じA1が設定される。
次に、ステップST1416とステップST1418におけるすべての検定位置についての適合率の判定、すなわち図11のステップST1207での判定の結果が、すべて適正であるかどうか判定する(ステップST1421)。
ステップST1421で、適合率が適正ではない検定位置があると判定された場合には、異常報知を行うと共に、適正でないと判定された検定位置の検定位置番号を記憶する(ステップST1422)。
すべての検定位置で適正であった場合、あるいはステップST1422が終了したら、演算装置201は、他の制御動作を行ってから再度ステップST1401へ戻る。
以上のように、この実施の形態2によれば、駆動制御装置205によって電子カメラ109を移動させずに対象物品110を移動させるようにしたので、対象物品110の搬入、搬出ロボットとしての機能を兼ねることができると共に、電子カメラ109が静止していることにより信号線の引き回しが容易になる。
また、実施の形態2では、初期位置設定処理においては複数の初期位置を設定するようにした。これらの複数の初期位置は、対角線位置等の比較的遠方位置にある複数個の基準点を観察するための複数の初期位置を設定するためのものであり、座標校正記憶機能によって、設定された複数の初期位置から観察される対象物品110の複数の基準点間の距離と方向とが比較画面上で一致するように、仮想カメラまたは電子カメラ109の比較画面上の座標位置と倍率を調整・記憶する。
これにより、対象物品110が載置される治具の方向にばらつきがあるような場合でも、仮想カメラと電子カメラ109の相対位置関係を正確に設定調整しておくことにより、各検定位置での比較検定の能率を高めることができる。
また、実施の形態2によれば、同時進行処理機能により、電子カメラ109の検定位置設定処理と初期位置設定処理において、駆動制御装置205が演算装置201から対象物品110の移動命令を通知されてから移動完了信号を発生するまでの機械動作中に、前回の工程で取得した電子カメラ109の撮像図形と仮想カメラによる平面図形との比較検定処理を平行して行うようにした。
これにより、駆動制御装置205による機械的動作を伴うものであっても、全体としての能率を大幅に向上することができる。
実施の形態3.
図16は、この発明の実施の形態3による検定装置300の構成を示すブロック図である。図1と同一の符号は同一の構成要素を表している。
実施の形態3の検定装置300は、電子カメラ109と電子カメラ309の2つの電子カメラを備えている。電子カメラ109及び電子カメラ309は、CCDカメラ等であり、演算装置301に接続されている。電子カメラ109及び電子カメラ309によって撮像された平面画像を構成する画素の輝度情報等は演算装置301にシリアル送信される。
駆動制御装置305は、多軸コントローラとサーボアンプを含む多軸駆動制御機構306及びエンコーダ107を備えている。駆動制御装置305は演算装置301と接続されるとともに、電子カメラ109及び電子カメラ309に連結されており、演算装置301からの命令に従い、多軸駆動制御機構306を介して電子カメラ109及び電子カメラ309の位置を調整する。エンコーダ107は、各駆動軸を駆動するサーボモータの回転軸に設けられ、サーボモータの回転位置を検出する。
演算装置301は、マクロプロセッサ及びメモリ媒体102を有するパーソナルコンピュータ等である。演算装置301の構成は図2に示す演算装置101の構成とほぼ同一であるが、相違する点については以下で説明する。
次に、検定装置300の動作について説明する。
図17は、この発明の実施の形態2の検定装置300による、比較検定処理のフローチャートである。
まず、初期位置設定部111は、仮想カメラ、電子カメラ109、電子カメラ309に対し、第一の初期位置についての初期位置検定処理、移動初期位置検定処理を行い、最適初期位置D1、最適移動初期位置D1+ΔD1の探索を行う(ステップST1701)。
図18は、ステップST1701で行われる演算装置301の複軸同時進行処理機能(同時進行処理部)による初期位置設定および検定の複軸同時進行処理のフローチャートである。
まず、電子カメラ初期位置設定部1111は、メモリ媒体102に予め格納されている初期位置データで示される位置A1に電子カメラ109を移動させる命令を、駆動制御装置305に対して通知する(ステップST1801)。
次に、電子カメラ初期位置移動設定部1131は、電子カメラ109の初期位置に対して所定の視差を得る移動初期位置A1+ΔA1に電子カメラ309を移動させる命令を、駆動制御装置305に対して通知する(ステップST1802)。移動初期位置A1+ΔA1は、演算装置301の対物距離比例補正機能(複軸対物距離比例補正部)によって仮想カメラの光軸方向にあると仮定される対象物品と仮想カメラとの仮想距離を想定し、電子カメラ309と電子カメラ109との距離ΔA1が、仮想距離に比例するように設定される。
駆動制御装置305は、目標位置への電子カメラ109及び電子カメラ309の移動が完了すると、演算装置301に対して移動完了信号を送信する。電子カメラ初期位置設定部1111は、電子カメラ109及び電子カメラ309の初期位置への移動が完了したかどうか判断する(ステップST1803)。電子カメラ初期位置設定部1111は、駆動制御装置305からの移動完了信号を受信することにより、電子カメラ109及び電子カメラ309の移動が完了したと判定する。
ステップST1803で、駆動制御装置305からの移動完了信号を受信し、電子カメラ109及び電子カメラ309の移動が完了したと判定された場合には、演算装置301から電子カメラ109及び電子カメラ309に対してシャッタ駆動指令が与えられる(ステップST1804)。
電子カメラ109及び電子カメラ309は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置301へシリアル送信する。
電子カメラ109及び電子カメラ309から撮像図形データを受信すると、電子カメラ初期位置設定部1111は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST1804)。
次に、初期位置検定部112は、図7に示した初期位置検定処理に従って、ステップST1801で取得した電子カメラ109による撮像図形と仮想カメラによる平面図形との比較検定を行い、最適初期位置D1を取得する(ステップST1806)。
さらに、初期位置移動検定部114は、図7に示した初期位置検定処理に従って、ステップST1802で取得した電子カメラ309による撮像図形と仮想カメラによる平面図形との比較検定を行い、最適初期位置D1+ΔD1を取得する(ステップST1807)。
ステップST1803で、電子カメラ109及び電子カメラ309の移動が未完了と判定された場合には、ステップST1808及びステップST1809で行われる仮想カメラの初期位置設定及び検定処理が既に実行されたかどうか判定する(ステップST1805)。
ステップST1805で、仮想カメラの初期位置設定及び検定処理が実行されていないと判定された場合には、ステップST1808及びステップST1809の処理を行う。
ステップST1808の処理は、図5で示された実施の形態1の初期位置設定処理と同様に行い、仮想カメラを電子カメラ109の初期位置A1に対応した初期位置B1に設定する。
また、ステップST1809の処理は、図5で示された実施の形態1の初期位置設定処理と同様に行い、仮想カメラを電子カメラ309の初期位置A1+ΔA1に対応した初期位置B1+ΔB1に設定する。
ステップST1805で、仮想カメラの初期位置設定及び検定処理が既に実行されたと判定され、またはステップST1809が終了したら、再びステップST1803へ戻る。
以上で、ステップST1701初期位置設定および検定処理を終了し、図17のステップST1702へ進む。
ステップST1702では、初期位置設定部111は、仮想カメラ、電子カメラ109、電子カメラ309に対し、第二の初期位置についての初期位置検定処理、初期位置移動検定処理を行い、最適初期位置D2、最適移動初期位置D2+ΔD2の探索を行う。なお、当処理はステップST1701と同様に行う。
第二の初期位置は、例えば、第一の初期位置の対角線位置等の遠方位置に設定される。
次に、ステップST1701、ステップST1702でそれぞれ最適初期位置及び最適移動初期位置を取得できたか、すなわち、図7のステップST911の判定処理で適正と判定されたかどうかを判定する(ステップST1703)。
ステップST1703で、最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2が取得できたと判断された場合には、演算装置301の座標校正記憶機能(座標校正記憶部)によって、D1,D1+ΔD1,D2,D2+ΔD2に基づいて仮想カメラ、又は電子カメラ109及び電子カメラ309の位置が設定される(ステップST1704)。
ここでは、電子カメラ109及び電子カメラ309それぞれについて、第一、第二の初期位置における設定位置A1とA2を結んだ軸線方向と、A1とA2間の距離に対して、第一、第二の初期位置における仮想カメラの最適初期位置D1とD2を結んだ軸線方向と、D1とD2間の距離とが合致するように比較用画面上の座標位置と座標軸方向と表示倍率を調整し、これを保存記憶する。
ステップST1703で、適正な最適初期位置D1,D2、及び最適移動初期位置D1+ΔD1,D2+ΔD2が取得できたと判断されなかった場合には、比較検定動作を終了し、異常報知を行う(ステップST1705)。
これは、対象物品110が異品であったり、適用治具が異品であったり、また搬入位置が異常であるなど、このままでは比較検定動作を開始できないときに相当する。
次に、検定位置設定部116は、仮想カメラ、電子カメラ109、電子カメラ309に対し、第n検定位置についての検定位置検定処理、移動検定位置検定処理を行い、適正検定位置Dn、適正移動検定位置Dn+ΔDnの探索を行う(ステップST1706)。
図19は、ステップST1706で行われる、演算装置301の複軸同時進行処理機能(同時進行処理部)による検定位置設定および検定の複軸同時進行処理のフローチャートである。
まず、電子カメラ検定位置設定部1161は、メモリ媒体102に予め格納されている検定位置データで示される位置Anに電子カメラ109を移動させる命令を、駆動制御装置305に対して通知する(ステップST1901)。
次に、電子カメラ検定位置移動設定部1181は、電子カメラ109の初期位置に比べて所定の視差を得る移動初期位置An+ΔAnに電子カメラ309を移動させる命令を、駆動制御装置305に対して通知する(ステップST1902)。
駆動制御装置305は、目標位置への電子カメラ109及び電子カメラ309の移動が完了すると、演算装置301に対して移動完了信号を送信する。電子カメラ検定位置設定部1161は、電子カメラ109及び電子カメラ309の第n検定位置への移動が完了したかどうか判断する(ステップST1903)。電子カメラ検定位置設定部1161は、駆動制御装置305からの移動完了信号を受信することにより電子カメラ109及び電子カメラ309の移動が完了したと判定する。
ステップST1903で、駆動制御装置305からの移動完了信号を受信し、電子カメラ109及び電子カメラ309の移動が完了したと判定された場合には、演算装置301から電子カメラ109及び電子カメラ309に対してシャッタ駆動指令が与えられる(ステップST1904)。
電子カメラ109及び電子カメラ309は、対象物品110を撮像し、撮像された平面画像を構成する画素の輝度情報を含む撮像図形データを演算装置301へシリアル送信する。
電子カメラ109及び電子カメラ309から撮像図形データを受信すると、電子カメラ検定位置設定部1161は、取得した撮像図形データの輝度情報を基に撮像図形を二値化し、得られた図形の面積や図形の中心線の方向、中心点の位置等の特徴量の算出を行う(ステップST1904)。
次に、各部比較検定部117において、図11に示した検定位置検定処理に従って、電子カメラ109による撮像図形と仮想カメラによる平面図形との比較検定を行い、適正検定位置Dnを取得する(ステップST1906)。
さらに、各部移動検定部119において、図11に示した検定位置検定処理に従って、電子カメラ309による撮像図形と仮想カメラによる平面図形との比較検定を行い、適正検定位置Dn+ΔDnを取得する(ステップST1907)。
ステップST1903で、電子カメラ109及び電子カメラ309の移動が未完了と判定された場合には、ステップST1908及びステップST1909で行われる仮想カメラ検定位置設定及び検定処理が既に実行されたかどうか判定する(ステップST1905)。
ステップST1905で、仮想カメラの検定位置設定及び検定処理が実行されていないと判定された場合には、ステップST1908及びステップST1909の処理を行う。
ステップST1908の処理は、図9で示された実施の形態1の検定位置設定処理と同様に行い、仮想カメラを電子カメラ109の初期位置Anに対応した初期位置Bnに設定する。
また、ステップST1909の処理は、図9で示された実施の形態1の検定位置設定処理と同様に行い、仮想カメラを電子カメラ309の初期位置An+ΔAnに対応した初期位置Bn+ΔBnに設定する。
ステップST1905で、仮想カメラの検定位置設定及び検定処理が既に実行されたと判定され、またはステップST1909が終了したら、再びステップST1903へ戻る。
以上で、ステップST1706の第n検定位置設定および検定処理を終了し、図17のステップST1707へ進む。
ステップST1707では、ステップST1706において、最適検定位置及び最適移動検定位置が取得できたか、すなわち、図19のステップST1906及びステップST1907の中で実行する図11のステップST1207における判定で適正と判定されたかどうかが判定される。
ステップST1707で、適正検定位置Dn、及び適正移動検定位置Dn+ΔDnが取得できたと判断された場合には、Dn,Dn+ΔDnに基づいて仮想カメラ、又は電子カメラ109及び電子カメラ309の位置を調整し、その位置を記憶する(ステップST1708)
ステップST1707で、適正検定位置Dn、及び適正移動検定位置Dn+ΔDnが取得できたと判断されなかった場合には比較検定動作を終了し、異常報知を行う(ステップST1709)。
ステップST1708で適正検定位置が設定記憶されると、第n検定位置についての適正検定位置の更新データの蓄積件数が所定数を超えたかどうかを判定する(ステップST1710)。
ステップST1710で蓄積件数が所定数を超えたと判定された場合には、ばらつき補正部120は、第n検定位置についての蓄積された更新データの平均値を算出し、メモリ媒体102に格納すると共に、ステップST1708で蓄積した更新データを消去する(ステップST1711)。これにより、次回の処理以降、ステップST1708では、メモリ媒体102に第n検定位置についての新たな適正検定位置及び適正移動検定位置のデータが蓄積される。そして、蓄積された更新データ数が所定数を超過すると再びステップST1711で、更新データの平均値が算出され、第n検定位置についての適正検定位置と適正移動検定位置が更新される。
ステップST1710で、更新回数が所定回数を超えていないと判定された場合、またはステップST1711で適正検定位置が更新された後、すべての検定位置について適正検定位置の探索工程が完了したかどうかを判定する(ステップST1712)。
ステップST1712で、すべての検定位置についての探索処理が完了していないと判定された場合には、ステップST1706へ戻る。
ステップST1712で、すべての検定位置についての探索処理が完了したと判定された場合には、演算装置301の循環復帰機能(循環復帰部)により、仮想カメラ、電子カメラ109、電子カメラ309を第一の初期位置に移動させると共に、第一の初期位置についての初期位置検定処理、移動初期位置検定処理を行い、最適初期位置D1、最適移動初期位置D1+ΔD1の探索を行う(ステップST1713)。
なお、ステップST1713で行われる、電子カメラ109及び電子カメラ309の第一の初期位置への設定と特徴量の算出は、ステップST1701の処理と同様に行われ、初期位置にはステップST1701と同じ初期位置が設定される。
次に、演算装置301の循環時間監視機能(循環時間監視部)は、ステップST1701の動作開始時刻から、ステップST1713の動作終了時刻までの一巡動作時間をタイマ測定した結果を確認し、所定の時間内に一巡の動作が終了しているかどうかを判定する(ステップST1714)。
ステップST1714で、処理が所定時間内に終了していないと判定された場合には、異常報知を行い、当該検定位置を異常検定位置として記憶する(ステップST1715)。
ステップST1714で、処理が所定時間内に終了したと判定された場合には、比較検定処理を終了する。
以上の動作が終了すると、演算装置301は、他の制御動作を行ってから再度ステップST1701へ循環復帰する。
以上のように、この実施の形態3によれば、検定装置300は電子カメラ109及び電子カメラ309を備え、電子カメラ309は、電子カメラ109に対して視差を得るための移動初期位置及び移動検定位置に相当する位置に設置するようにしたので、電子カメラ109のみを備えた場合には、電子カメラを移動させることにより視差のある移動位置からの撮像図形を取得していたが、実施の形態3では、2台の電子カメラを同時に動作させることで、視差のある撮像図形を取得することができる。これにより、機械系動作を減らすことが可能となり、検定処理の能率を向上させることができる。
また、電子カメラ109と電子カメラ309の間の距離は、仮想カメラと対象物体間の距離に比例した距離に設定するようにしたので、各検定部位において一定量の視差を確保して確実に判定を行うことができると共に、検定位置の設定計画作成に当たって、移動補正については一義的に決定できるという利便性がある。
なお、実施の形態3では、駆動制御装置305によって電子カメラ109及び電子カメラ309を駆動するようにしているが、電子カメラは固定しておき、対象物品110を動かすようにしてもよい。
また、電子カメラ109及び電子カメラ309の設置間隔を固定値にし、さらに第3、第4の電子カメラを設置して、それぞれの設置間隔を異なる固定値とし、検定対象物品との距離の増加に伴って、設置間隔が最も適した電子カメラを選択するようにすれば、駆動制御装置305の小型化、低価格化が可能になる。
また、実施の形態3によれば、対象物品110の対角線位置等の比較的遠方位置にある複数個の基準点を観察するための複数の位置で初期位置設定を行うようにしたので、観察した複数の基準点間の距離と方向とが比較画面上で一致するように、仮想カメラまたは電子カメラ109及び電子カメラ309の座標位置と倍率を記憶するようにした。これにより、対象物品110が載置される治具の方向にバラツキがあるような場合でも、仮想カメラと電子カメラ109及び電子カメラ309の相対位置関係を正確に設定調整しておいて、各検定位置での比較検定の能率を高めることができる。
さらに、循環復帰機能により、電子カメラ109及び電子カメラ309を第一の初期位置から順次遠方位置にある他の初期位置へ移動させ、第一の初期位置まで循環復帰させるようにし、循環時間監視機能により、一巡の動作に要した時間が所定値を超過したときには異常報知を行うようにした。従って、電子カメラ又は対象物品の移動順路を短距離化することができると共に、一巡に要する時間を監視することによって、個々の検定位置での比較検定結果は適正であっても、対象物品の製造ロットの変化や対象物品の搬入治具の変化などにより全体として何等かの突発的な変動が発生したことが検知できるという効果がある。
また、この実施の形態3によれば、同時進行処理機能によって、電子カメラ109と電子カメラ309の移動動作中に、平行して仮想カメラによる平面図形の抽出と該平面図形の特徴量の算出を行うようにした。これにより、比較検定処理全体の能率を向上させることができる。
なお、電子カメラを移動させる機械動作と平行して行う処理の内容としては、実施の形態2と同様に前回の工程において取得した2台の電子カメラの撮像図形と仮想カメラによる平面図形との比較検定処理を含めても良い。
この発明の実施の形態1による、検定装置の構成を示すブロック図である。 この発明の実施の形態1による、演算装置の構成を示すブロック図である。 この発明の実施の形態1による、比較検定処理のフローチャートである。 この発明の実施の形態1による、移動検定処理を説明するための図である。 この発明の実施の形態1による、仮想カメラの初期位置設定処理のフローチャートである。 この発明の実施の形態1による、電子カメラの初期位置設定処理のフローチャートである。 この発明の実施の形態1による、初期位置検定処理のフローチャートである。 この発明の実施の形態1による、図形の位置調整を説明するための図である。 この発明の実施の形態1による、仮想カメラの検定位置設定処理のフローチャートである。 この発明の実施の形態1による、電子カメラの検定位置設定処理のフローチャートである。 この発明の実施の形態1による、各部比較検定処理のフローチャートである。 この発明の実施の形態2による、検定装置の構成を示すブロック図である。 この発明の実施の形態2による、比較検定処理のフローチャートである。 この発明の実施の形態2による、初期位置設定及び検定処理のフローチャートである。 この発明の実施の形態2による、検定位置設定及び検定処理のフローチャートである。 この発明の実施の形態3による、検定装置の構成を示すブロック図である。 この発明の実施の形態3による、比較検定処理のフローチャートである。 この発明の実施の形態3による、初期位置設定及び検定処理のフローチャートである。 この発明の実施の形態3による、検定位置設定及び検定処理のフローチャートである。
符号の説明
100,200,300 検定装置、101,201,301 演算装置、102 メモリ媒体、103 入力装置、104 出力装置、105,205,305 駆動制御装置、106,206,306 多軸駆動制御機構、107 エンコーダ、108 CADデータ格納媒体、109,309 電子カメラ、110 対象物品、111 初期位置設定部、112 初期位置検定部、113 初期位置移動設定部、114 初期位置移動検定部、116 検定位置設定部、117 各部比較検定部、118 検定位置移動設定部、119 各部移動検定部、120 ばらつき補正部、1111 電子カメラ初期位置設定部、1112 仮想カメラ初期位置設定部、1131 電子カメラ初期位置移動設定部、1132 仮想カメラ初期位置移動設定部、1161 電子カメラ検定位置設定部、1162 仮想カメラ検定位置設定部、1181 電子カメラ検定位置移動設定部、1182 仮想カメラ検定位置移動設定部。

Claims (13)

  1. 駆動機構によって電子カメラ又は検定対象物品の少なくとも一方の位置を制御する駆動制御装置と、
    上記駆動制御装置の制御によって可変位置から上記検定対象物品を撮像する電子カメラと、
    上記電子カメラによる上記検定対象物品の撮像図形と、上記検定対象物品の三次元CADデータに基づいて生成される平面図形との比較検定を行う演算装置とを備え、
    上記演算装置は、初期位置設定部と、初期位置検定部と、検定位置設定部と、比較検定部を有し、
    上記初期位置設定部は、上記検定対象物品の基準部位を観測する視点位置と方向を設定し、上記駆動制御装置に対して上記電子カメラの位置を制御する命令を供給すると共に、その視点位置と方向から上記検定対象物品を観測する仮想カメラによって得られる撮像画像に相当する平面図形を上記検定対象物品の三次元CADデータに基づいて生成し、
    上記初期位置検定部は、上記平面図形と上記電子カメラによる撮像図形とがある適合率以上で一致しているかどうかを判定し、一致していなければ、異常報知して動作を停止するか、上記仮想カメラの視点位置および方向を調整することにより仮想カメラによる平面図形と上記撮像図形が略一致するように初期設定し、
    上記検定位置設定部は、上記初期位置検定部による初期設定の後、上記検定対象物品についての比較検定結果を総合的に判定するための複数の検定部位を観測する視点位置と方向を設定し、上記駆動制御装置に対して上記電子カメラの位置を制御する命令を供給すると共に、その視点位置と方向から上記仮想カメラによって観測される平面図形を生成し、
    上記比較検定部は、上記平面図形と上記電子カメラの撮像図形とがある適合率以上で一致しているかどうかを判定し、一致していなければ、上記仮想カメラの視点位置または方向の少なくとも一方をある範囲内で微調整して再度一致判定を行い、上記微調整により上記仮想カメラによる平面図形と上記電子カメラの撮像図形が上記適合率以上で一致するようになった場合には該当検定部位における検定の結果を適合とし、上記適合率以上で一致しない場合には該当検定部位における検定の結果を不適合とすることを特徴とする比較検定装置。
  2. 初期位置設定部または検定位置設定部で設定された仮想カメラおよび電子カメラの設定位置に対して視差を与える移動位置を設定し、上記移動位置から上記仮想カメラによって観測される平面図形を生成すると共に、上記駆動制御装置に対して上記電子カメラの位置を制御する命令を供給する移動設定部と、
    上記平面図形と上記電子カメラの撮像図形とがある適合率以上で一致しているかどうかを判定し、移動位置での判定の結果と初期位置検定部による判定結果の両方が一致であれば、初期位置での判定結果を適合とし、移動位置での判定の結果と比較検定部による判定結果の両方が一致であれば、該当検定部位での判定結果を適合とする移動検定部を備えた請求項1記載の比較検定装置。
  3. 演算装置は、対物距離比例補正部を備え、
    上記対物距離比例補正部は、仮想カメラおよび電子カメラの移動前後の距離が、初期位置設定部または検定位置設定部で設定された位置における仮想カメラと検定対象物品との間の仮想距離に比例するように移動位置を設定することを特徴とする請求項2記載の比較検定装置。
  4. 駆動制御装置の制御によって任意の位置から上記検定対象物品を撮像する2台の電子カメラを備え、初期位置設定部または検定位置設定部は、第1の電子カメラの移動制御を行うと同時に、第2の電子カメラを第1の電子カメラの設定位置に対して視差を与える移動位置に設定するよう制御し、2台の電子カメラによって基準位置と移動位置からの撮像図形を分担して撮影することを特徴とする請求項2記載の比較検定装置。
  5. 第1の電子カメラと第2の電子カメラの間の距離を、仮想カメラと検定対象物品との間の仮想距離に比例するように設定する複軸対物距離比例補正部を備えたことを特徴とする請求項4記載の比較検定装置。
  6. 初期位置検定部は、一次調整部と、二次調整部と、初期位置探索部を備え、
    上記一次調整部は、初期位置設定部が設定した初期位置において電子カメラにより撮像された検定対象物品の撮像図形と、上記初期位置における仮想カメラによる平面図形の面積が一致するように上記仮想カメラの視点位置と方向を調整し、
    上記二次調整部は、上記一次調整部で調整された平面図形と電子カメラによる撮像図形の重なり合った部分の面積が最大となるように、上記平面図形と上記撮像図形の中心位置と中心線の傾斜角度を調整し、
    上記初期位置探索部は、上記一次調整部および上記二次調整部によって調整される上記平面図形と上記撮像図形の位置の中から、上記重なり合った部分の面積と上記撮像図形の面積との比率が最大となる最適初期位置を探索することを特徴とする請求項1記載の比較検定装置。
  7. 比較検定部は、一次調整部と、二次調整部と、適合率判定部を備え、
    上記一次調整部は、検定位置設定部が設定した検定位置において電子カメラにより撮像された検定対象物品の撮像図形と、上記検定位置における仮想カメラによる平面図形の面積が一致するように、ある範囲内で上記仮想カメラの視点位置と方向を調整し、
    上記二次調整部は、上記一次調整部で調整された平面図形と電子カメラによる撮像図形の重なり合った部分の面積が最大となるように、ある範囲内で上記平面図形と上記撮像図形の中心位置と中心線の傾斜角度を調整し、
    上記適合率判定部は、上記一次調整部および上記二次調整部によって調整される上記平面図形と上記撮像図形の位置において、上記重なり合った部分の面積と上記撮像図形の面積との比率がある適合率以上となったら、その検定部位における検定結果を適合とすることを特徴とする請求項1記載の比較検定装置。
  8. 各々の検定部位について、比較検定部によって検定結果が適合と判定されたときの仮想カメラの視点位置と方向を一定の検定対象物品数以上蓄積し、それらの平均値を算出して各々の検定部位についてのばらつき補正位置とし、検定位置設定部は、ある検定部位についての位置設定を行う際には、仮想カメラの視点位置と方向を該当する検定部位のばらつき補正位置に設定するか、電子カメラの位置制御に上記ばらつき補正位置を反映するばらつき補正部を備えたことを特徴とする請求項1または請求項2記載の比較検定装置。
  9. ばらつき補正部は、ばらつき補正位置を算出したら蓄積している視点位置と方向のデータを消去し、次回からの検定で得られる適合な仮想カメラの視点位置と方向のデータを蓄積し、それらの平均値を算出して新たなばらつき補正位置を取得することにより、各々の検定部位についてのばらつき補正位置を継続して更新することを特徴とする請求項8記載の比較検定装置。
  10. 初期位置設定部は、検定対象物品の複数の基準部位を観測する複数の視点位置と方向を設定し、初期位置検定部は、上記複数の基準部位を観測する位置について最適初期位置を設定し、
    上記複数の基準部位間の距離と方向が比較画面上で一致するように、仮想カメラによる平面図形と電子カメラの撮像図形の位置を調整し、その位置関係を記憶する座標校正記憶部を備えたことを特徴とする請求項6記載の比較検定装置。
  11. 初期位置設定部による電子カメラの移動制御において、上記電子カメラを第1の初期位置から順に遠方の初期位置へ移動させ、検定位置設定部によるすべての検定部位についての比較検定が終了したら、上記電子カメラを上記第1の初期値へ戻し、上記電子カメラの一巡の経路を最短にする循環復帰部を備えたことを特徴とする請求項10記載の比較検定装置。
  12. 上記循環復帰部による電子カメラの一巡動作に要した時間を観測し、上記一巡動作がある時間内に終了しなかったら異常報知を行う循環時間監視部を備えたことを特徴とする請求項11記載の比較検定装置。
  13. 駆動制御装置が初期位置設定部または検定位置設定部から電子カメラの位置を制御する命令を受けて、電子カメラまたは検定対象物品を移動する機械動作中に、仮想カメラによる平面図形の生成処理、または前回までの工程で取得した電子カメラの撮像図形と仮想カメラによる平面図形の初期位置検定部による検定または比較検定部による検定を平行して行う同時進行処理部を備えたことを特徴とする請求項1から請求項12のうちのいずれか1項に記載の比較検定装置。
JP2003309079A 2003-09-01 2003-09-01 比較検定装置 Pending JP2005078441A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003309079A JP2005078441A (ja) 2003-09-01 2003-09-01 比較検定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003309079A JP2005078441A (ja) 2003-09-01 2003-09-01 比較検定装置

Publications (1)

Publication Number Publication Date
JP2005078441A true JP2005078441A (ja) 2005-03-24

Family

ID=34411349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003309079A Pending JP2005078441A (ja) 2003-09-01 2003-09-01 比較検定装置

Country Status (1)

Country Link
JP (1) JP2005078441A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026723A1 (fr) * 2006-09-01 2008-03-06 Mori Seiki Co., Ltd. Procédé de confirmation de données de modèle tridimensionnel, et appareil de confirmation de données de modèle tridimensionnel
JP2012022600A (ja) * 2010-07-16 2012-02-02 Denso Wave Inc マスク画像作成システム
JP2015207105A (ja) * 2014-04-18 2015-11-19 Necフィールディング株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2020197437A (ja) * 2019-05-31 2020-12-10 株式会社ミツトヨ 形状測定システム
WO2023106260A1 (ja) * 2021-12-06 2023-06-15 日立Astemo株式会社 マスク画像生成方法、検査方法および検査装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026723A1 (fr) * 2006-09-01 2008-03-06 Mori Seiki Co., Ltd. Procédé de confirmation de données de modèle tridimensionnel, et appareil de confirmation de données de modèle tridimensionnel
US8310534B2 (en) 2006-09-01 2012-11-13 Mori Seiki Co., Ltd. Three-dimensional model data confirming method, and three-dimensional model data confirming apparatus
JP2012022600A (ja) * 2010-07-16 2012-02-02 Denso Wave Inc マスク画像作成システム
JP2015207105A (ja) * 2014-04-18 2015-11-19 Necフィールディング株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2020197437A (ja) * 2019-05-31 2020-12-10 株式会社ミツトヨ 形状測定システム
JP7296186B2 (ja) 2019-05-31 2023-06-22 株式会社ミツトヨ 形状測定システムおよびその制御方法
WO2023106260A1 (ja) * 2021-12-06 2023-06-15 日立Astemo株式会社 マスク画像生成方法、検査方法および検査装置

Similar Documents

Publication Publication Date Title
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US9672630B2 (en) Contour line measurement apparatus and robot system
TWI670153B (zh) 機器人及機器人系統
US9604363B2 (en) Object pickup device and method for picking up object
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
US20090190826A1 (en) Working apparatus and calibration method thereof
JP6576655B2 (ja) ステージ機構
JP5388921B2 (ja) 3次元距離計測装置及びその方法
JP2007212430A (ja) 写真測量装置及び写真測量システム
JP6973233B2 (ja) 画像処理システム、画像処理装置および画像処理プログラム
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
US20210065356A1 (en) Apparatus and method for heat exchanger inspection
JP2020190411A (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP2005078441A (ja) 比較検定装置
KR20070016752A (ko) 길이 측정장치 및 방법
JP2008294065A (ja) 電子部品の実装方法及び装置
JP6205727B2 (ja) 形状測定方法、構造物製造方法、形状測定プログラム、光学式形状測定装置、及び構造物製造システム
JP2004354320A (ja) 撮像対象物品の認識検定システム
JP2010266750A (ja) 観察装置および観察システム
JP7414850B2 (ja) ロボットシステム
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统
JP2017007026A (ja) 位置補正システム
JP7318190B2 (ja) 形状測定装置、形状測定方法及び形状測定プログラム