JP2012032211A - 画像検査方法および画像検査装置 - Google Patents

画像検査方法および画像検査装置 Download PDF

Info

Publication number
JP2012032211A
JP2012032211A JP2010170365A JP2010170365A JP2012032211A JP 2012032211 A JP2012032211 A JP 2012032211A JP 2010170365 A JP2010170365 A JP 2010170365A JP 2010170365 A JP2010170365 A JP 2010170365A JP 2012032211 A JP2012032211 A JP 2012032211A
Authority
JP
Japan
Prior art keywords
image
inspection
component
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010170365A
Other languages
English (en)
Other versions
JP5464092B2 (ja
Inventor
Hiroaki Okamoto
浩明 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010170365A priority Critical patent/JP5464092B2/ja
Publication of JP2012032211A publication Critical patent/JP2012032211A/ja
Application granted granted Critical
Publication of JP5464092B2 publication Critical patent/JP5464092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】所定の繰り返しピッチで連続して生産される部品の画像検査において,その画像検査の実施状態を知ることが可能となる技術を提供する。
【解決手段】画像検査装置10において,マッチング処理部141は,入力された検査画像のフレームから部品を検出し,検出された部品の位置と相関値とを取得する。フレーム間部品対応検出部151は,連続する2つのフレーム間で類似する部品の対応を検出する。対応部品位置差分算出部152は,対応部品間の検出位置の差分である対応部品位置差分を算出する。対応部品位置差分統計部153は,対応部品位置差分を統計した移動量ヒストグラムを作成する。部品移動量推定部155は,移動量ヒストグラムから連続するフレーム間での部品の移動量を推定する。画像検査実施状態判定部150は,部品の移動量の推定結果から,画像検査が適切に実施されているか否かを判定する。
【選択図】図2

Description

本発明は,所定の繰り返しピッチで連続して移動する複数の部品の良否を,画像から判定する画像検査方法および画像検査装置に関するものである。
プレス加工機などの製造機により,所定の繰り返しピッチ(間隔)で連続的に複数の部品を生産する技術がある。例えば,プレス加工機により,帯状の材料上に所定の繰り返しピッチ(間隔)で連続的に複数の部品が生産された加工品は,そのプレス加工機から送り出され,巻取り機によってリールに巻き取られる。プレス加工の際に,部品の形状や部品間のピッチに,打痕等による不良が発生する場合があるため,生産された部品の良否検査を行う必要がある。
所定の繰り返しピッチで連続的に生産された複数の部品の良否検査を行う方法として,カメラで撮像した画像を用いる方法がある。例えば,プレス加工機から送出されてから,リールに巻き取られる前の加工品をカメラで撮像し,画像検査装置により撮像画像を用いた部品の良否検査を行う。画像検査装置は,あらかじめ登録された部品のテンプレート画像を用いたテンプレートマッチングによって画像から各部品を検出し,部品形状の異常やピッチのズレなどを検査する。このような画像検査において,信頼性向上のためには,一部部品のサンプル検査ではなく,生産されるすべての部品についての良否検査,すなわち全数検査を行った方がよい。
なお,回路基板上に形成されたパッド部の実装性の評価を,テンプレート画像を用いた画像検査により行う技術が知られている。また,固定して設置した監視カメラの経年変化による位置ズレを,撮影画像から検知する技術か知られている。
特開2003−161608号公報 特開2007−208513号公報
上述の画像検査の例において,加工品の巻き取り速度が十分に遅い場合には,加工品上の全部品の良否検査が可能である。ただし,加工品の巻き取り速度が遅ければ,プレス加工機からの加工品の送り出し速度も遅くなっており,プレス加工機では部品の生産効率が低下した状態となっている可能性がある。生産効率を考えた場合には,できるだけ速い加工品の送り出し速度でプレス加工機を運用したい。
しかし,加工品の巻き取り速度が速い場合には,画像検査装置による部品の全数検査が実施されていない可能性がある。画像検査装置は,カメラの前を通過する加工品上の部品の画像を所定の間隔で取得する。このとき,加工品の巻き取り速度が速いと,あるタイミングでの取得画像とその次のタイミングでの取得画像との間に,それらの取得画像に写らない部品がカメラの前を通過している可能性がある。この場合,画像検査装置の取得画像に写らずにカメラの前を通過してしまった部品については,良否検査が行われない。
部品の生産効率を可能な限り低下させずに,全部品の良否検査を行うためには,現在の状況で全数検査ができているか,無駄に同じ部品を重複して検査していないかなどの画像検査の実施状態を知りたい。
本発明は,上記の問題点の解決を図り,所定の繰り返しピッチで連続して生産される部品の画像検査において,その画像検査の実施状態を知ることが可能となる技術を提供することを目的とする。
所定の繰り返しピッチで連続して移動する複数の部品の良否を,該部品を撮像した画像により判定する画像検査方法は,コンピュータが,部品を撮像した画像を検査画像として取得する過程と,テンプレート画像を用いたテンプレートマッチングにより,検査画像から部品を検出し,該部品の検査画像上での位置を示す情報と,該部品のテンプレート画像に対する類似度の情報とを取得する過程と,検出された部品ごとに,位置を示す情報と類似度の情報とをコンピュータがアクセス可能な記憶部に記憶する過程と,記憶された部品ごとの類似度の情報に基づいて,検査画像の連続する2つのフレームにおいて一方のフレームから検出された部品とその部品に類似度が最も近い他方のフレームから検出された部品との組合せを検出し,該部品の組合せを該2つのフレーム間で対応する部品の組合せとする過程と,記憶された部品ごとの位置を示す情報に基づいて,対応する部品間の検査画像上での位置の差分を算出する過程と,対応する部品間の検査画像上での位置の差分の統計をとる過程と,対応する部品間の検査画像上での位置の差分の統計結果に基づいて,部品の検査画像の連続するフレーム間での移動量を推定する過程とを実行する。
上記の技術によって,所定の繰り返しピッチで連続して生産される部品の画像検査において,その画像検査の実施状態を知ることが可能となる。例えば,部品の移動速度が速すぎて部品の全数検査ができていない状況や,部品の移動速度が遅すぎて部品の画像検査の効率や部品の生産効率が低くなっている状況などを知ることが可能となる。
本実施の形態による製造システムの構成例を示す図である。 本実施の形態による画像検査装置の構成例を示す図である。 本実施の形態による画像検査装置を実現するコンピュータのハードウェア構成例を示す図である。 本実施の形態によるティーチングの例を説明する図である。 本実施の形態による画像検査の例を説明する図である。 本実施の形態による検出部品情報の例を示す図である。 本実施の形態による画像検査の実施状態の例を示す図である。 本実施の形態による検査画像の連続する2つのフレーム間で対応する部品を検出する例を説明する図である。 本実施の形態による対応部品位置差分の算出と移動量ヒストグラムの作成とを説明する図である。 本実施の形態による移動量ヒストグラムに応じた画像検査の実施状態の判定を説明する図である。 本実施の形態の画像検査装置による処理のフローチャートである。 本実施例1による部品の移動速度の調整制御の例を説明する図である。 本実施例1による画像検査装置の処理フローチャートである。 本実施例2による検査画像の連続する2つのフレーム間で対応する部品の組合せを複数検出する例を説明する図である。 本実施例2による移動量ヒストグラム作成の例を説明する図である。 本実施例3による検査画像の異なるフレーム間で対応する部品の組合せを検出する例を説明する図である。 本実施例3による移動量ヒストグラム作成の例を説明する図である。 検査画像の入力と入力された検査画像に対する画像処理の例を説明する図である。 本実施例4による画像検査装置の処理フローチャートである。
以下,本実施の形態について,図を用いて説明する。
図1は,本実施の形態による製造システムの構成例を示す図である。
図1に示す製造システムにおいて,プレス加工機30は,プレス加工により帯状の材料上に所定の繰り返しピッチ(間隔)で連続して複数の部品を生産する製造機械である。以下では,プレス加工機30により帯状の材料上に所定の繰り返しピッチで連続して複数の部品が生産された加工品を,帯状加工品50と呼ぶ。
巻取り機40は,プレス加工機30により生成された帯状加工品50を,リールに巻き取る機械である。
プレス加工機30は,送り機構制御部31を備える。送り機構制御部31は,生成された帯状加工品50を巻取り機40に送り出す制御を行う。例えば,送り機構制御部31は,帯状加工品50を巻取り機40に送り出す速度の制御を行う。
図1に示す製造システムでは,プレス加工機30と巻取り機40との間に,カメラ20が設置されている。カメラ20は,プレス加工機30から巻取り機40に向かって移動する帯状加工品50を撮像する。
画像検査装置10は,所定の繰り返しピッチで連続して移動する複数の部品の良否を,それらの部品を撮像した画像により判定する検査を行う。ここでは,画像検査装置10は,カメラ20で撮像された帯状加工品50の画像を用いて,帯状加工品50上に成型されている部品の良否検査を行う。帯状加工品50上に成型されている部品の良否検査では,各部品の形状の異常や各部品間のピッチのズレなどが検査される。以下では,画像を用いた部品の良否検査を,画像検査とも呼ぶ。
図2は,本実施の形態による画像検査装置の構成例を示す図である。
図2に示す画像検査装置10は,画像入力部110,ティーチング処理部120,画像検査用情報記憶部130,画像検査処理部140,画像検査実施状態判定部150,調整制御部160を備える。
画像入力部110は,ティーチング画像や検査画像などの画像を取得する。ティーチング画像は,正常な形状の部品が正常なピッチで並んだ帯状加工品50が写った画像である。検査画像は,カメラ20により撮像された,画像検査の対象が写った画像である。
ティーチング処理部120は,ティーチング画像から画像検査に用いる情報を抽出するティーチング処理を行う。ティーチング処理部120は,テンプレート登録部121,基準ピッチ算出部122を備える。
テンプレート登録部121は,ティーチング画像から,画像検査に用いるテンプレート画像を切り出す処理を行う。テンプレート画像は,1個の正常な部品の画像である。テンプレート登録部121は,切り出されたテンプレート画像を画像検査用情報記憶部130に登録する。
基準ピッチ算出部122は,ティーチング画像に基づいて,画像検査に用いる基準ピッチを算出する。基準ピッチは,部品間のピッチが正常であるか否かを判断する基準となるピッチである。本実施の形態では,基準ピッチは画素数で表されているものとする。基準ピッチ算出部122は,算出された基準ピッチを画像検査用情報記憶部130に登録する。
画像検査用情報記憶部130は,ティーチング処理部120により得られた,画像検査に用いる情報を記憶する,コンピュータがアクセス可能な記憶部である。ここでは,画像検査に用いる情報として,テンプレート登録部121により得られたテンプレート画像と,基準ピッチ算出部122により得られた基準ピッチとが,画像検査用情報記憶部130に記憶されている。
画像検査処理部140は,取得された検査画像を用いて,帯状加工品50上に成型されている部品の形状やピッチに異常があるか否かを検査する,画像検査を行う。画像検査処理部140は,マッチング処理部141,検出部品情報記憶部142,ピッチ異常検査部143を備える。
マッチング処理部141は,画像検査用情報記憶部130に記憶されたテンプレート画像を用いたテンプレートマッチングにより,取得された検査画像に写った部品を検出する。マッチング処理部141は,テンプレートマッチングの結果として検出された部品の情報を,検出部品情報記憶部142に記憶する。
検出部品情報記憶部142は,テンプレートマッチングにより検出された部品の情報が記憶された,コンピュータがアクセス可能な記憶部である。検出部品情報記憶部142に記憶される検出部品の情報には,検出された部品の検査画像上での位置を示す情報や,検出された部品のテンプレート画像に対する類似度の情報などが含まれる。検出された部品のテンプレート画像に対する類似度の情報は,検査画像上の部品が検出された領域とテンプレート画像との間の類似度を示す情報である。検出部品情報記憶部142は,検査画像のフレームごとに,それぞれ検出された部品の情報を記憶する。
ピッチ異常検査部143は,画像検査用情報記憶部130に記憶された基準ピッチに基づいて,検査画像から検出された部品間のピッチが所定の正常な範囲にあるか否かを検査する。
例えば,ピッチ異常検査部143は,検出部部品情報記憶部142に記憶された検査画像上での各部品の位置を示す情報を取得し,隣接する部品間のピッチが,基準ピッチ±α%の範囲にあるかを判定する。±α%は,許容される所定の誤差範囲を示す。ピッチ異常検査部143は,隣接する部品間のピッチが基準ピッチ±α%の範囲になければ,それらの部品間に異常があると判定する。
画像検査実施状態判定部150は,画像検査処理部140のマッチング処理部141により得られた,検査画像から検出された部品の情報を用いて,適切に部品の全数検査が行われているか否かなどの,画像検査の実施状態を判定する。画像検査実施状態判定部150は,フレーム間部品対応検出部151,対応部品位置差分算出部152,対応部品位置差分統計部153,統計結果記憶部154,部品移動量推定部155を備える。
フレーム間部品対応検出部151は,検出部品情報記憶部142に記憶された各部品の類似度を示す情報に基づいて,検査画像のフレーム間で対応する部品を検出する。ここでは,フレーム間部品対応検出部151は,検査画像の2つのフレームにおいて,一方のフレームから検出された部品と,その部品に類似度が最も近い他方のフレームから検出された部品との組合せを検出し,フレーム間で対応する部品の組合せとする。
例えば,フレーム間部品対応検出部151は,検査画像の連続するフレーム間において,最も類似度が近い部品同士の対応を検出する。検査画像の連続するフレームのそれぞれに写った部品が実際の帯状加工品50上で同じ部品である場合には,テンプレートマッチングによって得られる類似度の値もほぼ同じ値になるものと考えられる。そのため,連続するフレームからそれぞれ検出された最も類似度が近い部品同士は,同じ部品である可能性が高い。
対応部品位置差分算出部152は,検出部品情報記憶部142に記憶された各部品の検査画像上での位置を示す情報に基づいて,対応部品位置差分を算出する。対応部品位置差分は,フレーム間部品対応検出部151により対応するとされた部品間の検査画像上での位置の差分である。本実施の形態では,対応部品位置差分は,画素数で表される。
対応部品位置差分統計部153は,対応部品位置差分算出部152により所定以上の複数のフレーム間に渡って算出された対応部品位置差分を,統計する。本実施の形態では,対応部品位置差分統計部153は,対応部品位置差分の統計として,ヒストグラムの作成を行う。ここでは,所定以上の複数のフレーム間に渡って算出された対応部品位置差分のヒストグラムを,移動量ヒストグラムと呼ぶ。対応部品位置差分統計部153により作成された移動量ヒストグラムは,統計結果記憶部154に記憶される。
統計結果記憶部154は,移動量ヒストグラムを記憶する,コンピュータがアクセス可能な記憶部である。
部品移動量推定部155は,対応部品位置差分統計部153により作成され,統計結果記憶部154に記憶された移動量ヒストグラムに基づいて,部品の検査画像の連続するフレーム間での移動量の推定を行う。対応部品位置差分の統計結果に基づいた,部品の検査画像の連続するフレーム間での移動量の推定結果から,画像検査の実施状態が判定できる。
調整制御部160は,画像検査実施状態判定部150の部品移動量推定部155による部品の検査画像の連続するフレーム間での移動量の推定結果に応じて,画像検査が適切に行われるように,部品の検査画像の連続するフレーム間での移動量を調整する制御を行う。
図3は,本実施の形態による画像検査装置を実現するコンピュータのハードウェア構成例を示す図である。
本実施の形態による画像検査装置10は,図3に示すように,CPU(Central Processing Unit )101,主記憶となるメモリ102,入出力インタフェース103,記憶装置104,入力装置105,出力装置106を備えるコンピュータ100によって実現される。
画像検査装置10および画像検査装置10が備える各機能部は,コンピュータ100が備えるCPU101,メモリ102等のハードウェアと,ソフトウェアプログラムとによって実現することが可能である。コンピュータ100が実行可能なプログラムは,HDD(Hard Disk Drive )等の記憶装置104に記憶され,その実行時にRAM(Random Access Memory)等のメモリ102に読み出され,CPU101により実行される。
なお,コンピュータ100は,可搬型記録媒体から直接プログラムを読み取り,そのプログラムに従った処理を実行することもできる。また,コンピュータ100は,サーバコンピュータからプログラムが転送されるごとに,逐次,受け取ったプログラムに従った処理を実行することもできる。さらに,このプログラムは,コンピュータ100で読み取り可能な記録媒体に記録しておくことができる。
以下,図4〜図10を用いて,本実施の形態による画像検査装置10による処理のより詳細な例を説明する。
所定の繰り返しピッチで生産された複数の同じ形状の部品の画像検査を行うためには,あらかじめ正常な形状の部品のテンプレート画像と,正常な部品間隔の基準を示す基準ピッチとを,画像検査装置10に登録しておく必要がある。ティーチング処理部120は,入力されたティーチング画像から,画像検査に用いるテンプレート画像と基準ピッチとを抽出する,ティーチングと呼ばれる処理を行う。
図4は,本実施の形態によるティーチングの例を説明する図である。
図4に示すティーチング画像125は,帯状加工品50の良品が提示された画像である。図4に示すティーチング画像125において,色づけされた領域が,複数個の正常な形状の部品が等間隔に並んだ帯状加工品50が写った領域である。図4に示すティーチング画像125において,複数の突起部分が部品である。
ティーチング時において,オペレータは,図4のティーチング画像125内に破線で示すように,ティーチング画像125上に並んだ部品の中の一個を囲むように矩形領域を調節して指定する。ティーチング処理部120のテンプレート登録部121は,ティーチング画像125からオペレータにより指定された領域を切り出し,部品のテンプレート画像135として登録する。登録されたテンプレート画像135は,画像検査用情報記憶部130に記憶される。
また,オペレータは,図4のティーチング画像125に示すように,隣り合った2個の部品の位置を指定する。ティーチング処理部120の基準ピッチ算出部122は,オペレータに指定された2つの位置間の画素数を算出し,基準ピッチとして設定する。設定された基準ピッチは,画像検査用情報記憶部130に記憶される。
このようなティーチングを,オペレータなしに自動で行ってもよい。例えば,自動ティーチングでは,ティーチング処理部120が,ティーチング画像125において,エッジの抽出などにより同じ形状の部品の繰り返しを検出し,部品のテンプレート画像135の切り出しや繰り返しピッチからの基準ピッチの算出などを自動で行う。
ティーチングによりテンプレート画像135と基準ピッチとが登録された状態で,プレス加工機30の運転が開始され,カメラ20による移動中の帯状加工品50の撮影が開始される。画像検査装置10では画像検査が開始され,画像入力部110は,カメラ20により撮像された画像を所定のタイミングで入力し,検査画像とする。画像検査処理部140は,入力された検査画像を用いた画像検査を行う。
図5は,本実施の形態による画像検査の例を説明する図である。
図5に示す検査画像145は,移動中の帯状加工品50をあるタイミングでカメラが撮像した画像である。図5に示す検査画像145において,帯状加工品50の移動方向,すなわち部品の移動方向は,水平右方向であるものとする。なお,以下で説明する他の図面の検査画像145においても,帯状加工品50の移動方向,すなわち部品の移動方向は検査画像145に向かって水平右方向であるものとする。
画像検査処理部140において,マッチング処理部141は,画像検査用情報記憶部130に記憶されたテンプレート画像135を用いたテンプレートマッチングにより,検査画像145を探索する。本実施の形態では,マッチング処理部141は,テンプレートマッチングに正規化相関演算を用い,相関値が所定の閾値以上で局所的にピークとなる画像領域を,部品が写っている領域としてすべて検出する。
図5に示す検査画像145において,破線枠で囲まれた各領域が,テンプレートマッチングにより検出された各部品の領域である。ここでは,テンプレートマッチングにより,図5に示す検査画像145から,左から順にA1 ,A2 ,A3 ,A4 ,A5 の部品が検出されている。
マッチング処理部141は,テンプレートマッチングで相関値が局所的にピークとなった領域の位置を部品の検出位置として,その位置座標を抽出する。例えば,図5に示す検査画像145において,破線枠で示された各部品の検出領域の中心位置の座標が,各部品の検出位置として抽出される。
マッチング処理部141は,検査画像145から検出された各部品について,部品の検出位置の座標と,部品が検出されたときの相関値とを,検出部品情報記憶部142に記憶する。部品の検出位置の座標が,上述した部品の検査画像145上の位置を示す情報である。部品が検出されたときの相関値が,上述した部品のテンプレート画像に対する類似度の情報である。
画像検査処理部140において,ピッチ異常検査部143は,検査画像145から検出された各部品について,隣り合う部品同士の検出位置座標の差分を求める。得られた差分の値が,それぞれの部品間のピッチとなる。
例えば,ピッチ異常検査部143は,図5に示す検査画像145において,部品A1 −A2 間の水平方向座標の差分,部品A2 −A3 間の水平方向座標の差分,部品A3 −A4 間の水平方向座標の差分,部品A4 −A5 間の水平方向座標の差分を求める。図5の検査画像145に示すように,それぞれの部品間の水平方向座標の差分P12,P23,P34,P45が,それぞれの部品間のピッチとして求められる。
ピッチ異常検査部143は,求められた各ピッチが基準ピッチ±α%の範囲にあるか否かを判定することで,各部品の良否を判定する。±α%は,許容される所定の誤差範囲を示す。ピッチ異常検査部143は,隣接する部品間のピッチが基準ピッチ±α%の範囲になければ,それらの部品間に異常があると判定する。
画像検査処理部140の検出部品情報記憶部142には,マッチング処理部141によるテンプレートマッチングにより得られた,検査画像145のフレームごとの,部品の検出位置の座標と,部品が検出されたときの相関値とが記憶されている。
図6は,本実施の形態による検出部品情報の例を示す図である。
図6に示す検出部品情報146は,マッチング処理部141によるテンプレートマッチングの結果として得られ,検出部品情報記憶部142に記憶された,検査画像145のフレームごとの検出部品に関する情報一例である。
図6に示す検出部品情報146において,“フレーム”は,検査画像145のフレームを示す。図6に示す検出部品情報146では,検査画像145の各フレームから検出された部品の情報が,左端の部品から順に,“検出部品#1”,“検出部品#2”,... として示されている。各検出部品の情報において,“位置”は,部品の検出位置の座標(水平方向座標,垂直方向座標)を示し,“相関値”は,部品が検出されたときの相関値を示す。
画像検査実施状態判定部150は,画像検査が適切に行われているか否かを判断するために,画像検査処理部140におけるテンプレートマッチングの結果を用いて,画像検査の実施状態を判定する。
図7は,本実施の形態による画像検査の実施状態の例を示す図である。
図7において,第nフレームは,あるタイミングで入力された検査画像145のフレームであり,第n+1フレームは,第nフレームの次のタイミングで入力された検査画像145のフレームである。すなわち,第nフレームと第n+1フレームとは,連続する検査画像145のフレームである。
図7(A)は,部品の全数検査が行われている状態の例を示す。図7(A)に示す例では,ハッチングで示された第nフレームの左端に写った部品が,次の第n+1フレームにも写っている。すなわち,図7(A)に示す例では,連続するフレーム間での部品の移動量が,検査画像145の範囲内に十分に収まっている。図7(A)に示す例では,検査画像145のフレーム間で飛ばされて写らない部品がなく,帯状加工品50上の全部品の画像検査が行われている。
図7(B)は,部品の全数検査に洩れが発生している状態の例を示す。図7(B)に示すように,ハッチングで示された第nフレームの左端に写った部品が,次の第n+1フレームに写っていない場合には,部品の全数検査に洩れが発生している。図7(B)に示す例でも,第n+1フレームから延長して破線で示すように,第nフレーム左端に写った部品の次の部品が,検査画像145のフレーム間で飛ばされており,連続するいずれのフレームにも写っていない。図7(B)に示す例では,フレーム間で飛ばされた部品についての良否検査が行われていない。
図7(C)は,部品の検査画像145の連続するフレーム間での移動量が少ない状態の例を示す。図7(C)に示す例では,ハッチングで示された第nフレームの左端に写った部品が,次の第n+1フレームにも写っているので,部品の全数検査は実行されている。しかし,部品の検査画像145の連続するフレーム間での移動量が少ないため,同じ部品の良否検査が何度も行われる状態となっている。図7(C)に示す例では,同じ部品の良否検査が何度も繰り返し行われることになり,画像検査に大きな無駄が生じている。
図7(D)は,部品の検査画像145の連続するフレーム間での移動量が理想的である状態の例を示す。図7(D)に示す例では,ハッチングで示された第nフレーム左端に写った部品が,第n+1フレームの右端に写っている。そのため,連続するフレーム間で部品が飛ばされておらず,かつ同じ部品についての良否検査が無駄に繰り返されていない状態となる。図7(D)に示す例における,部品の検査画像145の連続するフレーム間での移動量は,理想的である。
画像検査実施状態判定部150は,図7に示すような画像検査の実行状態を判定するために,以下に説明する処理を行う。
画像検査実施状態判定部150において,フレーム間部品対応検出部151は,検出部品情報記憶部142に記憶された,部品が検出されたときの相関値に基づいて,検査画像145の連続する2つのフレーム間で対応する部品を検出する。
図8は,本実施の形態による検査画像の連続する2つのフレーム間で対応する部品を検出する例を説明する図である。
図8において,“検査画像上の部品検出位置”は,検査画像145の各フレームにおいて,テンプレートマッチングにより検出された部品の水平方向の検出位置を示している。また,“検出された部品の相関値”は,テンプレートマッチングで得られた,テンプレート画像135に対する検査画像145上の検出された部品の領域の相関値である。図8に示すような検査画像145の各フレームにおける,各部品の検出位置の座標と,テンプレートマッチング時に得られた各部品の相関値とは,検出部品情報記憶部142に記憶されている。
図8に示す例では,検査画像145の第nフレームから,A01〜A05の5つの部品が検出されている。同様に,検査画像145の第n+1フレーム,第n+2フレーム,第n+3フレーム,第n+4フレームから,それぞれA11〜A15,A21〜A25,A31〜A35,A41〜A45の部品が検出されている。
フレーム間部品対応検出部151は,連続する2つの検査画像145のフレームにおいて,先のフレームの左端部品の相関値と後のフレームの全部品の相関値とを比較し,先のフレームの左端部品と最も相関値が近い後のフレームの部品を検出する。フレーム間部品対応検出部151は,先のフレームの左端部品と,後のフレームから検出された部品とを,連続する2つのフレーム間で対応する部品とする。
テンプレートマッチングにより得られた各部品の相関値は,帯状加工品50上の個々の部品の微妙な形状の差によって,良品であってもいくらかのばらつきを持っている。しかし,同一の部品であれば,撮影されたフレームが違っていても,ほぼ同じ相関値が得られる。そのため,検査画像145の連続するフレーム間において,最も近い相関値を持つ部品同士を選べば,それらの部品は,検査画像145の異なるフレームに写ったまったく同一の部品である確率が高い。すなわち,フレーム間部品対応検出部151は,検査画像145の異なるフレームに写った,同じ部品である可能性が推定された部品同士の対応を検出している。
図8に示す例において,検査画像145の第nフレームの左端部品A01の相関値は,0.991 である。フレーム間部品対応検出部151は,第nフレームの左端部品A01の相関値0.991 と,次の第n+1フレームの各部品の相関値とを比較し,最も相関値が近い部品A13を検出する。フレーム間部品対応検出部151は,第nフレームの部品A01と第n+1フレームの部品A13とを,検査画像145の連続する第nフレーム−第n+1フレーム間で対応する部品とする。
同様に,図8に示す例では,連続する第n+1フレーム−第n+2フレーム間で対応する部品として,部品A11と部品A23との対応が検出される。また,連続する第n+2フレーム−第n+3フレーム間で対応する部品として,部品A21と部品A33との対応が検出される。また,連続する第n+3フレーム−第n+4フレーム間で対応する部品として,部品A31と部品A44との対応が検出される。図8に示す例において,太線の矢印が,それぞれ検出された部品の対応を示している。
なお,本実施の形態の例では,先のフレームの左端部品に対応する部品を後のフレームから検出しているが,これに限るものではない。本実施の形態による対応する部品の一方が先のフレームの左端部品である例は,好適な一例である。
対応部品位置差分算出部152は,検出部品情報記憶部142に記憶された,各フレームで検出された部品の検出位置に基づいて,フレーム間部品対応検出部151で対応するとされた部品間の検査画像145上での水平方向位置の差分を算出する。ここで算出された対応する部品間の検査画像145上での水平方向位置の差分が,上述の対応部品位置差分である。
上述したように,フレーム間部品対応検出部151で対応するとされた両部品は,同じ部品である可能性が推定された部品である。そのため,対応部品位置差分算出部152により算出された対応部品位置差分は,同じ部品の検査画像145の連続するフレーム間での移動量を示している可能性がある。
対応部品位置差分統計部153は,所定以上の複数のフレーム間に渡って,対応部品位置差分算出部152により算出された対応部品位置差分を統計する。ここでは,対応部品位置差分統計部153は,所定以上の複数のフレーム間に渡って算出された対応部品位置差分のヒストグラム,すなわち移動量ヒストグラムを作成する。
フレーム間部品対応検出部151において,後のフレームにおける複数の部品の相関値が非常に類似している場合に,フレーム間で対応する部品として,必ずしも同じ部品同士の対応が選ばれるとは限らず,異なる部品同士の対応が選択される場合もあり得る。そのため,1組の対応する部品間で算出された対応部品位置差分のみで,部品の検査画像145の連続するフレーム間での移動量を推定し,画像検査の実施状態を判定すると,誤った判断をしてしまう可能性がある。
このような問題を回避するために,複数組の対応する部品間で算出された複数の対応部品位置差分の統計結果に基づいて,部品の検査画像145の連続するフレーム間での移動量をより正確に推定し,より正確な画像検査の実施状態の判定を行いたい。そのため,本実施の形態では,所定以上の多数の検査画像145のフレーム間に渡って対応する部品間の位置差分を算出し,得られた多数の対応部品位置差分をプロットした移動量ヒストグラムを作成する。これにより,部品の検査画像145の連続するフレーム間での移動量をより正確に推定し,その推定に基づいて,より正確に画像検査の実施状態を判定することが可能となる。
図9は,本実施の形態による対応部品位置差分の算出と移動量ヒストグラムの作成とを説明する図である。
図9に示すように,フレーム間部品対応検出部151により,検査画像145の連続する第nフレーム,第n+1フレームにおいて,部品A01と部品A13とが対応する部品とされたものとする。
このとき,対応部品位置差分算出部152は,検出部品情報記憶部142から,部品A01の水平方向座標X01と部品A13の水平方向座標X13とを取得する。検査画像145上での部品A01と部品A13との位置関係は,図9に示す通りとなる。
対応部品位置差分算出部152は,得られた部品A01の水平方向座標X01と部品Aの水平方向座標X13との差分(X13−X01)を算出し,対応部品位置差分とする。本実施の形態の対応部品位置差分は,座標値の差分であるので,画素数で表される。
対応部品位置差分統計部153は,図9に示すように,移動量ヒストグラムにおいて,対応部品位置差分算出部152により得られた対応部品位置差分(X13−X01)の頻度を+1する。
このような処理を検査画像145の多数のフレームに渡って実行することにより,部品の検査画像145の連続するフレーム間での移動量をより正確に推定できる移動量ヒストグラムが作成される。作成された移動量ヒストグラムは,統計結果記憶部154に記憶される。
部品移動量推定部155は,統計結果記憶部154に記憶された移動量ヒストグラムに基づいて,部品の検査画像145の連続するフレーム間での移動量を推定する。
図10は,本実施の形態による移動量ヒストグラムに応じた画像検査の実施状態の判定を説明する図である。
図10(A)は,部品の全数検査が行われている状態の移動量ヒストグラムの例を示す。図10(A)に示す移動量ヒストグラムでは,その中ほどに,他の対応部品位置差分における頻度のピークとは明らかに異なる,1つの十分に大きな頻度のピークが現れている。このように,移動量ヒストグラムに1つの十分に大きな頻度のピークが現れている場合には,その大きなピークの対応部品位置差分が,同じ部品の検査画像145の連続するフレーム間での移動量である可能性が高い。その他の小さい頻度のピークは,フレーム間部品対応検出部151により異なる部品同士が対応付けられてしまった場合に算出された対応部品位置差分が,ノイズ成分として現れたものである。
部品移動量推定部155は,図10(A)に示すように移動量ヒストグラムに1つの十分に大きな頻度のピークが現れている場合に,その1つの大きなピークの対応部品位置差分が,同じ部品の検査画像145の連続するフレーム間での移動量であると推定する。このとき,図10(A)に示す移動量ヒストグラムは,検査画像145の連続するフレームの状態が図7(A)に示す状態である場合に得られる移動量ヒストグラムであると推定できる。画像検査実施状態判定部150は,画像検査の実施状態が,洩れなく全部品の画像検査が行われている状態であると判定する。
ただし,図10(A)に示す移動量ヒストグラムでは,1つの大きな頻度のピークが,ヒストグラムの中ほどに現れている。このことから,帯状加工品50上の同じ部品について,繰り返して画像検査が行われている可能性が高いことがわかる。このとき,画像検査実施状態判定部150が,洩れなく全部品の画像検査が行われているが画像検査の実施状態は最適ではないと判定するようにしてもよい。
図10(B)は,帯状加工品50が移動していない状態の移動量ヒストグラムの例を示す。図10(B)の移動量ヒストグラムに示すように,対応部品位置差分がゼロの位置に1つの十分に大きな頻度のピークが存在する場合には,帯状加工品50が移動していない状態,すなわちプレス加工機30や巻取り機40が停止している状態であると判定できる。
図10(C)は,部品の全数検査に洩れが発生している状態の移動量ヒストグラムの例を示す。図10(C)に示す移動量ヒストグラムでは,1つの明瞭な頻度のピークが現れておらず,同程度の頻度のピークがいくつか分散して現れている。このような場合には,連続するフレーム間で同じ部品が存在せず,フレーム間部品対応検出部151の処理で,異なる部品同士の対応がランダムに選択された可能性が高い。
部品移動量推定部155は,図10(C)に示すように移動量ヒストグラムに同程度の頻度のピークがいくつか分散して現れている場合には,同じ部品の検査画像145の連続するフレーム間での移動量が推定できない。このとき,図10(C)に示す移動量ヒストグラムは,検査画像145の連続するフレームの状態が図7(B)に示す状態である場合に得られる移動量ヒストグラムであると推定できる。画像検査実施状態判定部150は,画像検査の実施状態が,帯状加工品50上の一部部品の検査洩れが生じている状態であると判定する。
図10(D)は,何らかの異常が発生している状態の移動量ヒストグラムの例を示す。図10(D)の移動量ヒストグラムに示すように,1つの頻度のピークの幅が広い場合には,例えば,帯状加工品50の移動速度が大きくぶれているなど,製造システムに何らかの異常が生じている状態であると判定できる。
図10(E)は,理想的な画像検査が行われている状態の移動量ヒストグラムの例を示す。図10(E)に示す移動量ヒストグラムでは,他の対応部品位置差分における頻度のピークとは明らかに異なる,1つの十分に大きな頻度のピークが,算出され得る対応部品位置差分の上限に近いところに現れている。図10(E)に示す移動量ヒストグラムから,洩れなく全部品の画像検査が行われており,かつ同じ部品について無駄に繰り返して画像検査が行われていないことがわかる。
部品移動量推定部155は,図10(E)に示すように移動量ヒストグラムに1つの十分に大きな頻度のピークが現れている場合に,その1つの大きなピークの対応部品位置差分が,同じ部品の検査画像145の連続するフレーム間での移動量であると推定する。このとき,図10(E)に示す移動量ヒストグラムは,検査画像145の連続するフレームの状態が図7(D)に示す状態である場合に得られる移動量ヒストグラムであると推定できる。画像検査実施状態判定部150は,画像検査の実施状態が,適切に全部品の画像検査が行われている理想的な状態であると判定する。
なお,画像検査の状態において,最も理想的な状態は,移動量ヒストグラムにおける頻度のピークが,例えば検査画像145の水平画素数と基準ピッチの画素数とから求められる対応部品位置差分の上限値に現れたときの状態である。ただし,対応部品位置差分の上限値に,移動量ヒストグラムにおける頻度のピークをぴったりと合わせるように,製造システム等を制御することは難しい。そのため,画像検査実施状態判定部150による判定において,移動量ヒストグラムにおける頻度のピークが,対応部品位置差分の上限値に近い所定の範囲に現れたときに,画像検査の実施状態が理想的な状態であると判定するようにしてもよい。
このような画像検査の実施状態の判定結果を受けて,例えば,製造システムのオペレータが,適切な画像検査の実施状態となるように,部品の検査画像145上の連続するフレーム間での移動量の調整を行う。
また,画像検査装置10の調整制御部160が,画像検査実施状態判定部150による画像検査の実施状態の判定結果に基づいて,部品の検査画像145上の連続するフレーム間における移動量の調整を,自動的に行うようにしてもよい。
ここでは,調整制御部160が,部品の検査画像145上の連続するフレーム間での移動量の調整を,自動で行う例を説明する。部品の検査画像145上の連続するフレーム間での移動量を調整する方法としては,様々な方法が考えられる。
調整制御部160は,部品移動量推定部155が部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合に,部品の検査画像145上の連続するフレーム間での移動量を減らす方向に調整する。なお,部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合には,適切な部品の移動量を予測することは難しく,適切な速度に収まるまで部品の移動速度の調整を行う必要がある。
例えば,調整制御部160は,部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合に,プレス加工機30から巻取り機40に送り出す帯状加工品50の移動速度,すなわち部品の移動速度を減じる調整を行う。また,別の例として,調整制御部160は,部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合に,カメラ20のズームを広角側に調整する制御を行う。また,別の例として,調整制御部160は,部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合に,帯状加工品50に対するカメラ20の撮像距離を離す制御を行う。また,別の例として,調整制御部160は,部品の検査画像145上の連続するフレーム間での移動量を推定できなかった場合に,検査画像145のフレームを入力する時間間隔を短く調整する制御を行う。
また,調整制御部160は,部品移動量推定部155により推定された部品の検査画像145上の連続するフレーム間での移動量が適切ではないと判定された場合に,部品の検査画像145上の連続するフレーム間での移動量を,目標とする適切な移動量の方向に調整する。例えば,画像検査実施状態判定部150は,推定された部品の検査画像145上の連続するフレーム間での移動量が,対応部品位置差分の上限値近傍の所定範囲にない場合に,推定された部品の移動量が適切ではないと判定する。このとき,調整制御部160は,例えば検査画像145の水平画素数と基準ピッチの画素数とから定められる対応部品位置差分の上限値を目標とする適切な移動量として,部品の検査画像145上の連続するフレーム間での移動量を調整する制御を行う。
例えば,調整制御部160は,推定された部品の検査画像145上の連続するフレーム間での移動量が適切ではないと判定された場合に,プレス加工機30から巻取り機40に送り出す帯状加工品50の移動速度,すなわち部品の移動速度を調整する制御を行う。また,別の例として,調整制御部160は,推定された部品の検査画像145上の連続するフレーム間での移動量が適切ではないと判定された場合に,カメラ20のズームを調整する制御を行う。また,別の例として,調整制御部160は,推定された部品の検査画像145上の連続するフレーム間での移動量が適切ではないと判定された場合に,帯状加工品50に対するカメラ20の撮像距離を調整する制御を行う。また,別の例として,調整制御部160は,推定された部品の検査画像145上の連続するフレーム間での移動量が適切ではないと判定された場合に,検査画像145のフレームを入力する時間間隔を調整する制御を行う。
図11は,本実施の形態の画像検査装置による処理のフローチャートである。
画像検査装置10において,画像入力部110によりティーチング画像125が入力されると(ステップS10),ティーチング処理部120は,テンプレート画像135の切り出し,基準ピッチの算出などのティーチングを実行する(ステップS11)。ティーチングにより得られたテンプレート画像135と基準ピッチとは,画像検査用情報記憶部130に保持される。なお,ティーチング処理は,オペレータの操作を介して行ってもよいし,自動的に行ってもよい。
ティーチングが行われた後,プレス加工機30が稼動され,所定の繰り返しピッチで連続して部品が生産された帯状加工品50の送り出しが開始され,同時に画像検査装置10による所定の繰り返しピッチで連続して生産された部品の画像検査が開始される。
画像入力部110は,所定のタイミングで,カメラ20により撮像された画像を,検査画像として入力する(ステップS12)。
画像検査処理部140は,検査画像145を用いて,所定の繰り返しピッチで連続して生産された部品の画像検査を実行する(ステップS13)。このとき,画像検査処理部140は,テンプレート画像135を用いたテンプレートマッチングにより検査画像145から検出された部品の位置座標と相関値とを,検出部品情報記憶部142に記憶しておく。
画像検査実施状態判定部150のフレーム間部品対応検出部151は,検出部品情報記憶部142に記憶された各部品の相関値の情報に基づいて,検査画像145の連続するフレーム間で対応する部品を検出する(ステップS14)。ここでは,フレーム間部品対応検出部151は,検査画像145の現フレームの部品から,前フレームの左端部品の相関値と最も近い相関値の部品を検出し,それらの相関値が近い部品同士を,2つの連続するフレーム間で対応する部品とする。
対応部品位置差分算出部152は,検出部品情報記憶部142に記憶された各部品の検出位置座標に基づいて,フレーム間部品対応検出部151で対応するとされた部品間の位置の差分,すなわち対応部品位置差分を算出する(ステップS15)。ここでは,対応部品位置差分算出部152は,前フレームの左端部品の水平方向座標と,その前フレーム左端部品に対応するとされた現フレームの部品の水平方向座標との差分を,対応部品位置差分として算出する。
対応部品位置差分統計部153は,対応部品位置差分算出部152で算出された対応部品位置差分で,統計結果記憶部154に記憶された移動量ヒストグラムを更新する(ステップS16)。ここでは,対応部品位置差分統計部153は,統計結果記憶部154に記憶された移動量ヒストグラムに対して,今回算出された対応部品位置差分の頻度を+1する更新を行い,更新された移動量ヒストグラムを統計結果記憶部154に記憶する。
画像検査実施状態判定部150は,移動量ヒストグラムの作成開始から,所定のフレーム数が処理されたかを判定する(ステップS17)。所定のフレーム数は,移動量ヒストグラムの作成に十分と考えられる検査画像145のフレーム数である。移動量ヒストグラムの判定を行うために十分な対応部品位置差分の統計量を得るためには,多数の検査画像145のフレームに渡って,ステップS12〜ステップS16の処理を繰り返し,移動量ヒストグラムを作成する必要がある。例えば,所定のフレーム数が300フレームであれば,移動量ヒストグラムの作成開始から300フレームに渡って算出された対応部品位置差分が,移動量ヒストグラムに反映される。
所定のフレーム数が処理されていなければ(ステップS17のNO),画像検査装置10は,ステップS22の処理に進んで終了判定を行う。
所定のフレーム数が処理されていれば(ステップS17のYES),部品移動量推定部155は,統計結果記憶部154に記憶された移動量ヒストグラムから,部品の検査画像145の連続するフレーム間での移動量を推定する(ステップS18)。
画像検査実施状態判定部150は,部品の検査画像145の連続するフレーム間での移動量の推定結果から,画像検査が適切に実施されているか否かを判定する(ステップS19)。例えば,画像検査実施状態判定部150は,部品の検査画像145の連続するフレーム間での移動量が推定できた場合に,部品の全数検査に洩れがないとして,画像検査が適切に実施されていると判定する。また,画像検査実施状態判定部150は,部品の検査画像145の連続するフレーム間での移動量が推定できなかった場合に,部品の全数検査に洩れがあるとして,画像検査が適切に実施されていないと判定する。さらに,部品の検査画像145の連続するフレーム間での移動量が推定できた場合でも,推定された移動量が目標とする移動量に達していなければ,理想的な状態ではないとして,画像検査が適切に実施されていないと判定するようにしてもよい。
画像検査が適切に実施されていると判定されると(ステップS19のYES),画像検査実施状態判定部150は,移動量ヒストグラムをクリアし(ステップS21),画像検査装置10は,ステップS22の処理に進んで終了判定を行う。
画像検査が適切に実施されていないと判定されると(ステップS19のNO),調整制御部160は,部品の検査画像145の連続するフレーム間での移動量の推定結果に応じて,部品の検査画像145の連続するフレーム間での移動量を調整する制御を行う(ステップS20)。画像検査実施状態判定部150は,移動量ヒストグラムをクリアし(ステップS21),画像検査装置10は,ステップS22の処理に進んで終了判定を行う。
画像検査装置10は,画像検査が終了したかを判定する(ステップS22)。画像検査が終了していなければ(ステップS22のNO),画像検査装置10は,ステップS12の処理に戻って,次の検査画像145の処理に移る。画像検査が終了していれば(ステップS22のYES),画像検査装置10は,処理を終了する。
なお,図11に示す処理の例では,画像検査中に,常時画像検査の実施状態の判定を行っているが,画像検査の開始前または開始時に画像検査の実施状態の判定を行い,部品の移動量を調整してから,画像検査を実行または継続するようにしてもよい。
ここまで説明したように,本実施の形態の画像検査装置10の画像検査実施状態判定部150により,所定の繰り返しピッチで連続して生産される部品の画像検査において,その画像検査の実施状態を知ることが可能となる。例えば,本実施の形態の画像検査実施状態判定部150により,帯状加工品50の巻取り速度が速すぎて部品の全数検査ができていない状況や,帯状加工品50の巻取り速度が遅すぎて部品の画像検査の効率やプレス加工機30の生産効率が低くなっている状況などを知ることが可能となる。
このとき,画像検査実施状態判定部150は,本来の画像検査の結果として得られた検出部品の情報を利用するので,画像検査実施状態判定部150による処理のオーバーヘッドは,ほとんどない。
また,本実施の形態の画像検査装置10の調整制御部160により,画像検査実施状態判定部150による処理の結果に応じて,部品の検査画像145の連続するフレーム間での移動量を自動調整することが可能となる。
以下では,本実施の形態による画像検査の実施状態の判定,部品の移動量の調整などについての実施例をいくつか説明する。
〔実施例1〕
本実施例1では,調整制御部160が部品の検査画像145の連続するフレーム間での移動量を調整する例として,部品の移動速度,すなわちプレス加工機30が帯状加工品50を送り出す速度を調整する例を説明する。
通常,巻取り機40は,帯状加工品50の張力を調節しながらリールへの巻取りを行うため,その巻取り速度は,プレス加工機30からの帯状加工品50の送り出し速度に倣って一致する。調整制御部160は,部品の移動速度の制御指示をプレス加工機30の送り機構制御部31に与えることにより,部品の移動速度を調整する。
プレス加工機30からの帯状加工品50の送り出し速度が速すぎると,上述の図7(B)に示す例のように,部品の画像検査に漏れが発生する可能性がある。そのため,プレス加工機30の運用は,余裕を持った十分に低い速度で行わざるを得ない。
しかし,プレス加工機30からの帯状加工品50の送り出し速度が遅すぎると,上述の図7(C)に示す例のように,同じ部品を何度も撮り直すことになり,画像検査に無駄が生じてしまう。また,部品の移動速度が遅ければ,それだけ部品の生産効率も低下することになる。
本実施例1では,調整制御部160によって,実際の部品の移動速度を調整することにより,部品の全数検査を実現しつつ,画像検査の無駄をなくし,部品の生産効率低下を防止する。
上述の図10(C)に示すように,移動量ヒストグラムに同程度の頻度のピークがいくつか分散して現れている場合には,部品の移動速度が速すぎる可能性が高い。このとき,調整制御部160は,部品の移動速度,すなわちプレス加工機30からの帯状加工品50の送り出し速度を遅くする制御を行う。ただし,上述の図10(C)に示すように移動量ヒストグラムからは,部品の検査画像145の連続するフレーム間での移動量が推定できないので,適切な部品の移動速度を推定できない。調整制御部160は,現在の部品の移動速度を半分の速度にするなど,所定の部品の移動速度の調整制御を行う。
上述の図10(A)に示すように,移動量ヒストグラムの中ほどに,他の対応部品位置差分における頻度のピークとは明らかに異なる,1つの十分に大きな頻度のピークが現れている場合には,部品の移動速度が遅すぎる可能性がある。このとき,調整制御部160は,部品の移動速度,すなわちプレス加工機30からの帯状加工品50の送り出し速度を適切な速度に調整する制御を行う。
図12は,本実施例1による部品の移動速度の調整制御の例を説明する図である。
ここでは,画像検査実施状態判定部150の処理により,図12に示す移動量ヒストグラムが得られたものとする。図12に示す移動量ヒストグラムは,図10(A)に示す移動量ヒストグラムのパターンに相当する。すなわち,図12に示す移動量ヒストグラムでは,ヒストグラムの中ほどに,他の対応部品位置差分における頻度のピークとは明らかに異なる,1つの十分に大きな頻度のピークが現れている。
この場合,部品移動量推定部155は,1つの十分に大きな頻度のピークが現れている対応部品位置差分を,部品の検査画像145の連続するフレーム間での移動量と推定する。図12に示す移動量ヒストグラムから,部品の検査画像145の連続するフレーム間での移動量が推定できるので,画像検査の実施状態は,洩れなく全部品の画像検査が行われている状態であると推定される。なお,本実施例1では,図12の移動量ヒストグラムに示すように,部品移動量推定部155により推定された,部品の検査画像145の連続するフレーム間での移動量を,推定フレーム間部品移動量と呼ぶ。
ただし,図12の移動量ヒストグラムに示すように,推定フレーム間部品移動量から対応部品位置差分の上限値までにはまだまだ余裕があり,画像検査の効率や部品の生産効率の面から,画像検査の実施状態が最適な状態であるとは言えない。
ここでは,調整制御部160は,部品の検査画像145の連続するフレーム間での移動量が目標とする理想的な移動量となるように,実際の部品の移動速度,すなわちプレス加工機30からの帯状加工品50の送り出し速度を調整する制御を行う。なお,本実施例1では,図12の移動量ヒストグラムに示すように,目標とする部品の検査画像145の連続するフレーム間での移動量を,目標フレーム間部品移動量と呼ぶ。
例えば,部品の検査画像145の連続するフレーム間での移動量がL[画素]であるものとする。ズーム倍率がs,画素サイズがd[m],フレーム時間間隔がt[秒]であるものとすると,部品の移動速度V[m/s]の式は,
V=(d/st)L ・・・(1)
と表現できる。
式(1)において,ズーム倍率が一定である限り,(d/st)の部分は一定である。すなわち,部品の移動速度Vと,部品の検査画像145の連続するフレーム間での移動量Lとは,比例する。このことから,例えば,部品の検査画像145の連続するフレーム間での移動量を現在の値の2倍にしたい場合には,部品の移動速度を現在の値の2倍に設定すればよいことが分かる。
図12において,部品移動量推定部155により得られた推定フレーム間部品移動量が,β[画素]であるものとする。このとき,上記の式(1)から,推定される現在の部品の移動速度V1 [m/s]の式は,
1 =(d/st)β ・・・(2)
と表現できる。
ここで,対応部品位置差分の上限値が,γ[画素]であるものとする。対応部品位置差分の上限値γは,例えば,検査画像145の水平方向の幅W[画素]から基準ピッチP[画素]の2倍を引いたものとして,γ=W−2Pと定めることができる。
図12において,対応部品位置差分の上限値γ[画素]が,目標フレーム間部品移動量であるものとする。このとき,上記の式(1)から,目標とする部品の移動速度V2 [m/s]の式は,
2 =(d/st)γ ・・・(3)
と表現できる。
さらに,式(2)と式(3)とから,目標とする部品の移動速度V2 は,
2 =(d/st)γ
=(V1 /β)γ
=(γ/β)V1 ・・・(4)
と表すことができる。
式(4)から,目標とする部品の移動速度V2 は,推定される現在の部品の移動速度V1 をγ/β倍したものであることが分かる。
調整制御部160は,現在の部品の移動速度,すなわち現在のプレス加工機30からの帯状加工品50の送り出し速度をγ/β倍にする旨の制御指示を,プレス加工機30の送り機構制御部31に送る。送り機構制御部31は,調整制御部160からの制御指示に従って,現在のプレス加工機30からの帯状加工品50の送り出し速度を,γ/β倍に設定変更する。
このように,移動量ヒストグラムから得られる推定フレーム間部品移動量と理想的な目標フレーム間部品移動量との関係から,部品の全数検査の実現と部品の生産効率が両立する適切な部品の移動速度の制御が可能となる。
プレス加工機30において,帯状加工品50の送り出し速度が,複数の段階で制御される場合がある。以下では,帯状加工品50の送り出し速度が複数の段階で制御される場合の例を,フローチャートを用いて説明する。
図13は,本実施例1による画像検査装置の処理フローチャートである。
図13に示すフローチャートは,調整制御部160が部品の移動速度を段階で制御する場合の画像検査装置10による処理のフローチャートである。
ここでは,すでにティーチングが行われ,画像検査に使用するテンプレート画像と基準ピッチとが画像検査用情報記憶部130に記憶されているものとする。また,当初のプレス加工機30は停止状態であり,帯状加工品50の送り出し速度はゼロであるものとする。なお,プレス加工機30からの帯状加工品50の送り出し速度は,段階ごとにあらかじめ速度が決められている。
画像検査装置10において,調整制御部160は,部品の移動速度を1段階上げる制御を行う(ステップS100)。このとき,調整制御部160は,プレス加工機30の送り機構制御部31に,帯状加工品50の送り出し速度を1段階上げる旨の指示を送る。プレス加工機30が停止状態である場合には,調整制御部160によるステップS100の制御は,プレス加工機30の起動制御となり,画像検査装置10による画像検査の開始制御となる。
ステップS101〜ステップS105の処理は,図11に示すフローチャートのステップS12〜ステップS16の処理と同様である。簡単に説明すると,画像入力部110は,検査画像を入力し(ステップS101),画像検査処理部140は,画像検査を実行する(ステップS102)。フレーム間部品対応検出部151は,検査画像145の前のフレームと現フレーム間で対応する部品を検出する(ステップS103)。対応部品位置差分算出部152は,対応部品間の水平方向の位置の差分を対応部品位置差分として算出する(ステップS104)。対応部品位置差分統計部153は,算出された対応部品位置差分で,統計結果記憶部154に記憶された移動量ヒストグラムを更新する(ステップS105)。
画像検査実施状態判定部150は,移動量ヒストグラムの作成開始から,所定のフレーム数が処理されたかを判定する(ステップS106)。
所定のフレーム数が処理されていなければ(ステップS106のNO),画像検査装置10は,ステップS101の処理に進んで,次の検査画像145の処理に移る。
所定のフレーム数が処理されていれば(ステップS106のYES),部品移動量推定部155は,統計結果記憶部154に記憶された移動量ヒストグラムから,部品の検査画像145の連続するフレーム間での移動量を推定する(ステップS107)。
調整制御部160は,部品移動量推定部155により部品の検査画像145の連続するフレーム間での移動量が推定できたかを判定する(ステップS108)。
部品の検査画像145の連続するフレーム間での移動量が推定できた場合には(ステップS108のYES),調整制御部160は,現在の移動速度の段階をメモリ102に一時的に保持する(ステップS109)。このとき,前の移動速度の段階が保持されている場合には,調整制御部160は,前の移動速度の段階を現在の移動速度の段階で更新する。これにより,部品の全数検査が可能な,その時点で最高の移動速度の段階が保持される。画像検査装置10は,ステップS100に戻り,さらに移動速度を1段階上げた処理を行う。
部品の検査画像145の連続するフレーム間での移動量が推定できなかった場合には(ステップS108のNO),調整制御部160は,移動速度の段階をメモリ102に一時的に保持された移動速度の段階に調整する制御を行う(ステップS110)。これにより,部品の移動速度,すなわちプレス加工機30からの帯状加工品50の送り出し速度が,部品の全数検査が可能な最高の段階の移動速度に調整される。
以降,画像検査装置10は,部品の移動速度が,部品の全数検査が可能な最高の段階の移動速度に調整された状態で,部品の画像検査を継続する。
以上説明した本実施例1による部品の検査画像145の連続するフレーム間での移動量の調整によって,部品の全数検査を行いつつ,部品の生産効率を向上させることが可能となる。
〔実施例2〕
本実施例2では,フレーム間部品対応検出部151が,検査画像145の連続する2つのフレーム間で対応する部品の組合せを,複数検出する例を説明する。
上述の実施の形態の例では,フレーム間部品対応検出部151が,連続する2つのフレーム間で対応する部品の組合せとして,先のフレームの左端部品と,その左端部品に対応する後のフレームから検出された部品との組合せのみを検出していた。本実施例2では,フレーム間部品対応検出部151が,連続する2つのフレーム間で対応する部品の組合せとして,さらに,先のフレームの左端から2番目の部品と,その左端から2番目の部品に対応する後のフレームから検出された部品との組合せを検出する。
図14は,本実施例2による検査画像の連続する2つのフレーム間で対応する部品の組合せを複数検出する例を説明する図である。
図14に示す検査画像145の第nフレーム,第n+1フレーム,第n+2フレームについては,検出される部品,各部品の検出位置,各部品の相関値も含めて,それぞれ図8に示す各フレームと同様であるものとする。
フレーム間部品対応検出部151は,連続する2つの検査画像145のフレームにおいて,先のフレームの左端部品の相関値と後のフレームの全部品の相関値とを比較し,先のフレームの左端部品と最も相関値が近い後のフレームの部品を検出する。フレーム間部品対応検出部151は,先のフレームの左端部品と,後のフレームから検出された部品とを,連続する2つのフレーム間で対応する部品とする。
図8に示す例と同様に,図14に示す例において,フレーム間部品対応検出部151は,第nフレームの部品A01と第n+1フレームの部品A13とを,検査画像145の連続する第nフレーム−第n+1フレーム間で対応する部品とする。同様に,連続する第n+1フレーム−第n+2フレーム間で対応する部品として,部品A11と部品A23との対応が検出される。
さらに本実施例2では,フレーム間部品対応検出部151は,連続する2つの検査画像145のフレームにおいて,先のフレームの左端から2番目の部品の相関値と後のフレームの全部品の相関値とを比較し,先のフレームの左端から2番目の部品と最も相関値が近い後のフレームの部品を検出する。フレーム間部品対応検出部151は,先のフレームの左端から2番目の部品と,後のフレームから検出された部品とを,連続する2つのフレーム間で対応する部品とする。
図14に示す例において,検査画像145の第nフレームの左端から2番目の部品A02の相関値は,0.993 である。フレーム間部品対応検出部151は,第nフレームの左端から2番目の部品A02の相関値0.993 と,次の第n+1フレームの各部品の相関値とを比較し,最も相関値が近い部品A14を検出する。フレーム間部品対応検出部151は,第nフレームの部品A02と第n+1フレームの部品A14とを,検査画像145の連続する第nフレーム−第n+1フレーム間で対応する部品とする。同様に,図14に示す例では,連続する第n+1フレーム−第n+2フレーム間で対応する部品として,部品A12と部品A24との対応が検出される。
図14に示す例において,太線の矢印が,それぞれ検出された部品の対応を示している。
対応部品位置差分算出部152は,フレーム間部品対応検出部151により検出されたすべての対応する部品の組合せについて,対応部品位置差分を算出する。対応部品位置差分統計部153は,算出されたすべての対応部品位置差分が反映された移動量ヒストグラムを生成する。
図15は,本実施例2による移動量ヒストグラム作成の例を説明する図である。
図15において,左端部品に関する移動量ヒストグラムは,先のフレームの左端部品に関する部品対応から算出された対応部品位置差分が統計された移動量ヒストグラムである。また,左端から2番目の部品に関する移動量ヒストグラムは,先のフレームの左端から2番目の部品に関する部品対応から算出された対応部品位置差分が統計された移動量ヒストグラムである。
部品の全数検査が正常に行われている状態であれば,双方の移動量ヒストグラムでは,同じ対応部品位置差分のところで1つの十分に大きなピークが現れる。このとき,フレーム間部品対応検出部151で検出されたすべての部品対応についての対応部品位置差分が反映された移動量ヒストグラムは,図15に示す2つの移動量ヒストグラムを統合した移動量ヒストグラムとなる。
このように,2つの移動量ヒストグラムを統合した移動量ヒストグラムを生成することにより,移動量ヒストグラムのSN比を上げることができる。
〔実施例3〕
本実施例3では,フレーム間部品対応検出部151が,検査画像145の異なる2つのフレーム間で対応する部品の組合せを検出する例を説明する。
上述の実施の形態の例では,フレーム間部品対応検出部151が,連続する2つのフレーム間で対応する部品の組合せを検出していた。本実施例3では,フレーム間部品対応検出部151が,さらに,2フレーム離れた2つのフレーム間で対応する部品の組合せを検出する。
図16は,本実施例3による検査画像の異なるフレーム間で対応する部品の組合せを検出する例を説明する図である。
図16に示す検査画像145の第nフレーム,第n+1フレーム,第n+2フレーム,第n+3フレームについては,検出される部品,各部品の検出位置,各部品の相関値も含めて,それぞれ図8に示す各フレームと同様であるものとする。
フレーム間部品対応検出部151は,連続する2つの検査画像145のフレームにおいて,先のフレームの左端部品の相関値と後のフレームの全部品の相関値とを比較し,先のフレームの左端部品と最も相関値が近い後のフレームの部品を検出する。フレーム間部品対応検出部151は,先のフレームの左端部品と,後のフレームから検出された部品とを,連続する2つのフレーム間で対応する部品とする。
図16には示されていないが,図8に示す例と同様に,フレーム間部品対応検出部151は,第nフレームの部品A01と第n+1フレームの部品A13とを,検査画像145の連続する第nフレーム−第n+1フレーム間で対応する部品とする。同様に,連続する第n+1フレーム−第n+2フレーム間で対応する部品として,部品A11と部品A23との対応が検出される。また,連続する第n+2フレーム−第n+3フレーム間で対応する部品として,部品A21と部品A33との対応が検出される。
さらに本実施例3では,フレーム間部品対応検出部151は,2フレーム離れた2つの検査画像145のフレームにおいて,先のフレームの左端部品の相関値と後のフレームの全部品の相関値とを比較し,先のフレームの左端部品と最も相関値が近い後のフレームの部品を検出する。フレーム間部品対応検出部151は,先のフレームの左端部品と,後のフレームから検出された部品とを,2フレーム離れた2つのフレーム間で対応する部品とする。
図16に示す例において,検査画像145の第nフレームの左端の部品A01の相関値は,0.991 である。フレーム間部品対応検出部151は,第nフレームの左端部品A01の相関値0.991 と,2フレーム離れた第n+2フレームの各部品の相関値とを比較し,最も相関値が近い部品A25を検出する。フレーム間部品対応検出部151は,第nフレームの部品A01と第n+2フレームの部品A25とを,検査画像145の2フレーム離れた第nフレーム−第n+2フレーム間で対応する部品とする。同様に,図16に示す例では,2フレーム離れた第n+1フレーム−第n+3フレーム間で対応する部品として,部品A11と部品A35との対応が検出される。図16に示す例において,太線の矢印が,それぞれ検出された部品の対応を示している。
対応部品位置差分算出部152は,フレーム間部品対応検出部151により検出されたすべての対応する部品の組合せについて,対応部品位置差分を算出する。
対応部品位置差分統計部153は,連続する2つのフレーム間での対応部品から算出された対応部品位置差分を統計した移動量ヒストグラムを生成する。さらに,対応部品位置差分統計部153は,2フレーム離れた2つのフレーム間での対応部品から算出された対応部品位置差分を統計した移動量ヒストグラムを生成する。対応部品位置差分統計部153は,2つの移動量ヒストグラムを統合した移動量ヒストグラムを生成する。
図17は,本実施例3による移動量ヒストグラム作成の例を説明する図である。
図17において,1フレーム間隔の対応部品位置差分による移動量ヒストグラムは,連続する2つのフレーム間の部品対応から算出された対応部品位置差分が統計された移動量ヒストグラムである。また,2フレーム間隔の対応部品位置差分による移動量ヒストグラムは,2フレーム離れた2つのフレーム間の部品対応から算出された対応部品位置差分が統計された移動量ヒストグラムである。
1フレーム間隔の対応部品位置差分に変換された移動量ヒストグラムは,2フレーム間隔の対応部品位置差分による移動量ヒストグラムにおける対応部品位置差分を,1フレーム間隔の対応部品位置差分に変換した移動量ヒストグラムである。
部品の全数検査が正常に行われている状態であれば,1フレーム間隔の対応部品位置差分による移動量ヒストグラムと,1フレーム間隔の対応部品位置差分に変換された移動量ヒストグラムとでは,同じ対応部品位置差分のところで1つの十分に大きなピークが現れる。このとき,フレーム間部品対応検出部151で検出されたすべての部品対応についての対応部品位置差分が反映された移動量ヒストグラムは,図17に示す2つの移動量ヒストグラムを統合した移動量ヒストグラムとなる。
このように,フレーム間隔が異なる2つの移動量ヒストグラムを統合した移動量ヒストグラムを生成することにより,検査画像145の少ないフレーム数に対する処理で,十分な数の対応部品位置差分が統計された移動量ヒストグラムが作成できる。
〔実施例4〕
本実施例4では,画像検査で画像処理を行った検査画像145の時間間隔が変化する場合の,画像検査装置10による処理の例を説明する。
図18は,検査画像の入力と入力された検査画像に対する画像処理の例を説明する図である。
図18において,画像検査装置10の画像入力部110は,垂直同期信号に合わせて1フレームの検査画像145を入力する。画像検査処理部140は,入力された検査画像145に対するテンプレートマッチング等の画像処理を行う。また,画像検査装置10は,入力された検査画像145のフレームをカウントするフレームカウンタを持つ。フレームカウンタの値は,検査画像145が入力される同期信号のタイミングで,+1されるものとする。図18において,フレームカウンタの差分は,連続する画像処理が行われた検査画像145のフレーム間のフレームカウンタの値の差分である。
図18(A)は,入力された検査画像に対する画像処理が一定の間隔で行われている例を示す。図18(A)に示す例では,垂直同期信号に合わせて1フレームの検査画像145が入力され,そのフレームに対する画像検査による画像処理は,すべて次の検査画像145の入力までに終了している。この場合には,連続する画像処理が行われたフレーム間のフレームカウンタの差分は常に1となり,連続する画像処理が行われたフレーム間の時間間隔は一定となる。
図18(A)に示す例の場合には,対応部品位置差分算出部152により算出された対応部品位置差分は,常に同じ時間間隔のフレーム間における対応部品位置差分となる。このとき,対応部品位置差分統計部153が算出された対応部品位置差分をそのまま移動量ヒストグラムに反映しても,作成される移動量ヒストグラムの信頼性は低下しない。
図18(B)は,入力された検査画像145に対する一部の画像処理の時間が同期信号の間隔より長くなってしまった場合の例を示す。図18(B)に示す例では,一部の検査画像145のフレームに対する画像検査による画像処理が,次の検査画像145の入力までに終了していない。垂直同期信号に合わせて次の検査画像145のフレームが入力されても,前のフレームの検査画像145の画像処理が終了していない場合には,次の検査画像145のフレームはメモリ102に取り込まれず,そのフレームに対する画像処理が行われない。
画像処理が行われない場合でも,フレームカウンタの値は,検査画像145の入力に応じてカウントされる。図18(B)に示す例では,一部の連続する画像処理が行われたフレーム間のフレームカウンタの差分が2となり,連続する画像処理が行われたフレーム間の時間間隔は,常に一定とはならない。
図18(B)に示す例の場合には,対応部品位置差分算出部152により算出された対応部品位置差分は,常に同じ時間間隔のフレーム間における対応部品位置差分とはならず,異なる時間間隔のフレーム間における対応部品位置差分を含むものとなる。このとき,対応部品位置差分統計部153が算出された対応部品位置差分をそのまま移動量ヒストグラムに反映すると,異なる時間間隔のフレーム間における対応部品位置差分がノイズとなり,作成される移動量ヒストグラムの信頼性が低下する。
本実施例4では,対応部品位置差分算出部152が,算出された対応部品位置差分に異なる時間間隔のフレーム間における対応部品位置差分が混在する場合に,算出された対応部品位置差分を所定の時間間隔に規格化する。対応部品位置差分の規格化とは,異なる時間間隔のフレーム間における対応部品位置差分を,所定の時間間隔当たりの対応位置差分に変換することをいう。
例えば,図18(B)に示す例において,一部の連続する画像処理が行われたフレーム間のフレームカウンタの差分が2となっており,その連続する画像処理が行われたフレーム間の時間間隔は,他の連続する画像処理が行われたフレーム間の時間間隔の2倍となっている。規格化における所定の時間間隔が,フレームカウンタの差分が1となるフレーム間の時間間隔であるものとする。このとき,対応部品位置差分算出部152は,フレーム間のフレームカウンタの差分が2となっているフレーム間の対応部品から算出された対応部品位置差分を1/2倍して,フレームカウンタの差分が1となるフレーム間の時間間隔当たりの対応部品位置差分に規格化する。
このような処理により,対応部品位置差分算出部152により得られる対応部品位置差分が,同じ時間間隔のフレーム間における対応部品位置差分となる。対応部品位置差分統計部153は,規格化された対応部品位置差分を統計して,移動量ヒストグラムを作成する。
このように,算出された対応部品位置差分に異なる時間間隔のフレーム間における対応部品位置差分が混在する場合でも,それらの対応部品位置差分を規格化して統計することにより,信頼性が高い移動量ヒストグラムが作成できる。
図19は,本実施例4による画像検査装置の処理フローチャートである。
図19に示すフローチャートは,図11に示す画像検査装置10のフローチャートにおいて,本実施例4において一部異なる処理部分のみを抽出したものである。
本実施例4では,図11に示すフローチャートのステップS14の処理までが行われたあと,図19に示すフローチャートの処理が行われる。
図19に示すフローチャートにおいて,ステップS15の処理は,図11に示すフローチャートのステップS15の処理と同じである。すなわち,対応部品位置差分算出部152は,検出部品情報記憶部142に記憶された各部品の検出位置座標に基づいて,図11のステップS14の処理で対応するとされた部品間の位置の差分,すなわち対応部品位置差分を算出する(ステップS15)。
対応部品位置差分算出部152は,対応部品位置差分が算出されたフレーム間の時間間隔を取得する(ステップS150)。例えば,対応部品位置差分算出部152は,フレーム間部品対応検出部151により部品対応が検出された検査画像145の2つのフレームのフレームカウンタの差を求める。
対応部品位置差分算出部152は,取得されたフレーム間の時間間隔に基づいて,算出された対応部品位置差分を規格化する(ステップS151)。ここでは,対応部品位置差分算出部152は,算出された対応部品位置差分を,所定の時間間隔当たりの対応部品位置差分に変換する。
対応部品位置差分統計部153は,対応部品位置差分算出部152で算出され,規格化された対応部品位置差分で,統計結果記憶部154に記憶された移動量ヒストグラムを更新する(ステップS160)。
以降の処理については,図11に示すフローチャートのステップS17以降の処理と同様である。
以上,本実施の形態について説明したが,本発明はその主旨の範囲において種々の変形が可能であることは当然である。
10 画像検査装置
100 コンピュータ
101 CPU
102 メモリ
103 入出力インタフェース
104 記憶装置
105 入力装置
106 出力装置
110 画像入力部
120 ティーチング処理部
121 テンプレート登録部
122 基準ピッチ算出部
130 画像検査用情報記憶部
140 画像検査処理部
141 マッチング処理部
142 検出部品情報記憶部
143 ピッチ異常検査部
150 画像検査実施状態判定部
151 フレーム間部品対応検出部
152 対応部品位置差分算出部
153 対応部品位置差分統計部
154 統計結果記憶部
155 部品移動量推定部
160 調整制御部
20 カメラ
30 プレス加工機
31 送り機構制御部
40 巻取り機
50 帯状加工品

Claims (7)

  1. 所定の繰り返しピッチで連続して移動する複数の部品の良否を,該部品を撮像した画像により判定する画像検査方法であって,
    コンピュータが,
    前記部品を撮像した画像を,検査画像として取得する過程と,
    テンプレート画像を用いたテンプレートマッチングにより,前記検査画像から部品を検出し,該部品の前記検査画像上での位置を示す情報と,該部品のテンプレート画像に対する類似度の情報とを取得する過程と,
    前記検出された部品ごとに,前記位置を示す情報と前記類似度の情報とを,前記コンピュータがアクセス可能な記憶部に記憶する過程と,
    前記記憶された部品ごとの前記類似度の情報に基づいて,前記検査画像の連続する2つのフレームにおいて,一方のフレームから検出された部品と,その部品に前記類似度が最も近い他方のフレームから検出された部品との組合せを検出し,該部品の組合せを,該2つのフレーム間で対応する部品の組合せとする過程と,
    前記記憶された部品ごとの前記位置を示す情報に基づいて,前記対応する部品間の前記検査画像上での位置の差分を算出する過程と,
    前記対応する部品間の前記検査画像上での位置の差分の統計をとる過程と,
    前記対応する部品間の前記検査画像上での位置の差分の統計結果に基づいて,前記部品の前記検査画像の連続するフレーム間での移動量を推定する過程とを実行する
    ことを特徴とする画像検査方法。
  2. 前記コンピュータが,
    前記部品の前記検査画像の連続するフレーム間での移動量の推定結果に基づいて,前記部品の前記検査画像の連続するフレーム間での移動量を調整する過程をさらに実行する
    ことを特徴とする請求項1に記載の画像検査方法。
  3. 前記部品の前記検査画像の連続するフレーム間での移動量の調整は,前記部品の移動速度の調整である
    ことを特徴とする請求項2に記載の画像検査方法。
  4. 前記2つのフレーム間で対応する部品の組合せを検出する過程では,前記2つのフレーム間で対応する部品の組合せを,複数検出する
    ことを特徴とする請求項1から請求項3までのいずれかに記載の画像検査方法。
  5. 前記2つのフレーム間で対応する部品を検出する過程では,さらに,前記記憶された部品ごとの前記類似度の情報に基づいて,前記検査画像の連続しない2つのフレームにおいて,一方のフレームから検出された部品と,その部品に前記類似度が最も近い他方のフレームから検出された部品との組合せを検出し,該部品の組合せを,該2つのフレーム間で対応する部品の組合せとする
    ことを特徴とする請求項1から請求項4までのいずれかに記載の画像検査方法。
  6. 前記対応する部品間の前記検査画像上での位置の差分を算出する過程では,さらに,前記対応する部品の組合せが検出された前記2つのフレーム間の時間間隔を取得し,該2つのフレーム間の時間間隔に応じて,前記算出された前記対応する部品間の前記検査画像上での位置の差分を規格化する
    ことを特徴とする請求項1から請求項5までのいずれかに記載の画像検査方法。
  7. 所定の繰り返しピッチで連続して移動する複数の部品の良否を,該部品を撮像した画像により判定する画像検査装置であって,
    前記部品を撮像した画像を,検査画像として取得する画像入力部と,
    テンプレート画像を用いたテンプレートマッチングにより,前記検査画像から部品を検出し,該部品の前記検査画像上での位置を示す情報と,該部品のテンプレート画像に対する類似度の情報とを取得するマッチング処理部と,
    前記検出された部品ごとに,前記位置を示す情報と前記類似度の情報とを記憶する検出部品情報記憶部と,
    前記記憶された部品ごとの前記類似度の情報に基づいて,前記検査画像の連続する2つのフレームにおいて,一方のフレームから検出された部品と,その部品に前記類似度が最も近い他方のフレームから検出された部品との組合せを検出し,該部品の組合せを,該2つのフレーム間で対応する部品の組合せとするフレーム間部品対応検出部と,
    前記記憶された部品ごとの前記位置を示す情報に基づいて,前記対応する部品間の前記検査画像上での位置の差分を算出する対応部品位置差分算出部と,
    前記対応する部品間の前記検査画像上での位置の差分の統計をとる対応部品位置差分統計部と,
    前記対応する部品間の前記検査画像上での位置の差分の統計結果に基づいて,前記部品の前記検査画像の連続するフレーム間での移動量を推定する部品移動量推定部とを備える
    ことを特徴とする画像検査装置。
JP2010170365A 2010-07-29 2010-07-29 画像検査方法および画像検査装置 Expired - Fee Related JP5464092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010170365A JP5464092B2 (ja) 2010-07-29 2010-07-29 画像検査方法および画像検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010170365A JP5464092B2 (ja) 2010-07-29 2010-07-29 画像検査方法および画像検査装置

Publications (2)

Publication Number Publication Date
JP2012032211A true JP2012032211A (ja) 2012-02-16
JP5464092B2 JP5464092B2 (ja) 2014-04-09

Family

ID=45845811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010170365A Expired - Fee Related JP5464092B2 (ja) 2010-07-29 2010-07-29 画像検査方法および画像検査装置

Country Status (1)

Country Link
JP (1) JP5464092B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167408A (ja) * 2013-02-28 2014-09-11 Molex Inc 外観検査装置及び外観検査方法
WO2020188684A1 (ja) * 2019-03-18 2020-09-24 株式会社日立国際電気 カメラ装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6315380A (ja) * 1986-07-07 1988-01-22 Kyodo Printing Co Ltd 繰返しパタ−ンをもつ物品の検査方法及びその装置
JPH09113466A (ja) * 1995-10-16 1997-05-02 Apic Yamada Kk リードフレームの検査装置
JPH10293018A (ja) * 1997-04-18 1998-11-04 Apic Yamada Kk リードフレームの検査装置
JP2000249662A (ja) * 1999-03-01 2000-09-14 Nippon Steel Corp テープキャリア欠陥検査装置及びテープキャリア欠陥検査装置における撮像手段の位置合わせ方法
JP2004351050A (ja) * 2003-05-30 2004-12-16 Hitachi Medical Corp 診断画像における生体組織の動きの追跡方法及びその方法を用いた画像診断装置
JP2006254321A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 人物追尾装置及び人物追尾プログラム
JP2009140393A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 映像処理装置、映像表示装置、映像処理方法および映像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6315380A (ja) * 1986-07-07 1988-01-22 Kyodo Printing Co Ltd 繰返しパタ−ンをもつ物品の検査方法及びその装置
JPH09113466A (ja) * 1995-10-16 1997-05-02 Apic Yamada Kk リードフレームの検査装置
JPH10293018A (ja) * 1997-04-18 1998-11-04 Apic Yamada Kk リードフレームの検査装置
JP2000249662A (ja) * 1999-03-01 2000-09-14 Nippon Steel Corp テープキャリア欠陥検査装置及びテープキャリア欠陥検査装置における撮像手段の位置合わせ方法
JP2004351050A (ja) * 2003-05-30 2004-12-16 Hitachi Medical Corp 診断画像における生体組織の動きの追跡方法及びその方法を用いた画像診断装置
JP2006254321A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 人物追尾装置及び人物追尾プログラム
JP2009140393A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 映像処理装置、映像表示装置、映像処理方法および映像表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167408A (ja) * 2013-02-28 2014-09-11 Molex Inc 外観検査装置及び外観検査方法
WO2020188684A1 (ja) * 2019-03-18 2020-09-24 株式会社日立国際電気 カメラ装置
JPWO2020188684A1 (ja) * 2019-03-18 2021-12-02 株式会社日立国際電気 カメラ装置
JP7057862B2 (ja) 2019-03-18 2022-04-20 株式会社日立国際電気 カメラ装置

Also Published As

Publication number Publication date
JP5464092B2 (ja) 2014-04-09

Similar Documents

Publication Publication Date Title
US11070788B2 (en) Method and system for determining optimal exposure time and number of exposures in structured light-based 3D camera
EP3102018B1 (en) Quality management device and method for controlling quality management device
JP4008291B2 (ja) パターン検査装置、パターン検査方法およびプログラム
JP6121425B2 (ja) ラスタ画像のエッジ検出によるベルト摩耗の測定
US20140037212A1 (en) Image processing method and device
WO2015081765A1 (zh) 清分机故障自动诊断方法以及装置
JP2019191117A (ja) 画像処理装置、画像処理方法及びプログラム
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP5464092B2 (ja) 画像検査方法および画像検査装置
JP2018124441A (ja) システム、情報処理装置、情報処理方法及びプログラム
JP2016035405A (ja) 画像検査装置、画像検査システム、および画像検査方法
JP6715282B2 (ja) 品質監視システム
KR102470422B1 (ko) 합성곱 신경망 특징맵 기반 봉제 스티치 불량 자동 검출 방법 및 시스템
CN112147147A (zh) 边缘缺陷检测方法和边缘缺陷检测装置以及质量检测设备
US10598617B2 (en) Metrology guided inspection sample shaping of optical inspection results
KR100944094B1 (ko) 품질 검사 로봇 및 방법
TWI733184B (zh) 圖案形狀評價裝置、圖案形狀評價系統及圖案形狀評價方法
US20220114715A1 (en) Methods, systems, and devices for monitoring a web of material translating along a travel path
JP2019219357A (ja) 撮影装置、撮影方法および撮影プログラム
EP2528019A1 (en) Apparatus and method for detecting objects in moving images
US20050244047A1 (en) Stop motion imaging detection system and method
KR101830331B1 (ko) 기계 이상 동작 검출 장치 및 방법
US11062172B2 (en) Inspection apparatus and inspection method
WO2023100269A1 (ja) 異常検知プログラム、異常検知装置及び異常検知方法
US10679359B2 (en) Motion detection method and related monitoring camera apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees