JP2020134424A - 分光検査方法、画像処理装置、及びロボットシステム - Google Patents
分光検査方法、画像処理装置、及びロボットシステム Download PDFInfo
- Publication number
- JP2020134424A JP2020134424A JP2019031339A JP2019031339A JP2020134424A JP 2020134424 A JP2020134424 A JP 2020134424A JP 2019031339 A JP2019031339 A JP 2019031339A JP 2019031339 A JP2019031339 A JP 2019031339A JP 2020134424 A JP2020134424 A JP 2020134424A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- spectroscopic
- image processing
- image
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 223
- 238000007689 inspection Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000001228 spectrum Methods 0.000 claims abstract description 52
- 230000008054 signal transmission Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 56
- 230000003595 spectral effect Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 35
- 238000004611 spectroscopical analysis Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 description 42
- 238000003860 storage Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 239000000463 material Substances 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】分光検査方法は、スペクトル画像を用いて検査を行う分光検査方法であって、分光カメラの撮像範囲にある物体を分光カメラで撮像して、スペクトル画像を取得する撮像処理を実行する撮像ステップS10と、スペクトル画像に対して画像処理を実行し、画像処理の結果を検査結果として出力する検査処理を実行する検査ステップS30と、検査結果に基づいて物体に対する操作を行う信号を送信する送信処理を実行する信号送信ステップS20と、撮像処理と、検査処理と、送信処理との作業手順を設定する設定ステップと、を有し、設定ステップは、検査ステップS30を、撮像ステップS10が終了した後に実行し、信号送信ステップS20を、撮像ステップS10が終了した後、検査ステップS30が終了する前に実行するように作業手順を設定する。
【選択図】図9
Description
また、分光カメラは、2次元の面で分光輝度をとらえることができるカメラである。分光カメラを使えば、RGBのエリアセンサーを使った一般的なカメラではできない、微妙な色の差を見分ける色むら検査が可能となる。
図1は、本実施形態に係るロボットビジョンシステムを示すシステム構成図である。
本実施形態に係るロボットシステムとしてのロボットビジョンシステム2は、例えば、電子部品及び電子機器等の物体としてのワークWの保持、搬送、組立て、及び検査等の作業で用いられる装置である。
ロボットビジョンシステム2は、図1に示すように、制御システム4と、ロボット10と、分光カメラ12Aと、ロボットカメラ12Bと、表示装置14と、入力装置16と、を備える。
制御システム4は、コンピューター18と、ロボット制御装置20と、画像処理装置22と、を備える。
以下、ロボットビジョンシステム2を構成する各部について説明する。
ロボット10は、ロボット制御装置20に接続されている。ロボット制御装置20に接続可能なロボット10の種類は、特に限定されない。例えば垂直多関節ロボットや、水平多関節ロボットであってもよい。ここで、「水平多関節ロボット」とは、水平方向にアームが動作するロボットのことをいう。また、「垂直多関節ロボット」とは、軸数が3つ以上であり、かつ、3つの軸のうちの2つの軸が互いに交差しているロボットのことをいう。
分光カメラ12A及びロボットカメラ12Bは、それぞれ、画像処理装置22に接続されている。本実施形態では、後述する図10に示すように、ロボットビジョンシステム2は、ロボット10の周辺に配置された分光カメラ12Aと、ロボット10が備えるロボットアーム24に固定されたロボットカメラ12Bと、を備えている。なお、ロボットカメラ12Bは、ロボットアーム24の先端部に取り付けられている。
表示装置14は、例えば液晶ディスプレイ等で構成されたモニターを備えており、例えば分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像や各種画面等を表示する機能を備える。各種画像は、例えば操作ウィンドウや処理結果に関する画面である。したがって、ユーザーは、撮像画像やロボット10の作業等を把握することができる。
入力装置16は、例えばマウスやキーボード等で構成されている。したがって、ユーザーは、入力装置16を操作することで、制御システム4に対して各種処理等の指示を行うことができる。
上述したように、制御システム4は、コンピューター18と、ロボット制御装置20と、画像処理装置22と、を備える。この制御システム4は、ロボット10、分光カメラ12A、ロボットカメラ12B、及び表示装置14の駆動を制御する。
コンピューター18は、例えばプログラム(OS:Operating System)がインストールされたコンピューター(例えばPC(Personal Computer)やPLC(Programmable Logic Controller)等)で構成されている。このコンピューター18は、例えば、プロセッサーとしてのCPU(Central Processing Unit)及びGPU(Graphics Processing Unit)と、RAM(Random Access Memory)と、プログラムが記憶されたROM(Read Only Memory)と、を備える。
コンピューター18は、制御部26と、メインメモリー28と、記憶部30と、表示制御部32と、入力制御部34と、通信部36と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
ロボット制御装置20は、例えばコンピューター18からの指示に基づいてロボット10の駆動を制御する。ロボット制御装置20は、OS等を含むプログラムがインストールされたコンピューターである。このロボット制御装置20は、例えばプロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMと、を備える。
ロボット制御装置20は、制御部42と、メインメモリー44と、記憶部46と、通信部48と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
ロボット制御部52は、各駆動部の駆動を制御し、ロボットアーム24を駆動させたり停止させたりする。例えば、制御部42は、図示しない位置センサーや力検出部から出力された情報を基にして、ハンドを目標位置に移動させるために各駆動部が備えるモーターの目標値を導出する。その他、制御部42は、各種演算及び判断等の処理を行う機能や、ロボット制御装置20が備える指示を行う機能等を備える。
記憶部46は、プログラムを含む各種データを記録する機能を備える。記憶部46は、例えば制御プログラム等を記録する。記憶部46の機能は、ROM等やいわゆる外部記憶装置によって実現することができる。
通信部48は、ロボット10、コンピューター18、及び画像処理装置22等の外部とのデータのやり取りを行う機能を備える。通信部48の機能は、例えばインターフェイス回路等によって実現することができる。
本実施形態に係る画像処理装置22は、分光カメラ12Aで撮像したスペクトル画像に含まれるワークWの検査を行う画像処理装置である。画像処理装置22は、例えばコンピューター18からの指示に基づいて分光カメラ12A及びロボットカメラ12Bの駆動を制御したり、分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像の処理を行ったりする。画像処理装置22は、例えばOS等を含むプログラムがインストールされたコンピューターである。この画像処理装置22は、例えばプロセッサーとしてのCPU及びGPUと、RAMと、プログラムが記憶されたROMと、を備える。
画像処理装置22は、制御部54と、メインメモリー56と、記憶部58と、信号送信部としての通信部60と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
設定部70は、分光カメラ12Aの実行と画像処理シーケンス実行部62の実行とをひとつの作業手順として設定する。設定部70は、分光カメラ12Aが終了した後、画像処理シーケンス実行部62の実行と同時に、通信部60を実行するように作業手順を設定する。設定部70は、分光カメラ12Aでのスペクトル画像の取得が終了した後、画像処理シーケンス実行部62でのスペクトル画像に対する画像処理の実行と同時に、ワークWに対する操作を行う信号を送信する通信部60を実行するように作業手順を設定する。
画像処理部64は、例えば撮像画像から各種情報を取り出す等の画像処理を行う機能を備える。具体的には、画像処理部64は、例えば分光カメラ12A及びロボットカメラ12B等からの撮像画像を基にして各種演算や各種判断等の処理を行う。例えば、画像処理部64は、撮像画像を基にして画像座標系における撮像対象の座標を演算する。また、例えば画像処理部64は、画像座標系での座標をロボット10の先端座標系での座標又はロボット10のベース座標系での座標に変換したりする。その変換に用いる補正パラメーターは、例えばコンピューター18又はロボット制御装置20が求める。なお、画像処理装置22が、上記変換に用いる補正パラメーターを求めてもよい。
また、撮像部制御部66は、ワークWが分光カメラ12Aの撮像範囲にあるとき、分光カメラ12AでワークWの撮像を行ってスペクトル画像を取得する。撮像部制御部66は、例えば分光カメラ12A及びロボットカメラ12Bの駆動を制御したり、分光カメラ12A及びロボットカメラ12Bから撮像画像を取得したりする機能を備える。
以上、ロボットビジョンシステム2の基本的な構成について簡単に説明した。
以下、画像処理装置22が行う処理の具体例について説明する。
<ロボット制御プログラム開発ソフト>
ここで、画像処理用のウィンドウについて説明する。
図2は、ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図である。
Frameオブジェクトは、前の画像処理オブジェクトで見つかった位置に基づいて、相対的に後の画像処理オブジェクトを配置するためのフレームである。この例では、Frame01オブジェクトの原点とY軸方向の設定として、それぞれGeom01オブジェクトとGeom02オブジェクトとが指定されている。さらに、SpectrumMatch01オブジェクトとSpectrumMatch02オブジェクトとは、Frame01オブジェクトに乗せる設定がされている。これにより、実行時には、Geom01オブジェクトとGeom02オブジェクトとの位置に対して相対的にいつも同じ位置でSpectrumMatch01オブジェクトとSpectrumMatch02オブジェクトとが実行される。
画像処理オブジェクトは、Geometricオブジェクト、Frameオブジェクト、SpectrumMatchオブジェクトである。画像処理シーケンスは、分光スペクトル画像の代表画像に対して、Geom01オブジェクト、Geom02オブジェクト、Frame01オブジェクト、SpectrumMatch01オブジェクト、SpectrumMatch02オブジェクトを実行し、全てのオブジェクトがPassedであればAllPassedを返す。
分光スペクトル画像は、図4に示すように、それぞれの波長での分光輝度の差分の和を閾値と比較される。分光スペクトル画像は、教示時と実行時とのそれぞれの波長での分光輝度の差分の和を閾値と比較される。分光スペクトル画像は、同一対象物を、波長を変えて撮像した分光画像のセットである。
図5は、ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図である。
本実施例では、図5に示すように、ImageOpオブジェクトとBlobオブジェクトで抽出した領域の形状に基づいて検査する。
ImageOpオブジェクトは、種々の画像変換をする。平滑化や先鋭化、二値化処理など、基本画像処理が備わっている。分光カメラ12A用には、スペクトルパターンフィルターとして、教示された基準分光データとの差異が、予め教示された閾値よりも小さいスペクトルを持つ画素の領域を抽出し、代表画像の対応する領域をコピーし、それ以外を背景色として除去する機能を持っている。
画像処理オブジェクトは、ImageOpオブジェクト、Blobオブジェクトである。
画像処理シーケンスは、図6に示すように、分光スペクトル画像のグレイ画像に対して、ImageOp01オブジェクト、Blob01オブジェクトを実行し、全てのオブジェクトがPassedであればAllPassedを返す。
ImageOpオブジェクトは、図7に示すように、実行時の入力画面の中から、教示時に登録されているスペクトルとの差分が閾値以下の部分を代表画像から領域抽出して結果画像を生成する。
本実施例は、ロボット制御装置20とロボット10との連動を示し説明する。
<プログラムと実行>
図8は、画像処理の実行結果に応じて、ロボット10を動かすプログラムの例を示す図である。
先ず、ロボット制御装置20は、ワークWを分光カメラ12Aの位置に移動させる。
次に、画像処理装置22は、画像処理を実行する。
次に、ロボット制御装置20は、ワークWを合格品除材パレット152に移動させる。
次に、ロボット制御装置20は、画像処理装置22より検査結果を取得し、合格の場合、ワークWを合格品除材パレット152に移動させる。不合格の場合、ワークWを不合格品除材箱154に移動させる。
Goコマンドがロボット制御装置20よりロボット10に実行される。ロボット10は動作を開始する。ロボット10よりロボット制御装置20に動作結果が返される。
本実施形態に係る分光検査方法は、分光カメラ12Aで撮像したスペクトル画像に含まれるワークWの検査を行う方法である。分光検査方法は、図示しない設定ステップと、撮像ステップS10と、信号送信ステップS20と、検査ステップS30と、を備える。
図10は、ワークWを合格品と不合格品とに分けるシステムを示す配置図である。
ロボットビジョンシステム2は、図10に示すように、ロボット10と、合格品除材パレット152と、不合格品除材箱154と、ロボットカメラ12Bと、吸着ハンド156と、分光カメラ12Aと、を備えている。ロボットビジョンシステム2は、給材パレット158に並べられたワークWをロボット10の吸着ハンド156でひとつずつ取り出し、ワークWの裏面に装着された小部品164の色検査を行い、合格品と不合格品とに分けるシステムである。
ワークWは、図11に示すように、給材パレット158に並べられている。ロボットカメラ12BからはワークWの表面が見える。ロボットカメラ12BからはワークWの裏面は見えない。給材パレット158の升目に小分けされたワークWは、升目に対する載置位置にばらつきがある。ロボット10は、吸着ハンド156がワークWの表面の中心を吸着しないと、移送中に落としてしまうおそれがある。
ワークWは、図12に示すように、表面と裏面とを備える。検査対象は、ワークWの裏面に設けられた2つの小部品164である。ロボット10は、ロボットカメラ12Bを用いてワークWの表面を撮像しても、ワークWの裏面の小部品164がどの向きになっているか分からない。
ロボットカメラ12Bは、給材パレット158の1つの升目よりも少し大きい視野を持つように設定しておく。また、吸着ハンド156の位置と画像の座標との関係は、予めキャリブレーションをしておく。
(給材)
先ず、ロボット10は、ロボットカメラ12Bの視野に次のワークWが入るように移動し、円形のワークWを見つけ、ワークWの中心を吸着ハンド156で吸着する。
次に、ロボット10は、ワークWを分光カメラ12Aの視野に入る位置に移動させる。ここでロボット10は、ワークWを吸着したまま止まる。
次に、画像処理装置22は、ワークWの裏面の小部品164を、マーク166を手掛かりに位置を特定して分光検査を行う。画像処理装置22は、小部品164を含むワークWの裏面を撮像し、その画像で分光画像による検査処理を行い、ワークWの合格・不合格を判断する。
次に、ロボット10は、分光カメラ12Aの撮像が終わったタイミングで、吸着しているワークWを合格品除材パレット152の次に置く升目の上空に向けて動きだす。移送中に、画像処理装置22が検査処理を行い、合格・不合格の判断を行い、もし不合格であれば、ロボット10は、吸着しているワークWの移送先を不合格品除材箱154の上空に変更し、吸着しているワークWを不合格品除材箱154に入れる。合格品であれば、吸着しているワークWの移送先を変更せず、吸着しているワークWを合格品除材パレット152に配置する。
以上を給材パレット158にワークWがなくなるまで繰り返し行う。
先ず、SpectrumInspオブジェクトを呼び出す側で、給材パレット158の升目と合格品除材パレット152の升目との位置を次々と移動していき、反復するようなプログラムを作成しておく。
図13は、画像処理シーケンスの実行結果を示す図である。
プログラムをビルドし実行すると、画像処理とロボット10の動作とが平行して行われる。画像処理シーケンスの実行結果は、場合によって、以下のように変わる。不合格品は、例えば赤で表示される。
この結果に応じて、上段の2つの合格ワークは、合格品除材パレット152に置かれ、下段の不合格ワークは、不合格品除材箱154に振り分けられる。
図14は、他の品種の裏面を示す図である。図15は、他の品種の実行結果を示す図である。
図14に示すように品種が変わって、裏面が以下のようなレイアウトになり、検査箇所が四角の有無のみになった場合、画像処理シーケンスを組み替えれば短時間で対応できる。この場合の実行結果を図15に示す。上側が合格品で、下側が不合格品を示している。
これによれば、検査ステップの実行に対して、検査ステップの終了を待たずに、撮像ステップの終了のタイミングで信号送信ステップを実行することができる。これにより、タクトタイムを短縮する分光検査方法を提供することができる。
これによれば、スペクトル画像と、基準分光データとの差異を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
これによれば、スペクトル画像に含まれる波長ごとの分光輝度と閾値との差分の和に基づいて判定し、判定結果を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
これによれば、基準分光データが可視光の波長帯に含まれる複数の波長であるので、スペクトル画像に対する正確な画像処理を行うことができる。
これによれば、スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含むので、グレースケール画像から好適なエッジ量を算出できる。したがって、好適なエッジ量に基づいてエッジ強調処理を行うことで、文字や線の鮮鋭性を向上させることができる。
これによれば、座標系に基づく位置の画素のスペクトルと、基準分光データとの差異を検査結果として出力するので、正確な画像処理を行うことができる。
これによれば、画素のスペクトルが閾値よりも小さい画素を抽出領域として抽出し、代表画像の座標系に基づいた抽出領域を検査結果として出力するので、正確な画像処理を行うことができる。
これによれば、抽出領域の形状情報を検査結果として出力するので、正確な画像処理を行うことができる。
これによれば、検査部の実行に対して、検査部の終了を待たずに、撮像部の終了のタイミングで信号送信部を実行することができる。これにより、タクトタイムを短縮する画像処理装置を提供することができる。
これによれば、画像処理装置において、検査部の実行に対して、検査部の終了を待たずに、撮像部の終了のタイミングで信号送信部を実行することができる。これにより、タクトタイムを短縮するロボットシステムを提供することができる。
Claims (10)
- 分光カメラで撮像した物体のスペクトル画像を用いて検査を行う分光検査方法であって、
前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像ステップと、
前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査ステップと、
前記検査結果に基づいて前記物体に対する操作を行う信号を送信する信号送信ステップと、
前記撮像ステップと、前記検査ステップと、前記信号送信ステップとの作業手順を設定する設定ステップと、
を有し、
前記設定ステップは、
前記検査ステップを、前記撮像ステップが終了した後に実行し、
前記信号送信ステップを、前記撮像ステップが終了した後、前記検査ステップが終了する前に実行するように前記作業手順を設定する、
分光検査方法。 - 請求項1に記載の分光検査方法において、
予め前記画像処理に用いる基準分光データの教示を受け付ける教示ステップを有し、
前記検査ステップは、前記スペクトル画像と、前記基準分光データとの差異を前記検査結果として出力する、
分光検査方法。 - 請求項2に記載の分光検査方法において、
前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、
前記検査ステップは、前記スペクトル画像に含まれる波長ごとの分光輝度と前記閾値との差分の和に基づいて判定した結果を前記検査結果として出力する、
分光検査方法。 - 請求項2又は3に記載の分光検査方法において、
前記基準分光データは、可視光の波長帯に含まれる複数の波長により構成されている、
分光検査方法。 - 請求項2に記載の分光検査方法において、
前記画像処理は、前記スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含む、
分光検査方法。 - 請求項5に記載の分光検査方法において、
前記画像処理は、前記代表画像において所定の座標系を設定し、前記座標系に基づく位置の画素のスペクトルと、前記基準分光データとの差異を前記検査結果として出力する、
分光検査方法。 - 請求項6に記載の分光検査方法において、
前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、
前記画像処理は、前記画素のスペクトルが前記閾値よりも小さい画素を抽出領域として抽出し、前記代表画像の前記座標系に基づいた前記抽出領域を前記検査結果として出力する、
分光検査方法。 - 請求項7に記載の分光検査方法であって、
前記画像処理は、前記抽出領域の形状情報を前記検査結果として出力する、
分光検査方法。 - 分光カメラで撮像した物体のスペクトル画像を用いて検査を行う画像処理装置であって、
前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像処理を実行する撮像部制御部と、
前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査処理を実行する検査部と、
前記検査結果に基づいて前記物体に対する操作を行う信号を送信する送信処理を実行する通信部と、
前記撮像処理と、前記検査処理と、前記送信処理との作業手順を設定する設定部と、
を有し、
前記設定部は、
前記検査処理を、前記撮像処理が終了した後に実行させ、
前記送信処理を、前記撮像処理が終了した後、前記検査処理が終了する前に実行させるように前記作業手順を設定する、
画像処理装置。 - ロボットと、
請求項9に記載の画像処理装置と、
前記画像処理装置の前記検査結果に基づいて前記ロボットを制御する制御装置と、
を有する、
ロボットシステム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019031339A JP7215218B2 (ja) | 2019-02-25 | 2019-02-25 | 分光検査方法、画像処理装置、及びロボットシステム |
CN202010112004.4A CN111609933B (zh) | 2019-02-25 | 2020-02-24 | 分光检查方法、图像处理装置以及机器人系统 |
US16/798,791 US10969278B2 (en) | 2019-02-25 | 2020-02-24 | Spectroscopic inspection method, image processing apparatus, and robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019031339A JP7215218B2 (ja) | 2019-02-25 | 2019-02-25 | 分光検査方法、画像処理装置、及びロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020134424A true JP2020134424A (ja) | 2020-08-31 |
JP7215218B2 JP7215218B2 (ja) | 2023-01-31 |
Family
ID=72141594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019031339A Active JP7215218B2 (ja) | 2019-02-25 | 2019-02-25 | 分光検査方法、画像処理装置、及びロボットシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10969278B2 (ja) |
JP (1) | JP7215218B2 (ja) |
CN (1) | CN111609933B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100763A1 (ja) * | 2021-12-01 | 2023-06-08 | 川崎重工業株式会社 | 動作制御装置、動作制御方法、及び、動作制御プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7215218B2 (ja) * | 2019-02-25 | 2023-01-31 | セイコーエプソン株式会社 | 分光検査方法、画像処理装置、及びロボットシステム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1067099A (ja) * | 1996-08-29 | 1998-03-10 | Toppan Printing Co Ltd | 印刷物検査装置 |
JP2002082060A (ja) * | 2000-06-30 | 2002-03-22 | Nissan Motor Co Ltd | 表面欠陥検査方法および表面欠陥検査装置 |
JP2010112941A (ja) * | 2008-10-10 | 2010-05-20 | Toyota Motor Corp | 表面検査装置 |
JP2015031531A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社リコー | 画像検査装置、および画像形成装置 |
JP2017062159A (ja) * | 2015-09-24 | 2017-03-30 | アイシン精機株式会社 | 欠陥検査装置および欠陥検査方法 |
JP2018185269A (ja) * | 2017-04-27 | 2018-11-22 | Ckd株式会社 | 検査装置、ptp包装機及びptpシートの製造方法 |
JP2018189564A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
US10969278B2 (en) * | 2019-02-25 | 2021-04-06 | Seiko Epson Corporation | Spectroscopic inspection method, image processing apparatus, and robot system |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3279216B2 (ja) * | 1997-03-03 | 2002-04-30 | 松下電器産業株式会社 | リード付き電子部品の実装方法 |
JPH114059A (ja) * | 1997-06-12 | 1999-01-06 | Toshiba Corp | セラミックス回路基板組立装置及び切断部ゴミ除去装置 |
JPH1114552A (ja) * | 1997-06-25 | 1999-01-22 | Pfu Ltd | 検査システム及びプリント回路板の外観検査システム並びにプリント回路板の外観検査端末装置 |
JPH1163951A (ja) * | 1997-08-20 | 1999-03-05 | Souei Tsusho Kk | 外観検査装置 |
JP2001043367A (ja) * | 1999-07-27 | 2001-02-16 | Matsushita Electric Works Ltd | 外観検査シミュレーションシステムおよびその方法 |
KR100979721B1 (ko) * | 2008-12-04 | 2010-09-03 | (주)에이피텍 | 반도체 다이의 검사 및 분류 일체화장치 |
JP5229253B2 (ja) * | 2010-03-11 | 2013-07-03 | 株式会社安川電機 | ロボットシステム及びロボット装置並びにワーク取り出し方法 |
WO2015107889A1 (ja) * | 2014-01-14 | 2015-07-23 | 有限会社パパラボ | 着色検査装置および着色検査方法 |
JP6295798B2 (ja) | 2014-04-11 | 2018-03-20 | 住友電気工業株式会社 | 検査方法 |
CA3177264A1 (en) * | 2014-06-18 | 2015-12-23 | Innopix, Inc. | Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays |
JP2017040600A (ja) * | 2015-08-21 | 2017-02-23 | キヤノン株式会社 | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 |
-
2019
- 2019-02-25 JP JP2019031339A patent/JP7215218B2/ja active Active
-
2020
- 2020-02-24 CN CN202010112004.4A patent/CN111609933B/zh active Active
- 2020-02-24 US US16/798,791 patent/US10969278B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1067099A (ja) * | 1996-08-29 | 1998-03-10 | Toppan Printing Co Ltd | 印刷物検査装置 |
JP2002082060A (ja) * | 2000-06-30 | 2002-03-22 | Nissan Motor Co Ltd | 表面欠陥検査方法および表面欠陥検査装置 |
JP2010112941A (ja) * | 2008-10-10 | 2010-05-20 | Toyota Motor Corp | 表面検査装置 |
JP2015031531A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社リコー | 画像検査装置、および画像形成装置 |
JP2017062159A (ja) * | 2015-09-24 | 2017-03-30 | アイシン精機株式会社 | 欠陥検査装置および欠陥検査方法 |
JP2018185269A (ja) * | 2017-04-27 | 2018-11-22 | Ckd株式会社 | 検査装置、ptp包装機及びptpシートの製造方法 |
JP2018189564A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
US10969278B2 (en) * | 2019-02-25 | 2021-04-06 | Seiko Epson Corporation | Spectroscopic inspection method, image processing apparatus, and robot system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100763A1 (ja) * | 2021-12-01 | 2023-06-08 | 川崎重工業株式会社 | 動作制御装置、動作制御方法、及び、動作制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US10969278B2 (en) | 2021-04-06 |
CN111609933A (zh) | 2020-09-01 |
CN111609933B (zh) | 2023-05-23 |
US20200271519A1 (en) | 2020-08-27 |
JP7215218B2 (ja) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5861462B2 (ja) | はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置 | |
JP4595705B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP4935109B2 (ja) | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 | |
US10306149B2 (en) | Image processing apparatus, robot system, robot, and image processing method | |
KR101256369B1 (ko) | 다수의 카메라를 이용한 평판 디스플레이 패널 검사 장치 및 방법 | |
US20040076323A1 (en) | Inspection data producing method and board inspection apparatus using the method | |
JP4539355B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP4492356B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
CN111609933B (zh) | 分光检查方法、图像处理装置以及机器人系统 | |
JP5417197B2 (ja) | 検査装置および検査方法 | |
US9140541B2 (en) | Image measuring apparatus and image measuring method | |
CN110596118A (zh) | 印刷图案检测方法及印刷图案检测装置 | |
US8358831B2 (en) | Probe mark inspection | |
JP6516884B2 (ja) | 結線検査作業支援システム | |
JP2007033126A (ja) | 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置 | |
JP4506395B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2008241424A (ja) | 画像処理装置及びこれを用いた画像処理方法 | |
JPH08219721A (ja) | 画像処理装置 | |
JP2009224476A (ja) | 欠陥関連性表示装置、基板検査装置、および欠陥関連性表示方法 | |
EP3846121A1 (en) | Inspection system, information processing apparatus, and carrier means | |
JP6180889B2 (ja) | 印字検査装置 | |
JP4507785B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
US20190364193A1 (en) | Image processing apparatus, robot and robot system | |
JP2006078285A (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JPS62190448A (ja) | 基板検査装置および基板検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20200811 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210915 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7215218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |