JP2020134424A - 分光検査方法、画像処理装置、及びロボットシステム - Google Patents

分光検査方法、画像処理装置、及びロボットシステム Download PDF

Info

Publication number
JP2020134424A
JP2020134424A JP2019031339A JP2019031339A JP2020134424A JP 2020134424 A JP2020134424 A JP 2020134424A JP 2019031339 A JP2019031339 A JP 2019031339A JP 2019031339 A JP2019031339 A JP 2019031339A JP 2020134424 A JP2020134424 A JP 2020134424A
Authority
JP
Japan
Prior art keywords
inspection
spectroscopic
image processing
image
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019031339A
Other languages
English (en)
Other versions
JP7215218B2 (ja
Inventor
政司 相磯
Masashi Aiiso
政司 相磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019031339A priority Critical patent/JP7215218B2/ja
Priority to CN202010112004.4A priority patent/CN111609933B/zh
Priority to US16/798,791 priority patent/US10969278B2/en
Publication of JP2020134424A publication Critical patent/JP2020134424A/ja
Application granted granted Critical
Publication of JP7215218B2 publication Critical patent/JP7215218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】タクトタイムを短縮する分光検査方法、画像処理装置、及びロボットシステムを提供する。
【解決手段】分光検査方法は、スペクトル画像を用いて検査を行う分光検査方法であって、分光カメラの撮像範囲にある物体を分光カメラで撮像して、スペクトル画像を取得する撮像処理を実行する撮像ステップS10と、スペクトル画像に対して画像処理を実行し、画像処理の結果を検査結果として出力する検査処理を実行する検査ステップS30と、検査結果に基づいて物体に対する操作を行う信号を送信する送信処理を実行する信号送信ステップS20と、撮像処理と、検査処理と、送信処理との作業手順を設定する設定ステップと、を有し、設定ステップは、検査ステップS30を、撮像ステップS10が終了した後に実行し、信号送信ステップS20を、撮像ステップS10が終了した後、検査ステップS30が終了する前に実行するように作業手順を設定する。
【選択図】図9

Description

本発明は、分光検査方法、画像処理装置、及びロボットシステムに関するものである。
従来、ロボットビジョンでの色の検出において、生産装置の中でカラーカメラを使って、色に基づいた物体検出や、色に基づく検査が行われることがある。カメラで赤と青とのパーツを見分けてロボットで分別したり、パーツに青いパーツが確実に取り付けられているかの検査で合格品のみを次の工程に渡したりすることは可能である。
また、分光カメラは、2次元の面で分光輝度をとらえることができるカメラである。分光カメラを使えば、RGBのエリアセンサーを使った一般的なカメラではできない、微妙な色の差を見分ける色むら検査が可能となる。
例えば、検査対象物に含まれる異種品等を含む不良品の検出を目的とした検査装置として、検査対象物を分光カメラで撮像して得られるスペクトル画像について解析する方法が検討されている(例えば、特許文献1参照)。
特開2015−203586号公報
しかしながら、検査対象物を撮像して得られるスペクトル画像について解析する方法は、撮像と検査とのそれぞれに時間がかかるため、検査結果が出るまで次工程が待機させられる。これにより、検査装置のタクトタイムが長くなるおそれがある。
本願の分光検査方法は、分光カメラで撮像した物体のスペクトル画像を用いて検査を行う分光検査方法であって、前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像ステップと、前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査ステップと、前記検査結果に基づいて前記物体に対する操作を行う信号を送信する信号送信ステップと、前記撮像ステップと、前記検査ステップと、前記信号送信ステップとの作業手順を設定する設定ステップと、を有し、前記設定ステップは、前記検査ステップを、前記撮像ステップが終了した後に実行し、前記信号送信ステップを、前記撮像ステップが終了した後、前記検査ステップが終了する前に実行するように前記作業手順を設定する。
上記の分光検査方法では、予め前記画像処理に用いる基準分光データの教示を受け付ける教示ステップを有し、前記検査ステップは、前記スペクトル画像と、前記基準分光データとの差異を前記検査結果として出力することが好ましい。
上記の分光検査方法では、前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、前記検査ステップは、前記スペクトル画像に含まれる波長ごとの分光輝度と前記閾値との差分の和に基づいて判定した結果を前記検査結果として出力することが好ましい。
上記の分光検査方法では、前記基準分光データは、可視光の波長帯に含まれる複数の波長により構成されていることが好ましい。
上記の分光検査方法では、前記画像処理は、前記スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含むことが好ましい。
上記の分光検査方法では、前記画像処理は、前記代表画像において所定の座標系を設定し、前記座標系に基づく位置の画素のスペクトルと、前記基準分光データとの差異を前記検査結果として出力することが好ましい。
上記の分光検査方法では、前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、前記画像処理は、前記画素のスペクトルが前記閾値よりも小さい画素を抽出領域として抽出し、前記代表画像の前記座標系に基づいた前記抽出領域を前記検査結果として出力することが好ましい。
上記の分光検査方法では、前記画像処理は、前記抽出領域の形状情報を前記検査結果として出力することが好ましい。
本願の画像処理装置は、分光カメラで撮像した物体のスペクトル画像を用いて検査を行う画像処理装置であって、前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像処理を実行する撮像部制御部と、前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査処理を実行する検査部と、前記検査結果に基づいて前記物体に対する操作を行う信号を送信する送信処理を実行する通信部と、前記撮像処理と、前記検査処理と、前記送信処理との作業手順を設定する設定部と、を有し、前記設定部は、前記検査処理を、前記撮像処理が終了した後に実行させ、前記送信処理を、前記撮像処理が終了した後、前記検査処理が終了する前に実行させるように前記作業手順を設定する。
本願のロボットシステムは、ロボットと、上記に記載の画像処理装置と、前記画像処理装置の前記検査結果に基づいて前記ロボットを制御する制御装置と、を有する。
本実施形態に係るロボットビジョンシステムを示すシステム構成図。 ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図。 画像処理シーケンスと画像処理オブジェクトとの連携を示す図。 SpectrumMatchオブジェクトによる分光スペクトル画像検査を示す図。 ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図。 画像処理シーケンスと画像処理オブジェクトとの連携を示す図。 ImageOpオブジェクトの動作を示す図。 画像処理の実行結果に応じて、ロボットを動かすプログラムの例を示す図。 プログラムを実行したときのタイミングチャートを示す図。 ワークを合格品と不合格品とに分けるシステムを示す配置図。 給材パレットに並べられたワークを示す図。 ワークの表面と裏面とを示す図。 画像処理シーケンスの実行結果を示す図。 他の品種の裏面を示す図。 他の品種の実行結果を示す図。
以下、本発明を具体化した実施形態について図面に従って説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。
(ロボットビジョンシステム)
図1は、本実施形態に係るロボットビジョンシステムを示すシステム構成図である。
本実施形態に係るロボットシステムとしてのロボットビジョンシステム2は、例えば、電子部品及び電子機器等の物体としてのワークWの保持、搬送、組立て、及び検査等の作業で用いられる装置である。
ロボットビジョンシステム2は、図1に示すように、制御システム4と、ロボット10と、分光カメラ12Aと、ロボットカメラ12Bと、表示装置14と、入力装置16と、を備える。
制御システム4は、コンピューター18と、ロボット制御装置20と、画像処理装置22と、を備える。
コンピューター18とロボット制御装置20と画像処理装置22とは、互いに、有線又は無線通信で接続(以下、単に「接続」ともいう)されている。また、コンピューター18には、表示装置14及び入力装置16のそれぞれが有線又は無線通信で接続されている。また、ロボット制御装置20には、ロボット10が有線又は無線通信で接続されている。また、画像処理装置22には、分光カメラ12A及びロボットカメラ12Bのそれぞれが有線又は無線通信で接続されている。なお、分光カメラ12A、ロボットカメラ12B、表示装置14、及び入力装置16は、それぞれ、画像処理装置22に接続されていてもよい。
このロボットビジョンシステム2は、例えば制御システム4の制御の下、分光カメラ12A及びロボットカメラ12BがワークW等を撮像し、ロボット10が分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像を基にしてワークW等に対して作業を行う。また、ロボットビジョンシステム2は、ロボット10が適切な作業を行うことができるよう、制御システム4の制御の下、例えば分光カメラ12A及びロボットカメラ12BでワークWを認識するために画像処理シーケンスの作成等を行ったり、撮像座標系とロボット座標系とを対応付けるキャリブレーションを行ったりする。
以下、ロボットビジョンシステム2を構成する各部について説明する。
(ロボット)
ロボット10は、ロボット制御装置20に接続されている。ロボット制御装置20に接続可能なロボット10の種類は、特に限定されない。例えば垂直多関節ロボットや、水平多関節ロボットであってもよい。ここで、「水平多関節ロボット」とは、水平方向にアームが動作するロボットのことをいう。また、「垂直多関節ロボット」とは、軸数が3つ以上であり、かつ、3つの軸のうちの2つの軸が互いに交差しているロボットのことをいう。
(カメラ)
分光カメラ12A及びロボットカメラ12Bは、それぞれ、画像処理装置22に接続されている。本実施形態では、後述する図10に示すように、ロボットビジョンシステム2は、ロボット10の周辺に配置された分光カメラ12Aと、ロボット10が備えるロボットアーム24に固定されたロボットカメラ12Bと、を備えている。なお、ロボットカメラ12Bは、ロボットアーム24の先端部に取り付けられている。
(表示装置)
表示装置14は、例えば液晶ディスプレイ等で構成されたモニターを備えており、例えば分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像や各種画面等を表示する機能を備える。各種画像は、例えば操作ウィンドウや処理結果に関する画面である。したがって、ユーザーは、撮像画像やロボット10の作業等を把握することができる。
(入力装置)
入力装置16は、例えばマウスやキーボード等で構成されている。したがって、ユーザーは、入力装置16を操作することで、制御システム4に対して各種処理等の指示を行うことができる。
なお、本実施形態では、表示装置14及び入力装置16の代わりに、表示装置14及び入力装置16を兼ね備えた表示入力装置を設けてもよい。表示入力装置としては、例えばタッチパネルとしての静電式タッチパネルや感圧式タッチパネル等を用いることができる。また、入力装置16は、音声を含む音を認識する構成であってもよい。
(制御システム)
上述したように、制御システム4は、コンピューター18と、ロボット制御装置20と、画像処理装置22と、を備える。この制御システム4は、ロボット10、分光カメラ12A、ロボットカメラ12B、及び表示装置14の駆動を制御する。
以下、制御システム4のコンピューター18とロボット制御装置20とについて順次説明する。
(コンピューター)
コンピューター18は、例えばプログラム(OS:Operating System)がインストールされたコンピューター(例えばPC(Personal Computer)やPLC(Programmable Logic Controller)等)で構成されている。このコンピューター18は、例えば、プロセッサーとしてのCPU(Central Processing Unit)及びGPU(Graphics Processing Unit)と、RAM(Random Access Memory)と、プログラムが記憶されたROM(Read Only Memory)と、を備える。
以下、コンピューター18が備える各機能について説明する。
コンピューター18は、制御部26と、メインメモリー28と、記憶部30と、表示制御部32と、入力制御部34と、通信部36と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
制御部26の機能は、例えばCPU及びGPUによりメインメモリー28や記憶部30に記憶された各種プログラムを実行することにより実現することができる。この制御部26は、例えば制御プログラム編集部38と、画像処理シーケンス編集部40と、を備える。なお、制御部26が備える機能部は、これらに限定されない。これらの機能部のいずれかを省略したり、他の機能部を追加したりしてもよい。
制御プログラム編集部38は、ロボット10が各種作業を行う作業プログラムを含むロボット10を駆動する制御プログラムを作成したり編集したりする。また、例えば制御プログラム編集部38は、制御プログラムの中に、所定の引数を持つ各種コマンドを指定することができる。
画像処理シーケンス編集部40は、分光カメラ12A及びロボットカメラ12BでワークWを認識するための画像処理シーケンスに関する画像処理プログラムを作成したり編集したりする。すなわち、画像処理シーケンス編集部40は、画像処理シーケンスに関する設定内容を編集する機能を備える。
その他、制御部26は、入力制御部34で受けたユーザーの指示に応じて各種演算、判断、コンピューター18が備える各機能部への指示、ロボット制御装置20への指示、及び画像処理装置22への指示等を行う。
メインメモリー28は、制御部26の作業領域である。メインメモリー28の機能は、例えばRAMにより実現することができる。
記憶部30は、プログラムを含む各種データを記録する機能を備える。記憶部30の機能は、ROM等やいわゆる外部記憶装置によって実現することができる。記憶部30は、例えば分光カメラ12A及びロボットカメラ12BでワークWを認識するための画像処理シーケンスに関する画像処理プログラム等を含むソフトウェア、例えばロボット制御プログラム開発ソフトが記憶されている。言い換えると、コンピューター18には、上述のソフトウェアがインストールされている。また、このソフトウェアには、ツール設定に関するプログラム、ローカル設定に関するプログラム、各種コマンドにより各種ロボット10を駆動させる各種処理及び画像処理シーケンス作成・実行等を実行させるプログラムと、及び、図示しない力検出部からの出力に基づく力制御における各種パラメーターを設定するプログラムを含む。また、上述のソフトウェアは、例えばCD−ROM等の記録媒体に格納されていて、この記録媒体から提供されたものであってもよいし、ネットワークを介して提供されたものであってもよい。
表示制御部32は、表示装置14に接続されており、表示装置14のモニターに撮像画像や各種画面を表示させる機能を備える。各種画面は、例えば操作ウィンドウや処理結果に関する画面である。すなわち、表示制御部32は、表示装置14の駆動を制御する。この表示制御部32の機能は、例えばGPUによって実現することができる。例えば、表示制御部32は、画像処理シーケンスに関する複数のガイド画面をユーザーとの対話形式で順次表示装置14に表示させる。また、表示制御部32は、キャリブレーションに関する複数のキャリブレーション作成画面、ツール設定に関する複数のツール設定画面、及び、ローカル座標系の設定に関する複数のローカル設定画面のそれぞれをユーザーとの対話形式で順次表示装置14に表示させる。
入力制御部34は、入力装置16に接続されており、入力装置16からの入力を受け付ける機能を備える。この入力制御部34の機能は、例えばインターフェイス回路によって実現することができる。なお、例えばタッチパネルを用いる場合には、入力制御部34は、ユーザーの指のタッチパネルへの接触等を検知する入力検知部としての機能を備える。
通信部36は、ロボット制御装置20及び画像処理装置22等の外部とのデータのやり取りを行う機能を備える。通信部36の機能は、例えばインターフェイス回路等によって実現することができる。
(ロボット制御装置)
ロボット制御装置20は、例えばコンピューター18からの指示に基づいてロボット10の駆動を制御する。ロボット制御装置20は、OS等を含むプログラムがインストールされたコンピューターである。このロボット制御装置20は、例えばプロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMと、を備える。
以下、ロボット制御装置20が備える各機能について説明する。
ロボット制御装置20は、制御部42と、メインメモリー44と、記憶部46と、通信部48と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
制御部42の機能は、例えばCPUによりメインメモリー44や記憶部46に記憶された各種プログラムを実行することにより実現することができる。この制御部42は、例えば制御プログラム実行部50と、ロボット制御部52と、を備える。なお、制御部42が備える機能部は、これらに限定されない。これらの機能部のいずれかを省略したり、他の機能部を追加したりしてもよい。
制御プログラム実行部50は、コンピューター18からの指示に基づき、ロボット10を駆動する制御プログラムを実行する。例えば、制御プログラム実行部50は、各種コマンドによりロボット10に各種処理を実行する。各種処理は、例えばツール設定、ローカル設定、キャリブレーション処理、及び画像処理シーケンス実行指示等を実行する。
ロボット制御部52は、各駆動部の駆動を制御し、ロボットアーム24を駆動させたり停止させたりする。例えば、制御部42は、図示しない位置センサーや力検出部から出力された情報を基にして、ハンドを目標位置に移動させるために各駆動部が備えるモーターの目標値を導出する。その他、制御部42は、各種演算及び判断等の処理を行う機能や、ロボット制御装置20が備える指示を行う機能等を備える。
メインメモリー44は、制御部42の作業領域である。メインメモリー44の機能は、例えばRAMにより実現することができる。
記憶部46は、プログラムを含む各種データを記録する機能を備える。記憶部46は、例えば制御プログラム等を記録する。記憶部46の機能は、ROM等やいわゆる外部記憶装置によって実現することができる。
通信部48は、ロボット10、コンピューター18、及び画像処理装置22等の外部とのデータのやり取りを行う機能を備える。通信部48の機能は、例えばインターフェイス回路等によって実現することができる。
(画像処理装置)
本実施形態に係る画像処理装置22は、分光カメラ12Aで撮像したスペクトル画像に含まれるワークWの検査を行う画像処理装置である。画像処理装置22は、例えばコンピューター18からの指示に基づいて分光カメラ12A及びロボットカメラ12Bの駆動を制御したり、分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像の処理を行ったりする。画像処理装置22は、例えばOS等を含むプログラムがインストールされたコンピューターである。この画像処理装置22は、例えばプロセッサーとしてのCPU及びGPUと、RAMと、プログラムが記憶されたROMと、を備える。
以下、画像処理装置22が備える各機能について説明する。
画像処理装置22は、制御部54と、メインメモリー56と、記憶部58と、信号送信部としての通信部60と、を備え、これらの間で相互にデータのやり取りができるよう構成されている。
制御部54の機能は、例えばCPU及びGPUによりメインメモリー56や記憶部58に記憶された各種プログラムを実行することにより実現することができる。この制御部54は、検査部としての画像処理シーケンス実行部62と、設定部70と、画像処理部64と、撮像部制御部66と、を備える。なお、制御部54が備える機能部は、これらに限定されない。これらの機能部のいずれかを省略したり、他の機能部を追加したりしてもよい。
画像処理シーケンス実行部62は、コンピューター18からの指示に基づき画像処理シーケンスを実行する機能を備える。また、画像処理シーケンス実行部62は、スペクトル画像を撮像し、その画像に対する画像処理を実行し、画像処理の結果を検査結果として出力する検査部としての機能を備える。
設定部70は、分光カメラ12Aの実行と画像処理シーケンス実行部62の実行とをひとつの作業手順として設定する。設定部70は、分光カメラ12Aが終了した後、画像処理シーケンス実行部62の実行と同時に、通信部60を実行するように作業手順を設定する。設定部70は、分光カメラ12Aでのスペクトル画像の取得が終了した後、画像処理シーケンス実行部62でのスペクトル画像に対する画像処理の実行と同時に、ワークWに対する操作を行う信号を送信する通信部60を実行するように作業手順を設定する。
画像処理部64は、例えば撮像画像から各種情報を取り出す等の画像処理を行う機能を備える。具体的には、画像処理部64は、例えば分光カメラ12A及びロボットカメラ12B等からの撮像画像を基にして各種演算や各種判断等の処理を行う。例えば、画像処理部64は、撮像画像を基にして画像座標系における撮像対象の座標を演算する。また、例えば画像処理部64は、画像座標系での座標をロボット10の先端座標系での座標又はロボット10のベース座標系での座標に変換したりする。その変換に用いる補正パラメーターは、例えばコンピューター18又はロボット制御装置20が求める。なお、画像処理装置22が、上記変換に用いる補正パラメーターを求めてもよい。
また、撮像部制御部66は、ワークWが分光カメラ12Aの撮像範囲にあるとき、分光カメラ12AでワークWの撮像を行ってスペクトル画像を取得する。撮像部制御部66は、例えば分光カメラ12A及びロボットカメラ12Bの駆動を制御したり、分光カメラ12A及びロボットカメラ12Bから撮像画像を取得したりする機能を備える。
その他、制御部54は、コンピューター18からの指示を受けて各種演算及び判断等の処理を行う機能や、画像処理装置22が備える各機能部への指示を行う機能等を備える。
メインメモリー56は、制御部54の作業領域である。メインメモリー56の機能は、例えばRAMにより実現することができる。
記憶部58は、プログラムを含む各種データを記録する機能を備える。記憶部58は、例えば画像処理シーケンスに関するプログラム等を記録する。記憶部58の機能は、ROM等やいわゆる外部記憶装置によって実現することができる。
通信部60は、分光カメラ12A、ロボットカメラ12B、ロボット制御装置20、及びコンピューター18等の外部とのデータのやり取りを行う機能を備える。通信部60は、ワークWに対する操作を行う信号を送信する。通信部60の機能は、例えばインターフェイス回路等によって実現することができる。
以上、制御システム4の構成及び機能について説明した。なお、上述したコンピューター18と、ロボット制御装置20と、画像処理装置22と、がそれぞれ備える各機能は、コンピューター18と、ロボット制御装置20と、画像処理装置22と、のいずれが備えていてもよい。また、コンピューター18と、ロボット制御装置20と、画像処理装置22と、が一体であってもよい。例えば、画像処理装置22が備える画像処理シーケンス実行部62、画像処理部64、撮像部制御部66は、コンピューター18の制御部26が備えていてもよい。また、コンピューター18が備える表示制御部32及び入力制御部34は、画像処理装置22が備えていてもよい。また、制御システム4は画像処理装置22を備えていなくてもよく、その場合には、画像処理装置22が備える各機能はコンピューター18が備えることができる。
以上、ロボットビジョンシステム2の基本的な構成について簡単に説明した。
以下、画像処理装置22が行う処理の具体例について説明する。
(実施例1)
<ロボット制御プログラム開発ソフト>
ここで、画像処理用のウィンドウについて説明する。
図2は、ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図である。
画像処理用のウィンドウ100は、図2に示すように、ツールバー102と、画像イメージ表示部104と、実行グループ106と、フローチャート表示部108と、を備える。この画像処理用のウィンドウ100は、図示しないメインウィンドウにあるアイコンをユーザーが操作指示することにより表示される。
ツールバー102は、画像処理シーケンスの作成用の画面群を表示させるために用いられるアイコン110を備える。画像イメージ表示部104は、分光カメラ12A及びロボットカメラ12Bで撮像した撮像画像、画像処理結果を表示する。実行グループ106は、ユーザーによる画像処理シーケンスを実行させる操作指示を受ける各種ボタンを備える。フローチャート表示部108は、画像処理シーケンスの画像処理手順や、キャリブレーションのティーチング手順等を表示する。
また、ウィンドウ100は、キャリブレーション設定と、画像処理シーケンス設定と、表示、編集するプロパティー設定ウィンドウ112と、を備える。
以上説明したように、表示制御部32は、制御部26の制御の下、1つのメインウィンドウと同時に複数種のサブウィンドウを重ねて又は並べて表示させることができるため、ユーザーは複数種の作業を効率良く行うことができる。
次に、上述した作業プログラムにおける画像処理シーケンス及び画像処理オブジェクトについて説明する。
画像処理シーケンスは、通常、ひとつ又は複数の画像処理オブジェクトを追加して使用する。画像処理シーケンスは、分光カメラ12Aの指定や撮像の設定ができる。通常のモノクロカメラも指定できるし、分光カメラ12Aも指定できる。分光カメラ12Aの場合は、代表画像を設定し、グレースケール画像を対象とした画像処理に対しては、この代表画像を使用する。
画像処理オブジェクトは、画像変換をしたり、画像に対してワークWを検出したり、画像による検査をしたりする個々の機能である。画像処理オブジェクトは、画像変換をするImageOpオブジェクト、輪郭形状でワークWを検出するGeometricオブジェクト、明暗パターンでワークWを検出するCorrelationオブジェクト、サーチライン上の輝度変化点を検出するEdgeオブジェクト、分光検査をするSpectrumMatchオブジェクト、など多数用意されて、ユーザーが自由に選択できるようになっている。
画像処理シーケンスや画像処理オブジェクトは、画像処理のパラメーターや検査の判定閾値などを含む多数のプロパティーと、処理結果を含む多数のリザルト(結果)と、を持っている。分光カメラ12Aの設定や代表画像の設定は、画像処理シーケンスのプロパティーである。
Geometricオブジェクトは、輪郭のもとに、予め登録されたモデルと同じ形状のものを探す画像処理オブジェクトである。モデルエリアを設定してティーチボタンを押すと、モデル登録ができる。
SpectrumMatchオブジェクトは、教示された基準分光データとの差異に基づいて検査を行う画像処理オブジェクトである。差異の閾値をプロパティーに持ち、判定結果をリザルトに持っている。
本実施例では、GeometricオブジェクトとFrameオブジェクトに基づいた位置を検査する。
Frameオブジェクトは、前の画像処理オブジェクトで見つかった位置に基づいて、相対的に後の画像処理オブジェクトを配置するためのフレームである。この例では、Frame01オブジェクトの原点とY軸方向の設定として、それぞれGeom01オブジェクトとGeom02オブジェクトとが指定されている。さらに、SpectrumMatch01オブジェクトとSpectrumMatch02オブジェクトとは、Frame01オブジェクトに乗せる設定がされている。これにより、実行時には、Geom01オブジェクトとGeom02オブジェクトとの位置に対して相対的にいつも同じ位置でSpectrumMatch01オブジェクトとSpectrumMatch02オブジェクトとが実行される。
図3は、画像処理シーケンスと画像処理オブジェクトとの連携を示す図である。
画像処理オブジェクトは、Geometricオブジェクト、Frameオブジェクト、SpectrumMatchオブジェクトである。画像処理シーケンスは、分光スペクトル画像の代表画像に対して、Geom01オブジェクト、Geom02オブジェクト、Frame01オブジェクト、SpectrumMatch01オブジェクト、SpectrumMatch02オブジェクトを実行し、全てのオブジェクトがPassedであればAllPassedを返す。
図4は、SpectrumMatchオブジェクトによる分光スペクトル画像検査を示す図である。
分光スペクトル画像は、図4に示すように、それぞれの波長での分光輝度の差分の和を閾値と比較される。分光スペクトル画像は、教示時と実行時とのそれぞれの波長での分光輝度の差分の和を閾値と比較される。分光スペクトル画像は、同一対象物を、波長を変えて撮像した分光画像のセットである。
(実施例2)
図5は、ロボットビジョンシステムの設定画面と画像処理シーケンス、画像処理オブジェクトの例を示す図である。
本実施例では、図5に示すように、ImageOpオブジェクトとBlobオブジェクトで抽出した領域の形状に基づいて検査する。
ImageOpオブジェクトは、種々の画像変換をする。平滑化や先鋭化、二値化処理など、基本画像処理が備わっている。分光カメラ12A用には、スペクトルパターンフィルターとして、教示された基準分光データとの差異が、予め教示された閾値よりも小さいスペクトルを持つ画素の領域を抽出し、代表画像の対応する領域をコピーし、それ以外を背景色として除去する機能を持っている。
Blobオブジェクトは、設定された範囲の輝度にある領域のまとまりを抽出する。複数ある場合は、設定された方法、例えば、面積が最大のもので1つ選ばれる。
図6は、画像処理シーケンスと画像処理オブジェクトとの連携を示す図である。
画像処理オブジェクトは、ImageOpオブジェクト、Blobオブジェクトである。
画像処理シーケンスは、図6に示すように、分光スペクトル画像のグレイ画像に対して、ImageOp01オブジェクト、Blob01オブジェクトを実行し、全てのオブジェクトがPassedであればAllPassedを返す。
図7は、ImageOpオブジェクトの動作を示す図である。
ImageOpオブジェクトは、図7に示すように、実行時の入力画面の中から、教示時に登録されているスペクトルとの差分が閾値以下の部分を代表画像から領域抽出して結果画像を生成する。
(実施例3)
本実施例は、ロボット制御装置20とロボット10との連動を示し説明する。
<プログラムと実行>
図8は、画像処理の実行結果に応じて、ロボット10を動かすプログラムの例を示す図である。
先ず、ロボット制御装置20は、ワークWを分光カメラ12Aの位置に移動させる。
次に、画像処理装置22は、画像処理を実行する。
次に、ロボット制御装置20は、ワークWを合格品除材パレット152に移動させる。
次に、ロボット制御装置20は、画像処理装置22より検査結果を取得し、合格の場合、ワークWを合格品除材パレット152に移動させる。不合格の場合、ワークWを不合格品除材箱154に移動させる。
実行プログラムは、画像処理シーケンスの内容とともにコンピューター18でビルドされ、ロボット制御装置20に送られる。ロボット制御装置20内の制御部42では、開始命令を受けてプログラムが実行され、ロボット10、画像処理装置22、分光カメラ12Aの制御がプログラム通りに実行される。
図9は、プログラムを実行したときのタイミングチャートを示す図である。
Goコマンドがロボット制御装置20よりロボット10に実行される。ロボット10は動作を開始する。ロボット10よりロボット制御装置20に動作結果が返される。
VRunコマンドがロボット制御装置20より画像処理装置22に実行される。画像処理装置22より分光カメラ12Aに撮像が開始され、必要な波長の画像、例えば400nm、420nm、…、700nmの16枚の画像の撮像が終了すると、画像処理装置22よりロボット制御装置20に処理結果が返される。制御がロボット制御装置20にすみやかに戻るようになっている。画像処理装置22での画像処理は引き続き行われる。
Goコマンドがロボット制御装置20よりロボット10に実行される。ロボット10は動作を開始する。ロボット10よりロボット制御装置20に動作結果が返される。
VGetコマンドがロボット制御装置20より画像処理装置22に実行される。VGetコマンドは、画像処理装置22での画像処理が終了するまで待ち、画像処理装置22よりロボット制御装置20に処理結果が返される。画像処理装置22での画像処理が終了していれば、制御がロボット制御装置20に即座に戻る。
Goコマンドがロボット制御装置20よりロボット10に実行される。ロボット10は動作を開始する。ロボット10よりロボット制御装置20に動作結果が返される。
以下、ロボットビジョンシステム2が行う分光検査方法について説明する。
本実施形態に係る分光検査方法は、分光カメラ12Aで撮像したスペクトル画像に含まれるワークWの検査を行う方法である。分光検査方法は、図示しない設定ステップと、撮像ステップS10と、信号送信ステップS20と、検査ステップS30と、を備える。
事前に、ユーザーは、設定ステップにおいて、撮像ステップS10と、検査ステップS30と、をひとつの作業手順として設定する。また、設定ステップにおいて、設定部70は、撮像ステップS10が終了した後、検査ステップS30の実行と同時に、ワークWに対する操作を行う信号を送信する信号送信ステップS20を実行するように作業手順を設定する。
先ず、撮像ステップS10において、撮像部制御部66は、ワークWが分光カメラ12Aの撮像範囲にあるとき、分光カメラ12AでワークWの撮像を行ってスペクトル画像を取得する。
次に、信号送信ステップS20において、通信部60は、撮像ステップS10が終了した後、検査ステップS30の実行と同時に、ワークWに対する操作を行う信号を送信する。
また、検査ステップS30において、画像処理シーケンス実行部62は、スペクトル画像に対する画像処理を実行し、画像処理の結果を検査結果として出力する。
検査ステップS30において、画像処理シーケンス実行部62は、スペクトル画像と、基準分光データとの差異を検査結果として出力してもよい。これによれば、スペクトル画像と、基準分光データとの差異を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
分光検査方法は、図示しない教示ステップを備えてもよい。教示ステップでは、予め画像処理に用いる基準分光データの教示を受け付ける。
基準分光データは、スペクトル画像に含まれる波長ごとの閾値を含んでいてもよい。検査ステップS30は、スペクトル画像に含まれる波長ごとの分光輝度と閾値との差分の和に基づいて判定し、判定結果を検査結果として出力してもよい。これによれば、スペクトル画像に含まれる波長ごとの分光輝度と閾値との差分の和に基づいて判定し、判定結果を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
基準分光データは、可視光の波長帯に含まれる複数の波長により構成されていてもよい。複数の波長は、例えば可視光の波長帯を16分割したそれぞれの波長であってもよい。これによれば、基準分光データが可視光の波長帯に含まれる複数の波長であるので、スペクトル画像に対する正確な画像処理を行うことができる。
基準分光データは、スペクトル画像に含まれる波長ごとの閾値を含んでいてもよい。画像処理は、画素のスペクトルが閾値よりも小さい画素を抽出領域として抽出し、代表画像の座標系に基づいた抽出領域を検査結果として出力してもよい。これによれば、画素のスペクトルが閾値よりも小さい画素を抽出領域として抽出し、代表画像の座標系に基づいた抽出領域を検査結果として出力するので、正確な画像処理を行うことができる。
画像処理は、スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含んでもよい。これによれば、スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含むので、グレースケール画像から好適なエッジ量を算出できる。したがって、好適なエッジ量に基づいてエッジ強調処理を行うことで、文字や線の鮮鋭性を向上させることができる。
画像処理は、代表画像において所定の座標系を設定し、座標系に基づく位置の画素のスペクトルと、基準分光データとの差異を検査結果として出力してもよい。これによれば、座標系に基づく位置の画素のスペクトルと、基準分光データとの差異を検査結果として出力するので、正確な画像処理を行うことができる。
画像処理は、抽出領域の形状情報を検査結果として出力してもよい。これによれば、抽出領域の形状情報を検査結果として出力するので、正確な画像処理を行うことができる。
<ユーザーアプリケーションの例>
図10は、ワークWを合格品と不合格品とに分けるシステムを示す配置図である。
ロボットビジョンシステム2は、図10に示すように、ロボット10と、合格品除材パレット152と、不合格品除材箱154と、ロボットカメラ12Bと、吸着ハンド156と、分光カメラ12Aと、を備えている。ロボットビジョンシステム2は、給材パレット158に並べられたワークWをロボット10の吸着ハンド156でひとつずつ取り出し、ワークWの裏面に装着された小部品164の色検査を行い、合格品と不合格品とに分けるシステムである。
図11は、給材パレット158に並べられたワークWを示す図である。
ワークWは、図11に示すように、給材パレット158に並べられている。ロボットカメラ12BからはワークWの表面が見える。ロボットカメラ12BからはワークWの裏面は見えない。給材パレット158の升目に小分けされたワークWは、升目に対する載置位置にばらつきがある。ロボット10は、吸着ハンド156がワークWの表面の中心を吸着しないと、移送中に落としてしまうおそれがある。
図12は、ワークWの表面と裏面とを示す図である。
ワークWは、図12に示すように、表面と裏面とを備える。検査対象は、ワークWの裏面に設けられた2つの小部品164である。ロボット10は、ロボットカメラ12Bを用いてワークWの表面を撮像しても、ワークWの裏面の小部品164がどの向きになっているか分からない。
<ユーザーが実現させるフロー>
ロボットカメラ12Bは、給材パレット158の1つの升目よりも少し大きい視野を持つように設定しておく。また、吸着ハンド156の位置と画像の座標との関係は、予めキャリブレーションをしておく。
(給材)
先ず、ロボット10は、ロボットカメラ12Bの視野に次のワークWが入るように移動し、円形のワークWを見つけ、ワークWの中心を吸着ハンド156で吸着する。
次に、ロボット10は、ワークWを分光カメラ12Aの視野に入る位置に移動させる。ここでロボット10は、ワークWを吸着したまま止まる。
(検査)
次に、画像処理装置22は、ワークWの裏面の小部品164を、マーク166を手掛かりに位置を特定して分光検査を行う。画像処理装置22は、小部品164を含むワークWの裏面を撮像し、その画像で分光画像による検査処理を行い、ワークWの合格・不合格を判断する。
(除材)
次に、ロボット10は、分光カメラ12Aの撮像が終わったタイミングで、吸着しているワークWを合格品除材パレット152の次に置く升目の上空に向けて動きだす。移送中に、画像処理装置22が検査処理を行い、合格・不合格の判断を行い、もし不合格であれば、ロボット10は、吸着しているワークWの移送先を不合格品除材箱154の上空に変更し、吸着しているワークWを不合格品除材箱154に入れる。合格品であれば、吸着しているワークWの移送先を変更せず、吸着しているワークWを合格品除材パレット152に配置する。
以上を給材パレット158にワークWがなくなるまで繰り返し行う。
<ユーザープログラムの開発>
先ず、SpectrumInspオブジェクトを呼び出す側で、給材パレット158の升目と合格品除材パレット152の升目との位置を次々と移動していき、反復するようなプログラムを作成しておく。
次に、ロボットポイントの給材パレット158の開始点、分光カメラ12Aの位置、合格品除材パレット152の開始点、不合格品除材箱154の位置を登録する。
次に、画像処理シーケンスを2つ作成する。第1シーケンスは、ロボット10に取り付けたロボットカメラ12Bを使い、表面の円形モデルを持つGeometricオブジェクトひとつを実行するシーケンスである。Geometricオブジェクトは、円の中心座標を返すようにしてある。第2シーケンスは、上向きの分光カメラ12Aを使い、分光検査をするシーケンスである。上述した例である。
次に、カメラキャリブレーションを実行する。これにより、第1シーケンスのカメラ座標とロボット10の吸着ハンド156の位置との対応付けがされる。
<ユーザープログラムの実行>
図13は、画像処理シーケンスの実行結果を示す図である。
プログラムをビルドし実行すると、画像処理とロボット10の動作とが平行して行われる。画像処理シーケンスの実行結果は、場合によって、以下のように変わる。不合格品は、例えば赤で表示される。
この結果に応じて、上段の2つの合格ワークは、合格品除材パレット152に置かれ、下段の不合格ワークは、不合格品除材箱154に振り分けられる。
<検査プログラムを変える場合>
図14は、他の品種の裏面を示す図である。図15は、他の品種の実行結果を示す図である。
図14に示すように品種が変わって、裏面が以下のようなレイアウトになり、検査箇所が四角の有無のみになった場合、画像処理シーケンスを組み替えれば短時間で対応できる。この場合の実行結果を図15に示す。上側が合格品で、下側が不合格品を示している。
本実施例によれば、撮像と検査、ロボット動作を個別に教示するとプログラムが煩雑になることを防止できる。
本実施形態によれば、画像処理シーケンス実行部62の実行に対して、画像処理シーケンス実行部62の終了を待たずに、撮像部制御部66の終了のタイミングで通信部60を実行することができる。これにより、タクトタイムを短縮する画像処理装置22を提供することができる。
また、検査ステップS30の実行に対して、検査ステップS30の終了を待たずに、撮像ステップS10の終了のタイミングで信号送信ステップS20を実行することができる。これにより、タクトタイムを短縮する分光検査方法を提供することができる。
以下に、実施形態から導き出される内容を記載する。
分光検査方法は、分光カメラで撮像した物体のスペクトル画像を用いて検査を行う分光検査方法であって、前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像ステップと、前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査ステップと、前記検査結果に基づいて前記物体に対する操作を行う信号を送信する信号送信ステップと、前記撮像ステップと、前記検査ステップと、前記信号送信ステップとの作業手順を設定する設定ステップと、を有し、前記設定ステップは、前記検査ステップを、前記撮像ステップが終了した後に実行し、前記信号送信ステップを、前記撮像ステップが終了した後、前記検査ステップが終了する前に実行するように前記作業手順を設定する。
これによれば、検査ステップの実行に対して、検査ステップの終了を待たずに、撮像ステップの終了のタイミングで信号送信ステップを実行することができる。これにより、タクトタイムを短縮する分光検査方法を提供することができる。
上記の分光検査方法では、予め前記画像処理に用いる基準分光データの教示を受け付ける教示ステップを有し、前記検査ステップは、前記スペクトル画像と、前記基準分光データとの差異を前記検査結果として出力することが好ましい。
これによれば、スペクトル画像と、基準分光データとの差異を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
上記の分光検査方法では、前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、前記検査ステップは、前記スペクトル画像に含まれる波長ごとの分光輝度と前記閾値との差分の和に基づいて判定した結果を前記検査結果として出力することが好ましい。
これによれば、スペクトル画像に含まれる波長ごとの分光輝度と閾値との差分の和に基づいて判定し、判定結果を検査結果として出力するので、スペクトル画像に対する画像処理を容易に行うことができる。
上記の分光検査方法では、前記基準分光データは、可視光の波長帯に含まれる複数の波長により構成されていることが好ましい。
これによれば、基準分光データが可視光の波長帯に含まれる複数の波長であるので、スペクトル画像に対する正確な画像処理を行うことができる。
上記の分光検査方法では、前記画像処理は、前記スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含むことが好ましい。
これによれば、スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含むので、グレースケール画像から好適なエッジ量を算出できる。したがって、好適なエッジ量に基づいてエッジ強調処理を行うことで、文字や線の鮮鋭性を向上させることができる。
上記の分光検査方法では、前記画像処理は、前記代表画像において所定の座標系を設定し、前記座標系に基づく位置の画素のスペクトルと、前記基準分光データとの差異を前記検査結果として出力することが好ましい。
これによれば、座標系に基づく位置の画素のスペクトルと、基準分光データとの差異を検査結果として出力するので、正確な画像処理を行うことができる。
上記の分光検査方法では、前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、前記画像処理は、前記画素のスペクトルが前記閾値よりも小さい画素を抽出領域として抽出し、前記代表画像の前記座標系に基づいた前記抽出領域を前記検査結果として出力することが好ましい。
これによれば、画素のスペクトルが閾値よりも小さい画素を抽出領域として抽出し、代表画像の座標系に基づいた抽出領域を検査結果として出力するので、正確な画像処理を行うことができる。
上記の分光検査方法では、前記画像処理は、前記抽出領域の形状情報を前記検査結果として出力することが好ましい。
これによれば、抽出領域の形状情報を検査結果として出力するので、正確な画像処理を行うことができる。
画像処理装置は、分光カメラで撮像した物体のスペクトル画像を用いて検査を行う画像処理装置であって、前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像処理を実行する撮像部制御部と、前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査処理を実行する検査部と、前記検査結果に基づいて前記物体に対する操作を行う信号を送信する送信処理を実行する通信部と、前記撮像処理と、前記検査処理と、前記送信処理との作業手順を設定する設定部と、を有し、前記設定部は、前記検査処理を、前記撮像処理が終了した後に実行させ、前記送信処理を、前記撮像処理が終了した後、前記検査処理が終了する前に実行させるように前記作業手順を設定する。
これによれば、検査部の実行に対して、検査部の終了を待たずに、撮像部の終了のタイミングで信号送信部を実行することができる。これにより、タクトタイムを短縮する画像処理装置を提供することができる。
本願のロボットシステムは、ロボットと、上記に記載の画像処理装置と、前記画像処理装置の前記検査結果に基づいて前記ロボットを制御する制御装置と、を有する。
これによれば、画像処理装置において、検査部の実行に対して、検査部の終了を待たずに、撮像部の終了のタイミングで信号送信部を実行することができる。これにより、タクトタイムを短縮するロボットシステムを提供することができる。
2…ロボットビジョンシステム 4…制御システム 10…ロボット 12A…分光カメラ 12B…ロボットカメラ 14…表示装置 16…入力装置 18…コンピューター 20…ロボット制御装置(制御装置) 22…画像処理装置 24…ロボットアーム 26…制御部 28…メインメモリー 30…記憶部 32…表示制御部 34…入力制御部 36…通信部 38…制御プログラム編集部 40…画像処理シーケンス編集部 42…制御部 44…メインメモリー 46…記憶部 48…通信部 50…制御プログラム実行部 52…ロボット制御部 54…制御部 56…メインメモリー 58…記憶部 60…通信部(信号送信部) 62…画像処理シーケンス実行部(検査部) 64…画像処理部 66…撮像部制御部(撮像部) 70…設定部 100…ウィンドウ 102…ツールバー 104…画像イメージ表示部 106…実行グループ 108…フローチャート表示部 110…アイコン 112…プロパティー設定ウィンドウ 152…合格品除材パレット 154…不合格品除材箱 156…吸着ハンド 158…給材パレット 164…小部品 166…マーク W…ワーク。

Claims (10)

  1. 分光カメラで撮像した物体のスペクトル画像を用いて検査を行う分光検査方法であって、
    前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像ステップと、
    前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査ステップと、
    前記検査結果に基づいて前記物体に対する操作を行う信号を送信する信号送信ステップと、
    前記撮像ステップと、前記検査ステップと、前記信号送信ステップとの作業手順を設定する設定ステップと、
    を有し、
    前記設定ステップは、
    前記検査ステップを、前記撮像ステップが終了した後に実行し、
    前記信号送信ステップを、前記撮像ステップが終了した後、前記検査ステップが終了する前に実行するように前記作業手順を設定する、
    分光検査方法。
  2. 請求項1に記載の分光検査方法において、
    予め前記画像処理に用いる基準分光データの教示を受け付ける教示ステップを有し、
    前記検査ステップは、前記スペクトル画像と、前記基準分光データとの差異を前記検査結果として出力する、
    分光検査方法。
  3. 請求項2に記載の分光検査方法において、
    前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、
    前記検査ステップは、前記スペクトル画像に含まれる波長ごとの分光輝度と前記閾値との差分の和に基づいて判定した結果を前記検査結果として出力する、
    分光検査方法。
  4. 請求項2又は3に記載の分光検査方法において、
    前記基準分光データは、可視光の波長帯に含まれる複数の波長により構成されている、
    分光検査方法。
  5. 請求項2に記載の分光検査方法において、
    前記画像処理は、前記スペクトル画像からグレースケール画像を生成して代表画像として設定する処理を含む、
    分光検査方法。
  6. 請求項5に記載の分光検査方法において、
    前記画像処理は、前記代表画像において所定の座標系を設定し、前記座標系に基づく位置の画素のスペクトルと、前記基準分光データとの差異を前記検査結果として出力する、
    分光検査方法。
  7. 請求項6に記載の分光検査方法において、
    前記基準分光データは、前記スペクトル画像に含まれる波長ごとの閾値を含み、
    前記画像処理は、前記画素のスペクトルが前記閾値よりも小さい画素を抽出領域として抽出し、前記代表画像の前記座標系に基づいた前記抽出領域を前記検査結果として出力する、
    分光検査方法。
  8. 請求項7に記載の分光検査方法であって、
    前記画像処理は、前記抽出領域の形状情報を前記検査結果として出力する、
    分光検査方法。
  9. 分光カメラで撮像した物体のスペクトル画像を用いて検査を行う画像処理装置であって、
    前記分光カメラの撮像範囲にある前記物体を前記分光カメラで撮像して、前記スペクトル画像を取得する撮像処理を実行する撮像部制御部と、
    前記スペクトル画像に対して画像処理を実行し、前記画像処理の結果を検査結果として出力する検査処理を実行する検査部と、
    前記検査結果に基づいて前記物体に対する操作を行う信号を送信する送信処理を実行する通信部と、
    前記撮像処理と、前記検査処理と、前記送信処理との作業手順を設定する設定部と、
    を有し、
    前記設定部は、
    前記検査処理を、前記撮像処理が終了した後に実行させ、
    前記送信処理を、前記撮像処理が終了した後、前記検査処理が終了する前に実行させるように前記作業手順を設定する、
    画像処理装置。
  10. ロボットと、
    請求項9に記載の画像処理装置と、
    前記画像処理装置の前記検査結果に基づいて前記ロボットを制御する制御装置と、
    を有する、
    ロボットシステム。
JP2019031339A 2019-02-25 2019-02-25 分光検査方法、画像処理装置、及びロボットシステム Active JP7215218B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019031339A JP7215218B2 (ja) 2019-02-25 2019-02-25 分光検査方法、画像処理装置、及びロボットシステム
CN202010112004.4A CN111609933B (zh) 2019-02-25 2020-02-24 分光检查方法、图像处理装置以及机器人系统
US16/798,791 US10969278B2 (en) 2019-02-25 2020-02-24 Spectroscopic inspection method, image processing apparatus, and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019031339A JP7215218B2 (ja) 2019-02-25 2019-02-25 分光検査方法、画像処理装置、及びロボットシステム

Publications (2)

Publication Number Publication Date
JP2020134424A true JP2020134424A (ja) 2020-08-31
JP7215218B2 JP7215218B2 (ja) 2023-01-31

Family

ID=72141594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019031339A Active JP7215218B2 (ja) 2019-02-25 2019-02-25 分光検査方法、画像処理装置、及びロボットシステム

Country Status (3)

Country Link
US (1) US10969278B2 (ja)
JP (1) JP7215218B2 (ja)
CN (1) CN111609933B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100763A1 (ja) * 2021-12-01 2023-06-08 川崎重工業株式会社 動作制御装置、動作制御方法、及び、動作制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215218B2 (ja) * 2019-02-25 2023-01-31 セイコーエプソン株式会社 分光検査方法、画像処理装置、及びロボットシステム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1067099A (ja) * 1996-08-29 1998-03-10 Toppan Printing Co Ltd 印刷物検査装置
JP2002082060A (ja) * 2000-06-30 2002-03-22 Nissan Motor Co Ltd 表面欠陥検査方法および表面欠陥検査装置
JP2010112941A (ja) * 2008-10-10 2010-05-20 Toyota Motor Corp 表面検査装置
JP2015031531A (ja) * 2013-07-31 2015-02-16 株式会社リコー 画像検査装置、および画像形成装置
JP2017062159A (ja) * 2015-09-24 2017-03-30 アイシン精機株式会社 欠陥検査装置および欠陥検査方法
JP2018185269A (ja) * 2017-04-27 2018-11-22 Ckd株式会社 検査装置、ptp包装機及びptpシートの製造方法
JP2018189564A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置および画像検査方法
US10969278B2 (en) * 2019-02-25 2021-04-06 Seiko Epson Corporation Spectroscopic inspection method, image processing apparatus, and robot system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279216B2 (ja) * 1997-03-03 2002-04-30 松下電器産業株式会社 リード付き電子部品の実装方法
JPH114059A (ja) * 1997-06-12 1999-01-06 Toshiba Corp セラミックス回路基板組立装置及び切断部ゴミ除去装置
JPH1114552A (ja) * 1997-06-25 1999-01-22 Pfu Ltd 検査システム及びプリント回路板の外観検査システム並びにプリント回路板の外観検査端末装置
JPH1163951A (ja) * 1997-08-20 1999-03-05 Souei Tsusho Kk 外観検査装置
JP2001043367A (ja) * 1999-07-27 2001-02-16 Matsushita Electric Works Ltd 外観検査シミュレーションシステムおよびその方法
KR100979721B1 (ko) * 2008-12-04 2010-09-03 (주)에이피텍 반도체 다이의 검사 및 분류 일체화장치
JP5229253B2 (ja) * 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
WO2015107889A1 (ja) * 2014-01-14 2015-07-23 有限会社パパラボ 着色検査装置および着色検査方法
JP6295798B2 (ja) 2014-04-11 2018-03-20 住友電気工業株式会社 検査方法
CA3177264A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2017040600A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 検査方法、検査装置、画像処理装置、プログラム及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1067099A (ja) * 1996-08-29 1998-03-10 Toppan Printing Co Ltd 印刷物検査装置
JP2002082060A (ja) * 2000-06-30 2002-03-22 Nissan Motor Co Ltd 表面欠陥検査方法および表面欠陥検査装置
JP2010112941A (ja) * 2008-10-10 2010-05-20 Toyota Motor Corp 表面検査装置
JP2015031531A (ja) * 2013-07-31 2015-02-16 株式会社リコー 画像検査装置、および画像形成装置
JP2017062159A (ja) * 2015-09-24 2017-03-30 アイシン精機株式会社 欠陥検査装置および欠陥検査方法
JP2018185269A (ja) * 2017-04-27 2018-11-22 Ckd株式会社 検査装置、ptp包装機及びptpシートの製造方法
JP2018189564A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置および画像検査方法
US10969278B2 (en) * 2019-02-25 2021-04-06 Seiko Epson Corporation Spectroscopic inspection method, image processing apparatus, and robot system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100763A1 (ja) * 2021-12-01 2023-06-08 川崎重工業株式会社 動作制御装置、動作制御方法、及び、動作制御プログラム

Also Published As

Publication number Publication date
US10969278B2 (en) 2021-04-06
CN111609933A (zh) 2020-09-01
CN111609933B (zh) 2023-05-23
US20200271519A1 (en) 2020-08-27
JP7215218B2 (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
JP5861462B2 (ja) はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置
JP4595705B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP4935109B2 (ja) 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
US10306149B2 (en) Image processing apparatus, robot system, robot, and image processing method
KR101256369B1 (ko) 다수의 카메라를 이용한 평판 디스플레이 패널 검사 장치 및 방법
US20040076323A1 (en) Inspection data producing method and board inspection apparatus using the method
JP4539355B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP4492356B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
CN111609933B (zh) 分光检查方法、图像处理装置以及机器人系统
JP5417197B2 (ja) 検査装置および検査方法
US9140541B2 (en) Image measuring apparatus and image measuring method
CN110596118A (zh) 印刷图案检测方法及印刷图案检测装置
US8358831B2 (en) Probe mark inspection
JP6516884B2 (ja) 結線検査作業支援システム
JP2007033126A (ja) 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置
JP4506395B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2008241424A (ja) 画像処理装置及びこれを用いた画像処理方法
JPH08219721A (ja) 画像処理装置
JP2009224476A (ja) 欠陥関連性表示装置、基板検査装置、および欠陥関連性表示方法
EP3846121A1 (en) Inspection system, information processing apparatus, and carrier means
JP6180889B2 (ja) 印字検査装置
JP4507785B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
US20190364193A1 (en) Image processing apparatus, robot and robot system
JP2006078285A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JPS62190448A (ja) 基板検査装置および基板検査方法

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200811

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R150 Certificate of patent or registration of utility model

Ref document number: 7215218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150