JP2018189563A - 画像検査装置 - Google Patents
画像検査装置 Download PDFInfo
- Publication number
- JP2018189563A JP2018189563A JP2017093361A JP2017093361A JP2018189563A JP 2018189563 A JP2018189563 A JP 2018189563A JP 2017093361 A JP2017093361 A JP 2017093361A JP 2017093361 A JP2017093361 A JP 2017093361A JP 2018189563 A JP2018189563 A JP 2018189563A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- distance
- foreground
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 179
- 239000003086 colorant Substances 0.000 claims abstract description 111
- 238000000605 extraction Methods 0.000 claims abstract description 98
- 239000000284 extract Substances 0.000 claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims description 53
- 238000009826 distribution Methods 0.000 claims description 37
- 239000002131 composite material Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 description 90
- 238000012545 processing Methods 0.000 description 49
- 238000003860 storage Methods 0.000 description 27
- 238000000701 chemical imaging Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 238000005259 measurement Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 239000000758 substrate Substances 0.000 description 10
- 241001474374 Blennius Species 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 235000012149 noodles Nutrition 0.000 description 5
- 241000238557 Decapoda Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 241000143060 Americamysis bahia Species 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 235000008446 instant noodles Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/462—Computing operations in or between colour spaces; Colour management systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/502—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using a dispersive element, e.g. grating, prism
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J2003/466—Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
- G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Color Image Communication Systems (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
Abstract
【解決手段】画像検査装置は検査対象物のカラー画像を表示し、少なくとも前景領域の指定を受け付け、前景領域と背景領域とからそれぞれ色情報として前景色と背景色とを抽出する。画像検査装置は色空間におけるカラー画像の各画素の色と前景色との距離を算出し、前景距離画像を生成する。同様に画像検査装置は背景距離画像を形成する。画像検査装置は、前景距離画像と背景距離画像とを合成して作成される前景背景画像を用いて検査対象物を検査する。
【選択図】 図9
Description
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする。
図2(A)は照明装置3の斜視図である。図2(B)は照明装置3の上面図である。図2(C)は照明装置3の底面図である。図2(D)は照明装置3の側面図である。照明装置3の筐体は上ケース21と下ケース22を有している。下ケース22の下部には複数の光源(LEDなどの発光素子)のそれぞれが出力する光を拡散させる光拡散部材23が配置されている。図2(A)や図2(C)が示すように上ケース21や下ケース22と同様に光拡散部材23も円環状を成している。図2(B)や図2(D)が示すように上ケース21の上面にはコネクタ24が設けられている。コネクタ24には照明装置3に格納されている照明制御基板と画像処理装置5とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置3の外部に照明コントローラとして設けられていてもよい。つまり、照明装置3と画像処理装置5との間には照明コントローラが介在してもよい。
図4は照明装置3の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示している。四つのLED33a〜LED33dは直列に接続されている。電圧が可変の可変電源41は照明制御基板40によって指定される電圧値(例:2V〜20V)の電圧を生成して出力する。可変定電流源42は、照明制御基板40によって指定される電流値(例:0A〜1A)となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源42は、可変定電流源42に印加されている電圧の値を検出して照明制御基板40にフィードバックし、過電圧から可変定電流源42を保護している。LED33a〜LED33dのそれぞれには並列にスイッチ43a〜スイッチ43dが接続されている。照明制御基板40の点灯制御部45はこれらのスイッチ43a〜スイッチ43dを個別に開閉させることで、LED33a〜LED33dのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、LED33a〜LED33dのそれぞれに並列にスイッチ43a〜スイッチ43dを接続することで、LED33a〜LED33dのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部45は可変定電流源42とグランドとの間に挿入されたメインスイッチ43eのオン/オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部44は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置5の照明制御部から受信し、点灯制御部45に渡す。点灯制御部45は、制御信号に対応する点灯パターンデータ47を記憶部46から読み出し、点灯パターンデータ47に従ってスイッチ43a〜スイッチ43dを制御する。なお、一つの照明ブロックが8つのLED33により構成される場合、8個のスイッチ43が設けられ、8個のスイッチ43は点灯制御部45によって制御される。8つのLED33は、たとえば、UVからIR2までの8つの波長に対応している。UVは紫外線波長の照明光により取得された分光画像を示している。Bは青波長の照明光により取得された分光画像を示している。Gは緑波長の照明光により取得された分光画像を示している。AMはアンバー波長の照明光により取得された分光画像を示している。ORはオレンジ波長の照明光により取得された分光画像を示している。Rは赤波長の照明光により取得された分光画像を示している。IR1、IR2はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、IR1の波長はIR2の波長よりも短い。
図5は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置3は光源群501とこれを制御する照明制御基板40を備えている。すでに図3に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群501が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは3方向以上の照明方向からワーク2に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子(LED33)が設けられている。複数の発光素子には白色LEDが含まれていてもよい。白色LEDはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク2の移動補正用の画像を作成するために使用されたりする。図1や図3に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板40は、画像処理装置5から受信した制御コマンドに応じて光源群501の点灯タイミングや照明パターン(点灯パターン)を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク2に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板40は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
・前景背景画像生成部567は、前景距離画像と背景距離画像とに基づき検査画像の一種である前景背景画像を生成する。前景背景画像生成部567は、前景距離画像と背景距離画像との差分画像を前景背景画像として生成してもよい。つまり、前景背景画像生成部567は差分演算機能を有している。前景背景画像生成部567は前景背景画像を検査画像データ527として記憶装置520に格納する。
マルチスペクトルイメージングでは点灯色(波長)の異なる照明光が一つずつ順番にワーク2に照射され、各波長ごとの画像が取得される。厳密には波長が異なっている必要はなく、スペクトルが異なっていれば十分である。たとえば、8種類の波長の照明光が照射される場合、8個の画像(分光画像)が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのLED33が同時に点灯するため、四つの方向から同一波長の照明光がワーク2に照射される。8種類の波長は、たとえば、紫外波長から近赤外波長までの8種類の狭帯域波長である。狭帯域波長とは、白色LEDが発光する光の波長(広帯域波長)の幅と比較して狭い波長をいう。たとえば、青色LEDが発光する光の波長の幅は、白色LEDが発光する光の波長幅よりもずっと狭いため、青色LEDが発光する光の波長は狭帯域波長である。なお、画像検査の中には8個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク2に照射される。一般に、8個の画像がそのまま画像検査に利用されることは少なく、8個の画像から一個のグレー画像が作成され(カラー濃淡変換)、このグレー画像(カラー濃淡画像)が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク2における特徴(例:ピン)の位置や寸法(長さや面積)、色がそれぞれ公差の範囲内に収まっているかが検査される。
MSIにより生成される画像はマルチチャネル画像である。つまり、各画素がRGBなどの三次元の要素で表現されたり、UVからIR2までの8次元の要素で表現されたりする。一般に、画像検査装置8が備える画像検査ツールが取り扱える画像は一次元の濃淡画像(グレー画像)である。これはカラー濃淡変換が必要であることを意味する。カラー濃淡変換ではユーザにより指定された登録色に対するマハラノビス距離が求められる。したがって、ユーザがどの色を登録色として選択するかに応じて濃淡画像が異なってしまい、画像検査のばらつきが発生する。特にワーク2の表面のうち測定対象となる部位の色が一様ではなく、多数の色で構成されている場合に、この問題が顕在化する。部位を構成するすべての画素の色情報を保持すればこの問題は解決される。しかし、すべての色情報を保持して演算するには大量のメモリが必要となるだけでなく、多大な演算能力も必要となってしまう。したがって、登録色としては数色が選択されるべきであろう。
図7、図8、図9は登録色の抽出を行うためのUI700を示している。UI700は、画像表示領域701と各種の設定を行うための設定タブを有している。画像表示領域701には、画像選択部515によって選択され取得部561により取得されたカラー画像がUI管理部514によって表示される。図示は省略されているが、UI700には画像表示領域701に表示される画像を選択するためのプルダウンメニューなどが設けられてもよい。このようなプルダウンメニューは、記憶装置520に記憶されているカラー画像やカメラ4により取得されたカラー画像などを指定するためのUIである。プルダウンメニューに登録されていない画像はプルダウンメニュー内の"参照"を選択することにより、指定可能とされてもよい。画像選択部515はプルダウンメニューにより選択された画像を画像表示領域701に表示する。図7において画像表示領域701にはそれぞれ色の異なる3本のケーブルf1、f2、f3を含むワーク2の画像が表示されている。たとえば、ケーブルf1の色は人間の目に赤色と認識される色である。ケーブルf2の色は人間の目に緑色と認識される色である。ケーブルf3の色は人間の目に青色と認識される色である。また、各ケーブルの色には色むらが存在しており、厳密には同一色ではない。
図10は前景グループFGに属する前景色FC1〜FC9の各分布と背景グループBGに属する背景色BC1〜BC3の各分布を示している。ここでは説明を簡明化するために、多次元の色空間が二次元の色空間に投影されている。各色の分布は正規分布などに近似されてもよい。各色の分布の中心に位置する色が代表色(その位置が代表座標)となる。よって、登録色に対するカラー画像の各画素の距離は、登録色の分布に対するカラー画像の各画素のマハラノビス距離を求めることになる。
図11は検査画像の一種である前景背景画像FBimgの作成工程を示している。検査画像生成部560は前景グループFGに属する前景色FC1〜FC9それぞれとワーク2のカラー画像の各画素の色との距離(マハラノビス距離)を演算し、前景色FC1〜FC9に対応する九個の距離画像を作成する。なお、カラー画像はマルチチャネル画像であり、つまり、複数の分光画像から構成されているものとする。
G(xi,yi)=g(db(xi,yi)−df(xi,yi))+Gmid ・・・(1)
ここでgは調整タブ720においてユーザにより調整されるゲインである。db(xi,yi)は背景距離画像Bimgにおける注目座標(xi,yi)における画素の値である。df(xi,yi)は前景距離画像Fimgにおける注目座標(xi,yi)における画素の値である。Gmidは中間階調である。たとえば、最大階調が255であれば、Gmidは128である。ただし、(1)式は例示にすぎず、Gmidの値は0であってもよい。
図12は登録色の抽出処理と検査画像の作成処理とを含む画像検査方法を示すフローチャートである。なお、S1202からS1209までの各工程の順番は、技術的に矛盾が生じない限りにおいて、変更可能である。
取得部561やカメラ4などは、検査対象物を前景とし、当該検査対象物の周囲を背景としたカラー画像であって、各画素が多次元の色情報を有するカラー画像を取得する取得部の一例である。とりわけ、取得部561やカメラ4などは検査対象物について複数の分光画像からなるカラー画像を取得する取得部の一例である。表示部7は、取得部561により取得されたカラー画像を表示する表示部の一例である。領域指定部516は表示部7に表示されたカラー画像において複数の画素を含む領域の指定を受け付ける領域指定部の一例である。とりわけ、領域指定部516は表示部7に表示されたカラー画像において一つまたは複数の画素を含む複数の前景領域の指定を受け付ける。色情報がスポイトにより抽出される場合、領域は一つの画素により構成されることになろう。背景領域の指定はオプションである。抽出部562は領域指定部516により指定された各領域の色情報を抽出する抽出部の一例である。とりわけ、抽出部562は領域指定部516により指定された複数の前景領域それぞれにおける色の分布を含む色情報と、複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出する。さらに、抽出部562は、複数の前景領域からそれぞれ抽出された色情報を前景色として登録するとともに、背景領域から抽出された色情報を背景色として登録する。なお、複数の前景色は前景グループを形成し、一つまたは複数の背景色は背景グループを形成する。前景画像生成部565は複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて前景距離画像を生成する。なお、距離画像の生成は距離画像生成部564が担当してもよい。背景画像生成部566は複数の分光画像における各画素の色と背景色との色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する。距離画像の生成は距離画像生成部564が担当してもよい。検査部531は前景距離画像と背景距離画像との差分画像を用いて検査対象物を検査する検査部の一例である。このように、本実施例によれば、ユーザが少なくとも前景領域を指定することで、抽出色である前景色や背景色を容易に抽出できるようになる。よって、抽出色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなろう。また、前景グループを形成する複数の前景色と、背景グループを形成する少なくとも一つの背景色についても、検査対象物のカラー画像を見ながら各グループを形成する領域を設定することで容易に定義可能となる。そのため、複数の前景領域が存在するケースにおいても安定的に各前景領域の色を抽出可能となる。
図21は前景背景の抽出設定用のUI2100の一例を示している。色指定部2101は前景色を登録するためのUIである。色指定部2102は背景色(除外色)を登録するためのUIである。前景色や背景色は画像表示領域701に表示されているワークの画像が抽出されて登録される。検査画像表示部2103は、前景色から求められた前景画像と、背景色から求められた背景画像との差分画像を表示している。分離度表示部2104は、色空間における前景色と背景色との分離度合を表示する三次元グラフである。色分布2111は前景色の色分布を示している。色分布2112は背景色の色分布を示している。この例では、前景色の色分布と背景色の色分布とが十分に離れているため、検査画像において検査対象の色の領域(3番)が背景から綺麗に分離されている。つまり、ユーザは三次元グラフを見ることで前景色と背景色とが精度よく登録されていることを理解できる。
Claims (9)
- 検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。 - 前記前景画像生成部は、前記複数の前景色について生成された前記複数の距離画像を比較し、各画素において最小の画素値を、前記前景距離画像における各座標の画素値として選択する選択手段を有することを特徴とする請求項1に記載の画像検査装置。
- 前記領域指定部は、前記カラー画像において前記背景領域の指定を受け付けることを特徴とする請求項1または2に記載の画像検査装置。
- 前記領域指定部は、前記カラー画像において前記複数の前景色のいずれかに対して色空間上で遠い色を含む領域を前記背景領域として決定する決定部を有することを特徴とする請求項1または2に記載の画像検査装置。
- 前記背景画像生成部は、複数の背景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、前記背景距離画像における各画素の画素値として選択する選択手段を有することを特徴とする請求項1ないし4のいずれか一項に記載の画像検査装置。
- 前記領域指定部は、前記複数の背景色が抽出される複数の背景領域の指定を受け付けるように構成されていることを特徴とする請求項5に記載の画像検査装置。
- 検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む第一領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記第一領域における色の分布を含む色情報と、前記第一領域から区別される第二領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記第一領域についての登録色である第一登録色と前記第二領域についての登録色である第二登録色として登録する抽出部と、
前記複数の分光画像における各画素の色と前記第一登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて第一距離画像を生成し、前記複数の分光画像における各画素の色と前記第二登録色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて第二距離画像を生成する画像生成部と、
前記第一距離画像と前記第二距離画像との合成画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。 - 前記領域指定部は、前記表示部に表示されたカラー画像において複数の画素を含む複数の第三領域の指定を受け付け、
前記抽出部は、前記領域指定部により指定された前記第三領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記第三領域についての登録色である第三登録色として登録し、
前記画像生成部は、前記複数の分光画像における各画素の色と前記第三登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて第三距離画像を生成し、
前記検査部は、前記第一距離画像、前記第二距離画像および前記第三距離画像の合成画像を用いて前記検査対象物を検査することを特徴とする請求項7に記載の画像検査装置。 - 検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記カラー画像において複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093361A JP6919982B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
US15/925,802 US10168216B2 (en) | 2017-05-09 | 2018-03-20 | Image inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093361A JP6919982B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018189563A true JP2018189563A (ja) | 2018-11-29 |
JP6919982B2 JP6919982B2 (ja) | 2021-08-18 |
Family
ID=64096544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017093361A Active JP6919982B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10168216B2 (ja) |
JP (1) | JP6919982B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6857079B2 (ja) * | 2017-05-09 | 2021-04-14 | 株式会社キーエンス | 画像検査装置 |
JP6907047B2 (ja) * | 2017-06-28 | 2021-07-21 | キヤノン株式会社 | 情報処理装置、その制御方法およびプログラム |
WO2020105679A1 (ja) * | 2018-11-21 | 2020-05-28 | ソニー株式会社 | ワーク判別システム、ワーク判別装置及びワーク判別方法 |
WO2020110169A1 (ja) * | 2018-11-26 | 2020-06-04 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム |
JP7231462B2 (ja) * | 2019-04-05 | 2023-03-01 | 株式会社キーエンス | 画像検査システム及び画像検査方法 |
IT201900009636A1 (it) * | 2019-06-20 | 2020-12-20 | Thema 2 S R L | Dispositivo e relativo metodo per il controllo automatico della tonalità di colore di una bobina di filo |
CN110675397B (zh) * | 2019-10-14 | 2023-03-28 | 国网山东省电力公司泰安供电公司 | 一种变电站保护压板状态校核方法 |
CN110796204B (zh) * | 2019-11-01 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 视频标签确定方法、装置和服务器 |
US11717973B2 (en) | 2021-07-31 | 2023-08-08 | Cognex Corporation | Machine vision system with multispectral light assembly |
CN115035294B (zh) * | 2022-06-15 | 2024-06-25 | 灵图数据(杭州)有限公司 | 一种冰箱温控器挡位检测方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006038582A (ja) * | 2004-07-26 | 2006-02-09 | Dainippon Screen Mfg Co Ltd | 画像の領域分割による欠陥の検出 |
JP2013140090A (ja) * | 2012-01-05 | 2013-07-18 | Omron Corp | 画像検査装置の検査領域設定方法 |
JP2013156094A (ja) * | 2012-01-27 | 2013-08-15 | Omron Corp | 画像検査方法および画像検査装置 |
JP2014197358A (ja) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
JP2018189585A (ja) * | 2017-05-10 | 2018-11-29 | 凸版印刷株式会社 | マイクロ流路チップ |
JP2018189559A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置 |
JP2018189564A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
JP2018189562A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09126890A (ja) | 1995-11-01 | 1997-05-16 | Toshiba Corp | 色検査装置 |
-
2017
- 2017-05-09 JP JP2017093361A patent/JP6919982B2/ja active Active
-
2018
- 2018-03-20 US US15/925,802 patent/US10168216B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006038582A (ja) * | 2004-07-26 | 2006-02-09 | Dainippon Screen Mfg Co Ltd | 画像の領域分割による欠陥の検出 |
JP2013140090A (ja) * | 2012-01-05 | 2013-07-18 | Omron Corp | 画像検査装置の検査領域設定方法 |
JP2013156094A (ja) * | 2012-01-27 | 2013-08-15 | Omron Corp | 画像検査方法および画像検査装置 |
JP2014197358A (ja) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
JP2018189559A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置 |
JP2018189564A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置および画像検査方法 |
JP2018189562A (ja) * | 2017-05-09 | 2018-11-29 | 株式会社キーエンス | 画像検査装置 |
JP2018189585A (ja) * | 2017-05-10 | 2018-11-29 | 凸版印刷株式会社 | マイクロ流路チップ |
Also Published As
Publication number | Publication date |
---|---|
JP6919982B2 (ja) | 2021-08-18 |
US10168216B2 (en) | 2019-01-01 |
US20180328789A1 (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6919982B2 (ja) | 画像検査装置 | |
US10304176B2 (en) | Image inspection device | |
US10489900B2 (en) | Inspection apparatus, inspection method, and program | |
US10416086B2 (en) | Image inspection device | |
JP6917762B2 (ja) | 画像検査装置 | |
US10241056B2 (en) | Inspection apparatus, inspection method, and program | |
US9773304B2 (en) | Inspection apparatus, inspection method, and program | |
CN110945561B (zh) | 高光谱成像分光光度计和系统 | |
JP7117420B2 (ja) | 画像検査装置 | |
JP6917761B2 (ja) | 画像検査装置 | |
JP6981775B2 (ja) | 画像検査装置および画像検査方法 | |
KR101692115B1 (ko) | 검사 장치 및 검사 방법 | |
JP6931552B2 (ja) | 画像検査装置 | |
CN106164988B (zh) | Pos终端、信息处理设备、白平衡调节方法以及记录介质 | |
JP2019046134A (ja) | 画像検査装置、及び画像検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6919982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |