JP2023018822A - 検査方法および検査装置 - Google Patents
検査方法および検査装置 Download PDFInfo
- Publication number
- JP2023018822A JP2023018822A JP2021123121A JP2021123121A JP2023018822A JP 2023018822 A JP2023018822 A JP 2023018822A JP 2021123121 A JP2021123121 A JP 2021123121A JP 2021123121 A JP2021123121 A JP 2021123121A JP 2023018822 A JP2023018822 A JP 2023018822A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength band
- reflectance
- light
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Textile Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】撮像時間の増加を抑えつつ、対象物の物性を判定する。【解決手段】本実施形態に係る検査装置Aは、第1波長帯の光と第1波長帯と波長帯が重なりを有する基準波長帯との光を照射可能な照明装置2と、シートSを撮像し、画素信号を出力する撮像装置1と、画像処理装置6とを備える。照明装置2は、1の撮像時間において、第1波長帯の光と基準波長帯の光とをシートSに異なるタイミングで照射する。画像処理装置6は、画素信号に基づいて、対象物Eの、第1波長帯における反射率Rを算出し、第1波長帯における反射率に基づいて、対象物Eの物性を判定する。【選択図】図6
Description
本開示は、被検査体の検査装置および検査方法に関するものである。
半導体、電子デバイス、2次電池などのデバイス分野において、イメージセンサを用いて、被検査体の対象物(異物や欠陥など)を検出する検査装置が知られている。
特許文献1では、複数の波長帯の分光画像を生成し、分光画像の特徴量と、正常データの特徴量を比較することにより、検査対象物(被検査体)に混入した異物など(対象物)を検出している。すなわち、特許文献1では、被検査体と対象物との物性が異なることを用いて、対象物を検出している。
ところで、特許文献1の技術を用いて、1つのセンサ素子で複数の分光画像を生成する場合、波長帯ごとに被検査体を撮像する必要があるため、撮像時間が増加する。特に、生成する分光画像が多くなるにつれ、撮像時間が増加する。
そこで、本開示は、撮像時間の増加を抑えつつ、対象物の物性を判定することができる検査方法および検査装置を提供することを目的とする。
上記の目的を達成するために、本開示の一実施形態に係る検査方法は、被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、前記検査装置は、第1波長帯の光と前記第1波長帯と波長帯が重なりを有する基準波長帯との光を照射可能な照明装置と前記被検査体を撮像し、画素信号を出力する撮像装置と、画像処理装置とを備え、前記照明装置が、1の撮像時間において、前記第1波長帯の光と前記基準波長帯の光とを前記被検査体に異なるタイミングで照射するステップと、前記画像処理装置が、前記画素信号に基づいて、前記対象物の、前記第1波長帯における反射率を算出するステップと、前記画像処理装置が、前記第1波長帯における前記反射率に基づいて、前記対象物の物性を判定するステップとを含む。
本開示によると、撮像時間の増加を抑えつつ、対象物の物性を判定することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物あるいはその用途を制限することを意図するものでは全くない。
図1は検査装置の側面図を示し、図2は検査装置の平面図を示す。図1および図2に示すように、検査装置Aは、撮像装置1と、照明装置2と、ローラ3~5と、画像処理装置6とを備える。ローラ3~5の外周には、搬送ベルト7が巻き付けられている。
検査装置Aは、シートS(被検査体)の検査を行う。シートSは、例えば、半導体、電子デバイス、2次電池などのデバイス分野などにおいて用いられるものである。なお、以下の説明では、被検査体がシート状のものである場合を例に説明するが、被検査体は、シート状のものでなくてもよい。また、シートSが長尺物である場合、シートSは、搬送ベルト7に代えてローラ3~4に巻き付けられる。そして、シートSはローラ3~5により、矢印Dの方向に搬送される。
検査装置Aは、シートSに含まれる、欠陥や異物などの対象物Eを検出する。この欠陥には、例えば、検査対象のシートSにおけるショートや断線などの、シートSの生産時の不備部分や不足部分だけではなく、シートSの損傷(例えば、シートSが他の部材に接触することによるスクラッチ痕)なども含まれる。本検査装置は、検出した対象物Eが所定のサイズより大きい場合、シートSに対象物が含まれていると判定する。なお、シートSは、搬送ベルト7に載置された状態で、図1および図2の実線で示された矢印Dの方向に搬送される。
撮像装置1は、撮像素子11を備え、搬送ベルト7によって搬送されているシートSを撮影する。ここでは、撮像装置1は、ローラ4,5の間において、シートSの全体を撮影するエリアセンサとして構成される。なお、撮像装置1は、エリアセンサではなく、ラインセンサとして構成されてもよい。
撮像装置1は、撮像素子11から出力される画素信号を、画像処理装置6に送信する。なお、以下の説明において、撮像装置1の走査方向をX方向、撮像装置1の副走査方向をY方向、X方向およびY方向に垂直な方向をZ方向とする。
照明装置2は、例えば、LED、レーザ、ハロゲン光源などで構成された光源を有し、ローラ4,5の間において、撮像装置1の走査領域(シートS)に対して光の照射を行う。具体的に、照明装置2は、光の照射方向が搬送ベルト7に対して、入射角が10°程度になるように設置される。また、撮像素子11に照明装置2が照射した光が直接入光しないように、撮像装置1および照明装置2は、暗視野光学系で構成される。撮像装置1および照明装置2は、明視野光学系で構成されてもよいが、暗視野光学系で構成されている方がよい。暗視野光学系で構成することにより、対象物Eに対して低角度で照明を当てることができるため、対象物Eの下地が光らなくなる(異物がないところの下地(グラウンドレベル)の明るさが低階調となる)。これにより、下地よりも対象物Eの輝度が高くなり、SN(シグナルノイズ(異物の輝度/下地の輝度))比が上がるため、鮮明な対象物Eの画像を生成することが可能となる。詳しくは後述するが、照明装置2は、複数の波長帯の光を照射可能である。
ローラ3は、図略の駆動機構によって回転させられることにより、搬送ベルト7を駆動して、シートSを図面の実線矢印方向に搬送する。
画像処理装置6は、例えば、コンピュータである。画像処理装置6は、撮像装置1(撮像素子11)から受信した画素信号に基づいて、対象物Eの物性およびサイズを判定する。具体的には、画像処理装置6は、後述する画像抽出処理、物性判定処理、画像補正処理およびサイズ判定処理を実行する。
なお、検査装置Aの構成は、上記の構成に限定されない。
また、検査装置Aにローラ3~5の回転速度を検出するロータリーエンコーダが備えられてもよい。この場合、ロータリーエンコーダの検出結果に基づいて、搬送ベルト7によって搬送されるシートSの移動量を検出しても良い。
(第1実施形態)
(撮像素子の構成について)
図3は、第1実施形態に係る撮像素子の構成を示す平面図である。撮像素子11は、例えば、CMOS(Complementary MOS)センサである。
(撮像素子の構成について)
図3は、第1実施形態に係る撮像素子の構成を示す平面図である。撮像素子11は、例えば、CMOS(Complementary MOS)センサである。
図3に示すように、撮像素子11には、X方向にm個、Y方向にn個(図3では、508×508)の画素10が格子状に配置された画素アレイ12が構成されている。なお、以下の説明において、X方向にi番目、Y方向にj番目の画素10を画素(Xi、Yj)ということがある。
(撮像装置と照明装置の動作について)
まず、シートS(被検査体)を撮像する際の撮像装置と照明装置の動作を説明する。図4は第1実施形態に係る検査装置における撮像装置の撮像タイミングと、照明装置の照射タイミングとを示すタイミングチャートである。本実施形態では、エンコーダパルスを基準として、撮像装置1の撮像タイミングと、照明装置2の照射タイミングが設定されている。図4のエンコーダパルスは、1パルスが、例えば、1μmであるが、これに限られない。
まず、シートS(被検査体)を撮像する際の撮像装置と照明装置の動作を説明する。図4は第1実施形態に係る検査装置における撮像装置の撮像タイミングと、照明装置の照射タイミングとを示すタイミングチャートである。本実施形態では、エンコーダパルスを基準として、撮像装置1の撮像タイミングと、照明装置2の照射タイミングが設定されている。図4のエンコーダパルスは、1パルスが、例えば、1μmであるが、これに限られない。
また、本実施形態では、照明装置2は、第1波長帯および基準波長帯の光を照射可能である。例えば、第1波長帯は、赤の波長帯域(625~780nm)であり、基準波長帯は、400~800nmである。また、基準波長帯は、第1波長帯の全域を必ずしも含む必要はなく、その一部の波長帯を含んでいればよい。例えば、第1波長帯が625~780nmである場合、基準波長帯は400~700nmであってもよい。すなわち、基準波長帯は、第1波長帯と波長帯が重なりを有していればよい。
図4に示すように、1フレーム間に、画素10(撮像素子11)の露光と、画素信号の読み出しと、照明装置2による光照射が行われる。撮像装置1がエリアセンサである場合、画素信号の読み出し間隔は、フレームレート以下に設定される。また、撮像装置1がエリアセンサである場合、画素信号の読み出し間隔は、最小スキャンレート以下に設定される。本実施形態では、撮像装置1はエリアイメージセンサであり、フレームレートは240fps(4.17mesc/回)であり、シートSの搬送速度は2500mm/sec以下である。すなわち、エンコーダパルスが12500パルスごと、つまりは12.5mmごとに画素信号の読み出しが行われる。この場合、撮像装置1が正常に撮像できる最大速度は、12.5mm÷(1/240)(sec)=3000mm/secとなり、これ以下の送り速度であれば、撮像装置1は正常に動作する。
また、照明装置2は、1の撮影時間(露光時間)内に、2つの異なる波長帯(ここでは、第1波長帯および基準波長帯)の光を異なるタイミングで照射する。具体的に、照明装置2は、露光開始から所定パルス(例えば、0~100パルス)後に、基準波長帯の光を照射する。このときの点灯時間は、2~5μsecである。また、照明装置2は、露光開始から所定パルス(例えば、2500パルス)後に、第1波長帯の光を照射する。このときの点灯時間は、3μsecである。なお、照明装置2は、1の露光時間内に、第1波長帯および基準波長帯の光を照射するため、照射する光を切り替える時間が必要となる。このため、露光時間は、照明装置2の照射時間および切り替え時間よりも長く設定され、例えば、3.9msecに設定される。
(画像処理装置の動作について)
図5~図10を参照しつつ、第1実施形態に係る被検査体の検査方法について説明する。
図5~図10を参照しつつ、第1実施形態に係る被検査体の検査方法について説明する。
図5は、第1実施形態に係る画像処理装置の全体の動作の流れを説明するフローチャートである。
撮像装置1(撮像素子11)は、上述したように、ローラ4,5の間において、搬送ベルト7によって搬送されるシートS(被検査体)を撮像する。このとき、図4のタイミングチャートに従って、シートSが撮像される。画像処理装置6は、撮像装置1から出力された画素信号を取得(受信)する(ステップS1)。
撮像装置1から取得した画素信号に基づいて、画像処理装置6は、画像Pを生成する(ステップS2)。そして、画像処理装置6は、後述する画像抽出処理を実行し、画像Pから抽出画像pを生成する(ステップS3)。
画像処理装置6は、画像Pに対象物Eの抽出画像pが含まれるか否かを判定する(ステップS4)。画像処理装置6は、画像Pに対象物Eの抽出画像pが含まれていないと判定した場合(ステップS4のNo)、処理を終了する。すなわち、画像処理装置6は、シートSに対象物Eが含まれていないと判定する。
画像処理装置6は、画像Pに対象物Eの画像が含まれていると判定した場合(ステップS4のYes)、後述する物性判定処理を実行し(ステップS5)、対象物Eの物性を判定する。そして、画像処理装置6は、生成した補正画像pwを用いて、対象物Eのサイズを判定する(ステップS6)。
(画像抽出処理について)
次に、図6および図7を参照しつつ、画像処理装置6の画像抽出処理について説明をする。図6は第1実施形態に係る撮像素子により撮像されたシートの画像例を示す図である。図7は第1実施形態に係る撮像素子により撮像されたシートの輝度値の例を示す図である。
次に、図6および図7を参照しつつ、画像処理装置6の画像抽出処理について説明をする。図6は第1実施形態に係る撮像素子により撮像されたシートの画像例を示す図である。図7は第1実施形態に係る撮像素子により撮像されたシートの輝度値の例を示す図である。
ステップS2において、画像処理装置6は、撮像素子11から取得した画素信号に基づいて、画像Pを生成する。画像Pには、画像P1~Pi(図示省略)の画像が含まれる。シートSは、ローラ4,5の間において、複数回(ここではi回)撮像されるため、画像Pには、画像P1~Piの画像が含まれることとなる。なお、以下の説明において、i回目に撮像された画像を画像Piとする。
本実施例では、照明装置2の点灯時間は、ローラ4,5の搬送速度と比較して十分小さいため、撮像した画像はY方向に伸びない。点灯時間が搬送速度と比較して十分大きい場合、画像PiはY方向に伸びる。例えば、分解能25μm、搬送速度2500mm/sec、点灯時間10μsecで、対象物Eを撮像した場合、2500(mm/sec)×10μsec=25μmとなり、おおよそY方向に2画素分長くなる。
また、対象物Eの見逃しを防止するため、画像同士の間に、重複エリアP1’が設けられるように、取込間隔が設けられる。具体的には、図6および図7に示すように、画像P1,P2の間に、重複エリアP1’が設けられる。図6および図7では、重複エリアP1’のY方向の幅は約16Pix(0.4mm)に設定されている。なお、この重複エリアの設定は、任意に設定可能である。
そして、ステップS3において、画像処理装置6は、画像抽出処理を実行する。具体的に、画像処理装置6は、画像Pにおける画像(xi、yj)ごとの特徴量に基づいて、対象物Eの抽出画像pを抽出する。この特徴量としては、例えば、画像Pにおける画像(xi、yj)ごとの輝度値や明度などが挙げられる。また、特徴量が、対象物Eを含んでいないシートSの特徴量を基準として定まるものでもよい。また、対象物Eの有無は、対象物Eの面積値、X方向のサイズ、Y方向のサイズ、形状、濃度総和などの特徴量を用いて判定される。本実施形態では、特徴量が、画像Pにおける画像(xi、yj)ごとの輝度値である場合を例にして説明する。
図7は画像Pにおける画像(xi、yj)ごとの輝度値を示したものである。図7では、輝度値が8bitの256階調で表示されており、輝度値の最小値は0、最大値は255である。図7では、シートSに対象物Eが存在しない(グラウンドレベル)場合、輝度値が0となっている。
まず、画像処理装置6は、輝度値が閾値以上である画像(xi、yj)を抽出する。そして、画像処理装置6は、抽出した画像のうち、隣接しあう複数の画像(xi、yj)を1つの対象物Eとする。ここでいう「隣接する画像」とは、1の画像に対して、X方向(横方向)、Y方向(縦方向)、X方向およびY方向(斜め方向)に接する画像をいう。具体的に、画像(xi、yj)であれば、画像(xi、yj±1)(xi±1、yj)(xi±1、yj±1)が隣接する画像となる。画像処理装置6は、抽出した対象物Eを含むように抽出画像pを生成する。
例えば、図7では、輝度値の閾値を20と設定した場合、画像処理装置6は、実線で囲まれた画像(xi、yj)の領域を、対象物E1~E6を含む画像として抽出する。そして、画像処理装置6は、対象物E1~E6をそれぞれ含むように抽出画像p1~p6を生成する(図6および図7参照)。具体的には、抽出画像p1として、画像(x3,y1)~画像(x9,y7)の領域に含まれる画像が、抽出される。抽出画像p2として、画像(x10,y1)~画像(x16,y5)の領域に含まれる画像が、抽出される。抽出画像p3として、画像(x18,y1)~画像(x22,y5)の領域に含まれる画像が、抽出される。抽出画像p4として、画像(x3,y101)~画像(x9,y107)の領域に含まれる画像が、抽出される。抽出画像p5として、画像(x10,y101)~画像(x16,y105)の領域に含まれる画像が、抽出される。抽出画像p6として、画像(x18,y101)~画像(x22,y105)の領域に含まれる画像が、抽出される。
なお、画像処理装置6は、ステップS4において、画像Pから抽出画像pを生成した場合、画像Pに対象物Eの抽出画像pが含まれると判定する。
(物性判定処理について)
次に、図6~図9を参照しつつ、画像処理装置6の物性判定処理(ステップS5)について説明をする。図8は、第1実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
次に、図6~図9を参照しつつ、画像処理装置6の物性判定処理(ステップS5)について説明をする。図8は、第1実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
画像処理装置6は、抽出画像p(図6および図7では、抽出画像p1~p6)を取得すると(ステップS11)、抽出画像pのグルーピング処理を行う(ステップS12)。具体的には、画像処理装置6は、X座標が同じ抽出画像pを同一のグループに分類する。例えば、図6および図7では、抽出画像p1,p4が同一のグループに分類され、抽出画像p2,p5が同一のグループに分類され、抽出画像p3,p6が同一のグループに分類される。
上述したように、照明装置2は、1の露光時間内に、2つの異なる波長帯(ここでは、第1波長帯および基準波長帯)の光を異なるタイミングで照射する。このため、画像Pにおいて、1の対象物Eについて、2つの抽出画像pが生成されることとなる。また、本実施形態では、基準波長帯の光が照射された後に、第1波長帯の光が照射されることとなる。すなわち、1の対象物Eについて生成される2つ抽出画像pは、Y方向にオフセットされた状態で画像Pに含まれることとなる。このため、X座標が同じ抽出画像pは、同じ対象物Eを示す画像となる。X座標が同じ抽出画像pを同じグループに分類することにより、同一のグループに属する抽出画像pは、同じ対象物Eを示す画像であると判定できる。すなわち、本実施形態では、対象物E1,E4が同じ対象物であり、対象物E2,E5が同じ対象物であり、対象物E3,E6が同じ対象物と判定できる。
また、本実施形態では、基準波長帯の光が照射された後に、第1波長帯の光が照射されるため、同じグループ内において、Y座標が小さい抽出画像p(p1~p3)が基準波長帯の光が照射されたことによって生成された抽出画像であり、Y座標が大きい抽出画像p(p4~p6)が第1波長帯の光が照射されたことによって生成された抽出画像であると判定できる。
ステップS12の後、同じグループに属する抽出画像pにおいて、Y座標が小さい抽出画像pに含まれる画像のうち、特徴量が最も高い画像δを抽出する(ステップS13)。
そして、画像処理装置6は、同じグループに属する抽出画像pにおいて、Y座標が大きい抽出画像pに含まれる画像のうち、特徴量が最も高い画像αを抽出する(ステップS14)。
図7では、抽出画像p1~p3では、画像δ1~δ3(輝度値255、255、255)が画像δにそれぞれ相当し、画像α1~α3(輝度値155、230、204)が画像αにそれぞれ相当する。
ステップS14の後、画像δおよび画像αの特徴量(輝度値)に基づいて、第1波長帯における対象物Eの反射率Rを求める(ステップS15)。具体的に、反射率Rは、(画像αの輝度値)/(画像δの輝度値)で求めることができる。画像αは、第1波長帯の分光画像であり、画像δは、第1波長帯を含む基準波長帯の分光画像である。このため、画像αおよび画像δの輝度値(特徴量)を比較することで、第1波長帯における対象物Eの反射率Rを求めることができる。
例えば、図7では、対象物E1(E4)の反射率R1=155/255≒0.60となり、対象物E1の反射率R1は、60%となる。対象物E2(E5)の反射率R2=235/255≒0.90となり、対象物E2の反射率R2は、90%となる。対象物E3(E6)の反射率R3=204/255=0.80となり、対象物E3の反射率R3は、80%となる。
ステップS14の後、画像処理装置6は、算出した反射率Rに基づいて、対象物Eの物性を判定する(ステップS16)。具体的に、画像処理装置6は、予め設定された閾値に基づいて、対象物Eの物性を判定する。この閾値は、複数の物質の分光反射率を示す分光反射率曲線(分光反射率データ、図9参照)に基づいて設定される。画像処理装置6は、反射率Rと閾値とを比較して、対象物Eの物性を判定する。
図9では、各波長帯におけるAl、Fe、Cuの分光反射率曲線が示されている。第1波長帯は、625~780nmであるため、反射率50%~70%である場合、対象物EはFeであり、反射率70%~90%である場合、対象物EはCuであり、反射率90%以上である場合、対象物EはAlであると判定することができる。具体的に、対象物E1(E4)の反射率R1は60%であるため、対象物E1はFeと判定される。対象物E2(E5)の反射率R2は90%であるため、対象物E2はAlと判定される。対象物E3(E6)の反射率R3は80%であるため、対象物E3はFeと判定される。このように、分光反射率曲線に基づいて、対象物Eの物性を判定するための閾値を設定することによって、対象物Eの物性を判定することができる。
なお、反射率Rの算出方法は、上述した方法に限られない。例えば、以下の方法でも反射率Rを求めることができる。なお、対象物E1(E4)の反射率を求める場合を例にして説明する。
まず、抽出画像p1から対象物E1の画像を抽出する。このとき、対象物E1の周囲1画素分を除いた画像を抽出する。これにより、抽出画像p1の全領域に存在する対象物E1を抽出することができる。また、抽出画像p1と同様に、抽出画像p4から対象物E4の画像を抽出する。
次に、抽出画像p1から抽出した対象物E1の画像のうち、画像の輝度値を平均した平均輝度値δ’を求める。また、抽出画像p4から抽出した対象物E4の画像のうち、画像の輝度値を平均した平均輝度値α’を求める。そして、平均輝度値α’および平均輝度値δ’に基づいて、第1波長帯における対象物E1(E4)の反射率Rを求める。具体的には、反射率Rは、(平均輝度値α’)/(平均輝度値δ’)で求められる。このように、反射率を求める際に用いる輝度値を平均化処理することによって、特異点の影響による反射率の誤差を少なくすることが可能となる。
なお、対象物Eとして、金属以外の物質についても検出することが可能である。例えば、樹脂を計測することも可能である。樹脂の反射率は可視光領域では低く、赤外領域で高くなる。そのため、樹脂を検出する場合は、第1波長帯および基準波長帯を1000nmまで広げて計測する必要がある。
(対象物のサイズ判定について)
次に、図10を参照しつつ、画像処理装置6のサイズ判定処理(ステップS7)について説明をする。図10は第1実施形態に係る対象物のサイズ判定方法について説明するための図である。具体的に、図10(a)~(c)は、抽出画像p1~3に対して、輝度値30を閾値として、二値化処理を行って得られた補正画像pw1~pw3をそれぞれ示す。この抽出画像p1~p3は、基準波長帯により生成された対象物E(E1~E3)の画像である。基準波長帯による抽出画像は、第1波長帯による抽出画像よりも特徴量(輝度)が高いため、正確に対象物Eのサイズの判定を行うことができる。なお、第1波長帯によって生成された対象物E(E1~E3)の画像である抽出画像p1~p3を用いてサイズの判定を行っても良い。
次に、図10を参照しつつ、画像処理装置6のサイズ判定処理(ステップS7)について説明をする。図10は第1実施形態に係る対象物のサイズ判定方法について説明するための図である。具体的に、図10(a)~(c)は、抽出画像p1~3に対して、輝度値30を閾値として、二値化処理を行って得られた補正画像pw1~pw3をそれぞれ示す。この抽出画像p1~p3は、基準波長帯により生成された対象物E(E1~E3)の画像である。基準波長帯による抽出画像は、第1波長帯による抽出画像よりも特徴量(輝度)が高いため、正確に対象物Eのサイズの判定を行うことができる。なお、第1波長帯によって生成された対象物E(E1~E3)の画像である抽出画像p1~p3を用いてサイズの判定を行っても良い。
対象物Eのサイズとして、面積、最大長さ、アスペクト比、縦幅、横幅、フェレ径(最大値、最小値など)、主軸の長さ(最大値、最小値など)などが用いられる。本実施形態では、対象物Eのサイズとして、最大フェレ径Fを求める場合を例にして説明する。フェレ径とは、ある対象物に外接する長方形の縦および横の長さを意味するもので、最大フェレ径は対象物に外接する長方形のうち最大となる長さを示す。
図10(a)~(c)は、矢印で示した長さが対象物E1~E3の最大フェレ径となる。これにより、対象物E1~E3のサイズを判定することができる。
なお、抽出画像p1~p3に対して二値化処理を行わず、抽出画像p1~p3をそのまま用いて、対象物E1~E3のサイズをそれぞれ判定してもよい。
以上に説明したように、本実施形態に係る検査装置Aは、第1波長帯の光と第1波長帯と波長帯が重なりを有する基準波長帯との光を照射可能な照明装置2と、シートS(被検査体)を撮像し、画素信号を出力する撮像装置1と、画像処理装置6とを備える。照明装置2は、1の撮像時間において、第1波長帯の光と基準波長帯の光とをシートSに異なるタイミングで照射する。画像処理装置6は、画素信号に基づいて、対象物Eの、第1波長帯における反射率Rを算出し、第1波長帯における反射率に基づいて、対象物Eの物性を判定する。すなわち、照明装置2が、1の撮像時間に、第1波長帯の光と基準波長帯の光とをシートSに異なるタイミングで照射することにより、1つの画像に、第1波長帯の光による対象物Eの抽出画像pと、基本波長帯の光による対象物Eの抽出画像pとが形成される。この2つの抽出画像pに基づいて、第1波長帯における対象物Eの反射率Rを求めることができるため、対象物Eの物性を判定することができる。また、1つの画像に、第1波長帯の光による対象物Eの抽出画像pと、基本波長帯の光による対象物Eの抽出画像pが含まれるため、波長帯ごとにシートSを撮影する必要がなくなり、撮像時間の増加を抑えることができる。したがって、撮像時間の増加を抑えつつ、対象物Eの物性を判定することができる。
また、抽出画像pにおける特徴量は、対象物Eの輝度値または明度である。これにより、対象物Eの輝度値または明度に基づいて、対象物Eの物性を判定することができる。
また、画像処理装置6は、基準波長帯による対象物Eの抽出画像pを用いて、対象物Eのサイズを判定する。これにより、対象物Eのサイズを判定することができる。
(第2実施形態)
第2実施形態は、照明装置2の構成と、撮像装置と画像制御装置の動作が第1実施形態と異なる。なお、第2実施形態では、第1実施形態と同じ構成には、同じ符号を付し、その説明を省略している。
第2実施形態は、照明装置2の構成と、撮像装置と画像制御装置の動作が第1実施形態と異なる。なお、第2実施形態では、第1実施形態と同じ構成には、同じ符号を付し、その説明を省略している。
(撮像装置と照明装置の動作について)
第2実施形態では、照明装置2は、第1~第3波長帯および基準波長帯の光を照射可能である。第1波長帯は赤の波長帯域(625~780nm)であり、第2波長帯は緑の波長帯域(500~565nm)であり、第3波長帯は青の波長帯域(450~485nm)であり、基準波長帯は、400~800nmである。また、基準波長帯は、第1波長帯の全域を必ずしも含む必要はなく、その一部の波長帯を含んでいればよい。例えば、第1波長帯が625~780nmである場合、基準波長帯は400~700nmであってもよい。また、基準波長帯は、第1波長帯、第2波長帯および第3波長帯の全域を必ずしも含む必要はなく、それぞれ一部の波長帯を含んでいればよい。すなわち、基準波長帯は、第1波長帯、第2波長帯および第3波長帯と波長帯が重なりを有していればよい。
第2実施形態では、照明装置2は、第1~第3波長帯および基準波長帯の光を照射可能である。第1波長帯は赤の波長帯域(625~780nm)であり、第2波長帯は緑の波長帯域(500~565nm)であり、第3波長帯は青の波長帯域(450~485nm)であり、基準波長帯は、400~800nmである。また、基準波長帯は、第1波長帯の全域を必ずしも含む必要はなく、その一部の波長帯を含んでいればよい。例えば、第1波長帯が625~780nmである場合、基準波長帯は400~700nmであってもよい。また、基準波長帯は、第1波長帯、第2波長帯および第3波長帯の全域を必ずしも含む必要はなく、それぞれ一部の波長帯を含んでいればよい。すなわち、基準波長帯は、第1波長帯、第2波長帯および第3波長帯と波長帯が重なりを有していればよい。
図11は第2実施形態に係る検査装置における撮像装置の撮像タイミングと、照明装置の照射タイミングとを示すタイミングチャートである。図11に示すように、1フレーム間に、撮像素子11の露光と、画素信号の読み出しと、照明装置2による光照射が行われる。
照明装置2は、1の露光時間内に、4つの異なる波長帯(ここでは、第1~第3波長帯および基準波長帯)の光を異なるタイミングで照射する。具体的に、照明装置2は、露光開始から所定パルス(例えば、0パルス)後に、基準波長帯の光を照射する。このときの点灯時間は、2~5μsecである。また、照明装置2は、露光開始から所定パルス(例えば、500パルス)後に、第1波長帯の光を照射する。このときの点灯時間は、3μsecである。また、照明装置2は、露光開始から所定パルス(例えば、1500パルス)後に、第2波長帯の光を照射する。このときの点灯時間は、3μsecである。また、照明装置2は、露光開始から所定パルス(例えば、3000パルス)後に、第3波長帯の光を照射する。このときの点灯時間は、3μsecである。
すなわち、第1~第3波長帯および基準波長帯の光を異なるタイミングで照射することにより、1の対象物Eの撮像位置をY方向に異ならせることができる。具体的には、第1~第3波長帯の光の照射による対象物Eの画像は、基準波長帯の光の照射による対象物Eの画像を基準として、Y方向に500μm,1500μm,3000μmオフセット(以下、これらを第1~第3オフセット値とそれぞれいうことがある)された位置にそれぞれ生成される。
(画像抽出処理について)
図12および図13は第2実施形態に係る撮像素子により撮像されたシートの画像例を示す図である。図14および図15は第2実施形態に係る抽出画像の輝度値の例を示す図である。なお、図12は画像Pの画像(x0,y0)~画像(x507,y59)の領域を示しており、図13は画像Pの画像(x0,y60)~画像(x507,y180)の領域を示している。図14(a)~(f)および図15(g)~(k)は、図12および図13の抽出画像p11~p21をそれぞれ示す。また、抽出画像p11~p21に示される対象物のそれぞれを対象物E11~E21とする。
図12および図13は第2実施形態に係る撮像素子により撮像されたシートの画像例を示す図である。図14および図15は第2実施形態に係る抽出画像の輝度値の例を示す図である。なお、図12は画像Pの画像(x0,y0)~画像(x507,y59)の領域を示しており、図13は画像Pの画像(x0,y60)~画像(x507,y180)の領域を示している。図14(a)~(f)および図15(g)~(k)は、図12および図13の抽出画像p11~p21をそれぞれ示す。また、抽出画像p11~p21に示される対象物のそれぞれを対象物E11~E21とする。
上述したように、照明装置2は、1の露光時間内に、第1~第3波長帯および基準波長帯の光を異なるタイミングで照射する。このため、画像Pには、対象物の数×4個の抽出画像が生成されることとなる。しかし、図12~図15には、11個の抽出画像しか形成されていない。これは、2つの対象物Eが同一のX座標上にあることにより、異なる対象物Eの画像(図12では抽出画像p16)が重なってしまっているためであると考えられる。そこで、本実施形態では、図16に示す、抽出画像(対象物)のグルーピング処理を行うことにより、対象物Eを漏れなく抽出することが可能である。
本実施形態では、図8のステップS12において、図16のグルーピング処理が実行される。図16は第2実施形態に係るグルーピング処理を示すフローチャートである。
まず、画像処理装置6は、抽出画像p11~p21について、所定の特徴量を閾値(例えば、20)として、2値化処理を行い、各抽出画像から対象物E11~E21を抽出し、抽出した対象物をリストに登録する(ステップS401)。このときの特徴量としては、輝度値や、対象物の位置、フィレ径などが挙げられる。本実施形態では、特徴量が輝度値である場合を例に説明する。
次に、画像処理装置6は、リストに登録された対象物Eのうち、Y座標が最も小さい対象物Eaを抽出する(ステップS402)。そして、画像処理装置6は、対象物EaのX,Y座標を基準として、Y軸の正方向に第1オフセット値の位置に対象物Ebが存在するか否かを判定する(ステップS403)。第1オフセット値とは、照明装置2が基準波長帯の光と第1波長帯の光とを照射するタイミングのズレによって生じる距離を指す。
画像処理装置6は、第1オフセット値の位置に対象物Ebが存在すると判定した場合(ステップS403のYes)、当該対象物Ebを抽出する(ステップS404a)。一方、画像処理装置6は、第1オフセットの位置に対象物Ebが存在しないと判定した場合(ステップS403のNo)、初期のリストを読み出して、対象物EaのX,Y座標を基準として、Y軸の正方向に第1オフセット値の位置に存在する対象物Ebを抽出する(ステップS404a)。詳しくは後述するが、抽出された対象物は、リストから削除される。このため、対象物が重なっている(例えば、図12の対象物E16)場合、既にリストから対象物が削除されていることがある。ここでは、対象物Eを漏れなく抽出するために、初期のリストから対象物Ebを抽出するとしている。なお、以下に説明するステップS406b,S408bの処理においても同様の理由で、ステップS404aとほぼ同じ処理が行われる。
ステップS404a,S404bの後、画像処理装置6は、対象物EaのX,Y座標を基準として、Y軸の正方向に第2オフセット値の位置に対象物Ecが存在するか否かを判定する(ステップS405)。第2オフセット値とは、照明装置2が基準波長帯の光と第2波長帯の光とを照射するタイミングのズレによって生じる距離を指す。画像処理装置6は、第2オフセット値の位置に対象物Ecが存在すると判定した場合(ステップS405のYes)、当該対象物Ecを抽出する(ステップS406a)。一方、画像処理装置6は、第2オフセットの位置に対象物Ecが存在しないと判定した場合(ステップS405のNo)、初期のリストを読み出して、対象物EaのX,Y座標を基準として、Y軸の正方向に第2オフセット値の位置に存在する対象物Ecを抽出する(ステップS406a)。
ステップS406a,S406bの後、画像処理装置6は、対象物EaのX,Y座標を基準として、第3オフセット値の位置に対象物Edが存在するか否かを判定する(ステップS407)。第3オフセット値とは、照明装置2が基準波長帯の光と第3波長帯の光とを照射するタイミングのズレによって生じる距離を指す。画像処理装置6は、第3オフセット値の位置に対象物Edが存在すると判定した場合(ステップS407のYes)、当該対象物Edを抽出する(ステップS408a)。一方、画像処理装置6は、第3オフセットの位置に対象物Edが存在しないと判定した場合(ステップS407のNo)、初期のリストを読み出して、対象物EaのX,Y座標を基準として、Y軸の正方向に第3オフセット値の位置に存在する対象物Edを抽出する(ステップS408a)。
ステップS406a,S406bの後、画像処理装置6は、抽出した対象物Ea~Edを同一のグループに分類する(ステップS409)。そして、画像処理装置6は、抽出した対象物Ea~Edをリストから削除する(ステップS410)。
ステップS410の後、画像処理装置6は、リストに対象物が残っているかを判定する(ステップS411)。画像処理装置6は、リストに対象物が残っていると判定した場合(ステップS411のYes)、ステップS401に戻ってグルーピング処理を再度行う。画像処理装置6は、リストに対象物が残っていないと判定した場合(ステップS411のYNo)、処理を終了する。すなわち、画像処理装置6は、全ての対象物が分類されるまで、グルーピング処理を行う。このグルーピングにより、同一のグループに分類された対象物Eは、同一の対象物Eを示すものとなる。
なお、ステップS404bにおいて、初期のリストを読み出して、対象物EaのX,Y座標を基準として、Y軸の正方向に第1オフセット値の位置に対象物Ebが存在しなかった場合、対象物Eaは、基準波長帯の光を照射することによって生成されたものではなく、第1~第3波長帯のいずれかの光を照射することによって生成されたものと考えられる。この場合、画像処理装置6は、この対象物EaのX,Y座標を基準として、Y軸の負方向に第1~第3オフセット値の位置にある対象物を、初期のリストから抽出する。抽出された対象物を対象物Eaとし、ステップS403以降の処理を再度行う。上述したように、第1~第3オフセット値は、それぞれ異なる値に設定されている。このため、真の対象物Eaが1つだけ抽出されることとなる。
例えば、図12および図13では、対象物E11~E21が初期のリストに登録されており、1回目のグルーピング処理により、対象物E15,E16,E18,E20が同一のグループに分類される。次に2回目のグルーピング処理により、対象物E11~E14が同一のグループに分類される。そして3回目のグルーピング処理において、対象物E17が対象物Eaと判定される。このとき、リストに残っている対象物E19,E21はいずれも、対象物E17からY軸の正方向に第1オフセット値の位置に存在していない。このため、画像処理装置6は、対象物Ebが抽出できない。そこで、画像処理装置6は、対象物E17を基準として、Y軸の負方向に第1~第3オフセットの位置に対象物Eを抽出する。このとき、画像処理装置6は、対象物E17のY軸の負方向に第1オフセットの位置に対象物E16が存在するため、対象物E16を真の対象物Eaと判定する。これにより、画像処理装置6は、対象物E16を対象物Eaとして、ステップS403以降の処理を実行し、対象物E16,E17,E19,E21を同一のグループに分類する。
ここで、同一のグループに分類された対象物E(抽出画像p)は、照明装置2が基準波長帯第1~第3波長帯の光の順に光が照射することから、Y座標が最も小さい抽出画像pが基準波長帯の光を照射することにより生成された抽出画像(以下、「基準画像」という)、Y座標が2番目に小さい抽出画像pが第1波長帯の光を照射することにより生成された抽出画像(以下、「第1画像」という)、Y座標が3番目に小さい抽出画像pが第3波長帯の光を照射することにより生成された抽出画像(以下、「第2画像」という)、Y座標が最も大きい抽出画像pが第3波長帯の光を照射することにより生成された抽出画像(以下、「第3画像」という)と判定できる。例えば、図12~図15では、基準画像は抽出画像p11,p15,p16であり、第1画像は抽出画像p12,p16,p17であり、第2画像は抽出画像p13,p18,p19であり、第3画像は抽出画像p14,p20,p21である。
次に元の抽出画像の生成処理について説明する。
上述したグルーピング処理において、1の対象物Eが複数のグループに分類された場合、重なった対象物Eの抽出画像pがグループ分けされたこととなる。この場合、重なった対象物Eの抽出画像pからは、対象物Eの反射率R判定できず、対象物Eの物性が正確に判定できない。このため、画像処理装置6は、元の対象物Eの抽出画像pを生成する処理を行う。図8において、ステップS13以降の処理は、この処理により生成された抽出画像pを用いて行われる。
元の抽出画像の生成処理の1つは、例えば、基準画像が他の抽出画像pと重なりを有している場合、同じグループに属する、第1~第3画像を合成することにより、元の基準画像を生成可能である。例えば、図14では、抽出画像p11は、抽出画像p12~p14を合成することにより生成可能である。
また、第1~第3画像のいずれか1つの抽出画像が他の抽出画像pと重なりを有している場合、基準画像から、第1~第3画像のうち他の抽出画像pと重なりを有さない抽出画像を減算することにより、当該抽出画像を生成可能である。例えば、図14では、抽出画像p12は、抽出画像p11の特徴量から、抽出画像p13,p14の特徴量を減算することにより生成可能である。
また、第1~第3抽出画像のいずれか1つの抽出画像が他の抽出画像pと重なりを有している場合、算出可能な対象物Eの反射率から、当該抽出画像を生成することができる。詳しくは後述するが、同じグルーブに属する抽出画像pにおいて、基準画像のうち最も特徴量が大きい画像を画像δ、第1画像のうち最も特徴量が大きい画像を画像α、第2画像のうち最も特徴量が大きい画像を画像β、第3画像のうち最も特徴量が大きい画像を画像γとする。この場合、第1波長帯における対象物Eの反射率Rは、(画像αの輝度値)/(画像δの輝度値)となる。第2波長帯における対象物Eの反射率Rは、(画像βの輝度値)/(画像δの輝度値)となる。第3波長帯における対象物Eの反射率Rは、(画像βの輝度値)/(画像δの輝度値)となる。
例えば、図12~図15において、抽出画像p16は2つの対象物Eの画像が重なっている。このため、抽出画像p16を、対象物E15の第1画像として用いることができない。
ここで、図14および図15に示すように、抽出画像p15,p18(第2画像)から、第2波長帯における対象物E15(E18,E20)の反射率R22は、150/255≒0.59であるため、反射率R22は59%となる。抽出画像p15,p20(第3画像)から、第3波長帯における対象物E15の反射率R23は、204/255≒0.8であるため、反射率R23は80%となる。ここで、図9の分光反射率曲線を参照すると、対象物E15は、Cuであると判断できる。これにより、第1波長帯における対象物E15の反射率R21は、約50%と判定できる。この反射率R23を抽出画像p15の特徴量(輝度値)に乗算することにより、第1波長帯における対象物E15の抽出画像p16a(図17(a)参照)を生成することができる。
また、抽出画像p16から、推定された抽出画像p16aを減算することで、対象物E17の基準画像を生成することができる。しかし、この画像生成方法では、図17(b)に示すように、画像中央部が画像周縁部よりも輝度値が高くなってしまい、抽出画像p16bを正しく推定することができていない。これは、抽出画像p16において、2つの対象物E16,E17が重なった結果、最も高い輝度値が255を超えてしまったことに起因すると考えられる。そこで、対象物E17と同じグループに属し、重なりを有さない抽出画像p18を用いて、対象物E17の基準画像を推定することができる。具体的に、抽出画像p16b,p18の最大倍率(画像a2/画像a1=150/110)を、抽出画像p18の全画像に乗算することにより、基準波長帯における対象物E17の抽出画像p16c(図17(c))を生成することができる。
(物性判定処理について)
図18を参照しつつ、第2実施形態に係る画像処理装置6の物性判定処理(ステップS5)について説明をする。図18は、第2実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
図18を参照しつつ、第2実施形態に係る画像処理装置6の物性判定処理(ステップS5)について説明をする。図18は、第2実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
画像処理装置6は、抽出画像p(図18では、抽出画像p11~p21および推定された抽出画像)を取得すると(ステップS31)、同じグループに属する抽出画像pにおいて、基準画像(Y座標が最も小さい抽出画像p)に含まれる画像のうち、特徴量が最も高い画像δを抽出する(ステップS32)。
画像処理装置6は、同じグループに属する抽出画像pにおいて、第1画像(Y座標が2番目に小さい抽出画像p)に含まれる画像のうち、特徴量が最も高い画像αを抽出する(ステップS33)。
画像処理装置6は、同じグループに属する抽出画像pにおいて、第2画像(Y座標が3番目に小さい抽出画像p)に含まれる画像のうち、特徴量が最も高い画像βを抽出する(ステップS34)。
画像処理装置6は、同じグループに属する抽出画像pにおいて、第3画像(Y座標が最も大きい抽出画像p)に含まれる画像のうち、特徴量が最も高い画像γを抽出する(ステップS35)。
例えば、図18では、抽出画像p11~p14が同一のグループに分類される。図18では、抽出画像p11~p14では、抽出画像p11の画像δ4が画像δに相当し、抽出画像p12の画像α4が画像αに相当し、抽出画像p13の画像β4が画像βに相当し、抽出画像p14の画像γ4が画像γに相当する。
ステップS35の後、画像δおよび画像α,β,γの輝度値に基づいて、第1波長帯、第2波長帯および第3波長帯における対象物E11(E12~E14)の反射率R31~R33をそれぞれ求める(ステップS36)。具体的に、反射率R31は、(画像αの輝度値)/(画像δの輝度値)で求めることができる。反射率R32は、(画像βの輝度値)/(画像δの輝度値)で求めることができる。反射率R33は、(画像γの輝度値)/(画像δの輝度値)で求めることができる。
例えば、図18では、対象物E11の反射率R31=140/255≒0.55となり、対象物E1の反射率R31は、55%となる。対象物E1の反射率R32=155/255≒0.60となり、対象物E11の反射率R32は、60%となる。対象物E11の反射率R33=155/255≒0.60となり、対象物E11の反射率R33は、60%となる。以下同様に、対象物E15,E17についても、それぞれ、反射率Rを求めることができる。
ステップS36の後、反射率をグラフにプロットする(ステップS37)。波長をX軸、反射率RをY軸としたグラフに、求めた各波長帯における反射率Rをグラフにプロットする。本実施形態では、それぞれの波長帯における反射率Rを波長帯の中央値でプロットしている(図19参照)。
図19のプロットした反射率と図9の分光反射率曲線を比較し、相関性からもっとも近しい分光反射率曲線を選択し、分光反射率曲線を基に対象物Eの物性を判定する(ステップS38)。対象物E11(E12~E14)の反射率のプロットは、図9におけるFeの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E11がFeであると判定する。対象物E15(E16,E18,E20)の反射率のプロットは、図9におけるAlの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E15がAlであると判定する。対象物E17(E16,E19,E21)の反射率Rのプロットは、図9におけるCuの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E17がCuであると判定する。
以上に説明したように、本実施形態に係る検査装置Aは、第1波長帯の光と第2波長帯の光と第1および第2波長帯と波長帯が重なりを有する基準波長帯との光を照射可能な照明装置2と、シートS(被検査体)を撮像し、画素信号を出力する撮像装置1と、画像処理装置6とを備える。照明装置2は、1の撮像時間において、第1波長帯の光と第2波長帯の光と基準波長帯の光とをシートSに異なるタイミングで照射する。画像処理装置6は、画素信号に基づいて、対象物Eの、第1波長帯における反射率R31と、第2波長帯における反射率R32とを算出し、反射率R31,R32に基づいて、対象物Eの物性を判定する。すなわち、照明装置2が、1の撮像時間に、第1波長帯の光と第2波長帯の光と基準波長帯の光とをシートSに互いに異なるタイミングで照射することにより、1つの画像に、第1波長帯の光による対象物Eの抽出画像pと、第2波長帯の光による対象物Eの抽出画像pと、基本波長帯の光による対象物Eの抽出画像pとが形成される。この3つの抽出画像pに基づいて、第1および第2波長帯における対象物Eの反射率R31,R32をそれぞれ求めることができるため、対象物Eの物性を判定することができる。また、1つの画像に、第1波長帯の光による対象物Eの抽出画像pと、第2波長帯の光による対象物Eの抽出画像pと、基本波長帯の光による対象物Eの抽出画像pが含まれるため、波長帯ごとにシートSを撮影する必要がなくなり、撮像時間の増加を抑えることができる。したがって、撮像時間の増加を抑えつつ、対象物の物性を判定することができる。
また、画像処理装置6は、反射率R31,R32を、複数の物質の分光反射率を示す分光反射率データと比較することにより、対象物Eの物性を判定する。これにより、対象物Eの物性をより正確に判定することができる。
また、画像処理装置6は、シートSに複数の対象物Eが存在する場合、第1波長帯の光による対象物Eの抽出画像pである第1画像、第2波長帯による対象物Eの抽出画像pである第2画像、基準波長帯による対象物Eの抽出画像pである基準画像のうち、いずれか2つの画像から、残り1つの画像を生成する。これにより、画素信号から生成された画像Pにおいて、第1画像、第2画像および基準画像のうちのいずれか1つが、他の対象物Eの抽出画像pと重なった場合であっても、第1画像、第2画像および基準画像のうち当該画像を除く他の画像から、当該画像を生成することが可能となる。
また、画像処理装置6は、第1画像および第2画像の特徴量を合成して、基準画像を生成する。これにより、画像Pにおいて、基準画像が他の抽出画像pと重なりを有する場合であっても、第1画像および第2画像から、基準画像を生成することができる。
また、画像処理装置6は、基準画像の特徴量から第1画像の特徴量を減算して、第2画像を生成する。これにより、画像Pにおいて、第1画像が他の抽出画像pと重なりを有する場合であっても、基準画像および第2画像から、第1画像を生成することができる。
また、画像処理装置6は、シートSに複数の対象物Eが存在する場合、第1画像、第2画像および基準画像を、複数の対象物Eごとに分類する。また、画像処理装置6は、同じグループに分類された第1画像、第2画像および基準画像に基づいて、第1反射率および第2反射率を算出する。これにより、シートSに複数の対象物Eが存在する場合、対象物Eごとに物性を判定することができる。
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
なお、上記実施形態において、撮像装置1および照明装置2は暗視野光学系で構成されているが、明視野光学系で構成されてもよい。また、撮像装置1は、ラインセンサとして構成されているが、エリアセンサとして構成されてもよい。また、画像処理装置6は、撮像素子11から出力される画素信号から動画を生成してもよいし、静止画を生成してもよい。
また、撮像素子11に配置される画素10の配置は、上述した配置に限られない。また、撮像素子11の画素数は、上述した数に限られない。
本開示の検査装置は、半導体、電子デバイス、2次電池などに用いられる部材含まれる異物や欠陥などの検査に用いることができる。
A 検査装置
1 撮像装置
6 画像処理装置
11 撮像素子
E(E1~E6,E11~E21) 対象物
R 反射率
P 画像
p(p1~p6,p11~p21,p16a~p16c) 抽出画像
1 撮像装置
6 画像処理装置
11 撮像素子
E(E1~E6,E11~E21) 対象物
R 反射率
P 画像
p(p1~p6,p11~p21,p16a~p16c) 抽出画像
Claims (10)
- 被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、
前記検査装置は、
第1波長帯の光と前記第1波長帯と波長帯が重なりを有する基準波長帯の光とを照射可能な照明装置と
前記被検査体を撮像し、画素信号を出力する撮像装置と、
画像処理装置と、を備え、
前記照明装置が、1の撮像時間において、前記第1波長帯の光と前記基準波長帯の光とを前記被検査体に異なるタイミングで照射するステップと、
前記画像処理装置が、前記画素信号に基づいて、前記対象物の、前記第1波長帯における反射率を算出するステップと、
前記画像処理装置が、前記第1波長帯における前記反射率に基づいて、前記対象物の物性を判定するステップと、
を含む、検査方法。 - 被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、
前記検査装置は、
第1波長帯の光と、第2波長帯の光と、前記第1および第2波長帯と波長帯が重なりを有する基準波長帯の光とを照射可能な照明装置と
前記被検査体を撮像し、画素信号を出力する撮像装置と、
画像処理装置と、を備え、
前記照明装置が、1の撮像時間において、前記第1波長帯の光と前記第2波長帯の光と前記基準波長帯の光とを前記被検査体に互いに異なるタイミングで照射するステップと、
前記画像処理装置が、前記画素信号に基づいて、前記画像処理装置が前記対象物の、前記第1波長帯における反射率である第1反射率と、前記第2波長帯における反射率である第2反射率とを算出するステップと、
前記画像処理装置が、前記第1反射率および前記第2反射率に基づいて、前記対象物の物性を判定するステップと、
を含む、検査方法。 - 請求項2記載の検査方法において、
前記画像処理装置が、前記第1反射率および前記第2反射率を、複数の物質の分光反射率を示す分光反射率データと比較することにより、前記対象物の物性を判定するステップをさらに含む、検査方法。 - 請求項2または3記載の検査方法において、
前記画像処理装置が、前記被検査体に複数の前記対象物が存在する場合、前記第1波長帯の光による前記対象物の画像である第1画像、前記第2波長帯による前記対象物の画像である第2画像、前記基準波長帯による前記対象物の画像である基準画像のうち、いずれか2つの画像から、残り1つの画像を生成するステップを含む、検査方法。 - 請求項4記載の検査方法において、
前記画像処理装置が、前記第1画像および前記第2画像の特徴量を合成して、前記基準画像を生成するステップを含む、検査方法。 - 請求項4または5記載の検査方法において、
前記画像処理装置が、前記基準画像の特徴量から前記第1画像の特徴量を減算して、前記第2画像を生成するステップを含む、検査方法。 - 請求項5または6記載の検査方法において、
前記特徴量は、前記対象物の輝度値または明度である、検査方法。 - 請求項2~7のいずれか1項記載の検査方法において、
前記画像処理装置が、前記被検査体に複数の前記対象物が存在する場合、前記複数の対象物ごとに、前記第1波長帯の光による前記対象物の画像である第1画像、前記第2波長帯による前記対象物の画像である第2画像、前記基準波長帯による前記対象物の画像である基準画像を生成するステップと、
前記画像処理装置が、前記第1画像、前記第2画像および前記基準画像を、前記複数の対象物ごとに分類するステップと、
同じグループに分類された前記第1画像、前記第2画像および前記基準画像に基づいて、前記第1反射率および前記第2反射率を算出するステップと、をさらに含む、検査方法。 - 請求項1~8のいずれか1項記載の検査方法において、
前記画像処理装置が、前記基準波長帯による前記対象物の画像である基準画像を用いて、前記対象物のサイズを判定するステップを含む、検査方法。 - 被検査体に含まれる対象物を撮像することにより検出する検査装置であって、
第1波長帯の光と前記第1波長帯と波長帯が重なりを有する基準波長帯との光を照射可能な照明装置と、
前記被検査体を撮像し、画素信号を出力する撮像装置と、
画像処理装置とを備え、
前記照明装置は、1の撮像時間において、前記第1波長帯の光と前記基準波長帯の光とを前記被検査体に異なるタイミングで照射し、
前記画像処理装置は、前記画素信号に基づいて、前記対象物の、前記第1波長帯における反射率を算出し、前記第1波長帯における前記反射率に基づいて、前記対象物の物性を判定する、検査装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123121A JP2023018822A (ja) | 2021-07-28 | 2021-07-28 | 検査方法および検査装置 |
US17/812,450 US20230030308A1 (en) | 2021-07-28 | 2022-07-14 | Inspection method and inspection apparatus |
CN202210880871.1A CN115682925A (zh) | 2021-07-28 | 2022-07-25 | 检查方法以及检查装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123121A JP2023018822A (ja) | 2021-07-28 | 2021-07-28 | 検査方法および検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023018822A true JP2023018822A (ja) | 2023-02-09 |
Family
ID=85037863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021123121A Pending JP2023018822A (ja) | 2021-07-28 | 2021-07-28 | 検査方法および検査装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230030308A1 (ja) |
JP (1) | JP2023018822A (ja) |
CN (1) | CN115682925A (ja) |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6263291B1 (en) * | 1997-12-11 | 2001-07-17 | Metso Paper Automation Inc. | Method and apparatus for measuring color and/or composition |
DE10027132A1 (de) * | 1999-07-30 | 2001-02-22 | Tokyo Seimitsu Co Ltd | Verfahren und System der Mehrband-UV (ultraviolett)-Lichtillumination von Wafern für optische Mikroskopwaferprüfsysteme und -meßsysteme |
US7573575B2 (en) * | 2005-12-29 | 2009-08-11 | Honeywell International Inc. | System and method for color measurements or other spectral measurements of a material |
JP4899149B2 (ja) * | 2006-02-13 | 2012-03-21 | 株式会社ジェイエイアイコーポレーション | 面順次方式カラーカメラシステム |
JP2010169643A (ja) * | 2009-01-26 | 2010-08-05 | Murata Machinery Ltd | 異物検出装置、異物検出装置を用いた繊維機械、及び異物検出方法 |
JP2011130419A (ja) * | 2009-11-18 | 2011-06-30 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び電子機器 |
AT12076U1 (de) * | 2010-07-27 | 2011-10-15 | Evk Di Kerschhaggl Gmbh | Verfahren, sensoreinheit und maschine zum detektieren von ''zuckerspitzen''-defekten in kartoffeln |
KR101261274B1 (ko) * | 2011-09-09 | 2013-05-07 | 한국표준과학연구원 | 자동 광학 검사 장치 |
CA2841464C (en) * | 2013-02-01 | 2016-10-25 | Centre De Recherche Industrielle Du Quebec | Apparatus and method for scanning a surface of an article |
US9638642B2 (en) * | 2014-11-28 | 2017-05-02 | Centre De Recherce Industrielle Du Quebec | Apparatus and method for optically scanning a surface of an object under adverse external condition |
EP3488249A4 (en) * | 2016-07-25 | 2019-08-07 | Siemens Healthcare Diagnostics Inc. | SYSTEMS, METHODS AND APPARATUS FOR IDENTIFYING A SAMPLE CONTAINER CAP |
JP6864549B2 (ja) * | 2017-05-09 | 2021-04-28 | 株式会社キーエンス | 画像検査装置 |
US11598632B2 (en) * | 2018-04-25 | 2023-03-07 | Dentlytec G.P.L. Ltd. | Properties measurement device |
JP2020094955A (ja) * | 2018-12-14 | 2020-06-18 | セイコーエプソン株式会社 | 欠陥検出装置、及び欠陥検出方法 |
US11610390B2 (en) * | 2019-05-15 | 2023-03-21 | Getac Technology Corporation | System for detecting surface type of object and artificial neural network-based method for detecting surface type of object |
JP2021048464A (ja) * | 2019-09-18 | 2021-03-25 | ソニーセミコンダクタソリューションズ株式会社 | 撮像デバイス、撮像システム及び撮像方法 |
CN115398214A (zh) * | 2020-02-05 | 2022-11-25 | 斯玛特克斯欧洲一人有限公司 | 用于缺陷检测的系统和方法 |
EP4150329A2 (en) * | 2020-05-12 | 2023-03-22 | Smartex Europe, Unipessoal Lda. | Systems and methods for material illumination |
FI129971B (en) * | 2020-06-24 | 2022-11-30 | Procemex Oy Ltd | The intelligent synchronization method of the web monitoring system |
WO2022163421A1 (ja) * | 2021-01-26 | 2022-08-04 | パナソニックIpマネジメント株式会社 | 検査対象に含まれる異物を検出する方法および装置 |
JP2023001540A (ja) * | 2021-06-21 | 2023-01-06 | パナソニックIpマネジメント株式会社 | 検査方法および検査装置 |
US20230194599A1 (en) * | 2021-12-20 | 2023-06-22 | Battelle Memorial Institute | Technologies for verifying and validating electronic devices using electroluminescence |
-
2021
- 2021-07-28 JP JP2021123121A patent/JP2023018822A/ja active Pending
-
2022
- 2022-07-14 US US17/812,450 patent/US20230030308A1/en active Pending
- 2022-07-25 CN CN202210880871.1A patent/CN115682925A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230030308A1 (en) | 2023-02-02 |
CN115682925A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4707605B2 (ja) | 画像検査方法およびその方法を用いた画像検査装置 | |
JP4491391B2 (ja) | 欠陥検査装置及び欠陥検査方法 | |
CN108090890B (zh) | 检查装置以及检查方法 | |
JP5068731B2 (ja) | 表面疵検査装置、表面疵検査方法及びプログラム | |
JP2012026858A (ja) | 円筒容器の内周面検査装置 | |
JP2012027810A (ja) | 機能性検査装置 | |
WO2018168510A1 (ja) | 円筒体表面検査装置および円筒体表面検査方法 | |
JP2015094644A (ja) | 卵の外観検査装置および方法 | |
JP2023018822A (ja) | 検査方法および検査装置 | |
US20220405904A1 (en) | Inspection method and inspection apparatus | |
JP4094399B2 (ja) | 鋼板の疵検査方法およびその装置 | |
JP4015436B2 (ja) | 金めっき欠陥検査装置 | |
WO2023105849A1 (ja) | 検査方法および検査装置 | |
US20210390684A1 (en) | Inspection method and inspection machine | |
JP2010038759A (ja) | 表面欠陥の検査方法、表面欠陥検査装置、鋼板の製造方法、及び鋼板の製造装置 | |
JP2001124538A (ja) | 物体表面の欠陥検査方法および欠陥検査装置 | |
JPH04216445A (ja) | 瓶検査装置 | |
JP2009042022A (ja) | 画像検査装置 | |
US8879055B1 (en) | Inspection method and inspection apparatus | |
JPH0711414B2 (ja) | ガラスびんの偏肉検査方法 | |
JP5380223B2 (ja) | 円形レンズの検査装置及び方法 | |
JP2010210572A (ja) | 印刷物の検査方法及びその検査装置 | |
JP4822468B2 (ja) | 欠陥検査装置、欠陥検査方法、及びパターン基板の製造方法 | |
JP2017181136A (ja) | 表面欠陥検出方法および表面欠陥検出装置 | |
JP2004163176A (ja) | 表面検査方法及び表面検査装置 |