JP2021196242A - 検出方法および検出装置 - Google Patents

検出方法および検出装置 Download PDF

Info

Publication number
JP2021196242A
JP2021196242A JP2020102355A JP2020102355A JP2021196242A JP 2021196242 A JP2021196242 A JP 2021196242A JP 2020102355 A JP2020102355 A JP 2020102355A JP 2020102355 A JP2020102355 A JP 2020102355A JP 2021196242 A JP2021196242 A JP 2021196242A
Authority
JP
Japan
Prior art keywords
image
images
inspected
inspection device
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020102355A
Other languages
English (en)
Other versions
JP7531134B2 (ja
Inventor
伸也 中嶋
Shinya Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020102355A priority Critical patent/JP7531134B2/ja
Priority to US17/338,594 priority patent/US20210390684A1/en
Priority to CN202110639747.1A priority patent/CN113804705A/zh
Priority to DE102021114705.0A priority patent/DE102021114705A1/de
Publication of JP2021196242A publication Critical patent/JP2021196242A/ja
Priority to JP2024113197A priority patent/JP2024128119A/ja
Application granted granted Critical
Publication of JP7531134B2 publication Critical patent/JP7531134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】複数のイメージセンサを用いた検査装置および検査方法において、被検査体における対象物の検出再現性および検出確率を向上させる。【解決手段】本検査装置は、シートSを撮像するイメージセンサ101〜116と、シートSに光を照射する照明装置2と、イメージセンサ101〜116の出力から、対象物Eの画像を生成する画像処理装置7とを備える。画像処理装置7は、イメージセンサ101〜116の出力に基づいて、シートSの所定範囲の画像を共通に含む取込画像Pa〜Pdを生成する。画像処理装置7は、生成した取込画像Pa〜Pdごとに、シートSにおける対象物Eの画像を抽出する。画像処理装置7は、抽出した対象物Eの画像同士を、当該画像に映る対象物Eの特徴量に基づいて、関連付ける。画像処理装置7は、関連付けた対象物Eの画像同士を合成する。【選択図】図7

Description

本発明は、複数のイメージセンサを用いた、被検査体の検査装置および検査方法に関して、被検査体における対象物の検出再現性および検出確率を向上させるものである。
半導体、電子デバイス、2次電池などのデバイス分野において、光電変換型のイメージセンサを用いて、被検査体における対象物(異物や欠陥など)を検出する欠陥検出装置が知られている。
近年、これらの分野において、製品の高精度化、小型化により被検査体における異物や欠陥のサイズが、小さくなっている。また、生産の効率化や品質改善が要求されており、これに伴い、製造工程の高速化や歩留まり向上などが求められている。製造工程の高速化や歩留まり向上のために、イメージセンサの高分解能化や高応答性が求められている。
しかし、高分解能かつ高応答性のイメージセンサの製作には、多大な開発費、開発期間が必要となる。このため、特許文献1では、複数のイメージセンサを並べて、同時に処理することで、高速な検出器を実現している。
特許5172162号公報
ところで、特許文献1では、対象物の検出を正確に行うために、イメージセンサから出力される複数の画像を合成して、高精細な画像を生成していている。特許文献1では、イメージセンサの配置に基づいて、複数の画像の位置をそれぞれオフセット(補正)した後に、画像の合成が行われる。
しかし、例えば、照明装置が照射する光の方向が一定となっていない場合や、被検査体が立体的である場合など、被検査体に対する光の当たり方が一定とならないことがある。このような場合、イメージセンサから出力される複数の画像において、対象物の位置が大きくずれてしまうおそれがある。このため、イメージセンサの配置に基づいて複数の画像の位置をそれぞれ補正することにより、対象物の位置のずれを補正することができず、対象物を検出できない可能性がある。
特に、被検査体が搬送されている際に、被検査体の検査が行われる場合、対象物の位置のずれが発生しやすい。
本発明は、複数のイメージセンサを用いた検査装置および検査方法において、被検査体における対象物の検出再現性および検出確率を向上させることを目的とする。
上記の目的を達成するために、本発明の一実施形態に係る検査装置は、被検査体における対象物のサイズを検出することにより、前記被検査体を検査する検査装置であって、前記被検査体を撮像する複数のイメージセンサと、前記被検査体に光を照射する照明装置と、前記複数のイメージセンサの出力から、前記対象物の画像を生成する画像処理装置とを備える。前記画像処理装置は、前記複数のイメージセンサの出力に基づいて、前記被検査体の所定範囲の画像を共通に含む複数の取込画像を生成し、生成した複数の取込画像ごとに、前記被検査体における対象物の画像を抽出し、抽出した前記対象物の画像同士を、当該画像に映る前記対象物の特徴量に基づいて、関連付け、関連付けた前記対象物の画像同士を合成する。
本発明によると、複数のイメージセンサを用いた検査装置および検査方法において、被検査体における対象物のサイズ(大きさ)を正確に検出することができるため、被検査体における対象物の検出再現性および検出確率を向上させることができる。
本実施形態に係る検査装置の側面図。 本実施形態に係る検査装置の平面図。 本実施形態に係る撮像装置におけるイメージセンサの配置の例を示す平面図。 本実施形態に係る画像処理装置における画像生成方法の流れを説明するためのフローチャート。 本実施形態に係る画像処理装置における画像生成方法を説明するための図。 本実施形態に係る画像処理装置における画像生成方法を説明するための図。 本実施形態に係る画像処理装置における対象物の画像の抽出方法および対象物の画像の合成方法の流れを説明するためのフローチャート。 本実施形態に係る画像処理装置における対象物の画像の合成方法を説明するための図。 本実施形態に係る検査装置および従来の検査装置が出力する対象物の合成画像を比較した図。 本実施形態に係る検査装置におけるセンサの種類と動画の種類と光学系との関係を説明するための図。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物あるいはその用途を制限することを意図するものでは全くない。
図1は本実施形態に係る検査装置の側面図を示し、図2は本実施形態に係る検査装置の平面図を示す。図1および図2に示すように、本検査装置は、撮像装置1と、照明装置2と、ローラ3〜5と、ロータリーエンコーダ6と、画像処理装置7とを備える。ローラ3〜5の外周には、搬送ベルト8が巻き付けられている。
本検査装置は、シート状に構成されたシートS(被検査体)の検査を行う。具体的に、本検査装置は、シートSにおける対象物を検出する。ここでは、本検査装置は、対象物としてシートSにおける欠陥や異物を検出する。この欠陥には、例えば、検査対象のシートSにおけるショートや断線などの、シートSの生産時の不備部分や不足部分だけではなく、シートSの損傷(例えば、シートSが他の部材に接触することによるスクラッチ痕)なども含まれる。本検査装置は、検出した対象物が所定のサイズより大きい場合、シートSに対象物が含まれていると判定する。シートSは、搬送ベルト8に載置された状態で、図1および図2の実線で示された矢印の方向に搬送される。
撮像装置1は、複数のイメージセンサを備え、搬送ベルト8によって搬送されているシートSを撮影する。ここでは、撮像装置1は、ローラ4,5の間において、シートSを撮影するラインセンサとして構成される。撮像装置1は、イメージセンサから出力される画素信号を、画像処理装置7に送信する。なお、以下の説明において、撮像装置1の走査方向をX方向、撮像装置1の副走査方向をY方向、X方向およびY方向に垂直な方向をZ方向とする。
照明装置2は、例えば、LED、レーザ、ハロゲン光源などで構成された光源を有し、ローラ4,5の間において、撮像装置1の走査領域(シートS)に対して光の照射を行う。具体的に、照明装置2は、光の照射方向が搬送ベルト8に対して角度10°程度の傾くように設置される。すなわち、撮像装置1および照明装置2は、暗視野光学系で構成される。
ローラ3は、図略の駆動機構によって回転することで、搬送ベルト8を駆動して、シートSを図面の実線矢印方向に搬送する。
ローラ5は、図略の駆動機構により、搬送ベルト8をX方向(図2における破線の矢印方向)に所定の速度で蛇行させる。搬送ベルト8をX方向に蛇行させることにより、本検査装置による検査後の工程におけるシートSの位置の合わせが行われる。
ロータリーエンコーダ6は、ローラ4の回転速度を検出して、搬送ベルト8によって搬送されるシートSの移動量を検出する。ロータリーエンコーダ6は、検出したシートSの移動量を画像処理装置7に送信する。
画像処理装置7は、例えば、コンピュータであり、撮像装置1から受信した画素信号およびロータリーエンコーダ6が検出したシートSの移動量に基づいて、後述する画像生成方法により、複数の取込画像を生成する。画像処理装置7は、後述する対象物の抽出方法により、生成された複数の取込画像から対象物Eの画像を抽出する。画像処理装置7は、後述する画像合成方法により、抽出した対象物Eの画像を合成して、対象物Eの合成画像を生成する。
(撮像装置について)
図3は、本実施形態に係る撮像装置におけるイメージセンサの配置の例を示す平面図である。図3に示すように、撮像装置1は、イメージセンサ101〜116を備える。イメージセンサ101〜116は、それぞれ、複数の画素で構成されている。
ここでは、画像処理装置7が4つの画像から対象物の合成画像を生成する場合を例として説明する。本実施形態では、合成画像における1画素の、X方向における分割数nxが2、Y方向における分割数nyが2とする。また、イメージセンサ101〜116を構成する各画素の、X方向における分解能xは42.3μm、Y方向における分解能yは、42.3μmとする。また、イメージセンサ101〜116は、それぞれ、X方向が432画素(18273.6μm)であり、Y方向が1画素(42.3μm)である。
イメージセンサ105は、イメージセンサ101を基準として、Y方向に距離y1となる位置に配置される。距離y1は、y/ny+a×yとなる。aは、係数(0以上の整数)である。ここでは、a=94とする。このため、距離y1=3997.35μmとなる。
イメージセンサ109は、イメージセンサ101を基準として、Y方向に距離y2となり、X方向に距離x1となる位置に配置される。距離y2は、0+b×yとなる。bは、係数(0以上の整数)である。ここでは、b=189とする。このため、距離y2=7994.7μmとなる。また、距離x1は、x/nx+c×xとなる。cは、係数(0以上の整数)である。ここでは、c=0とする。このため、距離x1=21.15μmとなる。
イメージセンサ113は、イメージセンサ101を基準として、Y方向に距離y3となり、X方向に距離x1となる位置に配置される。距離y3は、y/ny+d×yとなる。dは、係数(0以上の整数)である。ここでは、d=283とする。このため、距離y3=11992.05μmとなる。
以上の構成により、イメージセンサ105は、イメージセンサ101に対して、Y方向に0.5画素分ずれるように配置される。イメージセンサ109は、イメージセンサ101に対して、X方向に0.5画素分ずれるように配置される。イメージセンサ113は、イメージセンサ101に対して、X方向およびY方向に、それぞれ、0.5画素分ずれるように配置される。
同様に、イメージセンサ106,107,108は、イメージセンサ102,103,104を基準として、Y方向に距離y1となる位置にそれぞれ配置される。イメージセンサ110,111,112は、イメージセンサ102,103,104を基準として、Y方向に距離y2となり、X方向に距離x1となる位置にそれぞれ配置される。イメージセンサ114,115,116は、イメージセンサ102,103,104を基準として、Y方向に距離y3となり、X方向に距離x1となる位置にそれぞれ配置される。
また、イメージセンサ102は、X方向において、一部がイメージセンサ101と重なるように配置される。ここでは、イメージセンサ102は、X方向において、イメージセンサ101と423μm(10画素分)重なっている。また、Y方向において、イメージセンサ101に対して距離y4(本例では、21画素)となる位置に配置される。このため、イメージセンサ102は、イメージセンサ101を基準として、X方向に17850.6μm(422画素)の距離に、Y方向に−888.3μm(21画素)の距離に配置される。
イメージセンサ103は、X方向において、一部がイメージセンサ102と重なるように配置される。ここでは、イメージセンサ103は、X方向において、イメージセンサ102と423μm(10画素分)重なっている。また、Y方向において、イメージセンサ102に対して距離y4(21画素)となる位置に配置される。このため、イメージセンサ103は、イメージセンサ102を基準として、X方向に17850.6μm(422画素)の距離に、Y方向に888.3μm(21画素)の距離に配置される。また、Y方向において、イメージセンサ102に対して距離y4(21画素)となる位置に配置される。イメージセンサ104は、X方向において、一部がイメージセンサ103と重なるように配置される。ここでは、イメージセンサ104は、X方向において、イメージセンサ103と423μm(10画素分)重なっている。また、Y方向において、イメージセンサ103に対して距離y4(21画素)となる位置に配置される。このため、イメージセンサ104は、イメージセンサ103を基準として、X方向に17850.6μm(422画素)の距離に、Y方向に−888.3μm(21画素)の距離に配置される。
同様に、イメージセンサ106,110,114は、イメージセンサ105,109,113を基準として、X方向に422画素の距離、Y方向に−21画素の距離にそれぞれ配置される。イメージセンサ107,111,115は、イメージセンサ106,110,114を基準として、X方向に422画素の距離、Y方向に21画素の距離にそれぞれ配置される。イメージセンサ108,112,116は、イメージセンサ107,111,115を基準として、X方向に422画素の距離、Y方向に−21画素の距離にそれぞれ配置される。
(取込画像の生成方法について)
図1〜図6を参照しつつ、画像処理装置における画像生成方法について説明する。図4は画像処理装置における画像生成方法の流れを説明するためのフローチャートであり、図5および図6は画像処理装置における画像生成方法を説明するための図である。具体的に、図5(a)は搬送ベルト上のマーカ位置を示す平面図であり、図5(b)は撮像装置1からの信号に基づいて生成された取込画像であり、図6(a)はY方向にオフセットされた取込画像であり、図6(b)はX方向にオフセットされた取込画像である。
ステップS1において、画像処理装置7は、撮像装置1から受信した画素信号(イメージセンサ101〜116から出力された画素信号)、および、ロータリーエンコーダ6が検出したシートSの移動量に基づいて、シートSの取込画像を生成する。
図5(a)に示すように、搬送ベルト8上に、X方向に延びるマーカL1,L2が形成されている。画像処理装置7は、イメージセンサ101〜116が出力する画素信号を受けて、処理前の取込画像(画像P1〜P16)を生成する。なお、画像P1〜P16は、イメージセンサ101〜116の画素信号のそれぞれに基づいて、生成された画像である。
ステップS2において、画像処理装置7は、マーカL1,L2を基準として、取込画像のY方向の位置をオフセット(補正)する。図5(b)および図6(a)に示すように、画像処理装置7は、マーカL1,L2のY方向の位置が一致するように、画像P1〜P16のY方向の位置を補正する。
ステップS3において、イメージセンサ101〜116の配置に基づいて、取込画像のX方向の位置をオフセット(補正)する。図6(a),(b)に示すように、イメージセンサ101〜116のX方向の配置(X方向の重なり)に基づいて、画像P1〜P16のX方向の位置を補正(オフセット)する。例えば、イメージセンサ101,102は、X方向において、10画素分、互いに重なっているため、画像処理装置7は、画像P1,P2を、10画素分、X方向に重ね合わせる。このとき、画像P1,P2の重なる部分は、いずれか一方の輝度階調とするか、または、双方を平均化した輝度階調とする。
ここでは、画像処理装置7は、画像P1〜P4,P5〜P8,P9〜P12,P13〜P16を、10画素分、それぞれX方向に重ね合わせる。
ステップS4において、画像処理装置7は、X方向に重ね合わせた画像P1〜P4,P5〜P8,P9〜P12,P13〜P16において、座標原点Oa,Ob,Oc,Odのそれぞれを基準とした所定領域(図6(b)における鎖線に囲われた領域)を、取込画像Pa,Pb,Pc,Pdとして抽出(生成)する。座標原点Obは、座標原点Oaに対して、Y方向に1/ny画素(ここでは、Y方向に0.5画素)オフセットされた点である。座標原点Ocは、座標原点Oaに対して、X方向に1/nx画素(ここでは、X方向に0.5画素)オフセットされた点である。座標原点Odは、座標原点Oaに対して、X方向に1/nx画素およびY方向に1/ny画素(ここでは、Y方向に0.5画素およびX方向に0.5画素)オフセットされた点である。
以上の方法により、画像処理装置7は、イメージセンサ101〜116の画素信号に基づいて、4つの取込画像Pa〜Pdを生成する。
(対象物の画像の抽出方法および対象物の画像の合成方法について)
図1〜図9を参照しつつ、画像処理装置における対象物の画像の抽出方法および対象物の画像の合成方法について説明する。図7は画像処理装置における対象物の画像の抽出方法および対象物の画像の合成方法の流れを説明するためのフローチャートであり、図8は画像処理装置における対象物の画像の合成方法を説明するための図である。
次に、画像処理装置7は、取込画像Pa〜Pdに基づいて、対象物Eの画像の抽出および合成を行う。
ステップS5において、画像処理装置7は、画像Pa〜Pdに対して、前処理としてフィルタ処理を行う。例えば、画像処理装置7は、画像Pa〜Pdに対して、メディアンフィルタ処理、平滑化フィルタ処理、比較差分フィルタ処理など、対象物E(欠陥および異物)を強調するフィルタ処理、または、下地の影響を除去するフィルタ処理を行う。
ステップS6において、画像処理装置7は、画像Pa〜Pdに対して、2値化処理を行う。
ステップS7において、画像処理装置7は、対象物Eの第1特徴量に基づいて、画像Pa〜Pdにおける対象物Eの画像を抽出する。例えば、対象物Eの第1特徴量としては、対象物Eの、面積、最大長さ、アスペクト比、縦幅、横幅、2値化閾値(輝度閾値)、輝度階調(最大値、最小値、平均値など)、フィレ径(最大値、最小値など)、主軸の長さ(最大値、最小値など)などが用いられる。また、画像処理装置7は、対象物を含んでいないシートSの画像データを第1特徴量として用いて、当該画像データと画像Pa〜Pdとの比較により、対象物Eの画像を抽出してもよい。また、画像処理装置7は、照明装置2が一定方向に光を照射可能である場合、所定方向の光成分を第1特徴量として用いて、所定方向の光成分が所定値を超えた場合に、対象物Eを抽出してもよい。
画像処理装置7は、所定の画素以上に対象物Eが含まれる場合、対象物Eの画像を抽出する。ここでは、画像処理装置7は、2画素以上に対象物Eが含まれる場合、対象物Eの画像を抽出する。
ステップS8において、画像処理装置7は、対象物Eの第2特徴量(特徴量)に基づいて、抽出した対象物Eの画像の紐付け(関連付け)を行う。対象物Eの第2特徴量としては、対象物Eの、面積、アスペクト比、重心(面積重心、重心の輝度値など)、対象物Eの画像に外接された矩形の中心または重心、輝度階調(最大値、最小値、平均値など)、フィレ径(最大値、最小値など)、主軸の長さ(最大値、最小値など)等である。ここでは、画像処理装置7は、対象物Eの画像の重心(面積重心)に基づいて、対象物Eの画像の紐付けを行う。
図8に示すように、画像処理装置7は、画像Paから対象物E1〜E4を抽出し、画像Pbから対象物E5〜E8を抽出し、画像Pcから対象物E9〜E12を抽出し、画像Pdから対象物E13〜E15を抽出したとする。この場合、画像処理装置7は、対象物E1〜E〜E15のそれぞれの重心G1〜G15に基づいて、対象物E1〜E15の画像の紐付けを行う。具体的に、画像処理装置7は、画像Pa〜Pbを重ね合わせた場合、重心が対応する位置にある対象物Eの画像を紐付ける。
ここでは、画像処理装置7は、対象物Eの重心位置が所定範囲にある場合、対象物Eの画像の紐付けを行う。所定範囲は、5画素(0.1mm)〜50画素(1.0mm)が好ましく、ここでは、16画素(0.32mm)に設定されている。ただし、これに限られず、イメージセンサ101〜116の間の距離設定によって、所定範囲を大きく設定してもよい。
まず、図8では、画像処理装置7は、画像Paの対象物Eの画像と、画像Pb,Pc,Pdの対象物Eの画像の紐付けを行う。具体的に、画像処理装置7は、重心G1の所定範囲内に重心G5,G9,G13が存在するため、対象物E1,E5,E9,E13の画像を紐付ける。画像処理装置7は、重心G2の所定範囲内に重心G6,G10が存在するため、対象物E2,E6,E10の画像を紐付ける。画像処理装置7は、重心G3の所定範囲内に重心G7が存在するため、対象物E3,E7の画像を紐付ける。
次に、画像処理装置7は、画像Pbの対象物の画像と、画像Pc,Pdの対象物の画像との紐付けを行う。画像処理装置7は、重心G8の所定範囲内に重心G11,G15が存在するため、対象物E8,E11,E15の画像を紐付ける。
次に、画像処理装置7は、画像Pcの対象物の画像と、画像Pdの対象物の画像との紐付けを行う。図8では、画像処理装置7は、画像Pc,Pdにおいて、重心が対応する対象物Eの画像のうち、紐付けがされていない対象物Eが存在しないため、対象物Eの画像の紐付けを行わない。
ステップS9において、画像処理装置7は、第3特徴量に基づいて、対象物Eの画像合成を行う。対象物Eの第3特徴量としては、対象物Eの画像の、面積、アスペクト比、重心、および、対象物Eの画像に外接された矩形の重心等である。ここでは、画像処理装置7は、対象物Eの画像の重心に基づいて、対象物Eの画像の画像合成を行う。
具体的に、画像処理装置7は、抽出した対象物Eの画像サイズをX方向およびY方向にそれぞれ2倍化する。そして、画像処理装置7は、紐付けられた対象物Eの画像を、対象物Eの画像の重心(第3特徴量)を中心に重ね合わせて、画素毎の輝度階調を加算し、平均化を行う。
例えば、図8では、画像処理装置7は、対象物E1,E5,E9,E13の画像が紐付けられているため、4枚の画像に基づいて、対象物Eの画像を生成する。
ステップS10において、画像処理装置7は、生成した対象物Eの画像を出力する(例えば、図略のディスプレイ等に表示する)。このとき、画像処理装置7は、合成された対象物Eの画像を出力するとともに、紐付けされていない対象物Eの画像を出力する。図8では、画像処理装置7は、合成された対象物Eの画像として、対象物E1,E5,E9,E13の合成画像と、対象物E2,E6,E10の合成画像と、対象物E8,E11,E15の合成画像を出力し、紐付けされていない対象物Eの画像として、対象物E4の画像と、対象物E12の画像と、対象物E14の画像とを出力する。
図9は本実施形態に係る検査装置および従来の検査装置が出力する対象物の合成画像を比較した図である。具体的に、図9(a)は本実施形態に係る検査装置が出力する対象物の合成画像であり、図9(b)は従来の検査装置が出力する対象物の合成画像である。
従来の検査装置では、画像処理装置7は、上述した取込画像の生成方法により、取込画像Pa〜Pdを生成している。画像処理装置7は、イメージセンサ101〜116の配置に基づいて取込画像Pa〜PdのX方向およびY方向の位置をオフセット(補正)し、取込画像Pa〜Pdを合成した上で、対象物Eの画像を抽出している。
図9(a),(b)に示すように、従来の検査装置よりも、本実施形態に係る検査装置が出力した対象物Eの画像の方が、より鮮明である。従来の検査装置では、イメージセンサの配置によるオフセット(補正)は行われるが、被検査体に対する光の当たり方が考慮されていないため、合成される取込画像ごとの対象物Eの画像の位置がずれてしまい、対象物Eの合成画像が不鮮明となる。これに対して、本実施形態では、取込画像ごとに対象物Eの画像が抽出された後に、対象物Eの重心を中心として、抽出された対象物Eの画像が合成される。これにより、合成される対象物Eの画像の位置のずれを抑えることができるため、対象物Eの合成画像を鮮明にすることができる。
以上の構成により、本検査装置は、シートSにおける対象物Eのサイズを検出することにより、シートSを検査する。本検査装置は、シートSを撮像するイメージセンサ101〜116と、シートSに光を照射する照明装置2と、イメージセンサ101〜116の出力から、対象物Eの画像を生成する画像処理装置7とを備える。画像処理装置7は、イメージセンサ101〜116からの出力に基づいて、シートSの所定範囲の画像を共通に含む取込画像Pa〜Pdを生成する。画像処理装置7は、生成した取込画像Pa〜Pdごとに、シートSにおける対象物Eの画像を抽出する。画像処理装置7は、抽出した対象物Eの画像同士を、当該画像に映る対象物Eの重心(特徴量)に基づいて、紐付ける(関連付ける)。そして、画像処理装置7は、紐付けられた対象物Eの画像同士を合成する。
イメージセンサ101〜116の配置に基づいて、取込画像Pa〜Pdを合成した場合、シートSに対する光の当たり方によって、取込画像Pa〜Pdごとの対象物Eの位置が大きくずれてしまうおそれがある。このため、イメージセンサの位置による取込画像Pa〜Pdの補正により、対象物Eの位置のずれを補正することができず、対象物Eが検出できないおそれがある。これに対して、本検査装置では、対象物Eの画像が取込画像Pa〜Pdごとに抽出され、抽出された対象物Eの画像同士が特徴量に基づいて関連付けられて、合成される。これにより、取込画像Pa〜Pdごとの対象物Eの位置のずれを抑えることができるため、対象物Eの画像の合成を正確に行うことができ、被検査体における対象物のサイズ(大きさ)を正確に検出することができる。したがって、被検査体(シートS)における対象物(異物または欠陥)の検出再現性および検出確率を向上させることができる。
また、画像処理装置7は、紐付けられていない(関連付けられていない)対象物Eの画像を他の対象物Eの画像と合成せずに出力する。これにより、被検査体(シートS)における対象物の検出再現性および検出確率を向上させることができる。
また、イメージセンサ101〜116は、それぞれが、X方向の分解能をxとし、Y方向の分解能をyとする。この場合、イメージセンサ101〜104,105〜108,109〜112,113〜116は、それぞれ、X方向に(1/nx)+mx画素ごとに並んで配置されている。イメージセンサ101,105,109,113は、Y方向に(1/ny)+py画素ごとに並んで配置されている。イメージセンサ102,106,110,114は、Y方向に(1/ny)+py画素ごとに並んで配置されている。イメージセンサ103,107,111,115は、Y方向に(1/ny)+py画素ごとに並んで配置されている。イメージセンサ104,108,112,116は、Y方向に(1/ny)+py画素ごとに並んで配置されている。ただし、nxはX方向における画素の分割数であり、nyはY方向における画素の分割数であり、m,pは整数の係数である。これにより、1画素が、X方向に分割数nxに分割され、Y方向に分割数nyに分割されるため、撮像装置のX方向およびY方向の分解能を向上させることができる。
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
なお、上記実施形態において、撮像装置1および照明装置2は暗視野光学系で構成されているが、明視野光学系で構成されてもよい。また、撮像装置1は、ラインセンサとして構成されているが、エリアセンサとして構成されてもよい。また、画像処理装置7は、イメージセンサ101〜116から出力される画素信号から動画を生成してもよいし、静止画を生成してもよい。
図10は本実施形態に係る検査装置におけるセンサの種類と動画の種類と光学系との関係を説明するための図である。図10に示すように、本検査装置は、撮像装置1および照明装置2が暗視野光学系で構成されている場合に、最も鮮明な対象物Eの合成画像を生成することができる。これは、撮像装置1および照明装置2が暗視野光学系で構成された場合、シートSに対する光の当たり方に最もばらつきが生じるためであると考えられる。なお、照明装置2が明視野光学系で構成されていても本検査装置と同様の効果を得ることができるし、イメージセンサから動画を生成しても同様の効果を得ることができる。
また、撮像装置1のイメージセンサは、上述した配置に限られない。また、撮像装置1のイメージセンサの数は、上述した数に限られない。
また、各イメージセンサを構成する画素数は、上述した画素数に限られない。
また、画像処理装置7が生成する取込画像は、4枚に限られない。画像処理装置7は、少なくとも2枚の取込画像を生成ればよい。
また、本検査装置が検査する被検査体は、シート状に構成されたものに限られない。
本発明の検査装置は、半導体、電子デバイス、2次電池などに用いられる部材含まれる異物や欠陥などの検査に用いることができる。
1 撮像装置
101〜116 イメージセンサ
3〜5 ローラ
7 画像処理装置
8 搬送ベルト
Pa〜Pd 取込画像
E 対象物

Claims (8)

  1. 被検査体における対象物のサイズを検出することにより、前記被検査体を検査する検査装置であって、
    前記被検査体を撮像する複数のイメージセンサと、
    前記被検査体に光を照射する照明装置と、
    前記複数のイメージセンサの出力から、前記対象物の画像を生成する画像処理装置と
    を備え、
    前記画像処理装置は、
    前記複数のイメージセンサの出力に基づいて、前記被検査体の所定範囲の画像を共通に含む複数の取込画像を生成し、
    生成した複数の取込画像ごとに、前記被検査体における対象物の画像を抽出し、
    抽出した前記対象物の画像同士を、当該画像に映る前記対象物の特徴量に基づいて、関連付け、
    関連付けた前記対象物の画像同士を合成する
    ことを特徴とする検査装置。
  2. 請求項1記載の検査装置において、
    前記画像処理装置は、他の前記対象物の画像と関連付けられていない前記対象物の画像を、他の前記対象物の画像と合成せずに出力することを特徴とする検査装置。
  3. 請求項1または2記載の検査装置において、
    前記特徴量は、当該画像に映る前記対象物の、面積、アスペクト比、重心、前記対象物に外接された矩形の中心および重心、輝度階調、フィレ径ならびに主軸の長さのいずれか一つを含むことを特徴とする検査装置。
  4. 請求項1〜3のいずれか1項記載の検査装置において、
    前記複数のイメージセンサは、それぞれが、前記被検査体を走査する方向である走査方向の分解能をxとし、前記走査方向と垂直をなす方向である副走査方向の分解能をyとした場合、前記走査方向に(1/nx)+mx画素ごとに並んで配置されており、前記副走査方向に(1/ny)+py画素ごとに並んで配置されていることを特徴とする検査装置。ただし、nxは前記走査方向における画素の分割数であり、nyは前記副走査方向における画素の分割数であり、m,pは整数の係数である。
  5. 請求項1〜4のいずれか1項記載の検査装置において、
    前記複数のイメージセンサが前記被検査体を走査する方向である走査方向と垂直をなす副走査方向に、前記被検査体を搬送する搬送ベルトと、
    前記走査方向に、前記搬送ベルトを蛇行させる駆動機構と
    を備えることを特徴とする検査装置。
  6. 請求項5記載の検査装置において、
    前記複数のイメージセンサは、前記被検査体が前記搬送ベルトにより前記副走査方向に搬送されている際に、前記被検査体を走査することを特徴とする検査装置。
  7. 請求項1〜6のいずれか1項記載の検査装置において、
    前記イメージセンサおよび前記照明装置は、暗視野光学系で構成されていることを特徴とする検査装置。
  8. 被検査体を撮像する複数のイメージセンサと、前記被検査体に光を照射する照明装置と前記複数のイメージセンサの出力から、前記被検査体における対象物の画像を生成する画像処理装置とを備えた検査装置を用いて、前記被検査体における前記対象物のサイズを検出することにより、前記被検査体を検査する検査方法であって、
    前記複数のイメージセンサの出力に基づいて、前記被検査体の所定範囲の画像を共通に含む複数の取込画像を生成するステップと、
    生成した複数の取込画像ごとに、前記被検査体における対象物の画像を抽出するステップと、
    抽出した前記対象物の画像同士を、当該画像に映る前記対象物の特徴量に基づいて、関連付けるステップと、
    関連付けた前記対象物の画像同士を合成するステップと
    を含むことを特徴とする検査方法。
JP2020102355A 2020-06-12 2020-06-12 検出方法および検出装置 Active JP7531134B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020102355A JP7531134B2 (ja) 2020-06-12 2020-06-12 検出方法および検出装置
US17/338,594 US20210390684A1 (en) 2020-06-12 2021-06-03 Inspection method and inspection machine
CN202110639747.1A CN113804705A (zh) 2020-06-12 2021-06-08 检查方法以及检查装置
DE102021114705.0A DE102021114705A1 (de) 2020-06-12 2021-06-08 Inspektionsverfahren und inspektionsmaschine
JP2024113197A JP2024128119A (ja) 2020-06-12 2024-07-16 検出方法および検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102355A JP7531134B2 (ja) 2020-06-12 2020-06-12 検出方法および検出装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024113197A Division JP2024128119A (ja) 2020-06-12 2024-07-16 検出方法および検出装置

Publications (2)

Publication Number Publication Date
JP2021196242A true JP2021196242A (ja) 2021-12-27
JP7531134B2 JP7531134B2 (ja) 2024-08-09

Family

ID=78718879

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020102355A Active JP7531134B2 (ja) 2020-06-12 2020-06-12 検出方法および検出装置
JP2024113197A Pending JP2024128119A (ja) 2020-06-12 2024-07-16 検出方法および検出装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024113197A Pending JP2024128119A (ja) 2020-06-12 2024-07-16 検出方法および検出装置

Country Status (4)

Country Link
US (1) US20210390684A1 (ja)
JP (2) JP7531134B2 (ja)
CN (1) CN113804705A (ja)
DE (1) DE102021114705A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555250B1 (ko) * 2021-02-03 2023-07-14 (주)인스케이프 이차전지 외관 검사 장치 및 외관 검사 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05172162A (ja) 1991-12-19 1993-07-09 Toyota Motor Corp 半自動変速装置の制御装置
JP2003329601A (ja) 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd 欠陥検査装置及び欠陥検査方法
JP2010151824A (ja) 2005-01-14 2010-07-08 Hitachi High-Technologies Corp パターン検査方法及びその装置
JP5172162B2 (ja) 2006-08-25 2013-03-27 株式会社日立ハイテクノロジーズ 欠陥検査装置
JP4726983B2 (ja) 2009-10-30 2011-07-20 住友化学株式会社 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
JP5417306B2 (ja) 2010-11-29 2014-02-12 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP5997039B2 (ja) 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP6009956B2 (ja) 2013-01-31 2016-10-19 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
JP6312991B2 (ja) * 2013-06-25 2018-04-18 株式会社東芝 画像出力装置
US11943570B2 (en) * 2019-12-10 2024-03-26 Uveye Ltd. Imaged target detection verification

Also Published As

Publication number Publication date
JP7531134B2 (ja) 2024-08-09
CN113804705A (zh) 2021-12-17
US20210390684A1 (en) 2021-12-16
JP2024128119A (ja) 2024-09-20
DE102021114705A1 (de) 2021-12-16

Similar Documents

Publication Publication Date Title
JP5585228B2 (ja) 画像検査装置、画像検査方法、及び画像形成装置
JP2024128119A (ja) 検出方法および検出装置
JP2005127989A (ja) 傷検出装置および傷検出プログラム
JP2010078485A (ja) 印刷物の検査方法
US20220405904A1 (en) Inspection method and inspection apparatus
US20240320849A1 (en) Inspecting method and inspecting device
KR20240067222A (ko) 시트 형상물의 요철 측정 장치, 시트 형상물의 요철 측정 방법
JP2006177852A (ja) 表面検査装置、およびその方法
JP4884540B2 (ja) 基板検査装置及び基板検査方法
JP2015059854A (ja) 欠陥検査方法及び欠陥検査装置
JP4563184B2 (ja) ムラ欠陥の検査方法および装置
JP2012247278A (ja) すき入れ位置検査方法
JP2011112593A (ja) 印刷物の検査方法及び検査装置
JP5380223B2 (ja) 円形レンズの検査装置及び方法
JP2005009981A (ja) 重畳物の重畳状態の検査方法及び検査装置
JP2005274325A (ja) 金属帯の光学式欠陥検査方法
CN115682925A (zh) 检查方法以及检查装置
JP2000348174A (ja) カード検査装置
JP2006138768A (ja) 印刷物の検査方法
JP6288218B2 (ja) エッジ位置検出装置、搬送装置、画像形成装置及びエッジ位置検出方法
JP2014126464A (ja) 検査装置及び検査方法
JP2024010293A (ja) 表面検査装置及びそれを用いた検出処理方法
JP5962587B2 (ja) 検出装置および検出方法
JP5750971B2 (ja) 欠陥検査装置
JP2021124402A (ja) 基板の検査装置、基板の検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240717

R150 Certificate of patent or registration of utility model

Ref document number: 7531134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150