JP2021167812A - 可変拡散板を利用した光学システム - Google Patents

可変拡散板を利用した光学システム Download PDF

Info

Publication number
JP2021167812A
JP2021167812A JP2021062089A JP2021062089A JP2021167812A JP 2021167812 A JP2021167812 A JP 2021167812A JP 2021062089 A JP2021062089 A JP 2021062089A JP 2021062089 A JP2021062089 A JP 2021062089A JP 2021167812 A JP2021167812 A JP 2021167812A
Authority
JP
Japan
Prior art keywords
inspected
light
processor
image data
variable diffuser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021062089A
Other languages
English (en)
Other versions
JP7399906B2 (ja
Inventor
宋基永
Kiyoung Song
趙訓民
Hunmin Cho
林鐘奎
Jonggyu Im
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of JP2021167812A publication Critical patent/JP2021167812A/ja
Priority to JP2023206280A priority Critical patent/JP2024020622A/ja
Application granted granted Critical
Publication of JP7399906B2 publication Critical patent/JP7399906B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0205Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/021Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures
    • G02B5/0226Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures having particles on the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8812Diffuse illumination, e.g. "sky"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0634Diffuse illumination
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1334Constructional arrangements; Manufacturing methods based on polymer dispersed liquid crystals, e.g. microencapsulated liquid crystals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検査対象物体の表面における欠陥をより効率的に検出する検査装置を提供する。
【解決手段】本開示の一実施例に基づき、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置が図示される。前述の欠陥検査装置は、前述の検査対象物体に光を照射するための光源と、前述の光源と検査対象物体との間に位置し、検査対象物体に投光される光の拡散度を調節できる可変ディフューザーと、を含む照明計、及び前述の検査対象物体の特徴に基づき、前述の可変ディフューザーを制御する1つ以上のプロセッサー、を含むことができる。
【選択図】図1

Description

本発明は欠陥検査装置に関し、より具体的には検査対象となる物体の表面に欠陥があるか否かを検査するための装置に関するものである。
工場におけるある製品の生産過程において、機械、工程、またはその他の事由によりオブジェクトに欠陥が生じる場合がある。工場では一般的に製品の生産が完了し出庫する前に、当該製品に欠陥がないかを確認するプロセスを設けている。
そして最近当業界において、工程の時間短縮を図り、検査対象物の欠陥を迅速に検査するためにコンピュータービジョンを活用して検査対象物の良否を判定する技術が導入されている。
ただし、従来に技術に基づくコンピュータービジョン技術は、拡散板が付着されている状態の照明計だけを使うため、照明の散乱がひどく、ツルツルとした表面やツヤツヤとして表面、または、光沢のある表面等を持つ検査対象物を検査するとき、微細スクラッチ(c)、段差、凹み等の表面欠陥認識率が低いという弱点がある。
大韓民国登録特許第10-1517929号(発明の名称:ノンストップ部品検査が可能な高速ロボットビジョン装置)においては、検査対象物の外側に配置された多関節ロボットを利用し、前述の検査対象物を撮影し、撮影された動画のイメージから検査対象物の良否を判定する装置が開示されている。
本開示は、前述の背景技術に対応して案出され、検査対象物体の表面における欠陥をより効率的に検出する検査装置を提供することを目的とする。
前述のような課題を実現するための本開示の一実施例における検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、前述の検査対象物体に光を照射するための光源と、前述の光源と検査対象物体の間に位置し、検査対象物体に投光される光の拡散度を調節できる可変ディフューザーと、を含む照明計、及び前述の検査対象物体の特徴に基づき、前述の可変ディフューザーを制御する1つ以上のプロセッサー、を含むことができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置の前述の可変ディフューザーは、前述のプロセッサーの電気信号に沿って、前述の可変ディフューザーを通過する光の拡散度が調節されることができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置の前述の可変ディフューザーは、前述のプロセッサーの電気信号に沿って、透明度が調節される液晶フィルムを含むことができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置の前述の可変ディフューザーは、前述のプロセッサーの制御信号に沿って、配置状態が調節されるディフューザーになり得る。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置の前述の可変ディフューザーは、前述のプロセッサーの制御信号に沿って、対象物体の表面に対し領域によって投光される光の拡散度が変わるように調節することができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、画像データを獲得するための撮影部、をさらに含み、前述のプロセッサーは、前述の獲得された画像データから検査対象物体を認識して認識された物体に基づき、検査対象物体に投光される光の拡散度を決め、それに沿って前述の可変ディフューザーを制御することができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、画像データを獲得するための撮影部、をさらに含み、前述のプロセッサーは、前述の獲得された画像データから検査対象物体の表面における光の反射度に基づき、前述の検査対象物体に投光される光の拡散度を決め、それに沿って前述の可変ディフューザーを制御することができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、画像データを獲得するための撮影部、をさらに含み、前述のプロセッサーは、前述の撮影部から獲得された画像データから検査対象物体を認識する動作;及び前述の認識において、検査対象物体の表面の少なくとも一領域において求められる光の拡散度が残りの他の領域と異なる場合、前述の可変ディフューザーを領域別に制御したり、または前述の可変ディフューザーが少なくとも互いに異なる2つの透明度を持つように制御する動作を含むことができる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、画像データを獲得するための撮影部と、ディープラーニングに基づくモデルを保存するメモリーと、をさらに含み、前述のプロセッサーは、前述の可変ディフューザーの透明度に係る1つ以上の画像データを前述のディープラーニングに基づくモデルの1つ以上のサブモデルを利用して前述の画像データに含まれた検査対象物体の欠陥を判断できる。
代替の実施例において、検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置は、画像データを獲得するための撮影部と、ディープラーニングに基づくモデルを保存するメモリーと、をさらに含み、前述のプロセッサーは、前述の可変ディフューザーの透明度が投光される光を拡散させない場合、獲得された非拡散光画像データを前述のディープラーニングに基づくモデルの第1サブモデルに入力させ、前述の画像データに含まれた検査対象物体の欠陥を判断する動作と、前述の可変ディフューザーの透明度が投光される光を拡散させる場合、獲得された拡散光の画像データを前述のディープラーニングに基づくモデルの第2サブモデルに入力させ前述の画像データに含まれた検査対象物体の欠陥を判断することができる。
本開示の他の一実施例における検査対象物体におけるアノマリーの有無を判断するためのコンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。前述のコンピュータープログラムは、欠陥検査装置の1つ以上のプロセッサーにおいて実行される場合、検査対象物体における欠陥の有無を判断するための動作を実行する。
本開示のさらなる一実施例に基づき、欠陥検査装置において実行される検査対象物体の表面における欠陥の有無を検査するための方法が開示される。
本開示は、検査対象物体の表面の欠陥をより効率的に検出する検査装置を提供することができる。
本開示の一実施例に基づき、欠陥検査装置のブロック構成図を図示した図面である。 本開示において定義するエッジフィールド(Edge Field)の概念を説明するための例を図示した図面である。 本開示の一実施例における可変ディフューザーと照明系の例示を図示している。 本開示の一実施例における可変ディフューザーと照明系の例示を図示している。 本開示の一実施例における可変ディフューザーの動作具合による検査対象物体の表面に投光される光を概略化した図面である。 本開示の一実施例における可変ディフューザーの動作具合による検査対象物体の表面に投光される光を概略化した図面である。 本開示の一実施例に基づき、欠陥検査装置に適用される照明計の構成を図示した図面である。 本開示の一実施例に基づき、可変ディフューザーの透明度による光の拡散図を示した図面である。 本開示の一実施例に基づき、プロセッサーが可変ディフューザーの透明度を制御して光の拡散図を調節する方法を示した図面である。 本開示の一実施例に基づき、プロセッサーが可変ディフューザーの配置を制御して光の拡散図を調節する方法を示した図面である。 本開示の一実施例に基づき、欠陥検査装置に使われる可変ディフューザーが領域別に制御される例を示した図面である。 本開示の一実施例に基づき、プロセッサーが可変ディフューザーの透明度を制御した場合に変化した透明度を例示した図面である。 可変ディフューザーの透明度による検査対象物体の表面に闇領域に対する視認性の変化を例示した図面である。 可変ディフューザーの透明度による検査対象物体の表面に闇領域に対する視認性の変化を例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、検査対象物体の表面の特徴に沿って可変ディフューザーの透明度を制御し、それによって獲得され画像データを例示した図面である。 本開示の一実施例に基づき、欠陥検査装置に適用される照明計に含まれた複数の光源の構成を図示した図面である。 本開示における一実施例に基づき、欠陥検査装置の照明計によって検査対象物体の表面に投光された領域によって照度が異なる照明パターンの例を示した図面である。 本開示の他の実施例に基づき、欠陥検査装置に適用される照明計構成の例を示した図面である。 本開示の一実施例における欠陥検査装置に適用される照明計の断面を図示した図面である。 本開示の一実施例における欠陥検査装置が検査対象物体に存在する欠陥の位置を表示した例を示した図面である。 本開示の一実施例におけるコンピューティング装置のブロック構成図である。
以下、本発明の車両用ヘッドアップディスプレイ装置の具体的な実施形態について、図面を参照して説明する。
多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても間違いなく実施されることができる。
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順(procedure)、プロセッサー、オブジェクト、実行スレッド、プログラム、及び/またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。1つ以上のコンポーネントは、プロセッサー及び/または実行スレッドの中に常駐することができ、1つのコンポーネントは1つのコンピューターの中でローカル化されることができ、または2つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ、多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば1つ以上のデータパケットを持つ信号(例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する1つのコンポーネントからのデータ及び/または信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ)によってローカル及び/または遠隔処理等を通じて通信することができる。
用語「または」は、排他的な「または」ではなく、内包的な「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「XはAまたはBを利用する」は、自然な内包的置換のうち1つを意味するものとする。つまり、XがAを利用したり;XがBを利用したり;またはXがA及びBの両方を利用する場合、「XはAまたはBを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び/または」という用語は、取り挙げられた関連アイテムのうち、1つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
また、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、当該特徴及び/または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、1つ以上の他のさらなる特徴、構成要素及び/またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「1つまたはそれ以上」を意味するものと解釈されるべきである。
当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述される。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション(application)及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
本明細書において、物体に投光される光の拡散度が高いというのは、可変ディフューザーの透明度が低い状態であることを意味する。つまり、光が散乱す状態で物体に到達するということである。逆に物体に投光する光の拡散度が低いというのは、可変ディフューザーの透明度が高い状態であることを意味する。つまり、光がほとんど散乱しなかったり、或いは光源で出発した光がそのまま物体に到達するという意味である。言い換えると、本明細書において欠陥検査装置は、可変ディフューザーの透明度、または配置を制御し、前述の制御によって物体に投光する光の拡散度を調節する。
以下に、図1を参照して、本開示の実施例における欠陥検査装置の構成について述べる。
図1は、本開示の一実施例に基づき、検査対象物体におけるアノマリー有無を判断するための欠陥検査装置のブロック構成図を図示した図面である。欠陥検査装置(100)は、プロセッサー(110)、メモリー(120)、ネットワーク(130)、撮影部(140)及び照明計(200)を含むことができる。
図1に図示された欠陥検査装置(100)の構成は、簡略化して示した例示に過ぎない。本開示の一実施例において欠陥検査装置(100)は、検査対象物体に欠陥があるか否かを検査するための他の構成が含まれることができ、開示された構成のうち一部だけが欠陥検査装置(100)を構成することもできる。
プロセッサー(100)は、1つ以上のコアで構成されることができ、コンピューティング中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンサー処理装置(TPU:tensor processing unit)等のデータ分析、ディープラーニングのためのプロセッサーを含むことができる。プロセッサー(110)は、メモリー(120)に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を実行することができる。本開示の一実施例に基づき、プロセッサー(110)は、神経回路網の学習のための演算を行うことができる。プロセッサー(110)は、ディープラーニング(DL:deep learning)で学習のための入力データの処理、入力データでのフィーチャーの抽出、誤差計算、逆伝播(backpropagation)を利用した神経回路網の重みの更新等の神経回路網の学習のための計算を実行することができる。プロセッサー(110)のGPU、GPGPU及びTPUのうち少なくとも1つがネットワーク関数の学習を処理できる。例えば、CPUとGPGPUがともにネットワーク関数の学習やネットワーク関数を利用したデータの分類を行うことができる。なお、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習やネットワーク関数を利用したデータ分類を行うことができる。また、本開示の一実施例におけるコンピューティング装置において実行されるプログラムは、GPU、GPGPU及びTPUで実行可能なプログラムになり得る。
本開示の一実施例において、メモリー(120)は、プロセッサー(110)が生成したり、決定した任意の形態の情報及びネットワーク(130)が受信した任意の形態の情報を保存することができる。
本開示の一実施例において、メモリー(120)は、フラッシュメモリータイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー(例えばSDまたはXDメモリー等)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ロム(Read−Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、PROM(Programmable Read−Only Memory)、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも1つのタイプの保存媒体を含むことができる。コンピューティング装置は、インターネット(internet)上で前述のメモリー(120)の保存機能を実行するウェブストレージ(web storage)と連携して動作することも可能である。前述のサーバーの種類は例示に過ぎず本開示はこれらに限定されない。
本開示の一実施例におけるネットワーク(130)は、公衆電話交換網(PSTN:Public Switched Telephone Network)、 xDSL(x Digital Subscriber Line)、RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 及び近距離通信網(LAN)等のような多様な優先通信システムを使用することができる。
また、本明細書におけるネットワーク(130)は、CDMA(Code Division Multi Access)、TDMA(Time Division Multi Access)、FDMA(Frequency Division Multi Access)、OFDMA(Orthogonal Frequency Division Multi Access)、 SC−FDMA(Single Carrier−FDMA)及びその他のシステムのような多様な無線通信システムを利用することができる。
本開示におけるネットワーク(130)は、有線や無線等といった通信の様態を問わず、構成されることができ、短距離通信網(PAN:Personal Area Network)、遠距離通信網(WAN:Wide Area Network)等の多様な通信網で構成されることができう。また、前述のネットワークは、公知のワールドワイドウェブ(WWW:World Wide Web)になれるとともに、赤外線(IrDA:Infrared Data Association)または、ブルートゥース(Bluetooth(登録商標))のように、短距離通信に利用される無線伝送技術を利用することもできる。
本明細書において説明された技術は、上記のネットワークだけでなく、他のネットワークで使われることができる。
本開示の一実施例における欠陥検査装置(100)は、後述の構成要素によって実装され、検査対象物体(10)の欠陥を検査できる。検査対象物体(10)は、欠陥検査装置(100)の構成要素ではなく、欠陥検査装置の構成または動作を説明するための付随的な構成である。
欠陥検査装置(100)は、照明計(200)及びプロセッサー(110)を含むことができる。照明計(200)は、検査対象物体に光を照射するための光源及び前述の光源と検査対象物体(10)の間に位置し、検査対象物体に投光される光の拡散度を調節できる可変ディフューザー(300)を含むことができる。プロセッサー(110)は、検査対象物体(10)の特性に基づき、前述の可変ディフューザーを制御できる。
プロセッサー(110)は、物体の表面の特性(例えば、質感、材質、色、光沢の有無等)及びユーザーが選択した特性をすべて含む検査対象物体(10)の特性に基づき可変ディフューザーを制御する。例えば、プロセッサー(110)は、物体の表面に係る画像データに基づき、検査に必要な可変ディフューザーの透明度を決めることができる。更なる実施例において、プロセッサー(110)は、ユーザーが選択した特性を持つ物体について予め決められた制御方式または予め決められた一連の制御手順により可変ディフューザーを制御することもできる。具体的に、プロセッサーは、販売費用が特定の値を超過する効果の製品については、不良検出率を高めるために可変ディフューザーにより物体に投光される光の拡散度が低い状態と高い状態の両方において検査ができるように可変ディフューザーを制御することができる。この場合ユーザーが選択した特徴は、製品の価格になり得る。前述の特徴は例示に過ぎず本開示はこれらに限定されない。
本明細書を通して、エッジフィールド(Edge Field)は、検査対象物体の表面に光源の像がつくられ映る場合、光源の像によって物体の表面に照射される光の照度が変化する部分を指す用語である。エッジフィールドは、光学界の用語であるダークフィールド(Dark Field)、ライトフィールド(Light Field)に相応するように、本明細書において定義している用語であり、検査対象物体の表面に照明の光源の像がつくられ映るとき、光源において最も明るい中心部から予め決められた距離以内の領域を指す。
以下に図2を参照しながら、さにエッジフィールドの概念について説明する。
前述のエッジフィールド(Edge Field)の予め決められた距離(d)(参照番号12)は、検査対象物体(10)の表面に光源の像がつくられ映る光源領域(11)より広い領域を含むように構成される。つまり、前述のエッジフィールドは、光源が直接映り他の領域より照度の高い光源領域(11)と光源が直接映る部分を外れて比較的照度の低い領域(13)を一部含められるように決められることができる。光源の像がつくられ映る光源領域(11)とは、検査対象物体の表面の特性に沿って光を投光した光源自体の形状がそのまま検査対象物体の表面に映る場合の光源の形状を意味する。光源の形状は、光源の形態によって、例えば円形の光源の形状、直線型の光源の形状、多角形の光源の形状等を含むが、本開示はこれらに制限されず、あらゆる形状の光源をすべて含む。
結論としては、エッジフィールドは、前述の光源領域(11)と光源の中心から予め決められた距離(d)(参照番号12)分離れた領域内に存在する比較的照度の低い領域(13)を含む総領域を指す。
前述のエッジフィールドの予め決められた距離は、検査対象物体の特性、ユーザー選択等によって長くとったり短くするように決められることができる。例えば、検査対象物体がごくわずかなスクラッチ(scratch)や凹み(dent)も許容しない場合、プロセッサー(110)は、エッジフィールドの予め決められた距離を短くとり、とてもきめ細かく光を投光して検査対象物体の表面を検査することができる。一方、比較的重要度の低い検査過程や、一定の大きさ以上の欠陥だけ検査しても十分な場合には、プロセッサー(100)はエッジフィールドの予め決められた距離をより長くとるように設定することもできる。前述のエッジフィールドの範囲に係る記載は、例示に過ぎず本開示はこれらに限定されない。
本明細書において「照度の急激な変化を含む領域」とは「少なくとも1つ以上のエッジフィールド(Edge Field)を含む領域」と同じ意味で使われる。
以下に図3a、3b、3c、3dを参照しながらエッジフィールド(Edge Field)の概念を導入した理由について述べる。
一般的に当業界では、検査対象物体の表面を観察するために照明計(200)の照明板に拡散板(diffuser)を取り付けて検査対象物体(10)に投光される光の拡散度が高くなるように調節された状態(300b)で物体の欠陥を検査する(図3bを参照)。つまり、検査対象物体(10)の表面全体に一定の照度を持つ光を投光する(図3dを参照)。これは、一般的に検査対象物体(10)の表面に光源の像が直接つくられる光源領域(11)が存在すると領域によって照度が異なるため表面を均一に観察できないためである。
しかし、ぴかぴかしたり光沢のある(shiny, glossy)材質の表面、メタルフレームの表面または、鏡面のように入射した光を特定の角度に正反射する検査対象物体(10)の表面では、スクラッチ(scratch)、段差、凹み(dent)等を含む外観不良を検出する場合、拡散板(diffuser)の透明度が高いEdge Field光学界(図3aを参照)での視認性が高くなる。つまり、検査対象物体(10)に投光される光の拡散度が低くなるように調節された状態(300a)において検査対象物体(10)の表面に光源領域(11)と暗い領域(14)が交互に現れることができるように照明を投光すると拡散板が存在するときは容易に検出できなかった表面欠陥(1)を検出できる(図3cを参照)。
本開示の一実施例における欠陥検査装置(100)が検査対象物体(10)の特性に基づき可変ディフューザーを制御する理由は、前述の通り、検査対象物体に投光される光が拡散しないエッジフィールド光学界(図3aを参照)及び検査対象物体に投光される光が拡散する一般的な光学界(図3bを参照)を検査対象物体の表面によって適切に使い分けた場合、表面欠陥検出の確率が高まる長所があるためである。
本開示の一実施例における欠陥検査装置(100)の照明計(200)に含まれる前述の可変ディフューザー(300)は、プロセッサーの電気信号によって透明度が制御され通過する光の拡散度が調節されることができる。欠陥検査装置(100)の照明計(200)に含まれる前述の可変ディフューザー(300)は、プロセッサーの電気信号に沿って透明度が調節される液晶フィルムを含むことができる。本開示の他の一実施例において、欠陥検査装置(100)の照明計(200)に含まれる前述の可変ディフューザー(300)は、プロセッサーの制御信号によって配置状態が調節され、検査対象物体(10)に投光される光の拡散度調節することができる。
図4は、本開示の一実施例における欠陥検査装置(100)に含まれた照明計(200)の照明板及び可変ディフューザー(300)を示している。
検査対象物体(10)に投光される光の拡散度を調節するために可変ディフューザー(300)は、プロセッサー(110)の電気信号によって透明度が調節される方式で制御されることができる。検査対象物体(10)に投光される光の拡散度を調節するために可変ディフューザー(300)は、プロセッサー(110)の電気信号によって配置が調節される方式で制御されることができる。
欠陥検査装置(100)の照明計(200)に含まれる前述の可変ディフューザー(300)は、印加される電圧によって透明度が変わり、それに沿って通過する光の拡散度が調節されることができる。
以下に図5及び図6を参照して説明する。前述の可変ディフューザー(300)に電圧が印加され検査対象物体投光される光の拡散度が低くなるように調節された状態(300a)において、可変ディフューザーの液晶の内部にある各液晶分子は、光の進行経路において平行して並べられることが可能である。このとき、照明板から投光された光は、可変ディフューザー(300)を通過するとき、光の進行方向を維持するようになり検査対象物体(10)にそのまま到達する。つまり、可変ディフューザーの透明度が高い状態で光が通過するため、光の拡散度が低い。その一方、前述の可変ディフューザー(300)に電圧が印加されず、検査対象物体(10)に投光される光の拡散度が高くなるように調節された状態(300b)では、可変ディフューザーの液晶の内部の各液晶分子は、任意の方向にランダムに配列されることがある。このとき、照明板から投光されこの液晶分子を通過する光は、拡散度が高くなり、検査対象物体(10)に到達する前に光が広がるようになる。つまり、可変ディフューザーの透明度が高い状態で光が通過するため、光の拡散度が低い。
前述の電気信号によって光の拡散度が調節される可変ディフューザー(300)は、電気信号によってその透明度が調節される材質でできている場合がある。例えば、可変ディフューザーは、LCDフィルム、高分子分散液晶フィルム(PDLCフィルム)等が使われることができる。前述の可変ディフューザーの材質は例示に過ぎず、本開示はこれらに限定されない。
本開示の一実施例における欠陥検査装置(100)の照明計(200)に含まれる可変ディフューザー(300)は、プロセッサーの電気信号によって3次元空間における配置が調節される方式で制御されることもできる。
以下に図7を参照して説明する。図7は、可変ディフューザー(300)の空間上の配置を『スライディング』方式で制御する例を示した図面である。
図7の(a)は、プロセッサーの電気信号によって可変ディフューザー(300)が検査対象物体(10)に投光される光の拡散度を低く保つために可変ディフューザーの配置が変更されている例である。図7の(b)は、プロセッサーの電気信号によって可変ディフューザー(300)が検査対象物体(10)に投光される光の拡散度を高めるために光源と検査物体の間に可変ディフューザーが位置する例を示している。このとき、可変ディフューザー(300)の透明度は、検査対象物体(10)によって変わるように適切に選択されることが可能である。
前述の図7で説明された可変ディフューザーの空間上の配置を変更する方法は、一例に過ぎず、本開示は何ら制限なく検査対象物体に投光される光の拡散度を調節するために可変ディフューザー(300)の空間上の配置を変更する方法及び検査装置を含む。
当業界においては通常、製造物を検収するために拡散板が取り付けられた検査装備を使用している。しかし、前述の通り、有光表面の特性を持つ検査対象物体と無光表面の特性を持つ検査対象物体とでは、表面欠陥の検出のためのディフューザーの必要性有無が異なる可能性がある。しかし、生産される製品ごとにディフューザーの必要性有無が変わり、ユーザーがその都度直接ディフューザーを取り付けたり外したりすると、コストと時間が非常に多くかかる。従って、本開示は、可変ディフューザー(300)で光の拡散度をアクティブに制御できるため、生産コストと時間を節減できる効果がある。さらに、可変ディフューザーの透明度をプロセッサーがリアルタイムで制御できることにより、本開示おける1台の欠陥検査装置を使って色々な生産製品を検収できるため、経済的なメリットもある。
本開示の一実施例における欠陥検査装置(100)の照明計(200)に含まれる可変ディフューザー(300)は、プロセッサー(100)の制御信号によって対象物体の表面に対し領域によって投光される光の拡散度が変わるように調節することができる。
検査対象物体(10)に投光される光の拡散度を調節するために、プロセッサー(100)が電気信号を利用して透明度を制御する可変ディフューザー(300)の場合、領域によって可変ディフューザー(300)の透明度が変わるように制御することができる。例えば、図8に図示されているように、プロセッサー(100)は可変ディフューザー(300)を検査対象物体(10)に投光される光の拡散度が低くなるように調節された状態(300a)の一領域と、投光される光の拡散度が高くなるように調節された状態(300b)の他の一領域とを区分して領域別に制御することができる。前述のプロセッサー(110)が可変ディフューザー(300)を領域別に制御するというのは、可変ディフューザー(300)の少なくとも一領域と他の領域の透明度が相異するように制御できるということである。前述の少なくとも一領域と相異する透明度になるように制御される領域の数は複数になり得る。前述のプロセッサー(100)は、可変ディフューザー(300)を領域別に制御するに当たり、特定のパターンを持つように制御することができる。前述の特定のパターンは、縦線、横線、対角線、円形または多角形になり得る。前述の特定のパターンを制御するために可変ディフューザー(300)は、複数の個別の可変ディフューザーの集合からなる場合もある。前述の領域別のパターンは、一実施例に過ぎず、本開示はこれに制限されず、あらゆるパターンで可変ディフューザーを制御し、検査対象物体の所望の表面に投光される光の拡散度を調節することができる。前述のような可変ディフューザー(300)の領域別の透明度制御を利用すると、検査対象物体(10)の表面によって求められる可変ディフューザー(300)の透明度合いを一度に領域別に構成することができ、検査速度が早まるというメリットがある。
検査対象物体(10)に投光される光の拡散度を調節するために、プロセッサー(110)が可変ディフューザーの配置状態を調節する場合、プロセッサーは前述の可変ディフューザー(300)を光源と検査対象物体の一部の領域との間にしか配置できない。光源と前述の一部の領域との間にだけ可変ディフューザーが位置するようになれば、その一部の領域においては拡散度の高い光が投光されることができ、そうでない領域においては、拡散度の低い光が投光されることができる。
本開示の一実施例における欠陥検査装置(100)は、画像データを獲得するための撮影部を含むことができる。プロセッサーは、撮影部から獲得した画像データから検査対象物体の表面の特性を認識し、認識された物体に基づき検査対象物体に投光される光の拡散度を決め、それによって前述の可変ディフューザー(300)を制御できる。
図9は、本開示の一実施例における欠陥検査装置(100)に含まれたLCDフィルムから成る可変ディフューザー(300)を示している。図9の(a)は、検査対象物体(10)に投光される光の拡散度が低くなるように調節された状態(300a)の例を示している。図9の(b)は、検査対象物体(10)に投光される光の拡散度が高くなるように調節された状態(300b)の例を示している。
以下に図10a及び図10bを参照して、認識された物体に基づき検査対象物体に投光される光の拡散度を決める例について説明する。図10aの(a)は、プロセッサー(110)が可変ディフューザー(300)を制御して検査対象物体(10)に投光される光の拡散度が低くなるように調節されている例である。一方、図10aの(b)は、プロセッサー(110)が可変ディフューザー(300)を制御して検査対象物体(10)に投光される光の拡散度が高くなるように調節されている例である。図10aの3a及び3bは、それぞれ同一の検査対象物体の表面上の同一のラインを意味する。前述のライン沿って測定した検査対象物体の表面の闇領域(Dark Field)の照度分布は図10bに例示されている。つまり、検査対象物体の一領域である闇領域の同一の位置における線分に沿って照度分布を測定すると、検査対象物体(10)に投光される光の拡散度が低く調節されている状態で画像データ上に表示された部分(3a)に沿って照度分布を測定した場合(図10b(a)を参照)、検査対象物体(10)に投光される光の拡散度が高く調節された状態で画像データ上に表示された部分(3b)に沿って測定された場合(図10b(b)を参照)より、照度がより均一に分布していることが分かる。照度の分布が均一であることは、その分領域の区分が細分化されていることを意味し、これは闇領域に係る画像データの画質を向上し、結果的に外観不良の検出の効率が高まる。
本開示の一実施例において、前述のプロセッサー(110)は、前述の撮影部から獲得した画像データから検査対象物体を認識し、検査対象物体の表面の光の反射度に基づき前述の検査対象物体(10)に投光される光の拡散度をきめ、それによって可変ディフューザーを制御できる。
前述のプロセッサーが参照する物体の表面の光の反射度とは、物体の表面が滑らかな材質または光沢のある材質でできており入射した光のほとんどを反射する表面、無光沢の材質でできており入射した光の一部を反射して残りは吸収する表面、透明な材質でできており入射した光のほどんどを通過させる表面を含むことができる。
以下に図11乃至16を参照して発明の実施例について説明する。
図11乃至16は、本開示の一実施例の可変ディフューザーにより光の拡散度が調節される場合、光の拡散度によってそれぞれ獲得される画像データを示す図面である。図11乃至16において、各図面の左側の画像(図面記号(a))は、可変ディフューザー(300)によって検査対象物体(10)に投光される光の拡散度が低くなるように調節された環境において撮影された画像データの例示であり、各図面の右側の画像(図面記号(b))は、可変ディフューザー(300)によって検査対象物体(10)に投光される光の拡散度が高くなるように調節された環境において撮影された画像データの例示である。例示としての画像データについて調べたように、可変ディフューザーの光の拡散度の調節により、個々の図面においてボックスで表現されている欠陥箇所を識別する可能性が変わる場合がある。本開示の一実施例における欠陥検査装置(100)は、検査対象物体の表面の特性、検査対象物体の欠陥の特性等によって、欠陥を識別する可能性が高くなるように可変ディフューザーを制御し、検査対象物体に投光される光の拡散度を調節することができる。
図11(a)、12(a)、13(a)、14(a)、15(a)、16(a)は、それぞれ可変ディフューザーの透明度が高くなるように制御されている例であり、図11(b)、12(b)、13(b)、14(b)、15(b)、16(b)は、それぞれ可変ディフューザーの透明度が低くなるように制御された例である。
図11は、検査対象物体の表面が光沢のある材質でできている場合における、投光される光の拡散度による違いを例示した図面である。図11(a)の場合、表示された部分(3a)を見ると、表面欠陥であるスクラッチの一部分が鮮明に見えるというメリットがあり、図11(b)において表示された部分(3b)を参照する場合、スクラッチの全体の形状を確認できるというメリットがある。
図12は、検査対象物体の表面が透明な材質でできている場合における、投光される光の拡散度による違いを例示した図面である。図12(a)において表示された部分(3a)を見ると、透明な検査対象物体の表面に存在するスクラッチを図12(b)において撮影された画像データと同一の位置に表示されている部分(b3)より鮮明に見えていることが分かる。
図13は、検査対象物体に製造工程で透明な材質の糊(glue)が付いたことを示す画像データである。投光される光の拡散度が低い状態の図13(a)において表示された部分(3a)は、検査対象物体の表面に存在する糊(glue)を示している。投光される光の拡散度が高い状態の図13(b)において同一の位置に表示された部分(3b)を確認してみると、拡散度の低い図13(a)より、表面の欠陥を確認しやすいことが分かる。
図14は、検査対象物体(10)の表面に凹みといった欠陥が存在する例を示す画像データである。投光される光の拡散度が低い状態で撮影された画像データ(図14(a)を参照)において表示された部分(3a)が、投光される光の拡散度が高い状態で撮影された画像データ(図14(b)を参照)の同一の部分(3b)より、欠陥の周辺の光の変化が激しいことを確認できる。
図15は、検査対象物体(10)の表面の曲率が均一でない欠陥が存在する状態の例を示している。投光される光の拡散度が低い状態で撮影された画像データ(図15(a)を参照)において表示された部分(3a)が、投光される光の拡散度が高い状態で撮影された画像データ(図15(b)を参照)の同一の表示部分(3b)より、欠陥箇所に係るより鮮明な画像データを獲得できる。
図16は、検査対象物体(10)の表面に特殊な形態の欠陥が存在する例を示している。投光される光の拡散度が低い状態で撮影された画像データ(図16(a)を参照)において表示された部分(3a)が、投光される光の拡散度が高い状態で撮影された画像データ(図16(b)を参照)の同一の部分(3b)より、欠陥箇所に係るより高い解像度の画像データを獲得できる。
前述の図11乃至16が示す例は、一例に過ぎず本発明はこれらにより制限されない。
前述のように検査対象物体(10)の表面の状態によって検査の効率をよくするために求められる光の拡散度が異なる。本開示の欠陥検査装置は、プロセッサーを通じて可変ディフューザーの透明度を調整することで検査対象物体の表面の光の反射度を考慮しこれをアクティブにリアルタイムで制御できるというメリットがある。
本開示の一実施例において、前述のプロセッサー(110)は、検査対象物体(10)を認識して、検査対象物体の表面の少なくとも1領域において求められる光の拡散度が残りの他の領域と相異する場合、前述の可変ディフューザー(300)を領域別に制御できる。本開示の一実施例において、前述のプロセッサー(110)は、検査対象物体(10)を認識して、検査対象物体の表面の少なくとも1領域において求められる光の拡散度が残りの他の領域と相異する場合、前述の可変ディフューザー(300)を領域別に制御できる。この場合、前述の可変ディフューザー(300)を領域別に制御するために可変ディフューザーは、複数の、個別に制御される可変ディフューザーの集合からなることが可能である。例えば、プロセッサー(100)によって認識された検査対象物体の表面の領域が光沢のある材質を持つ携帯電話の液晶と、無光沢の材質を持つ携帯電話のベゼルの場合、液晶である検査対象物体の一領域においては可変ディフューザーの透明度を高め光の拡散度を減らし、ベゼルである検査対象物体の残りの領域においては可変ディフューザーの透明度を下げ光の拡散度を高めることで検査を迅速かつ正確に行うことができる。前述の特徴は例示に過ぎず本開示はこれらに限定されない。
プロセッサー(110)は、検査対象物体を認識した上で、可変ディフューザーの透明度が低い状態、高い状態またはその間の任意の透明度を持つ状態の中から検査に必要な透明度の状態を決定し可変ディフューザーを制御できる。前述の検査に必要な透明度の状態は1つ以上の状態を含むことができる。具体的にプロセッサー(110)は、検査に必要な透明度の状態によって1つの透明度状態だけで検査対象物体の表面の欠陥を検査することができる。また、プロセッサー(110)は、検査に必要な透明度の状態によって透明度が低い状態と高い状態で撮影をしてから映像を比較する必要があると決めた場合、それぞれ異なる可変ディフューザーの透明度の状態で撮影された画像データを比較することができる。また、プロセッサーは、可変ディフューザー(300)を、透明度が低い状態、高い状態、またはその間の任意の透明度を持つ状態の中からいずれか1つに制御する動作を複数回行い、各状態において撮影された画像データを比較することができる。
プロセッサー(110)は、検査対象物体の表面を含む画像データから検査対象物体における欠陥の有無を判断できる。プロセッサー(110)は、検査対象物体に係る画像データをディープラーニングに基づくモデルを利用して処理することで、検査対象物体における欠陥の有無を判断できる。プロセッサー(110)は、画像データをディープラーニングに基づくモデルに入力させ、ディープラーニングに基づくモデルを利用して、検査対象物体における欠陥の有無を判断できる。また、前述のプロセッサー(110)は、ディープラーニングに基づくモデルを利用して画像データから検査対象物体の表面における欠陥の分類結果を含むことができる。
本開示の一実施例において、メモリー(120)に保存されたディープラーニングに基づくモデルは、入力される画像データについて分類(Classification)、ディテクション(Detection)、セグメンテーション(Segmentation)等を行うために学習されたモデルになり得る。モデルの学習は、画像データに対する教師あり学習(Supervised learning)または教師なし学習(unsupervised learning)の方式で行られることが可能である。
プロセッサー(110)は、前述のディープラーニングに基づくモデルを通じて画像データを入力し、入力された検査対象物体の画像の中に欠陥が存在するか否かを出力できる。プロセッサー(110)は、ディープラーニングに基づくモデルを利用して欠陥の有無だけでなく欠陥の種類を分類することもある。例えば、欠陥の種類がスクラッチ(scratch)か、凹み(dent)かを分類することができる。プロセッサー(110)は、欠陥の有無を出力するとともに欠陥があると判断した場合は、当該欠陥の位置をディテクションでバウンディングボックス(bounding box)に表示することができる。プロセッサー(110)は、セグメンテーションの結果を提供する目的で学習されたディープラーニングに基づくモデルを利用して欠陥の有無の判断とともに、欠陥があると判断した場合は欠陥が存在する領域のピクセルとその他の領域のピクセルとを区分してその欠陥の位置を出力される画像データ上に表示することもできる。
前述のようにプロセッサー(110)は、検査対象物体の画像データをディープラーニングに基づくモデルに入力して、欠陥の有無に係る出力を得ることで、本開示は映像の複雑度と関係なく検査対象物体の表面における欠陥の視認性を確保することができ、これにより不良認識率を高めることができる。
本開示の一実施例において、プロセッサー(100)は、前述の可変ディフューザーの透明度に基づく1つ以上の画像データを前述のディープラーニングに基づくモデルの1つ以上のサブモデルを利用して前述の画像データに含まれた検査対象物体の欠陥を判断できる。具体的に1つ以上のサブモデルとは、可変ディフューザーの状態によって別途学習されたディープラーニングに基づくモデルになり得る。つまり、可変ディフューザーの透明度ごとに検査対象物体に投光される光の拡散度が変わってくるため、光の各透明度に最適化されたディープラーニングに基づくサブモデルを使うことができる。プロセッサーは、前述のサブモデルを利用してモデル事に可変ディフューザーの透明度による欠陥の有無を出力できる。プロセッサーは、前述のサブモデルを利用して欠陥の有無を演算した後、検査対象物体の画像データに同時に表示して1つの出力データを生成することもできる。具体的な一実施例において、プロセッサーは、前述の可変ディフューザーの透明度が投光される光を拡散させない場合、獲得された非拡散光画像データを前述のディープラーニングに基づくモデルの第1サブモデルに入力させ、前述の画像データに含まれた検査対象物体の欠陥を判断し、前述の可変ディフューザーの透明度が投光される光を拡散させる場合、獲得された拡散光の画像データを前述のディープラーニングに基づくモデルの第2サブモデルに入力させ前述の画像データに含まれた検査対象物体の欠陥を判断することができる。
前述のようにエッジフィールド(Edge Field)光学界(図3bを参照)が光沢のある表面を持つ検査対象物体(10)の表面の欠陥の判断に有効な側面があるにも拘わらず、従来の産業現場においてエッジフィールド(Edge Field)光学界を使えなかった理由は、映像の複雑度が高すぎて、従来の映像処理システムで欠陥の有無を判断するのが容易ではなかったためであった。従って、本発明は、エッジフィールド(Edge Field)に係る画像データとディープラーニングに基づくモデルを結びつけ、より多様な物体の表面の欠陥を迅速かつ容易に検査できるという効果を持つ。以下には、本開示の一実施例における欠陥検査装置(100)のプロセッサー(110)が照明計(200)に含まれる前述の可変ディフューザーの透明度を制御して、通過する光の拡散度が低く保たれる状態(図面5(a)、図面6(a)、図面7(a)を参照)において、つまり照明計(200)によって光が投光された検査対象物体(10)の表面に照度の急激な変化を含む領域が存在することを前提に、プロセッサー(110)のさらなる制御及びそれによる効果について述べる。
プロセッサー(110)は、照明計(200)によって投光された照明パターンを物体の表面上に含む画像データを獲得できる。プロセッサー(110)は、検査対象物体の表面を撮影する撮影部(140)から画像データを獲得できる。または、プロセッサー(110)は、前述のメモリー(120)に保存されている画像データを獲得することもでき、ネットワーク(130)を介して外部の保存場所から伝送された画像データを獲得することもできる。画像データは、投光された照明パターンによって物体の表面の少なくとも一領域に照度の急激な変化を含むことができる。以下に本開示の一実施例における欠陥検査装置に使われる照明計(200)について図17を参照しながら説明する。本開示の一実施例において照明計は複数の光源を含み、複数の光源は予め決められた間隔で配置されることができる。また、照明計において複数の光源は、予め決められた形状に構成されることもできる。前述の光源には、白熱電球、ハロゲンランプ、蛍光ランプ、無電極ランプ、高圧ナトリウムランプ、LEDランプ等が含まれ、この他にも電気的信号によって点灯する光源を制限なく含む。
前述の予め決められた間隔は、照明計に含まれた各光源間の距離を指す。前述の予め決められた間隔は、検査対象物体の表面に形成しようとするエッジフィールド間の距離によって決まることが可能である。前述の予め決められた形状とは、照明計に含まれた少なくとも2つ以上の光源の配置が成す形状を意味する。前述の予め決められた間隔及び予め決められた形状は、検査しようとする対象物体の特性によって決まることが可能である。具体的な一実施例において、複数の光源の予め決められた形状は、特定の光源の上下左右に少なくとも1つの他の光源が存在する碁盤目配列(200a)になることができ、少なくとも1つ以上の光源が一定の間隔に円形または楕円形の線を成し、複数の前述の円形または楕円形の線が同心円の関係を成し同一の面上に広がっていることもあり得る(200b)。前述の複数の光源の予め決められた形状を具体的に実装するために光源を配置する過程において、前述の予め決められた間隔は、所望のエッジフィールド間の距離によって決まることができる。図示は省略しているが、さらなる実施例として、ある1つの光源から対角線上にだけ他の光源が存在するように複数の光源を配置することで格子型の構造を成すこともできる。また、発明の一実施例において複数の光源が予め決められた間隔と形状に沿って検査対象物体の表面にエッジフィールド(Edge Field)を投影するために、3次元の座標系の中において球形、直六面体、円柱の側面、円錐等を成す面の上に分布することもできる。前述の予め決められた間隔及び予め決められた形状は、本開示の実施例であり、本開示は検査対象物体の表面にエッジフィールドを形成するための光源の配置を含む。前述のように照明計が複数の光源を予め決められた形状及び予め決められた間隔に沿って含む場合、検査対象物体の検査に必要な照明パターンを最小限の数の光源で形成することができるめ、費用節減の効果がある。
本開示の一実施例における照明計(200)は、複数の光源を含み、複数の光源それぞれの動作制御を通じて異なる照明パターンを投光することができる。具体的に照明計内の複数の光源のうち、任意の1つの光源(211a、221a、211b、221b)を個別に点滅させることができる。これは光源の配置と関係なく個別の光源を制御できることを意味し、さらにはこれを通じて定型化されたパターン(例えば、多角形、円形、直線、対角線等)以外にも物体の表面の特徴や物体の形状を考慮し、非典型的なパターン(例えば曲率半径の大きさがそれぞれ全部異なる曲線パターン)または、複数のパターンが組み合わせられたパターン(例えば、四角形の照明パターンと円形の照明パターンを同時に1つの物体に投影)を作ることができることは、当業者にとっては本明細書の開示内容から確実に知り得ることである。また、このような光源それぞれの個別制御は、検査対象物体の形状が変わり続けても、これとは関係なく、照明計(200)の光源を制御するとで、物体の表面の所望の一領域にエッジフィールドを形成して外観の不良検査を可能にする効果がある。
本開示の一実施例における照明計(200)は、少なくとも2つのグループで構成される複数の光源により構成されることができる。例えば、直線型に光源グループを構成することができる(210a、220a)。または、各光源を仮想の線で繋いだとき、円を成す光源をまとめてグループを構成することもできる(210b、220b)。前述の光源のグループは一実施例に過ぎず、本開示はこれらに制限されない。前述のように光源をグループに分けて制御する場合、所望の形の照明パターンを物体に投影することができるとともに、各光源を個別に制御しなくてもいいので制御にかかるコストが削減できるメリットがある。
さらに、本開示の一実施例において、欠陥検査装置における照明計は複数の光源を含み、前述の光源を発光する際、検査対象物体の表面の一領域における単位面積当たりのエッジフィールドの数が他の領域と異なるように生成することができる。言い換えると光源領域(11)の密度が領域によって異なることがあり得る。または、複数の光源に対する制御を、グループ別の光源に対してまたは各個別光源に対して異なるようにして、照度の急激な変化を含む照度変化領域(本開示におけるエッジフィールド)が検査対象物体の表面を少なくとも一部カバーするように照明パターンを生成することができる。
このようにエッジフィールドの密度を調節したり、検査対象物体の表面の一部だけにおいてエッジフィールドを生成する理由は、検査対象物体の表面の特徴によってエッジフィールドが必要な場合もあれば必要ではない場合もあるためである。例えば、欠陥検査装置(100)おいて、物体の表面の一領域は、光沢のある材質でできているが、他の一領域は、光沢のない材質でできている場合、光沢のある部分はエッジフィールドを形成して検査効率を高める一方、他の光沢のない一領域については、拡散板(diffuser)等を利用して均一な光を投光したり、場合によっては光沢のない一領域については、光源を消灯して光を投光しないこともできる。他の一例として、エッジフィールドの密度を調節したり、検査対象物体の表面の一部だエッジフィールドを生成する場合は、検査対象物体の表面の特定の部分にだけ検査を行う必要があることもあると考えられる。つまり、残りの領域については、すでに欠陥検査が完了しており、物体の表面の特定の領域に欠陥が発生して改めて検査をする必要がある場合でる。
前述のように照明計が一部の領域にだけエッジフィールドを投光したり、単位面積当たりのエッジフィールドの数を調節できるように照明計を運用できるということは、産業現場において制御費用及び電気費用に係る全体コストを削減し、集中すべき領域に資源を集中することで検査の効率を高められるというメリットがある。
前述の照明計(200)は、検査対象物体の表面に対し領域によって照度が異なる照明パターンを投光するように制御されることができる。以下には、本開示の一実施例における欠陥検査装置に使われる照明計(200)が検査対象物体(10)の表面に形成する照明パターンについて説明する。
以下に図18を参照して説明する。前述の照明パターンは、前述の複数の光源が予め決められた間隔で配置され全体の光源を一括してオン/オフすることにより検査対象物体(10)の表面に投光されることができる。前述の照明パターンは、複数の光源が同一の間隔で均一に並べられた照明計において少なくとも1つ以上の光源が、線形、多角形、円形等のラインにそって制御され、検査対象物体(10)の表面に投光されることができる。
図18の例示において暗い領域と明るい領域は、照明パターンを構成するための光源のグループを示す例である。照明パターンが線形であるということは、第1グループの光源(411)と第2グループの光源(412)が交差して投影される検査対象物体に対する縦線(410)、または横線になり得る。前述第1グループの光源(411)と第2グループの光源(412)は、検査対象物体の表面に照明パターンを生成するためにプロセッサーによって光源の発光状態を相互変更しながら制御されることができる。照明パターンのさらなる例示として、第1グループの光源(421)と第2グループの光源(422)が対角線(420)の形で反復パターンを示すこともあり得る。また、多角形(430)、円形(450)になることもでき、光源のグループが格子型に区分されている場合、参照番号440のような照明パターンが検査対象物体に照射されることもできる。ただし、前述の例は例示に過ぎず、本開示は前述の例示を含め、何ら制限なく、多様なパターンを形成できる。
前述の照明パターンの幅または間隔は、複数の光源をそれぞれ、またはグループごとに制御して検査対象物体の表面において具体的に実行できる。また、前述の照明パターンまたは間隔は、検査対象物体間の距離を変更して実行されることができる。
本開示において、エッジフィールドを活用して、ぴかぴかしたり光沢のある(shiny, glossy)材質の表面、メタルフレームの表面または、鏡面の表面を持つ物体のスクラッチ(scratch)、段差、凹み(dent)等のような欠陥検査ができる理由の一つは、上記のような欠陥表面は、入射角に対して正常表面とは異なる反射角で光を反射するため、そのような異なる反射角で散乱した光を検出することで欠陥検査が可能になるのである。
従って、前述のように多様な種類の領域ごとに照度が異なる照明パターンを形成できる本開示の検査装置は、入射される光の角度を色々変更して活用するため、欠陥のある表面から反射された異なる反射角を色々な角度から最大限に多く検出できる。これは欠陥検査装置の性能を向上する効果を持つ。
一方、一般的に物体の表面の不良は、任意の領域で発生するため、エッジフィールドが極力重なり合わないようにしながら、なるべく多くの領域をエッジフィールドでカバーできた場合、不良の検出確率が高くなる。
従って、本開示の一実施例における欠陥検査装置の照明計は、照度の急激な変化を含む照度変化領域が少なくとも一部重なることがないように、少なくとも2つ以上の異なる照明パターンを検査対象物体に投光し、撮影部は、前述の少なくとも2つ以上の異なる照明パターンについて複数の画像データを獲得できる。その後、プロセッサーによって前述の複数の異なる画像データをディープラーニングに基づくモデルに入力して検査対象物体の表面における欠陥の有無を検査することができる。
前述のように、エッジフィールドを、検査対象物体(10)の表面領域の大部分をカバーできるように投光することで、検査可能面積を広げ、検査効率を向上できる。
以下に本開示の一実施例における欠陥検査装置に使われる照明計の例示的構造及びそれに伴う照明パターンの例示について図19及び図20を参照して説明する。
代替の実施例において、欠陥検査装置の照明計は、複数の光源が配置された複数の照明板で構成されることができ、複数の照明板は、上部層に位置する照明板から投光された光の少なくとも一部が検査対象物体の表面に到達できるように一領域に穴が開いている形になり得る。
具体的な例示のために、2つの照明板があるとすれば、図19(a)の上部照明板(510)と図19(b)の下部照明板(520)が存在する。この時、上部の照明板の複数の光源(511)と下部の照明板の複数の光源(521)は、2つの照明板を重ねたとき、互いに重なるところがないように離隔され、照明板の内部に位置することができる。そして、下部照明板(520)が、上部照明板の光源(511)を隠さないように下部照明板において上部照明板の光源に対応する領域(522)は、穴が開いている形になり得る。図19において、上部照明板の断面(513)及び下部照明板の断面(523)は、それぞれ上部と下部の照明板を重ねた時の断面を説明するためである。重ねた照明板の断面に係る側面図は、図20に開示されている。図20から確認できるように、上部照明板の光源(511)を下部照明板が隠さないように、下部照明板において対応する部分が穴が開いた領域(522)でできている。そして検査装置を使用する際は、検査対象物体の表面に対し領域によって照度の異なる照明パターンを形成するために、上部照明板の光源が点灯する際、下部照明板は消灯し、上部照明板の光源が消灯する際、下部照明板は点灯する形で使用することができる。前述の下部照明板に現れた格子型の穴が開いたパターンは、例示に過ぎず、穴が開いたパターンの変更によって、複数の照明板を重ねて線形、円形、多角形等を含む複数のパターンを制限なく作り出せることは、当業者には明確に理解できることである。
前述のように、複数の照明板を重ねることで得られる発明の効果は、特定の光源グループに対する制御または複数の光源のそれぞれに対する制御なしで各照明板に対する制御だけで検査対象物体の表面に対し領域によって照度の異なる照明パターンを作り出せるという点である。言い換えると、個別の照明板に含まれた複数の光源を一括して制御しながらもそれぞれ異なる照明パターンを作り出せるため、制御コストが下がり、操作が容易になる効果があり得る。
プロセッサー(110)は、照明計によって投光されたそれぞれ異なる各照明パターンに係る画像データを獲得できる。例えば、1つの検査対象物体について、それぞれ異なる照明パターンごとに複数の画像データが存在し得る。プロセッサー(110)は、それぞれ異なる照明パターンを含む複数の画像データに基づき、検査対象物体の欠陥を判断できる。
プロセッサー(110)は、検査対象物体の表面を含む画像データから検査対象物体における欠陥の有無を判断できる。プロセッサー(110)は、検査対象物体に係る画像データをディープラーニングに基づくモデルを利用して処理することで、検査対象物体における欠陥の有無を判断できる。プロセッサー(110)は、画像データをディープラーニングに基づくモデルに入力させ、ディープラーニングに基づくモデルを利用して、検査対象物体における欠陥の有無を判断できる。また、前述のプロセッサー(110)は、ディープラーニングに基づくモデルを利用して画像データから検査対象物体の表面における欠陥の分類結果を含むことができる。
図21は、プロセッサー(110)が検査対象物体(10)の表面を含む画像データから検査対象物体(10)に存在する欠陥検出及び欠陥の位置を表示した例を示している。プロセッサー(110)は、検査対象物体(10)に欠陥が存在する場合、欠陥が存在するという判断だけでなくその判断の根拠となった欠陥の位置を出力することができる。つまり、プロセッサー(110)は、ディープラーニングに基づくモデルを利用して図21の(a)のように検査対象物体(10)の表面にスクラッチの形の欠陥(1)が存在する場合、図21の(b)のようにその欠陥(1)の位置を他の正常と判断された部位と区分できる視覚的表現(例えば、色等)で表示することができる。
本開示の一実施例において、プロセッサー(110)は、画像データをエッジフィールドの部分だけ抽出してディープラーニングに基づくモデルに入力することができる。プロセッサー(110)は、画像データをパッチに分割し、パッチの各ピクセルのピクセル値に基づきエッジフィールドを抽出することができる。例えば、プロセッサー(110)は、獲得された画像データから各ピクセルのRGB値を参照してピクセル当たりの照度値を求める。これは実際のRGB値と色相表を照らし合わせて絶対値を求めることもでき、全体ピクセルにおけるRGB値の平均と分散を導出して相対値を求めることもできる。またプロセッサー(110)は、画像データにおいてエッジフィールド部分を示すメタ情報に基づきエッジフィールド部分だけを抽出することもできる。
プロセッサー(110)は、前述のピクセル当たりの照度値に基づき、エッジフィールドの中心となるピクセルを選別するために3x3の行列の中央に位置するピクセルが周辺のピクセルより照度値が高い場合、これをエッジフィールドの中心となるピクセルとして選別することができる。そしてこうしたピクセルを光源の中心とし、エッジフィールドの予め決められた距離を利用してエッジフィールドを抽出することができる。他の実施例において、前述のエッジフィールドの中心となるピクセルの選別過程は、2次元の画像データ上で各ピクセルの照度値を別途の軸にして照度値の極大値を探すことで選別することもできる。これだけでなく、極大値の代わりに特定の臨界値以上の照度値を持つピクセルを選別することもでき、より広いNxNにおいて、極大値を選択することもできる。
他の実施例において、プロセッサー(110)は、複数のエッジフィールドパッチを抽出してから、各パッチに含まれる領域を比較して、パッチが重なる領域が一定以上の場合、一部のパッチだけを選択することができる。
本開示の一実施例において、プロセッサー(110)は、画像データとともに照度の急激な変化が起きる部分を強調するために、照度の急激な変化が起こる部分に係る情報を含むメタデータをディープラーニングに基づくモデルに入力することができる。プロセッサー(110)は、エッジフィールドの位置情報を画像データとともにディープラーニングに基づくモデルに入力することができる。具体的に、プロセッサー(110)は、獲得された画像データから各ピクセルのRGB値を参照してピクセル当たりの照度値を求めることができる。そしてプロセッサーは、検査対象物体に投光された照明パターンの境界線の方向と直交する方向に任意の距離分離れたピクセル間の照度値の差を演算することができる。仮に照明パターンが円形(450)なら、画像データの中央にある光源領域の中心から放射状に伸びる線に沿って一定距離分離れたピクセル間の照度値の差を演算できる。前述の照度値の差は、単純な引き算にもなり得るが、ピクセル間の照度値の差を前述の一定の距離で割った傾きにもなり得る。プロセッサーは、前述の照度値の差に基づき、照度値の急激な変化が現れる領域のピクセルを選別することができる。そして、そのピクセルの情報を前述の画像データと一緒にディープラーニングモデルに入力できる。前述の照明パターン及びそれに伴う直交方向に係る例示は、一例に過ぎず、本開示は、これに制限されない。
前述のように画像データからエッジフィールドの部分だけを抽出して、ディープラーニングに基づくモデルに入力したり、照度の急激な変化が現れる領域を強調するメタデータを前述の画像データと一緒にディープラーニングに基づくモデルに入力した場合、プロセッサーが全体の画像データを探索する必要がなく、抽出されたエッジフィールドまたは強調されたピクセル付近についてのみ欠陥の有無の判断のための演算を実行すればいいので、コンピューティング資源の消耗を削減するとともに演算処理速度が速くなるというメリットがある。
本開示の一実施例において、プロセッサー(110)は、検査対象物体の表面の全体領域において一定以上の広さの領域をエッジフィールドでカバーするために別途の演算を行うことができる。つまり、プロセッサー(110)は、検査対象物体の表面の全体領域においてエッジフィールドがカバーする複数のそれぞれ異なる領域の面積の合計値が臨界値より少ない場合、照明計を制御して、カバーされていない領域にエッジフィールドを生成するために検査対象物体の表面の他の領域に、照度の急激な変化をもたらすための照明パターンを投光するようにすることができる。例えば、設定された臨界値が検査対象物体の表面全体を検査するために100%に設定された場合、プロセッサー(110)は、エッジフィールドを抽出する演算を行った後、抽出されたエッジフィールド領域の面積の合計値が検査対象物体の表面全体をカバーできないと判断されれば、照明計を制御して、異なる領域に投光するようにし、撮影部(140)から画像データの再入力を受け、エッジフィールドを再抽出できる。上述のような再入力及び再抽出は、設定された臨界値によって複数回実施されることができる。他の実施例において、プロセッサーは、以前のパターンと違う照明パターンを投光するうに照明計を制御するとき、検査対象物体の表面においてすでにエッジフィールドでカバーされている領域を除く他の領域に照度の急激な変化をもたらすように照明計を制御できる。
一般的に外観の不良は、検査対象物体の表面の任意の領域において発生するため、前述のプロセッサー(110)が検査対象物体の表面を少なくとも設定された臨界値以上のカバレッジ(Coverage)分だけ検査ができるようになれば、表面欠陥の検出確率を高められるというメリットがある。
本開示の一実施例において、プロセッサー(110)は、それぞれ異なる照明パターンを検査対象物体に投光して複数の画像データを獲得し、これをディープラーニングに基づくモデルに入力することで、検査対象物体の表面における欠陥を判断できる。具体的な一実施例において、プロセッサー(110)は、複数の画像データを各ピクセルごとに重ねて、1つの画像データを生成した後、ディープラーニングに基づくモデルに入力できる。他の実施例において、複数の画像データは、同一のモデルに順次に入力され欠陥がある位置を順次に確認した後、最終的に1つの出力画像にすべてまとめて表示されることができる。更なる実施例において、複数の画像データは、各照明パターン別に学習されたサブモデルごとに該当する照明パターンを含む画像データが入力され、各照明パターンにおける欠陥の位置を別途出力できる。
検査対象物体の表面によっては、投光される光の入射角が特定の角度になった場合、表面の欠陥がより検出しやすくなることがある。例えば、検査対象物体の表面が幅がとても狭い浅い溝を円形で多数含み、かつ、光沢のある材質だとすれば、そのような表面のスクラッチを検出するためには、円形の照明パターンの方がより効果的であることがあり得る。従って、上述のようにそれぞれ異なる照明パターンを利用して検査対象物体の表面における欠陥を検査すると、外観の欠陥を、光の入射角をどんどん変えながら検査ができるため、検出確率が向上する。また、プロセッサーが、それぞれ異なる照明パターンに基づく複数の画像データを重ねて検査する場合には、検査速度が速くなる効果がある。一方、複数の画像データを別途のモデルに基づき、または順次に同一のモデルに入力して出力データを得るようにすれば、欠陥検査の正確度を高めることができる。
前述のようにプロセッサー(110)は、エッジフィールドを含む検査対象物体の画像データをディープラーニングに基づくモデルに入力して、多様な種類の形を持つ出力を得ることで、本開示は映像の複雑度と関係なく検査対象物体の表面における欠陥の視認性を確保することができ、これにより不良認識率を高めることができる。
本開示の一実施例における、欠陥検査装置に含まれるプロセッサー(110)は、入力された画像データから照度の急激な変化を含む、照度変化領域を再抽出する過程を含むことができる。前述のように入力画像データから照度変化領域を抽出する全処理過程を含むことで、プロセッサーが画像上の物体以外の領域、つまり背景画像から欠陥が存在すると判断するエラーを減らすことができ、全体画像データから関心領域だけを抽出して検査を行うようになるため、データ処理速度の向上が可能である。
本明細書の全体を通して、ディープラーニングに基づくモデル、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク(neural network)は、同一の意味で使われることができる。神経回路網は、一般的にノードと呼ばれることのできる相互連結された計算単位の集合で構成されることができる。このようなノードは、ニューロン(neuron)と称されることもできる。神経回路網は少なくとも1つ以上のノードを含めて構成される。神経回路網を構成するノード(またはニューロン)は1つ以上のリンクによって相互連結されることができる。
神経回路網において、リンクを介して繋がっている1つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。1つの入力ノードに1つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
1つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードは入力ノードに入力されたデータに基づきその値が決められることができる。ここで入力ノードと出力ノードとを相互連結するノードは重み(weight)を持つことができる。重みは可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることができる。例えば、1つの出力ノードに1つ以上の入力ノードが各リンクによって相互連結された場合、出力ノードは前述の出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された重みに基づき出力ノードの値を決定することができる。
前述のように、神経回路網は、1つ以上のノードが1つ以上のリンクを通じて相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網の中で、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された重みの値によって、神経回路網の特性が決まることができる。例えば、同数のノード及びリンクが存在し、リンクの重みの値がそれぞれ異なる2つの神経回路網が存在する場合、2つの神経回路網は、相異するものと認識されることができる。
神経回路網は、1つ以上のノードの集合により構成されることができる。神経回路網を構成するノードの部分集合は、レイヤー(layer)を構成できる。神経回路網を構成する複数のノードのうち一部は、第1入力ノードからの距離に基づき、1つのレイヤー(layer)を構成することができる。例えば、第1入力ノードからの距離がnであるノードの集合は、nレイヤーを構成することができる。第1入力ノードからの距離は、第1入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数によって定義されることができる。しかし、このようなレイヤーの定義は、説明のために任意に取り上げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離によって定義されることもできる。
第1入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される1つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクに繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない1つ以上のノードを意味することができる。また、ヒドンノードは、第1入力ノード及び最終出力ノードではない神経回路網を構成するノードを意味することができる。
本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数になることがあり、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一端減ってしてから、さらに増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少ないことがあり、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一端減少する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多いことがあり、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。
ディープニューラルネットワーク(DNN:deep neural network、深層神経網)は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造(latent structures)を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、ある物が写真の中にあるのか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等)を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN:recurrent neural network)、オートエンコーダー(auto encoder)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワーク、敵対的生成ネットワーク(GAN:Generative Adversarial Network)等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。
本開示の一実施例において、ネットワーク関数は、オートエンコーダー(auto encoder)を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも1つのヒドンレイヤーを含むことができ、奇数のヒドンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー(エンコード)という中間レイヤーに向けて縮小されていき、ボトルネックレイヤーから出力レイヤー(入力レイヤーと対称を成す)に向けて、縮小と対称する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの全処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドンレイヤーのノードの数は、入力データから遠くなるほど減少する構造を持つことができる。ボトルネックレイヤー(エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー)のノードの数が最も少ない場合、十分な量の情報が伝わらないことがあるため、特定の数以上(例えば、入力レイヤーの半分以上等)に維持されることもできる。
ニューラルネットワークは、教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、半教師あり学習(semisupervised learning)、または、強化学習(reinforcement learning)の中から少なくともいずれか1つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。
ニューラルネットワークの学習は出力のエラーを最小化する方向で学習させることができる。ニューラルネットワークの学習で繰り返し学習データをニューラルネットワークに入力させ学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向でニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤー方向へ逆伝播(back propagation)してニューラルネットワークの各ノードの加重値を更新する過程である。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い(つまり、ラベリングされた学習データ)、教師なし学習の場合は、個々の学習データに正解がラベリングされていないことがあり得る。つまり、例えばデータ分類に関する教師あり学習の場合の学習データは、学習データそれぞれにカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力(カテゴリ)と学習データのラベルを比較することでエラー(error)が計算されることが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データがニューラルネットワーク出力と比較されることでエラーが計算されることが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向(つまり、出力レイヤーから入力レイヤー方向)へ逆伝播され、逆伝播によってニューラルネットワークの各レイヤーの各ノードの連結加重値が更新されることが可能である。更新される各ノードの連結加重値は、学習率(learning rate)によって変化量が決まることが可能である。入力データに関するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル(epoch)を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって違う形で適用されることがあり得る。例えば、ニューラルネットワークの学習初期においては、高い学習率を使ってニューラルネットワークが早く一定レベルの性能を確保するようにして効率を上げ、学習の後半においては学習率を低くして精度を上げることが可能である。
ニューラルネットワークの学習において、一般的に学習データは実際のデータ(つまり、学習されたニューラルネットワークを利用して処理しようとするデータ)の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータについてはエラーが増加する学習サイクルが存在し得る。過剰適合(over fitting)は、このように学習データにおいて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法が使われることができる。過剰適合を防ぐためには学習データを増加させたり、正則化(regularization)、学習の過程でネットワークのノードの一部を非活性化するドロップアウト(drop out)、バッチ正規化レイヤー(batch normalization layer)の方法が適用されることが可能である。
図22は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。
本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び/またはその他のプログラムモジュールと結合して及び/またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド(handheld)コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々(これらは、それぞれ1つ以上の関連する装置と繋がって動作することができる)をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的(transitory)及び非一時的(non−transitory)媒体、移動式及び非移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータのような情報を保存する任意の方法または技術により実装される揮発性及び非揮発性媒体、一時的及び非一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、RAM、ROM、EEPROM、フラッシュメモリーまたはその他のメモリー技術、CD−ROM、DVD(digital video disk)またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
コンピューター可読伝送媒体は、通常、搬送波(carrier wave)またはその他の伝送メカニズム(transport mechanism)のような被変調データ信号(modulated data signal)にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち1つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続(direct−wired connection)のような有線媒体、そして音響、RF、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。
コンピューター(1102)を含む本開示の多様な側面を実現する例示的な環境(1100)が示されており、コンピューター(1102)は、処理装置(1104)、システムメモリー(1106)、システムバス(1108)を含む。システムバス(1108)は、システムメモリー(1106)(これに限定されない)をはじめとするシステムコンポーネントを処理装置(1104)につなげる。処理装置(1104)は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置(1104)として利用されることができる。
システムバス(1108)は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー(1106)は、読み取り専用メモリー(ROM)(1110)やランダムアクセスメモリー(RAM)(1112)を含む。基本的な入出力システム(BIOS)は、ROM、EPROM、EEPROM等の非揮発性メモリー(1110)に保存され、このBIOSは、起動中の時等にコンピューター(1102)の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。RAM(1112)は、またデータをキャッシュするための静的RAM等の高速RAMを含むことができる。
コンピューター(1102)においては、また、内蔵型ハードディスクドライブ(HDD)(1114)(例えば、EIDE、SATA)―この内蔵型ハードディスクドライブ(1114)はまた適切なシャシー(図示は省略)の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ(FDD)(1116)(例えば、移動式ディスケット(1118)から読み取ったりそれに書き込むためのものである)及び光ディスクドライブ(1120)(例えば、CD−ROMディスク(1122)を読み取ったり、DVD等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである)を含む。ハードディスクドライブ(1114)、磁気ディスクドライブ(1116)及び光ディスクドライブ(1120)は、それぞれハードディスクドライブインターフェース(1124)、磁気ディスクドライブインターフェース(1126)及び光ドライブインターフェース(1128)によってシステムバス(1108)に繋がることができる。外付け型ドライブの実装のためのインターフェース(1124)は、例えば、USB(Universal Serial Bus)やIEEE1394インターフェース技術のうち、少なくとも1つまたはその両方を含む。
これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター(1102)の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読媒体に係る説明が、HDD、移動式磁気ディスク及びCDまたはDVD等の移動式光媒体について触れているが、当業者ならジップドライブ(zip drive)、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
運営システム(1130)、1つ以上のアプリケーションプログラム(1132)、その他のプログラムモジュール(1134)及びプログラムデータ(1136)をはじめとする多数のプログラムモジュールが、ドライブ及びRAM(1112)に保存されることができる。運営システム、アプリケーション、モジュール及び/またはデータの全部またはその一部分がまたRAM(1112)にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
ユーザーは、1つ以上の有線・無線の入力装置、例えば、キーボード(1138)及びマウス(1140)等のポインティング装置を通じてコンピューター(1102)に命令及び情報を入力することができる。その他の入力装置(図示は省略)としてはマイク、IRリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス(1108)に繋がっている入力装置インターフェース(1142)を通じて処理装置(1104)に繋がることがあるが、並列ポート、IEEE1394直列ポート、ゲームポート、USBポート、IRインターフェース、その他等々のその他のインターフェースによって繋がることができる。
モニター(1144)または他の類型のディスプレイ装置も、ビデオアダプター(1146)等のインターフェースを通じてシステムバス(1108)に繋がる。モニター(1144)に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置(図示は省略)を含む。
コンピューター(1102)は、有線及び/または無線通信による(複数の)遠隔コンピューター(1148)等の1つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。(複数の)遠隔コンピューター(1148)は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター(1102)について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置(1150)のみ図示されている。図示されている論理的接続は、近距離通信網(LAN)(1152)及び/または、より大きいネットワーク、例えば、遠距離通信網(WAN)(1154)における有線・無線の接続を含む。このようなLAN及びWANのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク(enterprise−wide computer network)を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
LANネットワーキング環境で使われるとき、コンピューター(1102)は、有線及び/または無線通信ネットワークインターフェース、または、アダプター(1156)を通じてローカルネットワーク(1152)に繋がる。アダプター(1156)は、LAN(1152)への有線または無線通信を容易にすることができ、このLAN(1152)は、また無線アダプター(1156)と通信するためにそれに設置されている無線アクセスポイントを含む。WANネットワーキング環境で使われるとき、コンピューター(1102)は、モデム(1158)を含むことができたり、WAN(1154)上の通信サーバーに繋がったり、またはインターネットを通じる等、WAN(1154)を通じて通信を設定するその他の手段を持つ。内蔵型または外付け型、そして、有線または無線装置になり得るモデム(1158)は、直列ポートインターフェース(1142)を通じてシステムバス(1108)に繋がる。ネットワーク化された環境において、コンピューター(1102)について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー/保存装置(1150)に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。
コンピューター(1102)は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び/または携帯用コンピューター、PDA(portable data assistant)、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともWi−Fi及びブルートゥース無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも2つの装置の間でのアドホック通信(ad hoc communication)になり得る。
Wi−Fi(Wireless Fidelity)は、有線で繋がっていなくても、インターネット等への接続を可能にする。Wi−Fiは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Wi−Fiネットワークは、安全で信頼性があり、高速である無線接続を提供するためにIEEE802.11(a、b、g、その他)という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク(IEEE802.3またはイーサネットを使う)に接続するためにWi−Fiが使われることができる。Wi−Fiネットワークは、非認可2.4や5GHzの無線帯域において、例えば、11Mbps(802.11a)または54Mbps(802.11b)のデータレートで動作したり、両帯域(デュエル帯域)を含む製品において動作することができる。
本開示の技術分野における通常の知識を持つ者は情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理会できる。例えば、上記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁気派、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、(利便性のために、ここでは「ソフトウェア」と称される)多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して上記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーション及び全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び/またはエンジニアリング技術を使った製造物品(article)によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体(media)を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置(例えば、ハードディスク、フロッピーディスク、磁気ストリップ等)、光学ディスク(例えば、CD、DVD等)、スマートカード及びフラッシュメモリー装置(例えば、EEPROM、カード、スティック、キードライブ等)を含むが、これらに限定されるものではない。また、ここに示されている多様は保存媒体は、情報を保存するための1つ以上の装置及び/または他の機械可読媒体を含む。
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

Claims (14)

  1. 検査対象物体におけるアノマリーの有無を判断するための欠陥検査装置であって、
    前記検査対象物体に光を照射するための光源と、前記光源と検査対象物体との間に位置し、検査対象物体に投光される光の拡散度を調節できる可変ディフューザーと、を含む照明計、及び
    前記検査対象物体の特性に基づき前記可変ディフューザーを制御する1つ以上のプロセッサー、
    を含む、
    欠陥検査装置。
  2. 請求項1において、
    前記可変ディフューザーを通過する光の拡散度は
    前記プロセッサーの電気信号に沿って調節される、
    欠陥検査装置。
  3. 請求項1において、
    前記可変ディフューザーは、
    前記プロセッサーの電気信号に沿って透明度が調節される液晶フィルムを含む、
    欠陥検査装置。
  4. 請求項1において、
    前記可変ディフューザーは
    前記プロセッサーの制御信号に沿って、配置状態が調節されるディフューザーである、
    欠陥検査装置。
  5. 請求項1において、
    前記可変ディフューザーは、
    検査対象物体の表面の特徴によって、検査対象物体の表面の各領域に対しそれぞれ異なる拡散度を持つ光を投光するように、前記プロセッサーによって制御される、
    欠陥検査装置。
  6. 請求項1において、
    画像データを獲得するための撮影部、
    をさらに含み、
    前記プロセッサーは、
    前記獲得された画像データから検査対象物体を認識し、
    前記認識された検査対象物体に基づき、検査対象物体に投光される光の拡散度を決め、さらに
    前記決められた光の拡散度に沿って前記可変ディフューザーを制御する、
    欠陥検査装置。
  7. 請求項1において、
    画像データを獲得するための撮影部、
    をさらに含み、
    前記プロセッサーは、
    前記獲得された画像データから検査対象物体の表面における光の反射度を認識し、
    前記認識された検査対象物体の表面における光の反射度に基づき、前記検査対象物体に投光される光の拡散度を決め、さらに
    前記決められた拡散度に沿って前記可変ディフューザーを制御する、
    欠陥検査装置。
  8. 請求項1において、
    画像データを獲得するための撮影部、
    をさらに含み、
    前記プロセッサーは、
    前記撮影部から獲得された画像データから検査対象物体を認識し、さらに、
    前記検査対象物体の表面の少なくとも一領域において求められる光の拡散度が残りの他の領域と異なる場合、前記可変ディフューザーが互いに異なる2つ以上の透明度を持つように制御する、
    欠陥検査装置。
  9. 請求項8において、
    前記プロセッサーは、
    前記可変ディフューザーに含まれている2つ以上の領域がそれぞれ異なる透明度を持つように制御する、
    欠陥検査装置。
  10. 請求項8において
    前記プロセッサーは、
    前記可変ディフューザーが互いに異なる2つ以上の透明度を持つように順次制御する、
    欠陥検査装置。
  11. 請求項1において、
    画像データを獲得するための撮影部と、
    ディープラーニングに基づくモデルを保存するメモリーと、
    をさらに含み、
    前記プロセッサーは、
    前記ディープラーニングに基づくモデルに含まれている1つ以上のサブモデルを利用して前記画像データに含まれた検査対象物体の欠陥を判断し、
    前記1つ以上のサブモデルは、前記可変ディフューザーが持つ互いに異なる透明度それぞれについて学習されている、
    欠陥検査装置。
  12. 請求項11において、
    前記プロセッサーは、
    前記可変ディフューザーが投光される光を拡散させない場合、獲得された非拡散光画像データを前記ディープラーニングに基づくモデルの第1サブモデルに入力させ、前記画像データに含まれた検査対象物体の欠陥を判断し、
    前記可変ディフューザーが投光される光を拡散させる場合、獲得された拡散光の画像データを前記ディープラーニングに基づくモデルの第2サブモデルに入力させ前記画像データに含まれた検査対象物体の欠陥を判断する、
    欠陥検査装置。
  13. コンピューター可読保存媒体に保存されたコンピュータープログラムであって、
    前記コンピュータープログラムは、請求項1の欠陥検査装置の1つ以上のプロセッサーにおいて実行される場合、検査対象物体に欠陥があるか否かを判断するための動作を実行するようにするコンピューター可読保存媒体に保存されたコンピュータープログラム。
  14. 請求項1の欠陥検査装置において実行される検査対象物体の表面におけるアノマリーの有無を検査するための方法。
JP2021062089A 2020-04-10 2021-03-31 可変拡散板を利用した光学システム Active JP7399906B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023206280A JP2024020622A (ja) 2020-04-10 2023-12-06 可変拡散板を利用した光学システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0044074 2020-04-10
KR1020200044074A KR102292547B1 (ko) 2020-04-10 2020-04-10 가변 확산판을 이용한 광학 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023206280A Division JP2024020622A (ja) 2020-04-10 2023-12-06 可変拡散板を利用した光学システム

Publications (2)

Publication Number Publication Date
JP2021167812A true JP2021167812A (ja) 2021-10-21
JP7399906B2 JP7399906B2 (ja) 2023-12-18

Family

ID=77466507

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021062089A Active JP7399906B2 (ja) 2020-04-10 2021-03-31 可変拡散板を利用した光学システム
JP2023206280A Pending JP2024020622A (ja) 2020-04-10 2023-12-06 可変拡散板を利用した光学システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023206280A Pending JP2024020622A (ja) 2020-04-10 2023-12-06 可変拡散板を利用した光学システム

Country Status (4)

Country Link
US (1) US11531220B2 (ja)
JP (2) JP7399906B2 (ja)
KR (2) KR102292547B1 (ja)
CN (1) CN113514467A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188821B1 (ja) 2021-12-17 2022-12-13 バイスリープロジェクツ株式会社 検査システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
KR102268909B1 (ko) * 2020-04-10 2021-06-23 코그넥스코오포레이션 Edge Field와 딥러닝 기반 검사 방법
CN116091500B (zh) * 2023-04-07 2023-07-04 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS635247A (ja) * 1986-06-25 1988-01-11 Matsushita Electric Ind Co Ltd 外観自動検査用照明装置
JPH09250989A (ja) * 1996-03-15 1997-09-22 Adomon Sci Kk プリント基板の検査装置
JP2001221745A (ja) * 2000-02-10 2001-08-17 Nippon Steel Corp 疵検査用照明装置
WO2003102562A1 (fr) * 2002-05-31 2003-12-11 Olympus Corporation Dispositif de macro-illumination
JP3098369U (ja) * 2003-06-06 2004-02-26 有限会社 フロンティアシステム 発泡シート材のピンホール検査装置
WO2008143228A1 (ja) * 2007-05-21 2008-11-27 Nikon Corporation ウエハ端面検査装置
JP2015161613A (ja) * 2014-02-27 2015-09-07 株式会社キーエンス 画像測定器
JP2019190911A (ja) * 2018-04-20 2019-10-31 ファナック株式会社 検査装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10148782A1 (de) * 2001-09-28 2003-04-24 Zeiss Carl Jena Gmbh Optisches Modulationselement
US20070258085A1 (en) 2006-05-02 2007-11-08 Robbins Michael D Substrate illumination and inspection system
KR20050009867A (ko) 2003-07-18 2005-01-26 아주하이텍(주) 인쇄회로기판의 광학 검사 시스템 및 그 방법
JP2006300775A (ja) * 2005-04-21 2006-11-02 Olympus Corp 外観検査装置
JP2008070237A (ja) 2006-09-14 2008-03-27 Olympus Corp 基板検査装置
US7843558B2 (en) * 2008-06-25 2010-11-30 Applied Materials South East Asia Pte. Ltd. Optical inspection tools featuring light shaping diffusers
WO2010029549A1 (en) * 2008-09-12 2010-03-18 Ceramicam Ltd. Surface scanning device
CN201637681U (zh) * 2010-02-04 2010-11-17 阳程科技股份有限公司 光学检测机
JP5568444B2 (ja) * 2010-11-01 2014-08-06 株式会社日立ハイテクノロジーズ 欠陥検査方法、微弱光検出方法および微弱光検出器
KR101888139B1 (ko) 2011-10-06 2018-08-14 엘지디스플레이 주식회사 스마트 윈도우 디스플레이
JP6205780B2 (ja) 2013-03-27 2017-10-04 凸版印刷株式会社 照明装置及び検査装置
KR101517929B1 (ko) 2013-06-28 2015-05-06 (주)가람이앤씨 논스톱 부품 검사가 가능한 고속 로봇비전 장치
JP2013210393A (ja) * 2013-07-01 2013-10-10 Hitachi High-Technologies Corp 欠陥検査方法及び欠陥検査装置
US10429037B2 (en) 2014-11-07 2019-10-01 3M Innovative Properties Company Optical device including switchable diffuser
CN106662537A (zh) * 2015-01-29 2017-05-10 株式会社Decsys 光学式外观检查装置以及使用该装置的光学式外观检查系统
EP3315950A4 (en) * 2015-06-25 2018-12-19 JFE Steel Corporation Surface flaw detection device, surface flaw detection method, and manufacturing method for steel material
TWI551844B (zh) * 2015-06-26 2016-10-01 創意電子股份有限公司 亮度校正方法及光學檢測系統
US20170045203A1 (en) * 2015-08-13 2017-02-16 Abl Ip Holding Llc Configurable lighting device using a light source and optical modulator
JP2017194370A (ja) 2016-04-21 2017-10-26 凸版印刷株式会社 ウェブ欠陥検査装置
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
JP6745150B2 (ja) * 2016-06-20 2020-08-26 タカノ株式会社 照明装置、及び、画像検査装置
WO2018216074A1 (ja) * 2017-05-22 2018-11-29 株式会社日立ハイテクノロジーズ 欠陥検査装置及び欠陥検査方法
WO2018221006A1 (ja) * 2017-05-29 2018-12-06 コニカミノルタ株式会社 表面欠陥検査装置および該方法
JP2019002830A (ja) * 2017-06-16 2019-01-10 コニカミノルタ株式会社 表面欠陥検査装置および該方法
JP7135297B2 (ja) * 2017-10-27 2022-09-13 株式会社ニコン 検査装置、検査システム、および検査方法
US10527557B2 (en) * 2017-12-29 2020-01-07 Radiant Vision Systems, LLC Adaptive diffuse illumination systems and methods
JP2019128151A (ja) * 2018-01-19 2019-08-01 コニカミノルタ株式会社 表面検査装置
US11143600B2 (en) * 2018-02-16 2021-10-12 Hitachi High-Tech Corporation Defect inspection device
US11668658B2 (en) * 2018-10-08 2023-06-06 Araz Yacoubian Multi-parameter inspection apparatus for monitoring of additive manufacturing parts
CN112840271A (zh) * 2018-10-11 2021-05-25 Asml荷兰有限公司 多源照射单元及其操作方法
US11328380B2 (en) * 2018-10-27 2022-05-10 Gilbert Pinter Machine vision systems, illumination sources for use in machine vision systems, and components for use in the illumination sources
US11588081B2 (en) * 2020-03-04 2023-02-21 Advanced Semiconductor Engineering, Inc. Semiconductor device package

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS635247A (ja) * 1986-06-25 1988-01-11 Matsushita Electric Ind Co Ltd 外観自動検査用照明装置
JPH09250989A (ja) * 1996-03-15 1997-09-22 Adomon Sci Kk プリント基板の検査装置
JP2001221745A (ja) * 2000-02-10 2001-08-17 Nippon Steel Corp 疵検査用照明装置
WO2003102562A1 (fr) * 2002-05-31 2003-12-11 Olympus Corporation Dispositif de macro-illumination
JP3098369U (ja) * 2003-06-06 2004-02-26 有限会社 フロンティアシステム 発泡シート材のピンホール検査装置
WO2008143228A1 (ja) * 2007-05-21 2008-11-27 Nikon Corporation ウエハ端面検査装置
JP2015161613A (ja) * 2014-02-27 2015-09-07 株式会社キーエンス 画像測定器
JP2019190911A (ja) * 2018-04-20 2019-10-31 ファナック株式会社 検査装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188821B1 (ja) 2021-12-17 2022-12-13 バイスリープロジェクツ株式会社 検査システム
JP2023090473A (ja) * 2021-12-17 2023-06-29 バイスリープロジェクツ株式会社 検査システム

Also Published As

Publication number Publication date
JP2024020622A (ja) 2024-02-14
CN113514467A (zh) 2021-10-19
KR20210126524A (ko) 2021-10-20
KR102292547B1 (ko) 2021-08-20
JP7399906B2 (ja) 2023-12-18
US11531220B2 (en) 2022-12-20
US20210318565A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7399906B2 (ja) 可変拡散板を利用した光学システム
JP7289868B2 (ja) 欠陥検査装置、コンピュータープログラム及び検査対象物体の表面における欠陥の有無を検査するための方法
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
JP6669453B2 (ja) 画像分類装置および画像分類方法
JP7112501B2 (ja) ディープラーニングに基づく画像比較装置と方法及びコンピューター可読媒体に保存されたコンピュータープログラム
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
US9846929B2 (en) Fast density estimation method for defect inspection application
CN110197208A (zh) 一种纺织品瑕疵智能检测分类方法及装置
US20170084076A1 (en) 3d rendering and shadow information storing method and apparatus
US11610360B2 (en) Real-time neural network radiance caching for path tracing
KR20200075704A (ko) 어노말리 디텍션
CN115053234A (zh) 深度光度学习(dpl)系统、装置和方法
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN115439628A (zh) 通过拓扑采样进行接合点形状和外观优化
KR20230038078A (ko) 표면 결함 검출 장치 및 방법
US20220092756A1 (en) Feature detection based on neural networks
US20230351555A1 (en) Using intrinsic functions for shadow denoising in ray tracing applications
Ruediger-Flore et al. CAD-based data augmentation and transfer learning empowers part classification in manufacturing
Honzátko et al. Defect segmentation for multi-illumination quality control systems
US11922558B2 (en) Hybrid differentiable rendering for light transport simulation systems and applications
WO2022251619A1 (en) Hybrid differentiable rendering for light transport simulation systems and applications
EP4360055A2 (en) Rendering a visual representation of a luminaire by re-using light values
WO2021119201A1 (en) Methods and systems for three-dimensional lightsheet imaging
WO2013038225A1 (en) Methods and apparatus for image analysis and modification using fast sliding parabola erosion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7399906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150