JP2020106461A - 画像生成装置及び外観検査装置 - Google Patents

画像生成装置及び外観検査装置 Download PDF

Info

Publication number
JP2020106461A
JP2020106461A JP2018247016A JP2018247016A JP2020106461A JP 2020106461 A JP2020106461 A JP 2020106461A JP 2018247016 A JP2018247016 A JP 2018247016A JP 2018247016 A JP2018247016 A JP 2018247016A JP 2020106461 A JP2020106461 A JP 2020106461A
Authority
JP
Japan
Prior art keywords
image
product
learning
defect
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018247016A
Other languages
English (en)
Other versions
JP6908019B2 (ja
Inventor
健志 堤
Kenji Tsutsumi
健志 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Priority to JP2018247016A priority Critical patent/JP6908019B2/ja
Priority to EP19217551.1A priority patent/EP3675033A1/en
Priority to US16/720,474 priority patent/US11373292B2/en
Publication of JP2020106461A publication Critical patent/JP2020106461A/ja
Application granted granted Critical
Publication of JP6908019B2 publication Critical patent/JP6908019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】学習用画像の種類を増加させることができる画像生成装置及び外観検査装置を提供する。【解決手段】画像生成装置は、検査対象製品と異なる種類の製品である第１製品に含まれる第１欠陥を描出している第１画像を取得する画像取得部と、前記検査対象製品を撮像した検査画像が前記第１欠陥と同じ種類の欠陥を描出しているか否かを識別する識別器に読み込ませて前記識別器を学習させるために使用される学習用画像を前記第１画像に基づいて生成する画像生成部と、を備える。【選択図】図１

Description

本発明は、画像生成装置及び外観検査装置に関する。
現在では、人工知能（Artificial Intelligence：ＡＩ）の急速な発展に伴い、深層学習（Deep Learning）を含む機械学習（Machine Learning）の重要性が高まっており、製造業、サービス業等、多くの分野への応用が期待されている。
例えば、機械学習を製造業に応用する場合、製品が欠陥を含んでいない良品であるか欠陥を含んでいる不良品であるかを識別する識別器を学習させるためには、良品を撮像した学習用画像及び不良品を撮像した学習用画像が必要となる。また、識別器の識別精度を向上させるためには、良品を撮像した学習用画像及び不良品を撮像した学習用画像の両方を一定数以上用意する必要があり、両者の数が同程度である必要がある。
ところが、通常、不良品の数は、良品の数に比べて遥かに少ない。このため、不良品を撮像した学習用画像は、良品を撮像した学習用画像に比べて不足することが多い。これを解消するための技術として、例えば、特許文献１には、良品との差分データを抽出し、乱数値から不良合成位置等の不良作成条件を幾通りも作成し、この不良作成条件に基づいて良品画像に差分データを合成することで、幾通りもの疑似不良画像を作成し、不良品を撮像した学習用画像としてニューラルネットワークに入力する疑似不良画像自動作成装置が開示されている。
特開２００５−１５６３３４号公報
しかし、疑似不良画像自動作成装置は、不良品を撮像した少数の学習用画像から疑似的に複数の疑似不良画像を作成するため、疑似不良画像の種類が少なくなってしまい、識別器の識別精度を十分に高めることができないことがある。
そこで、本発明は、学習用画像の種類を増加させることができる画像生成装置及び外観検査装置を提供することを課題とする。
本発明の一態様は、検査対象製品と異なる種類の製品である第１製品に含まれる第１欠陥を描出している第１画像を取得する画像取得部と、前記検査対象製品を撮像した検査画像が前記第１欠陥と同じ種類の欠陥を描出しているか否かを識別する識別器に読み込ませて前記識別器を学習させるために使用される学習用画像を前記第１画像に基づいて生成する画像生成部と、を備える画像生成装置である。
本発明によれば、学習用画像の種類を増加させることができる。
実施形態に係る外観検査装置の構成の一例を示す図である。 実施形態に係る第１画像の一例を示す図である。 実施形態に係る第２画像の一例を示す図である。 実施形態に係る画像生成装置が生成する学習用画像の一例を示す図である。 実施形態に係る画像生成装置が生成する学習用画像の一例を示す図である。 実施形態に係る画像生成装置が生成する学習用画像の一例を示す図である。 実施形態に係る画像生成装置が実行する処理の一例を示すフローチャートである。
［実施形態］
図１から図６を参照しながら、実施形態に係る外観検査装置の構成の一例について画像生成装置を中心に説明する。図１は、実施形態に係る外観検査装置の構成の一例を示す図である。図１に示すように、外観検査装置１は、画像生成装置１０と、識別器２０と、撮像装置３０とを備える。
画像生成装置１０は、画像取得部１１と、特徴抽出部１２と、画像生成部１３と、画像記憶部１４と、識別器学習部１５と、識別器検証部１６とを備える。
図２は、実施形態に係る第１画像の一例を示す図である。画像取得部１１は、第１製品に含まれる第１欠陥を描出している第１画像Ｐ１を取得する。第１製品は、検査対象製品と異なる種類の製品である。また、第１欠陥は、亀裂、欠け、穴、凹み、異物の付着等の欠陥である。第１画像Ｐ１は、図２に示すように、略直線状の亀裂Ｃ１が入っている第１製品を描出している。画像取得部１１は、例えば、外観検査装置１の内部又は外部に設けられている記憶媒体から第１画像Ｐ１を取得する。
図３は、実施形態に係る第２画像の一例を示す図である。特徴抽出部１２は、検査対象製品と同じ種類の製品である第２製品を撮像しており、欠陥を描出していない第２画像Ｐ２の特徴を示す特徴データを第２画像Ｐ２から抽出する。また、第１製品と第２製品とは異なる種類の製品である。例えば、第１製品が樹脂製品であり、第２製品がセラミック製品である。
また、特徴データは、第２画像Ｐ２のうち第２製品を描出している領域内、例えば、図３に示した領域Ｒ２１内の各画素の色相に関する値及び色相のばらつきの度合いを示す値を含む。色相に関する値は、例えば、色相の平均、中央値、最大値、最小値、これらの値に適宜補正や重み付けを施して得られる値である。色相のばらつきの度合いを示す値は、例えば、色相の分散、標準偏差である。
或いは、特徴データは、第２画像Ｐ２が描出している第２製品と背景との境界Ｂを示す境界データを含む。境界Ｂは、図３に示すように、領域Ｒ２１と領域Ｒ２２とを隔てている線である。例えば、特徴抽出部１２は、第２画像Ｐ２にエッジ検出を適用することにより、境界Ｂを示す境界データを抽出する。ただし、特徴抽出部１２は、エッジ検出以外の方法により境界データを抽出してもよい。
或いは、特徴データは、第２画像Ｐ２が描出している第２製品の背景を示す背景データを含む。当該背景は、第２画像Ｐ２の領域Ｒ２２に描出されている。例えば、特徴抽出部１２は、第２画像Ｐ２に画像認識を適用することにより、当該背景を示す背景データを抽出する。具体的には、特徴抽出部１２は、第２画像Ｐ２から背景データを抽出する際に、境界Ｂを示す境界データを利用して領域Ｒ２１及び領域Ｒ２２を認識し、領域Ｒ２１及び領域Ｒ２２それぞれに画像認識を適用して当該背景が領域Ｒ２２に描出されていると認識し、領域Ｒ２２から背景データを抽出する。ただし、特徴抽出部１２は、他の方法により領域Ｒ２１及び領域Ｒ２２を認識してもよく、他の方法により当該背景が領域Ｒ２２に描出されていると認識してもよい。
図４は、実施形態に係る画像生成装置が生成する学習用画像の一例を示す図である。画像生成部１３は、第１画像Ｐ１及び特徴データに基づいて図４に示した学習用画像Ｌ１を生成する。
初めに、画像生成部１３は、第１画像Ｐ１全体の各画素から色相を削除する。次に、画像生成部１３は、第１画像Ｐ１全体の各画素の色相を、上述した特徴データに含まれる第２画像Ｐ２の領域Ｒ２１内の各画素の色相に関する値に置き換える。この場合、色相に関する値は、例えば、色相の平均である。さらに、画像生成部１３は、第１画像Ｐ１全体の各画素の色相に、上述した特徴データに含まれる第２画像Ｐ２の領域Ｒ２１内の各画素の色相のばらつきの度合いを示す値により規定される雑音を追加する。この場合、例えば、ばらつきの度合いを示す値が分散であり、雑音が第２画像Ｐ２の領域Ｒ２１内の各画素の色相の平均及び分散により規定されるガウス雑音である。これら二つの処理により、第１画像Ｐ１全体の各画素の色相が第２画像Ｐ２のうち第２製品を描出している領域Ｒ２１の色相に近くなる。なお、ここで言及している第１画像Ｐ１全体は、第１画像Ｐ１のうち第１製品を描出している領域の一例である。また、第１画像Ｐ１のうち第１製品を描出している領域は、第１製品に含まれる第１欠陥を描出している領域及びその周辺の領域であってもよい。
そして、画像生成部１３は、上述した特徴データに含まれる境界データに基づいて境界Ｂを第１画像Ｐ１に合成し、上述した特徴データに含まれる背景データに基づいて第２画像Ｐ２の領域Ｒ２２に描出されている背景を第１画像Ｐ１に合成する。以上により、画像生成部１３は、図４に示した学習用画像Ｌ１を生成する。
また、画像生成部１３は、図２に示した第１画像Ｐ１により描出されている第１欠陥の一例である亀裂Ｃ１の位置及び方向の少なくとも一方を変更して図５に示した学習用画像Ｌ２や図６に示した学習用画像Ｌ３を生成してもよい。図５及び図６は、実施形態に係る画像生成装置が生成する学習用画像の一例を示す図である。
例えば、画像生成部１３は、図２に示した第１画像Ｐ１に画像処理を適用して亀裂Ｃ１の位置を平行移動させた後、上述した色相の置き換え、雑音の追加、境界の合成及び背景の合成を実行し、図５に示した学習用画像Ｌ２を生成してもよい。
或いは、画像生成部１３は、図２に示した第１画像Ｐ１に画像処理を適用して亀裂Ｃ１の方向を反時計周りに４５度回転させた後、上述した色相の置き換え、雑音の追加、境界の合成及び背景の合成を実行し、図６に示した学習用画像Ｌ３を生成してもよい。
画像記憶部１４は、画像生成部１３により生成された学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３を記憶する記憶媒体である。
識別器学習部１５は、図１に示した識別器２０に学習用画像を読み込ませて識別器２０を学習させる。
識別器２０は、機械学習を利用することにより、検査対象製品を撮像した検査画像が第１画像Ｐ１により描出されている第１欠陥と同じ種類の欠陥を描出しているか否かを識別する。ここで言う機械学習は、深層学習を含んでおり、例えば、ニューラルネットワーク(Neural Network)、サポートベクターマシーン(Support Vector Machine：ＳＶＭ)、ランダムフォレスト(Random Forest)である。また、検査画像は、例えば、図１に示した撮像装置３０により撮像される。
識別器学習部１５は、亀裂、欠け、穴、凹み、異物の付着等の欠陥の種類それぞれについて、具体的な欠陥の形態ごとに学習用画像を読み込ませる。例えば、識別器学習部１５は、欠陥の種類の一つである亀裂について、略直線状に入っている亀裂、途中で分岐している亀裂、曲がっている亀裂等、亀裂の特徴ごとに一定数以上の学習用画像を識別器２０に学習用画像を読み込ませる。
識別器検証部１６は、第１画像Ｐ１により描出されている第１欠陥と同じ種類の欠陥を含む検査対象製品を撮像した異常検査画像を識別器２０に読み込ませ、識別器２０の識別精度を検証する。例えば、識別器検証部１６は、図４に示した学習用画像Ｌ１等、略直線状に入っている亀裂を描出しており、図２に示した第１画像Ｐ１等から生成した学習用画像を識別器２０に一定数以上読み込ませる。そして、識別器検証部１６は、略直線状に入っている亀裂を含む検査対象製品の検査画像を識別器２０に入力し、識別器２０が検査画像に略直線状に入っている亀裂が描出されていると識別するか否かを検証する。
次に、図７を参照しながら実施形態に係る画像生成装置の動作の一例を説明する。図７は、実施形態に係る画像生成装置が実行する処理の一例を示すフローチャートである。
ステップＳ１０において、画像生成部１３は、第１画像Ｐ１の各画素から色相を削除し、第１欠陥の位置及び方向を決定する。
ステップＳ２０において、特徴抽出部１２は、第２画像Ｐ２のうち第２製品を描出している領域内の各画素の色相に関する値及び色相のばらつきの度合いを抽出し、第２画像Ｐ２が描出している第２製品と背景との境界Ｂを示す境界データ及び当該背景を示す背景データを抽出する。
ステップＳ３０において、画像生成部１３は、第１画像Ｐ１のうち少なくとも第１製品を描出している領域内の各画素の色相をステップＳ２０で抽出された色相に関する値に置き換える。
ステップＳ４０において、画像生成部１３は、第１画像Ｐ１のうち少なくとも第１製品を描出している領域内の各画素の色相にステップＳ２０で抽出された色相に関する値及び色相のばらつきの度合いにより規定される雑音を追加する。
ステップＳ５０において、画像生成部１３は、ステップＳ２０で抽出された境界データ及び背景データに基づいて、境界Ｂ及び背景を描出している第２画像Ｐ２の領域Ｒ２２を第１画像Ｐ１に合成する。
以上、実施形態に係る画像生成装置１０について説明した。画像生成装置１０は、第１製品に含まれる第１欠陥を描出している第１画像Ｐ１に基づいて学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３の少なくとも一つを生成する。これにより、画像生成装置１０は、学習用画像の種類を増加させ、識別器２０の識別精度の向上に貢献することができる。
また、画像生成装置１０は、第２画像Ｐ２の特徴を示す特徴データを抽出し、第１画像Ｐ１及び特徴データに基づいて学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３の少なくとも一つを生成する。これにより、画像生成装置１０は、第１画像Ｐ１の特徴が第２画像の特徴と異なっていても、学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３の特徴を検査対象製品の検査画像の特徴に近づけ、識別器２０の識別精度の向上に貢献することができる。
また、画像生成装置１０は、第２画像Ｐ２のうち第２製品を描出している領域Ｒ２１内の各画素の色相に関する値及び色相のばらつきの度合いを示す値を抽出する。そして、画像生成装置１０は、第１画像Ｐ１のうち少なくとも第１製品を描出している領域内の各画素の色相を領域Ｒ２１内の各画素の色相に関する値に置き換え、第１画像Ｐ１のうち少なくとも第１製品を描出している領域内の各画素の色相に領域Ｒ２１内の各画素の色相のばらつきの度合いを示す値により規定される雑音を追加する。これにより、画像生成装置１０は、第１画像Ｐ１の色相が第２画像の色相と異なっていても、学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３の色相を検査対象製品の検査画像の色相に近づけ、識別器２０の識別精度の向上に貢献することができる。
また、画像生成装置１０は、第２画像Ｐ２が描出している第２製品と背景との境界Ｂを示す境界データを抽出し、境界データに基づいて境界Ｂを第１画像Ｐ１に合成する。さらに、画像生成装置１０は、第２画像Ｐ２が描出している第２製品の背景を示す背景データを抽出し、背景データに基づいて、背景を第１画像Ｐ１に合成する。これら二つの処理により、画像生成装置１０は、学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３に境界Ｂ及び背景を含めることによりこれらの学習用画像の特徴を検査対象製品の検査画像の特徴に近づけ、識別器２０の識別精度の向上に貢献することができる。特に、境界や背景が識別器２０に特徴として認識され易い場合、これらの学習用画像の特徴が検査対象画像の特徴に更に近くなることになるためこれら二つの処理は有用である。
また、画像生成装置１０は、第１画像Ｐ１により描出されている第１欠陥の位置及び方向の少なくとも一方を変更して学習用画像Ｌ２及び学習用画像Ｌ３を生成する。これにより、画像生成装置１０は、一つの第１画像Ｐ１から学習用画像Ｌ１に加え、二つの学習用画像Ｌ２及び学習用画像Ｌ３を生成することができるため、学習用画像の種類を更に増加させ、識別器２０の識別精度の向上に貢献することができる。
第１製品と第２製品とは異なる種類の製品である。このため、画像生成装置１０は、第２製品に含まれる欠陥を描出した画像の数が少ない場合であっても、第１製品に含まれる第１欠陥を撮像した第１画像Ｐ１から学習用画像Ｌ１、学習用画像Ｌ２及び学習用画像Ｌ３の少なくとも一つを生成することができる。したがって、学習用画像の種類を増加させ、識別器２０の識別精度の向上に貢献することができる。
また、画像生成装置１０は、識別器２０に学習用画像Ｌ１、学習用画像Ｌ２、学習用画像Ｌ３等を読み込ませて識別器２０を学習させる。そして、画像生成装置１０は、第１画像Ｐ１により描出されている第１欠陥と同じ種類の欠陥を含む検査対象製品を撮像した異常検査画像を識別器２０に読み込ませ、識別器２０の識別精度を検証する。したがって、画像生成装置１０は、識別器２０の識別精度がどの程度向上しているかを検証することができるだけではなく、学習用画像Ｌ１、学習用画像Ｌ２、学習用画像Ｌ３等による識別器２０の学習をより良い方向に導くことができる。
なお、画像生成部１３は、第２画像Ｐ２の特徴を示す特徴データを使用することなく、第１画像Ｐ１に基づいて学習用画像を生成してもよい。この場合、画像生成部１３は、第１画像Ｐ１のうち少なくとも第１製品に含まれる第１欠陥を描出している領域内の各画素の色相を示すデータを削除して学習用画像を生成する。
なお、画像取得部１１は、第１画像とは別に、第１欠陥と同じ種類の欠陥であり、第２製品に含まれている第２欠陥を描出している第３画像を取得してもよい。この場合、画像生成部１３は、第１画像Ｐ１に基づいて生成した学習用画像とは別に、第３画像に基づいて学習用画像を生成する。或いは、画像生成部１３は、第３画像に画像処理を適用して第２欠陥の位置を平行移動させる処理又は第２欠陥の方向を回転させる処理により、第３画像が描出している第２欠陥の位置及び方向の少なくとも一方を変更して学習用画像を生成する。したがって、画像生成装置１０は、学習用画像の種類を更に増加させ、識別器２０の識別精度の向上に貢献することができる。
なお、上述した異常検査画像には、学習用画像とは別に取得された検査画像だけではなく、上述した第１画像及び第３画像の少なくとも一方が含まれていてもよい。
以上、本発明の実施形態について図面を参照しながら説明したが、具体的な構成が上述した実施形態に限られるわけではなく、本発明の要旨を逸脱しない範囲での設計変更等も含まれる。
１…外観検査装置、１０…画像生成装置、１１…画像取得部、１２…特徴抽出部、１３…画像生成部、１４…画像記憶部、１５…識別器学習部、１６…識別器検証部、２０…識別器、３０…撮像装置、Ｂ…境界、Ｃ１…亀裂、Ｌ１，Ｌ２，Ｌ３…学習用画像、Ｐ１…第１画像、Ｐ２…第２画像、Ｒ２１，Ｒ２２…領域

Claims (11)

  1. 検査対象製品と異なる種類の製品である第１製品に含まれる第１欠陥を描出している第１画像を取得する画像取得部と、
    前記検査対象製品を撮像した検査画像が前記第１欠陥と同じ種類の欠陥を描出しているか否かを識別する識別器に読み込ませて前記識別器を学習させるために使用される学習用画像を前記第１画像に基づいて生成する画像生成部と、
    を備える画像生成装置。
  2. 前記検査対象製品と同じ種類の製品である第２製品を撮像しており、欠陥を描出していない第２画像の特徴を示す特徴データを前記第２画像から抽出する特徴抽出部を更に備え、
    前記画像生成部は、前記第１画像に加え、前記特徴データに基づいて前記学習用画像を生成する、
    請求項１に記載の画像生成装置。
  3. 前記特徴抽出部は、前記第２画像のうち前記第２製品を描出している領域内の各画素の色相に関する値を前記特徴データとして抽出し、
    前記画像生成部は、前記第１画像のうち前記第１製品を描出している領域内の各画素の色相を前記値に置き換える、
    請求項２に記載の画像生成装置。
  4. 前記特徴抽出部は、前記第２画像のうち前記第２製品を描出している領域内の各画素の色相のばらつきの度合いを示す値を前記特徴データとして抽出し、
    前記画像生成部は、前記第１画像のうち前記第１製品を描出している領域内の各画素の色相に前記ばらつきの度合いを示す値により規定される雑音を追加する、
    請求項２又は請求項３に記載の画像生成装置。
  5. 前記特徴抽出部は、前記第２画像が描出している前記第２製品と背景との境界を示す境界データを前記特徴データとして抽出し、
    前記画像生成部は、前記境界データに基づいて、前記境界を前記第１画像に合成する、
    請求項２から請求項４のいずれか一つに記載の画像生成装置。
  6. 前記特徴抽出部は、前記第２画像が描出している前記第２製品の背景を示す背景データを前記特徴データとして抽出し、
    前記画像生成部は、前記背景データに基づいて、前記背景を前記第１画像に合成する、
    請求項２から請求項５のいずれか一つに記載の画像生成装置。
  7. 前記画像生成部は、前記第１画像により描出されている前記第１欠陥の位置及び方向の少なくとも一方を変更して前記学習用画像を生成する、
    請求項１から請求項６のいずれか一つに記載の画像生成装置。
  8. 前記画像取得部は、前記第１欠陥と同じ種類の欠陥であり、前記第２製品に含まれている第２欠陥を描出している第３画像を更に取得し、
    前記画像生成部は、更に、前記学習用画像を前記第３画像に基づいて生成する、
    請求項２から請求項７のいずれか一つに記載の画像生成装置。
  9. 前記画像生成部は、前記第３画像により描出されている前記第２欠陥の位置及び方向の少なくとも一方を変更して前記学習用画像を生成する、
    請求項８に記載の画像生成装置。
  10. 前記識別器に前記学習用画像を読み込ませて前記識別器を学習させる識別器学習部と、
    前記第１欠陥と同じ種類の欠陥を含む前記検査対象製品を撮像した異常検査画像を前記識別器に読み込ませ、前記識別器の識別精度を検証する識別器検証部と、
    を更に備える請求項１から請求項９のいずれか一つに記載の画像生成装置。
  11. 検査対象製品を撮像する撮像装置と、
    請求項１から請求項９のいずれか一つに記載の画像生成装置により生成された学習用画像を読み込んで学習した識別器と、
    を備える外観検査装置。
JP2018247016A 2018-12-28 2018-12-28 画像生成装置及び外観検査装置 Active JP6908019B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018247016A JP6908019B2 (ja) 2018-12-28 2018-12-28 画像生成装置及び外観検査装置
EP19217551.1A EP3675033A1 (en) 2018-12-28 2019-12-18 Image generation device and appearance inspection device
US16/720,474 US11373292B2 (en) 2018-12-28 2019-12-19 Image generation device and appearance inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018247016A JP6908019B2 (ja) 2018-12-28 2018-12-28 画像生成装置及び外観検査装置

Publications (2)

Publication Number Publication Date
JP2020106461A true JP2020106461A (ja) 2020-07-09
JP6908019B2 JP6908019B2 (ja) 2021-07-21

Family

ID=69104228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247016A Active JP6908019B2 (ja) 2018-12-28 2018-12-28 画像生成装置及び外観検査装置

Country Status (3)

Country Link
US (1) US11373292B2 (ja)
EP (1) EP3675033A1 (ja)
JP (1) JP6908019B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102525A1 (ja) * 2020-11-10 2022-05-19 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム
JPWO2022102524A1 (ja) * 2020-11-10 2022-05-19
JP2022100292A (ja) * 2020-12-23 2022-07-05 株式会社リコー ニューラルネットワーク訓練方法および欠陥検出方法、装置および記憶媒体
WO2024028971A1 (ja) * 2022-08-02 2024-02-08 日本たばこ産業株式会社 異物検査装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6792842B2 (ja) * 2017-06-06 2020-12-02 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
EP4307217A4 (en) * 2021-04-20 2024-08-14 Huawei Cloud Computing Tech Co Ltd METHOD AND DEVICE FOR GENERATING ERROR IMAGES

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194657A (ja) * 2005-01-12 2006-07-27 Yokogawa Electric Corp 擬似欠陥画像作成方法及びこれを用いた装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US20180253836A1 (en) * 2015-06-16 2018-09-06 South China University Of Technology Method for automated detection of defects in cast wheel products
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
CN101889196B (zh) * 2007-12-05 2012-07-04 芝浦机械电子装置股份有限公司 特征分析装置
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
SG11202004433XA (en) * 2017-11-21 2020-06-29 Fulfil Solutions Inc Product handling and packaging system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194657A (ja) * 2005-01-12 2006-07-27 Yokogawa Electric Corp 擬似欠陥画像作成方法及びこれを用いた装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US20180253836A1 (en) * 2015-06-16 2018-09-06 South China University Of Technology Method for automated detection of defects in cast wheel products
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102525A1 (ja) * 2020-11-10 2022-05-19 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム
JPWO2022102525A1 (ja) * 2020-11-10 2022-05-19
JPWO2022102524A1 (ja) * 2020-11-10 2022-05-19
WO2022102524A1 (ja) * 2020-11-10 2022-05-19 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム
JP7458042B2 (ja) 2020-11-10 2024-03-29 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム
JP7499476B2 (ja) 2020-11-10 2024-06-14 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム
JP2022100292A (ja) * 2020-12-23 2022-07-05 株式会社リコー ニューラルネットワーク訓練方法および欠陥検出方法、装置および記憶媒体
JP7243801B2 (ja) 2020-12-23 2023-03-22 株式会社リコー ニューラルネットワーク訓練方法および欠陥検出方法、装置および記憶媒体
WO2024028971A1 (ja) * 2022-08-02 2024-02-08 日本たばこ産業株式会社 異物検査装置

Also Published As

Publication number Publication date
JP6908019B2 (ja) 2021-07-21
EP3675033A1 (en) 2020-07-01
US20200211169A1 (en) 2020-07-02
US11373292B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP6908019B2 (ja) 画像生成装置及び外観検査装置
US11797886B2 (en) Image processing device, image processing method, and image processing program
JP6936957B2 (ja) 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP7087397B2 (ja) 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
US11010665B2 (en) Method of deep learning-based examination of a semiconductor specimen and system thereof
US10853932B2 (en) Method of defect detection on a specimen and system thereof
JP4585926B2 (ja) パターンレイヤーデータ生成装置、それを用いたパターンレイヤーデータ生成システム、半導体パターン表示装置、パターンレイヤーデータ生成方法、及びコンピュータプログラム
US10290087B2 (en) Method of generating an examination recipe and system thereof
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
CN114092387A (zh) 生成可用于检查半导体样本的训练数据
JP2011145179A (ja) 官能検査装置及び官能検査方法
CN117237360B (zh) 一种基于3d视觉的铸件毛刺检测方法和系统
US20200126204A1 (en) Image processing method and image processing apparatus
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP2010071826A (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP7151426B2 (ja) 管ガラス検査方法、学習方法及び管ガラス検査装置
JP3788586B2 (ja) パターン検査装置および方法
WO2023243202A1 (ja) 画像生成方法及び外観検査装置
WO2022181304A1 (ja) 検査システムおよび検査プログラム
JP6595800B2 (ja) 欠損検査装置、及び欠損検査方法
US20240177297A1 (en) Apparatus and method for detecting defect using deep learning-based surface inspection
TWI857227B (zh) 生成可用於檢查半導體樣本的訓練資料
JP4969635B2 (ja) パターンレイヤーデータ生成方法、及びパターンレイヤーデータ生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6908019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250