JP2020106469A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2020106469A
JP2020106469A JP2018247166A JP2018247166A JP2020106469A JP 2020106469 A JP2020106469 A JP 2020106469A JP 2018247166 A JP2018247166 A JP 2018247166A JP 2018247166 A JP2018247166 A JP 2018247166A JP 2020106469 A JP2020106469 A JP 2020106469A
Authority
JP
Japan
Prior art keywords
image
defect
background
background image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018247166A
Other languages
English (en)
Inventor
真嗣 栗田
Masashi Kurita
真嗣 栗田
池田　泰之
Yasuyuki Ikeda
泰之 池田
山元　左近
Sakon Yamamoto
左近 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018247166A priority Critical patent/JP2020106469A/ja
Priority to US17/270,441 priority patent/US11769248B2/en
Priority to EP19901921.7A priority patent/EP3904865A4/en
Priority to PCT/JP2019/041426 priority patent/WO2020137121A1/ja
Priority to CN201980051518.9A priority patent/CN112534245B/zh
Publication of JP2020106469A publication Critical patent/JP2020106469A/ja
Priority to JP2022190277A priority patent/JP7397415B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証する。【解決手段】画像処理装置は、検査対象の原画像を背景画像５１として背景画像５１に欠陥画像５２を重畳するとともに欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５１に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成し（ステップ４０３）、複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証し（ステップ４０４）、検出可否の検証結果に基づいて欠陥画像５２の検出可能範囲６０を推定し（ステップ４０５）、検出可能範囲６０を表示する（ステップ４０６）。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関わる。
工業製品の製造分野においては、画像処理技術を応用した外観検査を通じて製品の欠陥の有無やその程度を評価する検査方法が実用化されている。この種の検査分野においては、機械学習の応用により検査精度の向上が図られており、例えば、欠陥に特有の特徴画像を畳み込みニューラルネットワークを通じて識別するように学習された学習済みモデルを用いて、検査対象の画像から欠陥を検出する手法が用いられている。このような機械学習による欠陥画像の検出手法として、例えば、特許文献１に記載されているように、良品の登録画像と検査対象の画像とを比較して検査対象から欠陥を検出するための条件を規定する閾値を最適化する外観検査装置が知られている。
特開２０１３−１４２５５８号公報
このような外観検査では、標準的な撮影条件下における特定の検査対象の欠陥画像の検出可能範囲（例えば、欠陥の最小幅や最小面積など）は既知であるが、撮影条件が変わったり、或いは検査対象が変わったりすると、欠陥の見え方（欠陥の映り具合）も変化する。例えば、検査対象を照明する光の強度の変化に応じて欠陥とその背景との間の明暗比が変わると、検出可能な欠陥の最小幅も変動し得る。このため、標準的な撮影条件下における特定の検査対象の欠陥画像の検出性能と同等の性能がどのような撮影条件下及びどのような検査対象においても発揮されるとは限らない。
あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証するための手段として、例えば、不良品の標本を実際に作成してあらゆる撮影条件下で欠陥画像の検出を試みることも考えられるが、このような標本の作製は手間がかかる上にあらゆる撮影条件を網羅させることが困難である。また、標準的な撮影条件下における特定の検査対象の欠陥画像の検出可能範囲から特定の撮影条件下における他の検査対象の欠陥画像の検出可能範囲を推測するのは困難である。
そこで、本発明は、このような問題を解決し、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証することのできる画像処理装置、画像処理方法、及び画像処理プログラムを提案することを課題とする。
上述の課題を解決するため、本発明に関わる画像処理装置は、検査対象の原画像を背景画像として背景画像に欠陥画像を重畳するとともに欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、背景画像に対する欠陥画像の見え方が異なる複数の合成画像を生成する手段と、複数の合成画像のそれぞれからの欠陥画像の検出の可否を検証する手段と、検出可否の検証結果に基づいて欠陥画像の検出可能範囲を推定する手段と、検出可能範囲を表示する手段とを備える。欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証することができる。
欠陥画像の表示態様を変える画像処理は、欠陥画像の形状を変える処理、背景画像に対する欠陥画像の位置又は姿勢を変える処理、欠陥画像の大きさを変える処理、欠陥画像を拡大又は縮小する処理、又は背景画像に対する欠陥画像の明暗比を変える処理を含んでもよい。欠陥画像の表示態様を変えることにより、背景画像に対する欠陥画像の見え方を変えることができる。
背景画像の表示態様を変える画像処理は、背景画像のテクスチャパターンを変える処理、背景画像の輝度を変える処理、背景画像にノイズパターンを重畳する処理、背景画像に陰影パターンを重畳する処理、欠陥画像に対して背景画像を回転させる処理、背景画像を拡大又は縮小する処理、又は欠陥画像に対する背景画像の明暗比を変える処理を含んでもよい。背景画像の表示態様を変えることにより、背景画像に対する欠陥画像の見え方を変えることができる。
本発明に関わる画像処理装置は、欠陥画像が欠陥として検出されるための条件を規定する欠陥画像の特徴量の閾値を検出可能範囲に基づいて設定する手段を更に備えてもよい。これにより、閾値の設定を最適化できる。
本発明に関わる画像処理方法は、コンピュータシステムが、検査対象の原画像を背景画像として背景画像に欠陥画像を重畳するとともに、欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、背景画像に対する欠陥画像の見え方が異なる複数の合成画像を生成するステップと、複数の合成画像のそれぞれからの欠陥画像の検出の可否を検証するステップと、検出可否の検証結果に基づいて、欠陥画像の検出可能範囲を推定するステップと、検出可能範囲を表示するステップとを実行する。欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証することができる。
本発明に関わる画像処理プログラムは、コンピュータシステムに、検査対象の原画像を背景画像として背景画像に欠陥画像を重畳するとともに、欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、背景画像に対する欠陥画像の見え方が異なる複数の合成画像を生成するステップと、複数の合成画像のそれぞれからの欠陥画像の検出の可否を検証するステップと、検出可否の検証結果に基づいて、欠陥画像の検出可能範囲を推定するステップと、検出可能範囲を表示するステップとを実行させる。欠陥画像の表示態様又は背景画像の表示態様を変える画像処理を行うことにより、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証することができる。
本発明によれば、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像の検出可能範囲を検証することができる。
本実施形態に関わる画像処理の概要を示す説明図である。 本実施形態に関わる画像処理の概要を示す説明図である。 本実施形態に関わる画像処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に関わる画像処理の流れを示すフローチャートの一例である。 本実施形態に関わる欠陥パラメータ及び背景パラメータのテーブルの一例を示す説明図である。 本実施形態に関わる表示画面の一例を示す説明図である。
以下、本発明の一側面に関わる実施形態を図面に基づいて説明する。本発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明には、その等価物も含まれる。なお、同一符号は、同一の構成要素を示すものとし、重複する説明は省略する。
［適用例］
まず、図１及び図２を参照しながら、本発明の適用例について説明する。
図１及び図２は本実施形態に関わる画像処理の概要を示す説明図である。画像処理装置は、検査対象の原画像を背景画像５１として、背景画像５１に欠陥画像５２を重畳するとともに、欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５２に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成する。検査対象は、例えば、仕掛け品又は部品などのワークである。欠陥画像５２の種類として、例えば、「汚れ」、「キズ」、「シミ」、及び「打痕」などを挙げることができる。欠陥画像５２の表示態様を変える画像処理は、例えば、欠陥画像５２の形状を変える処理、背景画像５１に対する欠陥画像５２の位置又は姿勢を変える処理、欠陥画像５２の大きさを変える処理、欠陥画像５２を拡大又は縮小する処理、又は、背景画像５１に対する欠陥画像５２の明暗比を変える処理を含む。背景画像５１の表示態様を変える画像処理は、背景画像５１のテクスチャパターンを変える処理、背景画像５１の輝度を変える処理、背景画像５１にノイズパターンを重畳する処理、背景画像５１に陰影パターンを重畳する処理、欠陥画像５２に対して背景画像５１を回転させる処理、背景画像５１を拡大又は縮小する処理、又は、欠陥画像５２に対する背景画像５１の明暗比を変える処理を含む。
図１に示す例では、欠陥画像５２は、線状のキズであり、その線幅が次第に変化するように欠陥画像５２の表示態様に変更が加えられた複数の合成画像５０が生成される。画像処理装置は、図１に示す複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証し、その検証結果に基づいて、欠陥画像５２の検出可能範囲６０を推定する。図１に示す例では、検出可能範囲６０内の線幅を有する欠陥画像５２の検出が可能であり、この検出可能範囲６０よりも細い線幅を有する欠陥画像５２や、検出範囲６０よりも太い線幅を有する欠陥画像５２の検出が不可であることを示している。欠陥画像を検出するアルゴリズムが、例えば、ある一定幅以上の線幅を有する特徴画像をキズ以外のものと認識するアルゴリズムに基づいている場合には、図１に示すように、検出可能なキズの線幅には、上限値が存在し得る。これに対し、欠陥画像を検出するアルゴリズムが、例えば、ある一定幅以上の線幅を有する特徴画像を全てキズとして認識するアルゴリズムに基づいている場合には、検出可能なキズの線幅には、上限値が存在しないこともあり得る。
一方、図２に示す例では、欠陥画像５２は、線状のキズであり、背景画像５１に対する欠陥画像５２の明暗比が次第に変化するように欠陥画像５２の表示態様に変更が加えられた複数の合成画像５０が生成される。画像処理装置は、図２に示す複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証し、その検証結果に基づいて、欠陥画像５２の検出可能範囲６０を推定する。図２に示す例では、検出可能範囲６０内の明暗比を有する欠陥画像５２の検出が可能であり、この検出可能範囲６０よりも低い明暗比を有する欠陥画像５２の検出が不可であることを示している。
このように、欠陥画像５２の表示態様又は背景画像５１の表示態様を様々に変えることにより、あらゆる撮影条件下におけるあらゆる検査対象の欠陥画像５２の検出可能範囲６０を検証することができる。画像処理装置は、この検証結果に基づいて、欠陥画像５２の検出可能範囲６０を表示してもよい。これにより、検証者は、どのような撮影条件の下におけるどのような検査対象の欠陥画像の検出可能範囲がどの程度であるかを把握することができる。
画像処理装置は、欠陥画像５２が欠陥として検出されるための条件を規定する欠陥画像５２の特徴量の閾値を検出可能範囲６０に基づいて自動設定してもよい。これにより、閾値の設定を最適化できる。例えば、線状のキズの検出可能範囲が、３ピクセルから２０ピクセルの範囲の線幅である場合、欠陥として検出されるための条件を規定する線幅の閾値を５ピクセルから１５ピクセルの範囲に設定してもよい。この例では、欠陥画像５２の特徴量は、線幅となる。欠陥画像５２の特徴量は、上述の線幅の他に、欠陥画像５２の特徴（形状、色、輝度など）に応じて、面積、フェレ径、外接矩形主軸長、外接矩形副軸長、主軸角、円形度、針状度、外接円直径、内接円直径、周長、等価楕円主軸長、等価楕円副軸長、等価楕円主軸副軸比、平均輝度値、最大輝度値、及び明暗などでもよい。
［ハードウェア構成］
次に、図３を参照しながら、本実施形態に関わる画像処理装置１０のハードウェア構成の一例について説明する。
画像処理装置１０は、そのハードウェア資源として、プロセッサ１１と、メインメモリ１２と、カメラインタフェース１３と、入出力インタフェース１４と、ディスプレイインタフェース１５と、通信インタフェース１６と、記憶装置１７とを備えるコンピュータシステムである。
記憶装置１７は、ディスク媒体（例えば、磁気記録媒体又は光磁気記録媒体）又は半導体メモリ（例えば、揮発性メモリ又は不揮発性メモリ）などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置１７には、ソフトウェアプログラム（画像処理プログラム２０及びオペレーティングシステム２１）が記憶されている。画像処理プログラム２０は、本実施形態に関わる画像処理方法をプロセッサ１１に実行させるためのコンピュータプログラムである。これらのソフトウェアプログラムは、記憶装置１７からメインメモリ１２に読み込まれ、プロセッサ１１により解釈及び実行されることにより、本実施形態に関わる画像処理方法が実行される。
カメラインタフェース１３には、カメラ４１が接続されている。カメラ４１は、例えば、カラー画像を撮影するイメージセンサを備えてもよい。カメラ４１は、画像処理装置１０に内蔵されているものでもよく、或いは画像処理装置１０に外付けされるものでもよい。カメラ４１は、検査対象を撮影する。
なお、検査対象は、例えば、生産ライン上をベルトコンベヤで搬送される仕掛け品又は部品などのワークでもよい。画像処理装置１０は、生産ライン上に設置されていてもよく、或いは生産ラインとは異なる場所に設置されていてもよい。画像処理装置１０が生産ラインとは異なる場所に設置されている場合には、画像処理装置１０は、生産ラインに設置されているカメラによる検査対象の撮影により得られた画像データを、通信インタフェース１６を通じて有線又は無線のネットワークから受信してもよい。
入出力インタフェース１４には、入力デバイス４２と出力デバイス４３とが接続されている。入力デバイス４２は、検査者による各種設定の入力（例えば、図６に示す画面７０を通じて検査者が入力する操作）を受け付けるデバイスである。入力デバイス４２は、例えば、キーボード、マウス、タッチパッドなどである。出力デバイス４３は、各種処理結果などを出力するデバイスである。出力デバイス４３は、例えば、プリンタである。ディスプレイインタフェース１５には、ディスプレイ４４が接続されている。ディスプレイ４４は、例えば、液晶ディスプレイである。
［画像処理方法］
図４は本実施形態に関わる画像処理の流れを示すフローチャートの一例である。
ステップ４０１において、画像処理装置１０は、欠陥画像５２の表示態様を指定するパラメータ（以下、「欠陥パラメータ」と呼ぶ）を設定する。この欠陥パラメータは、例えば、欠陥画像５２の形状、記背景画像５１に対する欠陥画像５２の位置又は姿勢、欠陥画像５２の大きさ、欠陥画像５２の拡大率又は縮小率、又は、背景画像５１に対する欠陥画像５２の明暗比などを指定する。画像処理装置１０は、検査者からの入力操作に基づいて、欠陥パラメータを設定してもよく、或いは画像処理プログラム２０で定められた規則に従って、欠陥パラメータを自動設定してもよい。
ステップ４０２において、画像処理装置１０は、背景画像５１の表示態様を指定するパラメータ（以下、「背景パラメータ」と呼ぶ）を設定する。この背景パラメータは、例えば、背景画像５１のテクスチャパターン、背景画像５１に重畳されるノイズパターン、背景画像５１の輝度、背景画像５１に重畳される陰影パターン、欠陥画像５２に対する背景画像５１の回転角度、背景画像５１を拡大率若しくは縮小率、又は、欠陥画像５２に対する背景画像５１の明暗比などを指定する。画像処理装置１０は、検査者からの入力操作に基づいて、背景パラメータを設定してもよく、或いは画像処理プログラム２０で定められた規則に従って、背景パラメータを自動設定してもよい。
ステップ４０３において、画像処理装置１０は、検査対象の原画像を背景画像５１として背景画像５１に欠陥画像５２を重畳するとともに、ステップ４０１，４０２でそれぞれ設定された欠陥パラメータ及び背景パラメータに基づいて、欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５１に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成する。例えば、図１に示す例では、欠陥画像５２の線幅が変わるように、欠陥画像５２の形状を変える画像処理が行われている。
ここで、検査対象の原画像は、カメラ４１で撮影された良品の検査対象の画像データでもよく、或いは検査対象のＣＡＤ（Computer Aided Design）データでもよい。また、欠陥画像５２は、カメラ４１で撮影された不良品の検査対象の画像データから抽出された欠陥の画像データでもよく、ＣＧ（Computer Graphics）により人為的に合成された画像データでもよく、或いは検査者によるペイント処理により人為的に合成された画像データでもよい。
ステップ４０４において、画像処理装置１０は、複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証する。この検証処理では、汎用的な欠陥検出アルゴリズムを用いればよい。
ステップ４０５において、画像処理装置１０は、ステップ４０４の検証結果に基づいて、欠陥画像５２の検出可能範囲６０を推定する。検出可能範囲６０は、欠陥画像５２の特徴量の検出可能な上限値又は下限値の何れか一方でもよく、そのような上限値及び下限値の間の範囲でもよい。
ステップ４０６において、画像処理装置１０は、ステップ４０５で推定される検出可能範囲６０をディスプレイ４４に表示する。
ステップ４０７において、画像処理装置１０は、欠陥画像５２が欠陥として検出されるための条件を規定する欠陥画像５２の特徴量の閾値を、ステップ４０５で推定される検出可能範囲６０に基づいて設定する。
ステップ４０８において、画像処理装置１０は、ステップ４０１，４０２のそれぞれにおいて設定された欠陥パラメータ及び背景パラメータの全ての組み合わせについての欠陥画像５２の検出の可否の検証が完了したか否かを判定する。
図５は本実施形態に関わる欠陥パラメータ及び背景パラメータのテーブルの一例を示す説明図である。
この例では、欠陥パラメータは、欠陥画像５２の形状（「Ａ」形状、「Ｂ」形状、「Ｃ」形状の３種類）、欠陥画像５２の大きさ（「大」、「中」、「小」の３種類）、及び背景画像５１に対する欠陥画像５２の明暗比（「高」、「中」、「低」の３種類）を指定する。背景パラメータは、背景画像５１のテクスチャパターン（「Ｘ」パターン、「Ｙ」パターン、「Ｚ」パターンの３種類）、及び背景画像５１の輝度（「高」、「中」、「低」の３種類）を指定する。この例では、欠陥パラメータ及び背景パラメータの組み合わせパターンは、９×６＝５４通りあり、それぞれの組み合わせについてステップ４０４の検証処理が実行される。
なお、欠陥パラメータ又は背景パラメータを予め定められた規則に従って自動的に変えながら、又は不規則（ランダム）に替えながら、ステップ４０４の検証処理を行ってもよい。また、欠陥画像５２の特徴量の検出可能な上限値又は下限値の付近において欠陥パラメータ又は背景パラメータを細かく変えつつ、その他の範囲で大雑把に変えながら、ステップ４０４の検証処理を行ってもよい。また、欠陥画像５２の特徴量の検出可能な上限値及び下限値の間を均一な間隔で欠陥パラメータ又は背景パラメータを細かく変えながら、ステップ４０４の検証処理を行ってもよい。
図６は本実施形態に関わる表示画面７０の一例を示す説明図である。
表示画面７０は、欠陥画像５２の検出可否を検証するときにディスプレイ４４に表示される画面の一例である。符号７１は、欠陥画像５２の複数の評価項目を表示するウインドウを示している。評価項目は、例えば、欠陥画像５２の「線幅」、「輝度」、「明暗比」などの項目であり、例えば、「線幅」の評価項目が検査者によって選択されると、欠陥画像５２の様々な線幅について欠陥画像５２の検出可否が検証される。符号７２は、ウインドウ７１の中から選択された評価項目についての検証の実行を指示するボタンを示している。符号７４は、ウインドウ７１の中から選択された評価項目についての検証の際に生成された全ての合成画像５０の一覧を示している。符号７５は、検証の際に生成された全ての合成画像５０のうち欠陥画像５２の検出可能範囲内にある合成画像５０の一覧を示している。符号７３は、欠陥画像５２の特徴量の閾値を検出可能範囲６０に基づいて自動設定することを指示するボタンを示している。
画像処理装置１０は、上述の画像処理方法（図４のステップ４０１〜４０８）を実行する手段として機能し、斯かる手段は、必ずしも、画像処理装置１０のハードウェア資源と画像処理プログラム２０との協働によって実現される必要はなく、例えば、画像処理装置１０の専用のハードウェア資源（例えば、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を用いて実現されてもよい。画像処理プログラム２０は、上述の画像処理方法の各ステップ４０１〜４０８を実行するソフトウェアモジュールを備えてもよい。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
検査対象の原画像を背景画像５１として背景画像５１に欠陥画像５２を重畳するとともに欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５１に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成する画像処理手段４０３と、
複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証する検証手段４０４と、
検出可否の検証結果に基づいて欠陥画像５２の検出可能範囲６０を推定する推定手段４０５と、
検出可能範囲６０を表示する表示手段４０６と、
を備える画像処理装置１０。
（付記２）
付記１に記載の画像処理装置１０であって、
欠陥画像５２の表示態様を変える画像処理は、
欠陥画像５２の形状を変える処理、
背景画像５１に対する欠陥画像５２の位置又は姿勢を変える処理、
欠陥画像５２の大きさを変える処理、
欠陥画像５２を拡大又は縮小する処理、又は
背景画像５１に対する欠陥画像５２の明暗比を変える処理を含む、
画像処理装置１０。
（付記３）
付記１又は２に記載の画像処理装置１０であって、
背景画像５１の表示態様を変える画像処理は、
背景画像５１のテクスチャパターンを変える処理、
背景画像５１の輝度を変える処理、
背景画像５１にノイズパターンを重畳する処理、
背景画像５１に陰影パターンを重畳する処理、
欠陥画像５２に対して背景画像５１を回転させる処理、
背景画像５１を拡大又は縮小する処理、又は
欠陥画像５２に対する背景画像５１の明暗比を変える処理を含む、
画像処理装置１０。
（付記４）
付記１乃至３のうち何れか１項に記載の画像処理装置１０であって、
欠陥画像５２が欠陥として検出されるための条件を規定する欠陥画像５２の特徴量の閾値を検出可能範囲６０に基づいて設定する設定手段を更に備える画像処理装置１０。
（付記５）
コンピュータシステムが、
検査対象の原画像を背景画像５１として背景画像５１に欠陥画像５２を重畳するとともに欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５１に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成するステップ４０３と、
複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証するステップ４０４と、
検出可否の検証結果に基づいて欠陥画像５２の検出可能範囲６０を推定するステップ４０５と、
検出可能範囲６０を表示するステップ４０６と、
を実行する画像処理方法。
（付記６）
コンピュータシステムに、
検査対象の原画像を背景画像５１として背景画像５１に欠陥画像５２を重畳するとともに欠陥画像５２の表示態様又は背景画像５１の表示態様を変える画像処理を行うことにより、背景画像５１に対する欠陥画像５２の見え方が異なる複数の合成画像５０を生成するステップ４０３と、
複数の合成画像５０のそれぞれからの欠陥画像５２の検出の可否を検証するステップ４０４と、
検出可否の検証結果に基づいて欠陥画像５２の検出可能範囲６０を推定するステップ４０５と、
検出可能範囲６０を表示するステップ４０６と、
を実行させる画像処理プログラム２０。
１０…画像処理装置 １１…プロセッサ １２…メインメモリ １３…カメラインタフェース １４…入出力インタフェース １５…ディスプレイインタフェース １６…通信インタフェース １７…記憶装置 ２０…画像処理プログラム ２１…オペレーティングシステム ４１…カメラ ４２…入力デバイス ４３…出力デバイス ４４…ディスプレイ ５０…合成画像 ５１…背景画像 ５２…欠陥画像 ６０…検出可能範囲 ７０…表示画面

Claims (6)

  1. 検査対象の原画像を背景画像として前記背景画像に欠陥画像を重畳するとともに前記欠陥画像の表示態様又は前記背景画像の表示態様を変える画像処理を行うことにより、前記背景画像に対する前記欠陥画像の見え方が異なる複数の合成画像を生成する手段と、
    前記複数の合成画像のそれぞれからの前記欠陥画像の検出の可否を検証する手段と、
    前記検出可否の検証結果に基づいて前記欠陥画像の検出可能範囲を推定する手段と、
    前記検出可能範囲を表示する手段と、
    を備える画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記欠陥画像の表示態様を変える画像処理は、
    前記欠陥画像の形状を変える処理、
    前記背景画像に対する前記欠陥画像の位置又は姿勢を変える処理、
    前記欠陥画像の大きさを変える処理、
    前記欠陥画像を拡大又は縮小する処理、又は
    前記背景画像に対する前記欠陥画像の明暗比を変える処理を含む、画像処理装置。
  3. 請求項１又は２に記載の画像処理装置であって、
    前記背景画像の表示態様を変える画像処理は、
    前記背景画像のテクスチャパターンを変える処理、
    前記背景画像の輝度を変える処理、
    前記背景画像にノイズパターンを重畳する処理、
    前記背景画像に陰影パターンを重畳する処理、
    前記欠陥画像に対して前記背景画像を回転させる処理、
    前記背景画像を拡大又は縮小する処理、又は
    前記欠陥画像に対する前記背景画像の明暗比を変える処理を含む、画像処理装置。
  4. 請求項１乃至３のうち何れか１項に記載の画像処理装置であって、
    前記欠陥画像が欠陥として検出されるための条件を規定する前記欠陥画像の特徴量の閾値を前記検出可能範囲に基づいて設定する手段を更に備える、画像処理装置。
  5. コンピュータシステムが、
    検査対象の原画像を背景画像として前記背景画像に欠陥画像を重畳するとともに、前記欠陥画像の表示態様又は前記背景画像の表示態様を変える画像処理を行うことにより、前記背景画像に対する前記欠陥画像の見え方が異なる複数の合成画像を生成するステップと、
    前記複数の合成画像のそれぞれからの前記欠陥画像の検出の可否を検証するステップと、
    前記検出可否の検証結果に基づいて、前記欠陥画像の検出可能範囲を推定するステップと、
    前記検出可能範囲を表示するステップと、
    を実行する画像処理方法。
  6. コンピュータシステムに、
    検査対象の原画像を背景画像として前記背景画像に欠陥画像を重畳するとともに、前記欠陥画像の表示態様又は前記背景画像の表示態様を変える画像処理を行うことにより、前記背景画像に対する前記欠陥画像の見え方が異なる複数の合成画像を生成するステップと、
    前記複数の合成画像のそれぞれからの前記欠陥画像の検出の可否を検証するステップと、
    前記検出可否の検証結果に基づいて、前記欠陥画像の検出可能範囲を推定するステップと、
    前記検出可能範囲を表示するステップと、
    を実行させる画像処理プログラム。
JP2018247166A 2018-12-28 2018-12-28 画像処理装置、画像処理方法、及び画像処理プログラム Pending JP2020106469A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018247166A JP2020106469A (ja) 2018-12-28 2018-12-28 画像処理装置、画像処理方法、及び画像処理プログラム
US17/270,441 US11769248B2 (en) 2018-12-28 2019-10-23 Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
EP19901921.7A EP3904865A4 (en) 2018-12-28 2019-10-23 IMAGE PROCESSING DEVICE, METHOD AND PROGRAM
PCT/JP2019/041426 WO2020137121A1 (ja) 2018-12-28 2019-10-23 画像処理装置、画像処理方法、及び画像処理プログラム
CN201980051518.9A CN112534245B (zh) 2018-12-28 2019-10-23 图像处理装置、图像处理方法以及图像处理存储介质
JP2022190277A JP7397415B2 (ja) 2018-12-28 2022-11-29 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018247166A JP2020106469A (ja) 2018-12-28 2018-12-28 画像処理装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022190277A Division JP7397415B2 (ja) 2018-12-28 2022-11-29 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2020106469A true JP2020106469A (ja) 2020-07-09

Family

ID=71128909

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018247166A Pending JP2020106469A (ja) 2018-12-28 2018-12-28 画像処理装置、画像処理方法、及び画像処理プログラム
JP2022190277A Active JP7397415B2 (ja) 2018-12-28 2022-11-29 画像処理装置、画像処理方法、及び画像処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022190277A Active JP7397415B2 (ja) 2018-12-28 2022-11-29 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US11769248B2 (ja)
EP (1) EP3904865A4 (ja)
JP (2) JP2020106469A (ja)
CN (1) CN112534245B (ja)
WO (1) WO2020137121A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139688A1 (ja) * 2022-01-19 2023-07-27 三菱重工エンジン＆ターボチャージャ株式会社 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム
JP7518784B2 (ja) 2021-03-05 2024-07-18 日立Astemo株式会社 外観検査装置、外観検査方法、画像生成装置および画像生成方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7258509B2 (ja) * 2018-10-15 2023-04-17 オムロン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333451A (ja) * 2003-05-12 2004-11-25 Nec Corp レチクル検査装置評価用欠陥データ作り込み方法、システム、装置、及びプログラム
JP2013257197A (ja) * 2012-06-12 2013-12-26 Toppan Printing Co Ltd 印刷物検査装置の性能評価シート
JP2018032410A (ja) * 2012-08-02 2018-03-01 株式会社リコー 画像検査システム及び画像検査方法
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114553A (ja) 1997-06-23 1999-01-22 Omron Corp 視覚欠陥検査装置における欠陥サンプルデータ出力方法および装置
WO2001041068A1 (fr) * 1999-11-29 2001-06-07 Olympus Optical Co., Ltd. Systeme de detection de defaut
JP2008203034A (ja) * 2007-02-19 2008-09-04 Olympus Corp 欠陥検出装置および欠陥検出方法
JP2011047724A (ja) * 2009-08-26 2011-03-10 Hitachi High-Technologies Corp 欠陥検査装置およびその方法
JP2013019866A (ja) * 2011-07-14 2013-01-31 Hitachi High-Technologies Corp 走査電子顕微鏡、欠陥検査システム、および欠陥検査装置
JP5865707B2 (ja) 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP6241121B2 (ja) * 2012-09-14 2017-12-06 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP2015142181A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 制御装置、制御方法
DE102014004556A1 (de) 2014-03-31 2015-10-01 Heidelberger Druckmaschinen Ag Verfahren zur Prüfung der Zuverlässigkeit der Fehlererkennung eines Bildinspektionsverfahrens
JP6235684B1 (ja) 2016-11-29 2017-11-22 Ckd株式会社 検査装置及びｐｔｐ包装機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333451A (ja) * 2003-05-12 2004-11-25 Nec Corp レチクル検査装置評価用欠陥データ作り込み方法、システム、装置、及びプログラム
JP2013257197A (ja) * 2012-06-12 2013-12-26 Toppan Printing Co Ltd 印刷物検査装置の性能評価シート
JP2018032410A (ja) * 2012-08-02 2018-03-01 株式会社リコー 画像検査システム及び画像検査方法
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7518784B2 (ja) 2021-03-05 2024-07-18 日立Astemo株式会社 外観検査装置、外観検査方法、画像生成装置および画像生成方法
WO2023139688A1 (ja) * 2022-01-19 2023-07-27 三菱重工エンジン＆ターボチャージャ株式会社 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

Also Published As

Publication number Publication date
CN112534245B (zh) 2024-06-28
EP3904865A1 (en) 2021-11-03
US11769248B2 (en) 2023-09-26
WO2020137121A1 (ja) 2020-07-02
CN112534245A (zh) 2021-03-19
US20210183037A1 (en) 2021-06-17
JP2023024482A (ja) 2023-02-16
EP3904865A4 (en) 2022-11-02
JP7397415B2 (ja) 2023-12-13

Similar Documents

Publication Publication Date Title
WO2020137121A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6745173B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US8660336B2 (en) Defect inspection system
CN111970506B (zh) 镜头脏污检测方法、装置和设备
JP4250898B2 (ja) 回路パターンの検査方法及びその装置
TW202105549A (zh) 對樣本的缺陷檢測的方法及其系統
JP4702953B2 (ja) ムラ検査方法、ムラ検査装置およびプログラム
JP2006234771A (ja) 金属ロールの表面欠陥検査方法およびその装置
JP2009097922A (ja) 外観検査方法及び外観検査装置
WO2017071406A1 (zh) 金针类元件的引脚检测方法和系统
Lin et al. Surface defect detection of machined parts based on machining texture direction
JP5855961B2 (ja) 画像処理装置及び画像処理方法
JP2020064333A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2023151945A (ja) 検査システムおよび検査方法
Kefer et al. An intelligent robot for flexible quality inspection
JP2013171026A (ja) 検査領域表示装置及び検査領域表示方法
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
WO2023100474A1 (ja) システム、画像処理方法およびプログラム
CN114813746B (zh) 基于机器视觉的弯针检测的方法、系统、存储介质及设备
WO2024116675A1 (ja) 画像処理装置および画像処理方法
WO2024095721A1 (ja) 画像処理装置および画像処理方法
JP2024058942A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023151944A (ja) 検査システムおよび検査方法
WO2024181994A1 (en) Robotic visual tactile surface inspection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220829