JP2023090819A - 画像検査装置及び画像検査装置の設定方法 - Google Patents
画像検査装置及び画像検査装置の設定方法 Download PDFInfo
- Publication number
- JP2023090819A JP2023090819A JP2023072108A JP2023072108A JP2023090819A JP 2023090819 A JP2023090819 A JP 2023090819A JP 2023072108 A JP2023072108 A JP 2023072108A JP 2023072108 A JP2023072108 A JP 2023072108A JP 2023090819 A JP2023090819 A JP 2023090819A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- mode
- learning
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 487
- 238000000034 method Methods 0.000 title claims description 64
- 230000002950 deficient Effects 0.000 claims abstract description 313
- 238000003384 imaging method Methods 0.000 claims abstract description 141
- 238000012545 processing Methods 0.000 claims abstract description 106
- 238000005286 illumination Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 44
- 238000012217 deletion Methods 0.000 description 34
- 230000037430 deletion Effects 0.000 description 34
- 238000003860 storage Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 27
- 238000012937 correction Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
図2に示すように、撮像ユニット3は、カメラモジュール(撮像手段)14と、照明モジュール15とを備えている。カメラモジュール14は、撮像光学系を駆動するAF用モータ141と、撮像基板142とを備えている。AF用モータ141は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板142は、撮像光学系から入射した光を受光する受光素子としてCMOSセンサ143と、FPGA144と、DSP145とを備えている。CMOSセンサ143は、カラー画像を取得することができるように構成された撮像センサである。CMOSセンサ143の代わりに、例えばCCDセンサ等の受光素子を用いることもできる。FPGA144及びDSP145は、撮像ユニット3の内部において画像処理を実行するためのものであり、CMOSセンサ143から出力された信号はFPGA144及びDSP145にも入力されるようになっている。
制御ユニット2は、メイン基板13と、コネクタ基板16と、通信基盤17と、電源基板18とを備えている。メイン基板13には、FPGA131と、DSP132と、メモリ133とが搭載されている。FPGA131とDSP132は制御部13Aを構成するものであり、これらが一体化された主制御部を設けることもできる。
図3は、画像検査装置1のブロック図であり、プログラムファイル80や設定ファイルがインストールされた制御ユニット2により、図3に示す各部及び手段が構成される。すなわち、画像検査装置1は、撮像設定部21と、マスター画像登録部23と、学習画像登録部24と、画像処理ツール選択部25と、パラメータ調整部26と、検査ウィンドウ設定部27と、検査種別選択部28と、モード切替部29と、識別器生成部30と、良否判定部31と、追加学習画像指定部32と、安定性評価値算出部33と、判定軸抽出部34とを備えている。これら各部(手段)は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図3に示す各部及び手段は、それぞれが独立したものであってもよいし、1つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図3に示す各部及び手段の機能は、メイン基板13の制御部13Aによる制御で実現することもできる。
画像検査装置1が起動すると、制御ユニット2は図4に示すような起動時ユーザーインターフェース100を生成して表示装置4に表示させる。起動時ユーザーインターフェース100は、図示しないUI生成部等で生成することもできる。以下に述べる他のユーザーインターフェースもUI生成部等で生成することができる。
図3に示す検査種別選択部28は、標準検査モードと学習検査モードのいずれかの選択を受け付ける部分である。検査種別選択部28は、図5に示す検査種別選択ユーザーインターフェース101を生成して表示装置4に表示させる。検査種別選択ユーザーインターフェース101には、学習検査モード選択ボタン101aと、標準検査モード選択ボタン101bと、キャンセルボタン101cと、OKボタン101dとが設けられている。検査種別選択部28は、学習検査モード選択ボタン101aが押されたことを検出すると、学習検査モードに切り替える一方、標準検査モード選択ボタン101bが押されたことを検出すると、標準検査モードに切り替えるように構成されている。その後、OKボタン101dが押されると、受け付けられた検査モードが確定する。キャンセルボタン101cが押されると、図4に示す起動時ユーザーインターフェース100が表示装置4に表示される。
図3に示す撮像設定部21は、設定モード時に撮像ユニット3の撮像条件の設定を受け付ける部分である。撮像条件には、例えば、露光時間、照明モジュール15から照射される光量、ゲイン、フォーカス調整、撮像を行うトリガ条件等が含まれているが、これらに限られるものではなく、撮像に関する条件設定が可能なものを含むことができる。
図3に示すマスター画像登録部23は、設定モード時に撮像設定部21で設定された撮像条件で撮像された画像をマスター画像として登録する部分である。マスター画像とは、画像検査枠、即ち検査ウィンドウを設定するための基準となる画像であり、良品の検査対象物Wが含まれる画像である。マスター画像は、記憶装置19に記憶させておくことができる。
図8は、学習設定ユーザーインターフェース104を示すものである。マスター画像登録が終了して図7に示す次ステップボタン103eが押されると、制御ユニット2は、学習設定ユーザーインターフェース104を生成して表示装置4に表示させる。学習設定ユーザーインターフェース104には、マスター画像を表示するマスター画像表示領域104aと、検査ウィンドウ設定ボタン104bと、学習ボタン104cと、次ステップボタン104dとが設けられている。次ステップボタン104dは、次の工程に進む際に操作されるボタンである。
図3に示す検査ウィンドウ設定部27は、学習検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、差分検出の範囲を規定するための学習検査用ウィンドウ(学習ベース検査用ウィンドウ)200A、200Bの設定を受け付けるように構成されている。検査ウィンドウ設定部27は、図8に示す検査ウィンドウ設定ボタン104bが押されたことを検出すると、図9に示す検査ウィンドウ設定ユーザーインターフェース105を生成して表示装置4に表示させる。学習検査用ウィンドウ200A、200Bの設定は必須ではない。学習検査用ウィンドウ200Aが第1学習ベース検査用ウィンドウであり、学習検査用ウィンドウ200Bが第2学習ベース検査用ウィンドウである。
図3に示す学習画像登録部24は、学習検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する部分である。良品画像は、良品の検査対象物Wを撮像した画像であり、不良品画像はそれ以外の画像である。良品画像及び不良品画像は、マスター画像とは別に登録する。
図3に示す識別器生成部30は、学習検査モードの設定モード時に、学習画像登録部24で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する部分である。識別器生成部30は、図10に示す学習用ユーザーインターフェース106の学習開始ボタン106dが押されたことを検出すると、学習画像登録部24で登録された良品画像と不良品画像を読み込む。識別器生成部30は、読み込んだ良品画像と不良品画像を複数層で構成された機械学習器に入力する。
以上が学習検査モードの設定手順である。標準検査モードの場合は以下の設定を行う。はじめに、図3に示す画像処理ツール選択部25について説明する。画像処理ツール選択部25は、モード切替部29により設定モードに切り替えられ、かつ、検査種別選択部28により標準検査モードの選択が受け付けられている場合に機能する部分であり、画像処理ツールの選択を受け付けることができるように構成されている。画像処理ツール選択部25は、設定モードかつ標準検査モードの場合に、図12に示す画像処理ツールユーザーインターフェース107を生成して表示装置4に表示させる。
図3に示す検査ウィンドウ設定部27は、標準検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、画像処理ツール選択部25で選択された画像処理ツールを適用する範囲を規定するための標準検査用ウィンドウ(ルールベース検査用ウィンドウ)の設定を受け付ける部分である。図12に示すように、標準検査用ウィンドウ202をマスター画像と重畳表示することができる。標準検査用ウィンドウ202の設定手法は、学習検査モード時の検査用ウィンドウの設定手法と同じにすることができる。また、標準検査用ウィンドウ202は複数設定することができる。さらに、学習検査モード時と同様に、位置補正ウィンドウ203を設定することもできる。
図3に示すパラメータ調整部26は、標準検査モードの設定モード時に、画像処理ツール選択部25で選択された画像処理ツールのパラメータの調整を受け付ける部分である。図12に示す画像処理ツールユーザーインターフェース107のツール表示領域107bには、画像処理ツール選択部25で選択された画像処理ツールが表示されており、輪郭ツール107d、色面積ツール107e、幅ツール107fのそれぞれについてパラメータの一つである閾値を調整可能なスライドバーが設けられている。スライドバーによって閾値を調整することができる他、例えば数値の入力によって閾値を調整することもできる。閾値以外のパラメータを画像処理ツール毎に調整することができ、パラメータ調整部26で調整可能なパラメータは特に限定されるものではない。
図8及び図11に示す学習設定ユーザーインターフェース104の次ステップボタン104、図12に示す画像処理ツールユーザーインターフェース107の次ステップボタン107cが押されたことを制御ユニット2が検出すると、出力割り当て工程に進む。制御ユニット2は、次ステップボタン104または次ステップボタン107cが押されたことを検出すると、図15に示す出力割り当てユーザーインターフェース109を生成して表示装置4に表示させる。
上述したように、起動後、設定モードが選択されると、学習検査モードと標準検査モードのどちらの設定を行うのか選択を受け付け、受け付けられた検査モードの設定を行うことができる。学習検査モードと標準検査モードのいずれのモードが選択されても、撮像条件設定及びマスター画像登録を行うので、撮像条件設定及びマスター画像登録は、学習検査モードと標準検査モードに共通する設定事項である。
次に運転モードに関連する部分について説明する。図3に示す良否判定部31は、運転モード時に、検査種別選択部28により標準検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像に標準検査用ウィンドウを設定して当該標準検査用ウィンドウ内の画像に画像処理ツール選択部25で選択された画像処理ツールを適用することにより検査対象物Wの良否判定を行い、検査種別選択部28により学習検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像を識別器に入力することにより、検査対象物Wの良否判定を行うように構成されている。学習検査モードが選択されている場合には、学習検査用ウィンドウを設定して差分検出の範囲を規定するようにしてもよい。
図3に示す追加学習画像指定部32は、学習検査モード時の運転モード画面に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける部分である。追加学習画像指定部32は、図17に示す運転モードユーザーインターフェース120の追加学習ボタン120fが押されたことを検出すると、図18に示す割り込み画面121を生成し、運転モードユーザーインターフェース120の所定位置に表示する。追加学習ボタン120fが押されたということは、検査対象画像を良品画像又は不良品画像として追加学習させる指定操作が行われたということである。この指定操作が受け付けられると、良否判定部31は、良否判定処理、即ち運転モードを一時的に停止するように構成されている。
図3に示す識別器生成部30は、追加学習画像指定部32により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。識別器生成部30は、追加学習画像指定部32により追加学習対象の画像が指定されたことを検出すると、図19に示す追加学習ユーザーインターフェース122を生成し、表示装置4に表示させる。追加学習ユーザーインターフェース122には、追加学習対象として指定された検査対象画像を表示する画像表示領域122aと、第1検査ウィンドウ学習指示領域122bと、第2検査ウィンドウ学習指示領域122cと、キャンセルボタン122dと、追加学習開始ボタン122eとが設けられている。第1検査ウィンドウ学習指示領域122bは、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像として学習させる。また、第2検査ウィンドウ学習指示領域122cは、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像として学習させる。このように、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像とを個別に学習させることができるようになっている。尚、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像の中から、一方のみを学習するような指示を受け付けるように構成することもできる。
図2に示す記憶装置19には、図3に示す良否判定部31により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶するように構成されている。良否判定部31により良否判定を行った検査対象画像は、運転画像履歴フォルダに保存される。例えば、図17に示す運転モードユーザーインターフェース120の画像表示領域120aに表示されている検査対象画像と、総合判定結果表示領域120bに表示されている総合判定結果とを共通のID番号等に関連付けた状態で記憶装置19に記憶することができる。このとき、画像表示領域120aに表示されている検査対象画像と、位置補正結果表示領域120cに表示されている結果と、第1検査ウィンドウ結果表示領域120dに表示されている結果と、第2検査ウィンドウ結果表示領域120eに表示されている結果とを関連付けた状態で記憶装置19に記憶してもよい。
図3に示す安定性評価値算出部33は、記憶装置19に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する部分である。安定性評価値算出部33は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を安定性評価値とするように構成することができる。安定性評価値は、使用者が把握できるような形態、例えば数値等で表示装置4に表示させてもよいし、表示することなく、画像検査装置1に内部的に持たせておいてもよい。
表示装置4は、安定性評価値算出部33が算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示することが可能に構成されている。すなわち、制御ユニット2は、図22に示す運転画像履歴表示ユーザーインターフェース124の学習候補画像ボタン124eが押されたことを検出すると、図26に示すように、候補画像を使用者に提示する割り込み画面127を生成し、運転画像履歴表示ユーザーインターフェース124の所定位置に表示する。割り込み画面127には、候補画像を表示する画像表示領域127aと、キャンセルボタン127bと、OKボタン127cとが設けられている。画像表示領域127aに表示される画像は、安定性評価値に基づいて、既に生成されている識別器では識別が不安定であると判定される画像である。具体的には、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度が高い画像とすることができ、この近接度が所定以上の履歴画像を候補画像として表示装置4によって使用者に提示することができる。
次に、標準検査モードの運転モード時の手順について図27に示すフローチャートに基づいて説明する。スタート後のステップSB1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
次に、図3に示す判定軸抽出部34について説明する。判定軸抽出部34は、学習画像登録部24により登録された良品画像及び不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出する部分である。判定軸には、良品画像における良品らしさを示す第1の判定軸と、不良品画像における不良品らしさを示す第2の判定軸とが含まれているが、いずれか一方のみを抽出するようにしてもよい。判定軸の具体例としては、例えば色、明るさ、面積等を挙げることができるが、これら以外が判定軸であってもよい。
次に、学習検査モードの運転モード時の手順について図32に示すフローチャートに基づいて説明する。スタート後のステップSC1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
図33は、学習候補画像を提示する場合のフローチャートである。スタート後のステップSD1は、安定性評価値算出ステップである。具体的には、図32に示すフローチャートのステップSC2(良否判定ステップ)で良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出する。そして、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする。また、安定性評価値算出ステップでは、図32に示すフローチャートのステップSC6(記憶ステップ)で記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することもできる。
追加学習候補として使用者に提示する履歴画像をソートすることができる。スタート後のステップSE1では、安定性評価値算出部33が、履歴画像毎に、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との差分を計算する。これにより、判定値と閾値との近接度を得ることができる。記憶装置19が記憶している全ての履歴画像について差分計算を行ってもよいし、直近の複数の履歴画像のみについて差分計算を行ってもよい。
表示装置4は、安定性評価値が所定値以上の履歴画像を記憶装置19から削除する削除候補画像として使用者に提示するように構成されている。この所定値は、上記第1の所定値よりも高い第2の所定値としてもよいし、上記第1の所定値と同じにしてもよい。
以上説明したように、この実施形態によれば、標準検査モードと学習検査モードとを画像検査装置1に実装し、検査モードを切り替えることでいずれの検査モードでも検査を実行することができ、各々の検査モードの長所を活かした検査を行うことができる。
2 制御ユニット
4 表示装置(表示手段)
13A 制御部
14 カメラモジュール(撮像手段)
15 照明モジュール
21 撮像設定部
23 マスター画像登録部
24 学習画像登録部
25 画像処理ツール選択部
26 パラメータ調整部
27 検査ウィンドウ設定部
28 検査種別選択部
29 モード切替部
30 識別器生成部
31 良否判定部
32 追加学習画像指定部
33 安定性評価値算出部
34 判定軸抽出部
Claims (8)
- 撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
前記画像検査装置のモードを、当該画像検査装置の設定を行う設定モードと、検査を実行する運転モードとに切り替えるモード切替手段と、
前記設定モード時に前記撮像手段の撮像条件の設定を受け付ける撮像設定手段と、
前記設定モード時に前記撮像設定手段で設定された撮像条件で撮像された画像をマスター画像として登録するマスター画像登録手段と、
使用者が前記画像に含まれるどの特徴量に基づいて検査を行うかを設定し、その設定に従って良否判定を行うルールベース検査モードと、識別器を生成し、その識別器によって良否判定を行う学習ベース検査モードのいずれかの選択を受け付ける検査種別選択手段と、
前記ルールベース検査モードの前記設定モード時に、画像処理ツールの選択を受け付ける画像処理ツール選択手段と、
前記ルールベース検査モードの前記設定モード時に、前記マスター画像登録手段で登録された前記マスター画像上で、前記画像処理ツール選択手段で選択された画像処理ツールを適用する範囲を規定するためのルールベース検査用ウィンドウの設定を受け付ける検査ウィンドウ設定手段と、
前記ルールベース検査モードの前記設定モード時に、前記画像処理ツール選択手段で選択された画像処理ツールのパラメータの調整を受け付けるパラメータ調整手段と、
前記学習ベース検査モードの前記設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習ベース検査モードの前記設定モード時に、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、を備え、
前記運転モード時に、前記検査種別選択手段により前記ルールベース検査モードが選択されている場合は、前記撮像手段により新たに撮像された画像に前記ルールベース検査用ウィンドウを設定して当該ルールベース検査用ウィンドウ内の画像に前記画像処理ツール選択手段で選択された画像処理ツールを適用することにより検査対象物の良否判定を行い、前記検査種別選択手段により前記学習ベース検査モードが選択されている場合は、前記撮像手段により新たに撮像された画像を前記識別器に入力することにより、検査対象物の良否判定を行うことを特徴とする画像検査装置。 - 請求項1に記載の画像検査装置において、
前記学習画像登録手段は、前記検査種別選択手段により前記学習ベース検査モードに切り替えられ、かつ、前記モード切替手段により前記設定モードが選択された場合に、前記撮像手段により撮像条件を変化させて検査対象物を複数回撮像させることによって得られた複数の画像を良品画像として登録するように構成されていることを特徴とする画像検査装置。 - 請求項2に記載の画像検査装置において、
前記学習画像登録手段は、前記検査種別選択手段により前記学習ベース検査モードに切り替えられ、かつ、前記モード切替手段により前記設定モードが選択された場合に、照明条件と露光時間の少なくとも一方を変化させて前記撮像手段により検査対象物を複数回撮像させることによって得られた複数の画像を良品画像として登録するように構成されていることを特徴とする画像検査装置。 - 請求項1に記載の画像検査装置において、
前記学習画像登録手段は、前記検査種別選択手段により前記学習ベース検査モードに切り替えられ、かつ、前記モード切替手段により前記設定モードが選択された場合に、前記撮像手段により検査対象物を撮像させることによって得られた画像に基づいて複数の良品画像を自動生成して登録するように構成されていることを特徴とする画像検査装置。 - 請求項1から4のいずれか1つに記載の画像検査装置において、
前記マスター画像を表示する表示手段を備え、
前記撮像設定手段は、前記ルールベース検査モードの前記設定モード時及び前記学習ベース検査モードの前記設定モード時に、前記撮像条件としての画像の明るさ調整及びフォーカス調整が可能な撮像条件設定ユーザーインターフェースを生成して前記表示手段に表示させるように構成されていることを特徴とする画像検査装置。 - 請求項1から5のいずれか1つに記載の画像検査装置において、
前記検査ウィンドウ設定手段は、前記学習ベース検査モードの前記設定モード時に、前記マスター画像登録手段で登録された前記マスター画像上で、差分検出の範囲を規定するための学習ベース検査用ウィンドウの設定を受け付けるように構成され、
前記運転モード時に、前記学習ベース検査モードが選択されている場合は、前記撮像手段により新たに撮像された画像に前記学習ベース検査用ウィンドウを設定して当該学習ベース検査用ウィンドウ内の画像の差分検出を行い、差分検出結果に基づいて検査対象物の良否判定を行うように構成されていることを特徴とする画像検査装置。 - 撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、
前記画像検査装置のモードを、当該画像検査装置の設定を行う設定モードにした状態で前記撮像手段の撮像条件を設定する撮像条件設定ステップと、
前記撮像条件設定ステップで設定した撮像条件で撮像した画像をマスター画像として登録するマスター画像登録ステップと、
使用者が前記画像に含まれるどの特徴量に基づいて検査を行うかを設定し、その設定に従って良否判定を行うルールベース検査モードの設定モード時に、画像処理ツールを選択する画像処理ツール選択ステップと、
前記ルールベース検査モードの前記設定モード時に、前記マスター画像登録ステップで登録された前記マスター画像上で、前記画像処理ツール選択ステップで選択された画像処理ツールを適用する範囲を規定するためのルールベース検査用ウィンドウを設定する検査ウィンドウ設定ステップと、
前記ルールベース検査モードの前記設定モード時に、前記画像処理ツール選択ステップで選択された画像処理ツールのパラメータを調整するパラメータ調整ステップと、
識別器によって良否判定を行う学習ベース検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習ベース検査モードの前記設定モード時に、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、を備え、
検査を実行する運転モード時に、前記ルールベース検査モードが選択されている場合は、前記撮像手段により新たに撮像された画像に前記ルールベース検査用ウィンドウを設定して当該ルールベース検査用ウィンドウ内の画像に前記画像処理ツール選択ステップで選択された画像処理ツールを適用することにより検査対象物の良否判定を行い、前記学習ベース検査モードが選択されている場合は、前記撮像手段により新たに撮像された画像を前記識別器に入力することにより、検査対象物の良否判定を行うことを特徴とする画像検査装置の設定方法。 - 請求項7に記載の画像検査装置の設定方法において、
前記画像検査装置を設定モードにしてから、前記ルールベース検査モードと前記学習ベース検査モードのいずれかの選択を行った後、前記マスター画像登録ステップを行い、
前記マスター画像登録ステップの後、前記ルールベース検査モードが選択されている場合には、前記画像処理ツール選択ステップ、前記検査ウィンドウ設定ステップ及び前記パラメータ調整ステップを行う一方、前記学習ベース検査モードが選択されている場合には、前記学習画像登録ステップ及び前記識別器生成ステップを行うことを特徴とする画像検査装置の設定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023072108A JP7448710B2 (ja) | 2019-05-16 | 2023-04-26 | 画像検査装置及び画像検査装置の設定方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019093205A JP7271305B2 (ja) | 2019-05-16 | 2019-05-16 | 画像検査装置及び画像検査装置の設定方法 |
JP2023072108A JP7448710B2 (ja) | 2019-05-16 | 2023-04-26 | 画像検査装置及び画像検査装置の設定方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093205A Division JP7271305B2 (ja) | 2019-05-16 | 2019-05-16 | 画像検査装置及び画像検査装置の設定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023090819A true JP2023090819A (ja) | 2023-06-29 |
JP7448710B2 JP7448710B2 (ja) | 2024-03-12 |
Family
ID=73220972
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093205A Active JP7271305B2 (ja) | 2019-05-16 | 2019-05-16 | 画像検査装置及び画像検査装置の設定方法 |
JP2023072108A Active JP7448710B2 (ja) | 2019-05-16 | 2023-04-26 | 画像検査装置及び画像検査装置の設定方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093205A Active JP7271305B2 (ja) | 2019-05-16 | 2019-05-16 | 画像検査装置及び画像検査装置の設定方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11042977B2 (ja) |
JP (2) | JP7271305B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022138308A (ja) * | 2021-03-10 | 2022-09-26 | オムロン株式会社 | 情報生成装置 |
JP2022164146A (ja) | 2021-04-16 | 2022-10-27 | 株式会社キーエンス | 画像検査装置、画像処理方法、画像処理プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器 |
US20240155247A1 (en) * | 2022-11-04 | 2024-05-09 | UnitX, Inc. | Inspection camera controller sequence |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004012422A (ja) * | 2002-06-11 | 2004-01-15 | Dainippon Screen Mfg Co Ltd | パターン検査装置、パターン検査方法およびプログラム |
JP5855923B2 (ja) * | 2011-12-08 | 2016-02-09 | 株式会社キーエンス | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5865707B2 (ja) * | 2012-01-06 | 2016-02-17 | 株式会社キーエンス | 外観検査装置、外観検査方法及びコンピュータプログラム |
JP2018005640A (ja) | 2016-07-04 | 2018-01-11 | タカノ株式会社 | 分類器生成装置、画像検査装置、及び、プログラム |
JP7015001B2 (ja) * | 2018-03-14 | 2022-02-02 | オムロン株式会社 | 欠陥検査装置、欠陥検査方法、及びそのプログラム |
US10867108B2 (en) * | 2018-09-18 | 2020-12-15 | Taiwan Semiconductor Manufacturing Co., Ltd. | Optical mode optimization for wafer inspection |
JP7214432B2 (ja) * | 2018-10-22 | 2023-01-30 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 |
JP7287791B2 (ja) * | 2019-02-01 | 2023-06-06 | 株式会社キーエンス | 画像検査装置 |
JP7263074B2 (ja) * | 2019-03-22 | 2023-04-24 | キヤノン株式会社 | 情報処理装置、及びその制御方法、プログラム、記憶媒体 |
JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
-
2019
- 2019-05-16 JP JP2019093205A patent/JP7271305B2/ja active Active
- 2019-12-30 US US16/729,531 patent/US11042977B2/en active Active
-
2023
- 2023-04-26 JP JP2023072108A patent/JP7448710B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020187070A (ja) | 2020-11-19 |
JP7448710B2 (ja) | 2024-03-12 |
JP7271305B2 (ja) | 2023-05-11 |
US20200364840A1 (en) | 2020-11-19 |
US11042977B2 (en) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7271306B2 (ja) | 画像検査装置及び画像検査装置の設定方法 | |
JP7448710B2 (ja) | 画像検査装置及び画像検査装置の設定方法 | |
JP7287791B2 (ja) | 画像検査装置 | |
JP7176966B2 (ja) | 画像検査装置 | |
US11301978B2 (en) | Defect inspection device, defect inspection method, and computer readable recording medium | |
US10489900B2 (en) | Inspection apparatus, inspection method, and program | |
US11042976B2 (en) | Image inspection apparatus | |
JP2020187657A (ja) | 画像検査装置 | |
JP2017096750A (ja) | 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体 | |
JP7349816B2 (ja) | 画像検査装置 | |
JP7308656B2 (ja) | 画像検査装置 | |
JP2020016471A (ja) | 画像検査装置 | |
JP7267094B2 (ja) | 画像検査装置及び画像検査装置の設定方法 | |
CN110274911B (zh) | 图像处理系统、图像处理装置、存储介质 | |
CN112446287A (zh) | 设置设备的控制处理过程的电子装置、方法和存储介质 | |
JP7080123B2 (ja) | 画像検査装置 | |
JP2020187655A (ja) | 画像検査装置 | |
US20230418452A1 (en) | Inspection setting device | |
JP2023077055A (ja) | 外観検査装置及び外観検査方法 | |
JP7248496B2 (ja) | 画像検査装置 | |
JP2023077056A (ja) | 外観検査装置及び外観検査方法 | |
JP2024004254A (ja) | 検査設定装置 | |
JP2023077051A (ja) | 設定装置及び設定方法 | |
JP2000193435A (ja) | 対象物の画像処理方法 | |
CN117723154A (zh) | 一种光纤颜色识别方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |