JP2023082567A - システムおよびプログラム - Google Patents
システムおよびプログラム Download PDFInfo
- Publication number
- JP2023082567A JP2023082567A JP2021196428A JP2021196428A JP2023082567A JP 2023082567 A JP2023082567 A JP 2023082567A JP 2021196428 A JP2021196428 A JP 2021196428A JP 2021196428 A JP2021196428 A JP 2021196428A JP 2023082567 A JP2023082567 A JP 2023082567A
- Authority
- JP
- Japan
- Prior art keywords
- image
- roi
- learning
- enhancement
- execution program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 187
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000002950 deficient Effects 0.000 claims description 92
- 230000007547 defect Effects 0.000 claims description 34
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 abstract description 18
- 238000010801 machine learning Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 26
- 238000007689 inspection Methods 0.000 description 23
- 238000013461 design Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】対象物の画像解析の目的に応じて注目領域のみの視認性を向上させる学習を行うことで、より適切な対象物の画像解析を支援することができる。【解決手段】 1以上のプロセッサと、1以上のメモリリソースと、を有するシステムであって、前記メモリリソースは、ROI強調エンジンと、学習フェーズ実行プログラムと、画像処理フェーズ実行プログラムと、を記憶し、前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、学習用の対象物を撮像した学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROI(Region Of Interest)のみを強調したROI強調学習画像を生成し、前記学習画像を入力した際、前記ROI強調学習画像が生成されるように前記ROI強調エンジンの内部パラメータを最適化するための学習を行う。【選択図】図1
Description
本発明は、システム、画像処理方法およびプログラムに関する。
例えば、機械、材料、食品、バイオ、医療等の分野においては、対象物を撮像して取得した画像を解析することで、観察、外観検査あるいは計測等が行われる。画像解析の際には、視認性の高い画像を用いることが望ましいため、従来から、対象物を高い解像度で撮像する等、撮像系による工夫や、画像処理によって視認性を向上させる方法が提案されている。
また、近年、深層ネットワークモデルの提案により機械学習の性能が飛躍的に向上しており、機械学習に基づく画像の視認性を向上させる手法が提案されている。例えば、特許文献1には、画像推定方法に関し、「記憶部と演算部を有するシステムの画像推定において、記憶部は、第1試料の第1領域の第1画像と、第1領域の第2画像とを顕微鏡で撮像し記憶する。演算部は、第1画像と第2画像とに基づいて、推定処理パラメータを推定し、第1試料又は第2試料の所望の領域について、第1撮像条件を用いた撮像された、第3画像を取得し、第3画像と推定処理パラメータとに基づいて、所望の領域に関する第4画像を推定する。推定処理パラメータの推定の時、演算部は、第1画像と学習中推定画像と、第2画像との差異を誤差として求め、誤差を予め設定したしきい値と比較することで、学習中推定処理パラメータを、推定処理パラメータとする契機を判断する。」と記載されている。
特許文献1には、画質が劣化した画像と、高画質な画像と、のペアを学習データとして、劣化画像から高画質画像を推定するパラメータの学習方法が開示されている。かかる学習方法では、劣化画像の全体について高画質画像を推定する場合のパラメータを学習している。一方で、画像解析の目的によっては、画像の一部の注目領域についてのみ、その視認性を向上させたい場合がある。
例えば、対象物の観察においては、対象物の特定の部位や画像中の特定の位置についてのみ視認性を向上させた方が観察に適した画像となる場合がある。また、対象物の外観検査を行う場合は、不良部位以外の良品部位を不良として誤認識することを防止するため、不良部位についてのみ視認性を向上させることが求められる。また、対象物の特定の部位の計測を行う際は、計測対象となる部位の輪郭についてのみ視認性を向上させることが有効な場合がある。しかしながら、特許文献1に記載の技術では、注目領域のみの視認性を向上させることは考慮されていない。
本発明は、上記課題に鑑みてなされたものであり、対象物の画像解析の目的に応じて注目領域のみの視認性を向上させるための学習を行うことで、より適切な対象物の画像解析を支援することを目的とする。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係るシステムは、1以上のプロセッサと、1以上のメモリリソースと、を有するシステムであって、前記メモリリソースは、ROI強調エンジンと、学習フェーズ実行プログラムと、画像処理フェーズ実行プログラムと、を記憶し、前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、学習用の対象物を撮像した学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROI(Region Of Interest)のみを強調したROI強調学習画像を生成し、前記学習画像を入力した際、前記ROI強調学習画像が生成されるように前記ROI強調エンジンの内部パラメータを最適化するための学習を行う。
本発明によれば、対象物の画像解析の目的に応じて注目領域のみの視認性を向上させる学習を行うことで、より適切な対象物の画像解析を支援することができる。
以下、本発明の各実施形態について図面を用いて説明する。
<第一実施形態>
本実施形態に係るシステム(プロセッサシステム)は、対象物(被写体)を撮像した処理画像において、所定の注目領域であるROI(Region Of Interest)のみが強調表示されるような画像処理を行うことで、ROIの視認性のみを向上させたROI強調処理画像を出力するシステムである。
本実施形態に係るシステム(プロセッサシステム)は、対象物(被写体)を撮像した処理画像において、所定の注目領域であるROI(Region Of Interest)のみが強調表示されるような画像処理を行うことで、ROIの視認性のみを向上させたROI強調処理画像を出力するシステムである。
本システムは、学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROIのみを強調したROI強調学習画像を生成し、学習画像を入力としてROI強調学習画像を出力するようにROI強調エンジンの機械学習を行う。
また、本システムは、対象物を撮像した処理画像をROI強調エンジンに入力することで、処理画像におけるROIのみを強調したROI強調処理画像を出力する。
その結果、本システムによれば、目的に適したROIのみを強調した画像を得ることができる。
なお、ROI強調エンジンの機械学習を行う学習フェーズ、および、ROI強調処理画像の出力を行う画像処理フェーズの詳細については後述する。
前述の通り、ROIとは、画像解析において、ユーザが注目する領域のことであり、画像解析の目的に応じて様々な領域が該当することになる。下記がROIの一例である。
*(A1):不良(異物、傷)等の検出したいパターンが含まれる領域
*(A2):形状輪郭(エッジ)等の認識したい部位、構造が含まれる領域
*(A3):表面テクスチャ等の注視したい特定領域
*(A4):陰影や材料、構造等によって暗い領域(暗部)やコントラストが低い領域
なお、ROIは、(A1)~(A4)に限定されるものではなく、画像解析の用途やユーザの指定に応じて任意の領域をROIとすることが可能である。
*(A1):不良(異物、傷)等の検出したいパターンが含まれる領域
*(A2):形状輪郭(エッジ)等の認識したい部位、構造が含まれる領域
*(A3):表面テクスチャ等の注視したい特定領域
*(A4):陰影や材料、構造等によって暗い領域(暗部)やコントラストが低い領域
なお、ROIは、(A1)~(A4)に限定されるものではなく、画像解析の用途やユーザの指定に応じて任意の領域をROIとすることが可能である。
また、ROI強調エンジンの機械学習を行う学習フェーズにおいては、(A1)~(A4)に例示したROIのみを強調し、その視認性を向上させたROI強調学習画像を生成するために、ROIを特定する必要がある。一方で、ROIはユーザの解析目的に応じて異なるため、どのような領域を強調すべきかをROI強調エンジン31に指定することが必要となる。そのため、以下にROIの指定方法の一例を示す。
*(B1)GUI(Graphical User Interface)等を用いてユーザが設定
*(B2)基準画像を用いて差分を取り、差分値に基づいて設定
*(B3)画像セグメンテーションにより得られる分割領域に基づいて設定
*(B4)対象物の設計データと画像とのマッチングにより対応関係を取得し、設計データ上で設定した領域に基づいて設定
*(B5)画像処理を適用した領域に基づいて設定
なお、ROIの指定方法は(B1)~(B5)に限定されるものではなく、自動、手動を含めて様々な方法で指定することが可能である。
*(B1)GUI(Graphical User Interface)等を用いてユーザが設定
*(B2)基準画像を用いて差分を取り、差分値に基づいて設定
*(B3)画像セグメンテーションにより得られる分割領域に基づいて設定
*(B4)対象物の設計データと画像とのマッチングにより対応関係を取得し、設計データ上で設定した領域に基づいて設定
*(B5)画像処理を適用した領域に基づいて設定
なお、ROIの指定方法は(B1)~(B5)に限定されるものではなく、自動、手動を含めて様々な方法で指定することが可能である。
また、(B1)、(B2)、(B4)および(B5)について、以下の各実施形態で詳細に説明する。なお、(B3)の指定方法は、例えば学習画像に示される物が複数の部位に分割することができる場合には各分割領域に対してROIを指定する方法である。また、(B3)の指定方法には、例えば学習画像を複数等分し、その中の分割領域をROIに指定する方法も含まれる。
以下、本システムの構成および本実施形態に係る処理の詳細について、図1~6を用いて説明する。
<プロセッサシステム(本システム)100の構成>
図1は、プロセッサシステム100の概略構成の一例を示した図である。図示するように、本システム100は、例えば通信ケーブルや所定の通信網(例えば、インターネット、LAN(Local Area Network)あるいはWAN(Wide Area Network)など)により撮像装置10と相互通信可能に接続されている。
図1は、プロセッサシステム100の概略構成の一例を示した図である。図示するように、本システム100は、例えば通信ケーブルや所定の通信網(例えば、インターネット、LAN(Local Area Network)あるいはWAN(Wide Area Network)など)により撮像装置10と相互通信可能に接続されている。
<<撮像装置10の詳細>>
撮像装置10は、対象物(被写体)の表面あるいは内部のデジタル画像やデジタル映像を撮像可能な撮像装置10である。具体的には、撮像装置10は、CCD(Charge Coupled Device)カメラ、光学顕微鏡、荷電粒子顕微鏡、超音波検査装置およびX線検査装置等である。撮像装置10は、対象物を撮像し、撮像画像をプロセッサシステム100に出力(または送信)する。なお、本システム100には、複数の撮像装置10が接続されていても良い。
撮像装置10は、対象物(被写体)の表面あるいは内部のデジタル画像やデジタル映像を撮像可能な撮像装置10である。具体的には、撮像装置10は、CCD(Charge Coupled Device)カメラ、光学顕微鏡、荷電粒子顕微鏡、超音波検査装置およびX線検査装置等である。撮像装置10は、対象物を撮像し、撮像画像をプロセッサシステム100に出力(または送信)する。なお、本システム100には、複数の撮像装置10が接続されていても良い。
<<プロセッサシステム100の詳細>>
プロセッサシステム100は、メモリリソースに格納された各種プログラムをプロセッサ20が読み込むことにより、学習フェーズおよび画像処理フェーズの処理を実行する。
プロセッサシステム100は、メモリリソースに格納された各種プログラムをプロセッサ20が読み込むことにより、学習フェーズおよび画像処理フェーズの処理を実行する。
なお、プロセッサシステム100は、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、サーバ計算機およびクラウドサーバなどの計算機であり、少なくともこれら計算機を1つ以上含むシステムである。
具体的には、プロセッサシステム100は、プロセッサ20と、メモリリソース30と、NI(Network Interface Device)40と、UI(User Interface Device)50と、を有している。
プロセッサ20は、メモリリソース30に格納されている各種プログラムを読み込んで、各プログラムに対応する処理を実行する演算装置である。なお、プロセッサ20は、マイクロプロセッサ、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、あるいはその他の演算できる半導体デバイス等が一例として挙げられる。
メモリリソース30は、各種情報を記憶する記憶装置である。具体的には、メモリリソース30は、例えばRAM(Random Access Memory)やROM(Read Only Memory)などの不揮発性あるいは揮発性の記憶媒体である。なお、メモリリソースは、例えばフラッシュメモリ、ハードディスクあるいはSSD(Solid State Drive)などの書き換え可能な記憶媒体や、USB(UNI40versal Serial Bus)メモリ、メモリカードおよびハードディスクであっても良い。
NI40は、外部装置との間で情報通信を行う通信装置である。NI40は、例えばLANやインターネットなど所定の通信網を介して外部装置(例えば、撮像装置10)との間で情報通信を行う。なお、以下で特に言及しない場合、プロセッサシステム100と撮像装置10との情報通信は、NI40を介して実行されているものとする。
UI50は、ユーザ(オペレーター)の指示をプロセッサシステム100に出力する入力装置、および、プロセッサシステム100で生成した情報等を出力する出力装置である。入力装置には、例えばキーボード、タッチパネル、マウスなどのポインティングデバイスや、マイクロフォンのような音声入力装置などがある。
また、出力装置には、例えばディスプレイ、プリンター、音声合成装置などがある。なお、以下で特に言及しない場合は、プロセッサシステム100に対するユーザの操作(例えば、情報の入力、出力および処理の実行指示など)は、UI50を介して実行されているものとする。
また、本システム100の各構成、機能、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、本システム100は、各機能の一部または全部を、ソフトウェアにより実現することもできるし、ソフトウェアとハードウェアとの協働により実現することもできる。また、本システム100は、固定的な回路を有するハードウェアを用いても良いし、少なくとも一部の回路を変更可能なハードウェアを用いてもよい。
また、本システム100は、各プログラムにより実現される機能や処理の一部または全部をユーザ(オペレータ)が実施することで、システムを実現することもできる。
なお、以下で説明するメモリリソース30内の各DB(データベース)は、データを格納できる領域であれば、ファイル等やデータベース以外のデータ構造であっても良い。
<<ROI強調エンジン31>>
ROI強調エンジン31は、例えばCNN(Convolutional Neural Network)に代表される深層ニューラルネットワークである。なお、ROI強調エンジン31は、機械学習型の深層ニューラルネットワークに限定されるものではなく、例えばルールベース型のエンジンを用いることもできる。
ROI強調エンジン31は、例えばCNN(Convolutional Neural Network)に代表される深層ニューラルネットワークである。なお、ROI強調エンジン31は、機械学習型の深層ニューラルネットワークに限定されるものではなく、例えばルールベース型のエンジンを用いることもできる。
ROI強調エンジン31は、学習フェーズにおいて機械学習を行う。具体的には、ROI強調エンジン31は、学習画像を入力した際、学習画像の指定されたROIのみに画像強調処理(例えば、コントラスト強調処理、ヒストグラム平坦化処理および輪郭強調処理など)を行ったROI強調学習画像を出力するように、内部パラメータを最適化する。
また、ROI強調エンジン31は、画像処理フェーズにおいて、対象物の撮像画像(以下、処理画像という場合がある)が入力された際、ROIのみを強調したROI強調処理画像を生成し、これを出力する。
なお、ROI強調エンジン31にニューラルネットワークを用いた場合、かかるエンジンの内部パラメータには、例えばニューラルネットワークのネットワーク構造、活性化関数、学習率や学習の終了条件等のハイパーパラメータ、ネットワークのノード間の重み(結合係数)およびバイアス等のモデルパラメータなどが含まれる。
また、ROI強調エンジン31にルールベース型のエンジンを用いた場合、かかるエンジンの内部パラメータには、各種画像処理のフィルタ係数、判定しきい値等の画像処理パラメータなどが含まれる。
なお、ROI強調エンジン31には、機械学習型エンジンと、ルールベース型エンジンと、が併用されても良い。
<<学習画像DB32>>
学習画像DB32は、学習フェーズにおける機械学習に用いられる学習画像が格納されているデータベースである。学習画像DB32は、学習画像を予め格納していても良く、あるいは、学習フェーズにおいて撮像装置10により学習画像が撮像された場合、かかる学習画像を格納しても良い。
学習画像DB32は、学習フェーズにおける機械学習に用いられる学習画像が格納されているデータベースである。学習画像DB32は、学習画像を予め格納していても良く、あるいは、学習フェーズにおいて撮像装置10により学習画像が撮像された場合、かかる学習画像を格納しても良い。
<<処理画像DB33>>
処理画像DB33は、画像処理フェーズの実行時に撮像装置10により撮像された対象物の処理画像を格納するデータベースである。
処理画像DB33は、画像処理フェーズの実行時に撮像装置10により撮像された対象物の処理画像を格納するデータベースである。
<<その他情報DB34>>
その他情報DB34は、学習フェーズおよび画像処理フェーズで用いられる種々の情報を格納するデータベースでる。例えば、その他情報DB34には、ROIの指定方法(B4)で用いられる対象物の設計データが格納されている。また、その他情報DB34には、例えばROIの指定方法(B5)で用いられる擬似不良に関する情報が格納されている。
その他情報DB34は、学習フェーズおよび画像処理フェーズで用いられる種々の情報を格納するデータベースでる。例えば、その他情報DB34には、ROIの指定方法(B4)で用いられる対象物の設計データが格納されている。また、その他情報DB34には、例えばROIの指定方法(B5)で用いられる擬似不良に関する情報が格納されている。
<<GUI実行プログラム35>>
GUI実行プログラム35は、UI50(この場合、ディスプレイ)に出力される所定の画面情報を生成し、UI50(この場合、キーボードやマウスなどのポインティングデバイス)を介して、情報の入力や処理の実行指示などをユーザから受け付けるプログラムである。具体的には、GUI実行プログラム35は、ROIの指定等を受け付ける画面情報を生成し、ディスプレイに出力する。また、GUI実行プログラム35は、UI50を介して、ユーザからROIの指定やその他情報の入力を受け付ける。
GUI実行プログラム35は、UI50(この場合、ディスプレイ)に出力される所定の画面情報を生成し、UI50(この場合、キーボードやマウスなどのポインティングデバイス)を介して、情報の入力や処理の実行指示などをユーザから受け付けるプログラムである。具体的には、GUI実行プログラム35は、ROIの指定等を受け付ける画面情報を生成し、ディスプレイに出力する。また、GUI実行プログラム35は、UI50を介して、ユーザからROIの指定やその他情報の入力を受け付ける。
<<学習フェーズ実行プログラム36>>
学習フェーズ実行プログラム36は、学習フェーズにおける様々な処理を実行するプログラムである。具体的には、学習フェーズ実行プログラム36は、学習画像を学習画像DB32から取得し、ROIのみに画像強調処理を行ったROI強調学習画像を生成する。また、学習フェーズ実行プログラム36は、学習画像をROI強調エンジン31に入力し、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
学習フェーズ実行プログラム36は、学習フェーズにおける様々な処理を実行するプログラムである。具体的には、学習フェーズ実行プログラム36は、学習画像を学習画像DB32から取得し、ROIのみに画像強調処理を行ったROI強調学習画像を生成する。また、学習フェーズ実行プログラム36は、学習画像をROI強調エンジン31に入力し、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
<<画像処理フェーズ実行プログラム37>>
画像処理フェーズ実行プログラム37は、画像処理フェーズに関する様々な処理を実行するプログラムである。具体的には、画像処理フェーズ実行プログラム37は、処理画像DB33から対象物の処理画像を取得し、これをROI強調エンジン31に入力することで、ROIのみが強調されたROI強調処理画像を取得する。
画像処理フェーズ実行プログラム37は、画像処理フェーズに関する様々な処理を実行するプログラムである。具体的には、画像処理フェーズ実行プログラム37は、処理画像DB33から対象物の処理画像を取得し、これをROI強調エンジン31に入力することで、ROIのみが強調されたROI強調処理画像を取得する。
以上、プロセッサシステム100の詳細について説明した。
<学習フェーズおよび画像処理フェーズの詳細>
図2は、学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
図2は、学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
学習フェーズでは、ROI強調エンジン31の機械学習が行われる。なお、学習フェーズは、例えばユーザがUI50を介してプロセッサシステム100に学習フェーズの実行指示を行った場合など、所定のタイミングで開始される。
学習フェーズが開始されると、プロセッサシステム100は、学習フェーズ実行プログラム36を実行する。学習フェーズ実行プログラム36は、学習用対象物110を撮像した学習画像120を学習画像DB32から取得する(ステップS10)。なお、学習フェーズ実行プログラム36は、NI40を介して、学習用対象物110の学習画像120を撮像するための指示を撮像装置10に出力し、撮像装置10により撮像された対象物の学習画像120を学習画像DB32から取得しても良い。
次に、学習フェーズ実行プログラム36は、ROI強調エンジン31の機械学習を実行する(ステップS20)。具体的には、学習フェーズ実行プログラム36は、ROIを指定する(ステップS21)。
ここで、ROIの指定に関し、CAD(Computer-Aided Design)等で与えられる対象物の設計データを用いる方法(前述のB4に該当するROIの指定方法)について説明する。
図3は、対象物の設計データを用いてROIを指定する方法を説明するための図である。本方法は、学習画像120と設計データ160とをマッチングさせ、設計データ160上の設定領域に学習画像120がマッチングされた領域162をROI121に指定するものである。
具体的には、学習フェーズ実行プログラム36は、例えばその他情報DB34から対象物の設計データを取得する。なお、図示する設計データの破線161は、対象物の設計形状の輪郭線を示している。
また、学習フェーズ実行プログラム36は、設計データと、学習画像120との各々の特徴点に基づいて設計データ160上に学習画像120をマッチングする。そして、学習フェーズ実行プログラム36は、学習画像120がマッチングされた設計データ160上の領域(図3では、学習画像120がマッチングされた領域162)をROI121に決定し、かかる領域162をROI121に指定する。
次に、学習フェーズ実行プログラム36は、指定したROI121に基づくROI強調学習画像を生成する(ステップS022)。具体的には、学習フェーズ実行プログラム36は、指定したROI121にコントラスト強調処理等の画像強調処理を行うことで、ROI121のみを強調したROI強調学習画像を生成する。なお、図3に示す例では、設計データ160上に学習画像120がマッチングされた領域162のみが強調された設定領域163がROI強調学習画像として生成されることになる。なお、設定領域163は、UI50を介してユーザにより設定されれば良く、あるいは、所定のルールに従って設定されても良い。
次に、学習フェーズ実行プログラム36は、学習画像120とROI強調学習画像とを用いてROI強調エンジン31の機械学習を行う(ステップS023)。具体的には、学習フェーズ実行プログラム36は、学習画像120を入力した際、生成されたROI強調学習画像が出力されるように、ROI強調エンジン31の内部パラメータを最適化するための機械学習を行う。
なお、学習フェーズでは、複数(例えば、10個~100個)の学習画像を用いてステップS10~ステップS23の処理を繰り返し実行することで、ROI強調エンジン31の機械学習が行われる。また、後述の実施形態において説明するROI強調エンジン31についても、機械学習は、学習フェーズを複数回行うことで実施されているものとする。
次に、画像処理フェーズについて説明する。画像処理フェーズでは、対象物130を撮像した処理画像140を用いて、ROI121に対応する処理画像140中のROIのみが強調されたROI強調処理画像が出力される。なお、画像処理フェーズは、例えばユーザがUI50を介してプロセッサシステム100に画像処理フェーズの実行指示を出力した場合など、所定のタイミングで開始される。
画像処理フェーズが開始されると、プロセッサシステム100は、画像処理フェーズ実行プログラム37を実行する。画像処理フェーズ実行プログラム37は、対象物130を撮像した処理画像(図3の例では、設計データ上の設定領域163に対応する対象物130の画像)を処理画像DBから取得する(ステップS30)。なお、画像処理フェーズ実行プログラム37は、NI40を介して、対象物130の処理画像を撮像するための指示を撮像装置10に出力し、撮像装置10により撮像された対象物の処理画像を処理画像DB33から取得しても良い。
次に、画像処理フェーズ実行プログラム37は、ROI強調エンジン31を用いて、ROIのみが強調されたROI強調処理画像を取得する(ステップS40)。具体的には、画像処理フェーズ実行プログラム37により処理画像140が入力されると、ROI強調エンジン31は、学習フェーズで学習したROI(図3の例では、領域121)に対応するROIを処理画像から特定する(ステップS41)。
また、ROI強調エンジン31は、特定したROIのみを強調する画像処理を行い、ROI強調処理画像150を生成する(ステップS42)する。また、画像処理フェーズ実行プログラム37は、ROI強調エンジン31から出力されたROI強調処理画像150を取得する。なお、図3に示す例では、設計データ上の設定領域163に対応する対象物130の画像(処理画像)の中で、領域162のROI121に対応するROIのみが強調されたROI強調処理画像150が出力されることになる。
このように、本システム100によれば、対象物の画像解析の目的に応じて注目領域(ROI)のみが強調表示されるように画像処理を行うことで、ROIの視認性のみを向上させたROI強調処理画像を取得することができる。その結果、対象物の画像解析をより適切に行うことができる。
特に、ROIの指定方法に設計データによるマッチング方法を用いた場合、設計データ上に学習画像を自動的にマッチングすることができるため、複数の学習画像を用いたROI強調エンジン31の機械学習を効率的かつ容易に行うことができる。
また、このような機械学習を行ったROI強調エンジン31に処理画像が入力された場合、対象物の撮像範囲や撮像位置のずれなどの影響を受け難く、処理画像から精度良くROIが特定され、ROIのみが強調されたROI強調処理画像が生成される。
次に、ステップS21におけるROIの指定に関し、GUIを用いてユーザが学習画像中のROI、画像強調処理の種類および画像強調の度合いを指定する方法(前述のB1に該当するROIの指定方法)について説明する。
前述の通り、ROIの対象は様々であるため、目的に応じて、高い自由度でROIを指定できることが求められる。また、画像強調処理の種類としては、コントラスト強調処理、ヒストグラム平坦化処理、輪郭強調処理を例に挙げたが、これらも目的に応じて、高い自由度でその種類を指定できることが望ましい。さらに、画像解析の目的によっては、画像強調の度合いが弱い方が良い場合もあれば、強い方が良い場合もあるため、高い自由度でその度合いを指定できることが望ましい。
そこで、以下で説明するROIの指定方法では、ROI、画像強調処理の種類および画像強調の度合いを、GUIを介してユーザが指定する。これにより、対象物の画像解析の目的に応じたROI強調処理画像を得ることが可能となる。
図4は、ROI、画像強調処理の種類および画像強調の度合いを指定するGUI170の一例を示した図である。図示するように、GUI170には、学習画像を選択する画像ID選択ボタン171と、選択された学習画像が表示される領域172と、GUIを介してユーザにより指定されたROIが表示される領域173と、ROIのみを強調したROI強調学習画像が表示される領域174と、画像強調処理の種類を指定する領域175と、画像強調の度合いを指定する領域176と、が表示されている。
かかるGUIの表示にあたり、プロセッサ20は、GUI実行プログラム35を読み込む。そして、GUI実行プログラム35は、図4に示す所定のGUI170を生成し、ディスプレイであるUI50に出力する。
また、GUI実行プログラム35は、ディスプレイに表示したGUI170を介して、ROI、画像強調処理の種類および画像強調の度合いについて、ユーザからの指定を受け付ける。なお、ユーザは、キーボードやマウスなどのポインティングデバイスであるUI50を用いて、例えば学習画像の画像IDを選択する。GUI実行プログラム35は、画像IDを示す入力情報を取得すると、学習画像DB32から対応するIDの学習画像を取得し、GUI170の領域172に表示する(ステップS10)。
また、ユーザがUI50を用いてGUI170に表示された学習画像の中で、ROIに指定する箇所177を選択(図4の例では、部分177をなぞったり、矩形等の枠で囲むなど)すると、GUI実行プログラム35は、かかる入力情報に基づき、指定されたROI177を領域173に表示する(ステップS21)。なお、図4の例では、領域173の白い画素部分がユーザによって指定されたROIを示している。
また、ユーザがUI50を用いてGUI170に表示された画像強調処理の種類および画像強調の度合いを指定すると、学習フェーズ実行プログラム36は、GUI実行プログラム35を介してかかる入力情報を取得し、ROI177に対して指定された画像強調の度合いであって、指定された種類の画像強調処理を行うことで、ROI強調学習画像を生成する(ステップS22)。また、GUI実行プログラム35は、学習フェーズ実行プログラム36により生成されたROI強調学習画像をGUIの領域174に表示する。
なお、学習フェーズ実行プログラム36は、このように生成したROI強調学習画像を用いて、ROI強調エンジン31の機械学習を行う(ステップS23)。
また、画像処理フェーズにおいて、このような機械学習が行われたROI強調エンジン31に処理画像が入力されると、学習フェーズで指定されたROIについてのみ、指定された画像強調の度合いであって、指定された種類の画像強調処理が行われたROI強調処理画像が出力される(ステップS30、S40)。すなわち、ROI強調エンジンによる画像処理を経て出力されるROI強調処理画像は、例えば図4の領域174に表示されているROI強調学習画像のようなものとなる。
なお、学習フェーズおよび画像処理フェーズの他の処理については前述と同様のため、詳細な説明は省略する。
このように、本システム100によれば、GUIを用いて、高い自由度で画像解析の目的に応じたROI、画像強調処理の種類および画像強調の度合いを指定することができる。これにより、対象物の画像解析の目的に応じたROI強調処理画像を得ることが可能となる。
次に、複数のROI強調エンジン31に機械学習を行い、それら複数のROI強調エンジン31を用いて相互に異なるROI強調処理画像を出力する場合について説明する。本システム100は、学習フェーズにおいて、ROI、画像強調処理の種類または画像強調の度合いのうち、少なくともいずれか一つが異なるROI強調学習画像を出力するように複数のROI強調エンジン31の機械学習を行う。また、本システム100では、画像処理フェーズにおいて、それら複数のROI強調エンジン31がROI、画像強調処理の種類または画像強調の度合いのうち、少なくともいずれか一つが異なるROI強調処理画像を出力する。
前述の通り、ROI強調エンジン31の機械学習にあたり、ROI、画像強調処理の種類および画像強調の度合いを目的に応じて指定することが望ましい場合がある。また、対象物の画像解析においては、単一のROIや画像強調処理の種類等ではなく、複数種類のROIや画像強調処理の種類等を適用した画像を用いるのが望ましい場合もある。
そこで、本システム100は、複数のROI強調エンジン31の機械学習を行い、それら複数のROI強調エンジン31を用いてROI、画像強調処理の種類または画像強調の度合いのうち、少なくともいずれか一つが異なる複数種類のROI強調処理画像を取得する。
図5は、学習フェーズにおいて2つのROI強調エンジンE1、E2に機械学習を行う処理シーケンスの一例を示した図である。学習フェーズ実行プログラム36は、学習画像DB32から取得した学習画像120について、GUI実行プログラム35を介して、ROIの指定や、画像強調処理の種類および画像強調の度合いの指定をユーザから受け付ける(ステップS21)。また、学習フェーズ実行プログラム36は、GUI実行プログラム35を介して取得したROI等についての入力情報を用いて、ROI強調学習画像を生成し(ステップS22)、学習画像120およびROI強調学習画像181、184を用いて、ROI強調エンジンE1、E2の機械学習を行う(ステップS23)。
図6は、ROI、画像強調処理の種類および画像強調の度合いを指定するGUI190の一例を示した図である。図示するように、GUIの上段191がROI強調エンジンE1に対応する領域であり、下段192がROI強調エンジンE2に対応する領域である。また、GUI190には、機械学習を行うROI強調エンジンをさらに追加する場合に押下を受け付ける追加ボタン193が表示されている。なお、図6に示すGUI190の基本的構成は図4のGUI170と同様のため、詳細な説明は省略する。
図6に示す例では、GUI実行プログラム35は、ROI、画像強調処理の種類および画像強調の度合いの指定をユーザから受け付ける(ステップS21)。具体的には、GUI実行プログラム35は、ROI強調エンジンE1に対して、学習画像の部分180をROIとして指定し、画像強調処理の種類として「輪郭」を指定し、画像強調の度合いとして「強」を指定する入力情報を取得する。
また、GUI実行プログラム35は、ROI強調エンジンE2に対して、学習画像の部分183をROIとして指定し、画像強調処理の種類として「コントラスト」を指定し、画像強調の度合いとして「強」を指定する入力情報を取得する。
また、GUI実行プログラム35は、かかる入力情報に基づき、指定されたROIをROI強調エンジンE1、E2の各々に対応する領域172に各々表示する。
また、学習フェーズ実行プログラム36は、各々のROIに対して指定された画像強調の度合いであって、指定された種類の画像強調処理を行うことで、ROI強調エンジンE1、E2に対応するROI強調学習画像181、184を生成する(ステップS22)。また、GUI実行プログラム35は、学習フェーズ実行プログラム36により生成されたROI強調学習画像181、184をGUI190のROI強調エンジンE1、E2の各々に対応する領域174に各々表示する。
なお、学習フェーズ実行プログラム36は、このように生成されたROI強調学習画像181、184を用いて、ROI強調エンジンE1、E2の機械学習を行う(ステップS23)。具体的には、学習フェーズ実行プログラム36は、学習画像120が入力されると、生成されたROI強調学習画像181が生成されるようにROI強調エンジンE1の機械学習を行う。同様に、学習フェーズ実行プログラム36は、学習画像120が入力されると、生成されたROI強調学習画像184が生成されるようにROI強調エンジンE2の機械学習を行う。
なお、画像処理フェーズでは、処理画像がROI強調エンジンE1に入力されると、学習フェーズで指定されたROIについてのみ、指定された画像強調の度合い(この場合、「強」)であって、指定された種類の画像強調処理(この場合、「輪郭強調処理」)が行われたROI強調処理画像が出力されることになる。
また、処理画像がROI強調エンジンE2に入力されると、学習フェーズで指定されたROIについてのみ、指定された画像強調の度合い(この場合、「強」)であって、指定された種類の画像強調処理(この場合、「コントラスト強調処理」)が行われたROI強調処理画像が出力されることになる。
このように、本システム100によれば、複数種類のROI、画像強調処理の種類および画像強調度合いを適用し、複数種類のROI強調画像を取得することが可能となり、対象物の画像解析をより適切に行うことが可能となる。
<第二実施形態>
次に、第二実施形態について説明する。本実施形態に係るシステム100は、学習フェーズにおいて、学習良品画像と学習不良品画像とを用いて差分画像を生成し、差分画像に基づいてROIを指定する。また、本システム100は、指定したROIを強調したROI強調学習画像を生成し、学習不良品画像が入力されると、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
次に、第二実施形態について説明する。本実施形態に係るシステム100は、学習フェーズにおいて、学習良品画像と学習不良品画像とを用いて差分画像を生成し、差分画像に基づいてROIを指定する。また、本システム100は、指定したROIを強調したROI強調学習画像を生成し、学習不良品画像が入力されると、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
また、本実施形態に係るシステムは、画像処理フェーズにおいて、ROI強調エンジン31に処理画像を入力することでROIを強調した比較用画像を生成し、処理画像と比較用画像とを比較することで、対象物が良品か不良品かを判定(良否判別)する。
従来の良否判別は、画像による外観検査の多くが検査員の目視判断により行われていた。一方で、大量生産や品質向上への要求増大に伴い、検査コストならびに検査員の負荷が増大している。また、人間の感覚に基づく官能検査には、特に高い経験やスキルが求められる上、検査員によって評価値が異なったり、検査の度に結果が異なるといった属人性や再現性も課題となる。
このような検査のコスト、スキル、属人性等の課題に対し、検査の自動化が強く求められている。そこで、例えば第一実施形態で説明した方法によって欠陥部分をROIとして指定すれば、欠陥が強調された画像が得られるため、容易に検査が可能となる。
一方で、学習フェーズにおいてユーザがGUIを用いて欠陥を指定する場合、人的負荷が大きい。特に、ROI強調エンジン31として機械学習型のエンジンを用いる場合、一般的には大量の学習画像が必要となるため、それら全ての学習画像の欠陥に対してGUIを用いてROIを指定すると、時間的負担が大きくなる。
そこで、本実施形態に係るシステムは、学習良品画像である基準画像と学習不良品画像とを用いて算出した差分画像を用いて、ROIを自動で指定する方法(前述のB2に該当するROIの指定方法)を提供する。
なお、第一実施形態と同一の対象および処理については、同一の符号を付して詳細な説明は省略する。
<学習フェーズおよび画像処理フェーズの詳細>
図7は、本実施形態に係る学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
図7は、本実施形態に係る学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
学習フェーズが開始されると、学習フェーズ実行プログラム36は、学習用良品200および学習用不良品201の各々を撮像した学習良品画像203と学習不良品画像204とを各々、学習画像DB32から取得する(ステップS50)。
なお、学習フェーズ実行プログラム36は、NI40を介して、学習用良品200および学習用不良品201の画像を撮像するための指示を撮像装置10に出力し、撮像装置10により撮像された学習良品画像203および学習不良品画像204を学習画像DB32から取得しても良い
次に、学習フェーズ実行プログラム36は、学習良品画像203と学習不良品画像204とを用いて、ROI強調エンジン31の機械学習を行う(ステップS60)。具体的には、学習フェーズ実行プログラム36は、学習良品画像203を基準画像とし、学習不良品画像204における不良の可能性が高い部分であるROIを指定する。
ここで、ROIの指定に関し、基準画像を用いて差分を取り、差分値に基づいてROIを指定する方法(前述のB2に該当するROIの指定方法)について説明する。
図8は、基準画像との差分に基づいてROIを指定する方法を説明するための図である。本方法は、学習良品画像との差分値が大きい領域を不良の可能性が高いROIに指定するものである。
具体的には、学習フェーズ実行プログラム36は、学習良品画像203と学習不良品画像204との位置合わせを行い、学習良品画像203を基準として学習良品画像203と学習不良品画像204との差分画像214を生成する(ステップS61)。また、学習フェーズ実行プログラム36は、差分画像214の画素値すなわち差分値が予め設定したしきい値よりも大きい領域(図8の部分215)をROI216に指定する。
図7に戻って説明する。次に、学習フェーズ実行プログラム36は、指定したROI216に基づくROI強調学習画像を生成する(ステップS63)。具体的には、学習フェーズ実行プログラム36は、学習不良品画像204の中で、指定したROI216にコントラスト強調処理等の画像強調処理を行うことで、ROI216のみを強調したROI強調学習画像を生成する。
次に、学習フェーズ実行プログラム36は、ROI強調エンジン31の機械学習を行う(ステップS64)。具体的には、学習フェーズ実行プログラム36は、学習不良品画像204を入力した際、生成されたROI強調学習画像が出力されるように、ROI強調エンジン31の内部パラメータを最適化するための機械学習を行う。
次に、画像処理フェーズについて説明する。画像処理フェーズでは、対象物210を撮像した処理画像211から比較用画像(ROI強調処理画像)212を生成(推定)することで不良の可能性が高い領域(ROI)を強調した画像を生成する。また、画像処理フェーズでは、処理画像211と比較用画像212とを比較することで、対象物が良品か不良品かを判別する。
画像処理フェーズが開始されると、画像処理フェーズ実行プログラム37は、検査の対象物210を撮像した処理画像211を処理画像DB33から取得する(ステップS70)。
次に、画像処理フェーズ実行プログラム37は、ROI強調エンジン31を用いて、ROIのみが強調されたROI強調処理画像である比較用画像212を取得する(ステップS80)。具体的には、画像処理フェーズ実行プログラム37によりROI強調エンジン31に処理画像211が入力されると、ROI強調エンジン31は、処理画像中のROIを特定する(ステップS81)。
また、ROI強調エンジン31は、特定したROIのみを強調する画像処理を行うことで、ROI強調処理画像である比較用画像212を生成し(ステップS82)、これを出力する。
次に、画像処理フェーズ実行プログラム37は、処理画像211と比較用画像212とを用いて、両画像を比較することで、検査の対象物210が良品か不良品かを判定(良否判別)する(ステップS90)。具体的には、画像処理フェーズ実行プログラム37は、処理画像211と比較用画像212との差分画像を生成し、差分画像の画素値が予め設定されたしきい値よりも大きい箇所がある場合、対象物が不良であると判定する。
なお、画像処理フェーズ実行プログラム37は、検査の対象物210が不良であると判定した場合、例えばNI40を介して、所定の外部装置に処理画像(不良品画像)211を出力し、検査員に不良品画像の確認(ステップS100)を促す等の処理を行っても良い。
このように、本システム100によれば、基準画像との差分に基づき不良品画像から自動でROIを指定することができ、ROI強調エンジンの機械学習を効率的に実行することができる。また、本システム100によれば、処理画像とROIが強調された比較用画像との差分に基づき、検査の対象物について良否判別を行うことができる。その結果、検査のコスト、スキル、属人性等の課題に対し、検査の自動化を実現することができる。
<第三実施形態>
次に、第三実施形態について説明する。本実施形態に係るシステムは、学習フェーズにおいて、学習良品画像に擬似不良を合成することで擬似不良画像を生成し、擬似不良を合成した領域をROIに指定する。また、本システム100は、擬似不良画像のROIを強調したROI強調学習画像を生成し、擬似不良画像が入力されると、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
次に、第三実施形態について説明する。本実施形態に係るシステムは、学習フェーズにおいて、学習良品画像に擬似不良を合成することで擬似不良画像を生成し、擬似不良を合成した領域をROIに指定する。また、本システム100は、擬似不良画像のROIを強調したROI強調学習画像を生成し、擬似不良画像が入力されると、ROI強調学習画像が出力されるようにROI強調エンジン31の機械学習を行う。
また、本実施形態に係るシステムは、画像処理フェーズにおいて、ROI強調エンジン31に処理画像を入力することでROIを強調した比較用画像を生成し、処理画像と比較用画像とを比較検査することで、対象物が良品か不良品かを判定(良否判別)する。
第二実施形態に係るシステムは、学習不良品画像を用いてROI強調エンジン31の機械学習などを行ったが、対象物の不良品の画像を収集するには多大なコストを要するという課題がある。
そのため、良品の画像のみを用いてROI強調エンジン31の機械学習を行い、対象物が良品か不良品かを判別できることが望ましい。なお、良品の画像を用いて、不良品の画像が入力されると良品の画像を出力するニューラルネットワークの学習方法が知られている。しかしながら、この方法では、傷や色ムラといった不良部位の輝度値が良品と近い不良に関しては、良品の画像を正しく出力できても、不良を含む画像と良品画像との比較検査では、差分値が小さいため、不良を精度良く検出することが困難という課題がある。
そこで、本実施形態に係るシステムは、画像処理により傷や色ムラといった不良部位の輝度値が良品と近い擬似不良を合成した領域に基づいてROIを指定する方法(前述のB5に該当するROIの指定方法)を提供する。
なお、前述の実施形態と同一の対象および処理については、同一の符号を付して詳細な説明は省略する。
<学習フェーズおよび画像処理フェーズの詳細>
図9は、本実施形態に係る学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
図9は、本実施形態に係る学習フェーズおよび画像処理フェーズの処理シーケンスの一例を示した図である。
学習フェーズが開始されると、学習フェーズ実行プログラム36は、学習用良品200を撮像した学習良品画像203を学習画像DB32から取得する。
次に、学習フェーズ実行プログラム36は、ROI強調エンジン31の機械学習を行う(ステップS120)。具体的には、学習フェーズ実行プログラム36は、学習良品画像203に擬似不良を合成する(ステップS121)。より具体的には、学習フェーズ実行プログラム36は、傷や色ムラといった不良部位の輝度値が良品と近い擬似不良を学習良品画像に合成する。
次に、学習フェーズ実行プログラム36は、擬似不良を合成した領域をROIに指定する(ステップS122)。
ここで、ROIの指定に関し、画像処理により傷や色ムラといった不良部位の輝度値が良品と近い擬似不良を合成した領域に基づいてROIを指定する方法(前述のB5に該当するROIの指定方法)について説明する。
図10は、擬似不良を合成した領域に基づいてROIを指定する方法を説明するための図である。本方法は、擬似不良を合成した領域をROIに指定するものである。
具体的には、学習フェーズ実行プログラム36は、学習良品画像203上の所定位置に傷や色ムラといった不良部位の輝度値が良品と近い擬似不良224を合成し(ステップS121)、擬似不良画像225を生成する。また、学習フェーズ実行プログラム36は、擬似不良224を合成した領域をROI226に指定する(ステップS122)。
図9に戻って説明する。次に、学習フェーズ実行プログラム36は、指定したROI226に基づくROI強調学習画像を生成する(ステップS123)。具体的には、学習フェーズ実行プログラム36は、擬似不良画像225の中で、指定したROI226すなわち合成した擬似不良224の部分にコントラスト強調処理等の画像強調処理を行うことで、ROI226のみを強調したROI強調学習画像を生成する。
次に、学習フェーズ実行プログラム36は、ROI強調エンジン31の機械学習を行う(ステップS124)。具体的には、学習フェーズ実行プログラム36は、擬似不良画像225が入力されると、生成したROI強調学習画像が出力されるように、ROI強調エンジン31の内部パラメータを最適化するための機械学習を行う。
次に、画像処理フェーズについて説明する。画像処理フェーズでは、処理画像から比較用画像(ROI強調処理画像)を生成(推定)し、処理画像と比較用画像とを比較(検査)することで、対象物が良品か不良品かを判別する。なお、ステップS130、ステップS140~ステップS142およびステップS160は第二実施形態に係るステップS70、ステップS80~ステップS82およびステップS100と同様の処理であるため、詳細な説明は省略する。
ステップS150では、画像処理フェーズ実行プログラム37は、処理画像221と比較用画像222とを用いて、両画像を比較することで、検査の対象物220が良品か不良品かを判定(判別)する。
ここで、図11を用いて、処理画像221と比較用画像222とを用いた検査の対象物220の良否判定について説明する。
図11は、処理画像221と比較用画像222とを用いた検査の対象物220の良否判別に関する処理シーケンスを示した図である。図示するように、ステップS130で取得された処理画像221には、比較的大きな異物や欠損を示す部位227と、傷や色ムラといった輝度値が良品と近い不良を示す部位228と、が含まれている。
このような処理画像221を用いて、画像処理フェーズ実行プログラム37は、ROI強調処理画像である比較用画像222を生成する。具体的には、画像処理フェーズ実行プログラム37は、かかる処理画像221をROI強調エンジン31に入力することで、ROI強調エンジン31から出力されるROI強調処理画像を取得し、これを比較用画像222とする。
なお、ROI強調エンジン31は、輝度値が良品と近い不良の領域をROIに指定して機械学習を行っているため、かかるROI強調エンジン31に処理画像221が入力された場合には、傷や色ムラといった不良部位の輝度値が良品と近い不良の領域228のみが強調されたROI強調処理画像(比較用画像222)が出力される。一方で、異物や欠損などの比較的大きな不良の領域227については、学習良品画像203のような画像が出力されるため、比較用画像222にはかかる異物等を示す部位は示されない。
次に、画像処理フェーズ実行プログラム37は、処理画像221と比較用画像222とを用いて、両画像を比較することで、検査の対象物220が良品か不良品かを判定(判別)する。具体的には、画像処理フェーズ実行プログラム37は、処理画像221と比較用画像222との差分画像229を生成する(ステップS151)。また、画像処理フェーズ実行プログラム37は、予め設定したしきい値に基づいて、差分画像に二値化処理を行う(ステップS152)ことで、二値化画像230を生成する。
なお、図示するように、差分画像229は、処理画像221と比較用画像222との差分に基づき生成されるため、異物や欠損を示す部位227と、傷や色ムラといった輝度値が良品と近い不良部位を強調したROI228と、が含まれることになる。また、このような差分画像229に対して二値化処理が行われると、画素値がしきい値よりも高い領域である領域(図11の例では、異物等を示す部位227およびROI228に相当する箇所)が白色で示され、しきい値よりも低い他の領域が黒色で示されることになる。
画像処理フェーズ実行プログラム37は、かかる二値化画像230を参照し、予め設定されたしきい値よりも大きい箇所すなわち白色で示されている部分を検出した場合、対象物が不良であると判定する。
このように、本システム100によれば、傷や色ムラといった不良部位の輝度値が良品と近い擬似不良を合成した不良品画像を用いてROI強調エンジンの機械学習を行うことで、傷や色ムラを含む画像がROI強調エンジンに入力されると、傷や色ムラの領域が強調されたROI強調処理画像を出力するようにしている。これにより、本システム100は、輝度値が良品と近い不良について検査で検出することが可能となる。
また、ROI強調エンジンの機械学習で擬似不良を合成していない良品部位については、良品画像と同じになるようにROI強調エンジンの学習が行われるため、検査の際に、異物や欠損などの比較的大きな不良を含む画像がROI強調エンジンに入力されると、異物や欠損などを含む領域については、不良を含まない良品のような画像がROI強調処理画像として出力される。一方で、本システム100は、処理画像と比較用画像とを用いた差分画像を生成し、差分画像に二値化処理を行うことで、異物や欠損などの比較的大きな不良についても同様に検出することができる。
<第四実施形態>
次に、第四実施形態について説明する。本実施形態に係るシステム100は、学習フェーズにおいて、相互に異なる擬似不良を合成した領域をROIに指定し、画像強調処理の種類および画像強調の度合いが相互に異なるROI強調学習画像を出力するように、複数のROI強調エンジン31に機械学習を行う。具体的には、本システム100は、相互に異なる擬似不良を学習良品画像に合成した複数の擬似不良画像を生成し、擬似不良を合成した領域をROIに指定する。また、本システム100は、各々の擬似不良画像のROIを、相互に異なる画像強調処理の種類および画像強調の度合いで強調した複数のROI強調学習画像を生成する。また、本システム100は、複数のROI強調エンジン31を用いて、かかるROI強調エンジン31ごとに対応する擬似不良画像が入力されると、対応する各ROI強調学習画像が出力されるように、複数のROI強調エンジン31の機械学習を行う。
次に、第四実施形態について説明する。本実施形態に係るシステム100は、学習フェーズにおいて、相互に異なる擬似不良を合成した領域をROIに指定し、画像強調処理の種類および画像強調の度合いが相互に異なるROI強調学習画像を出力するように、複数のROI強調エンジン31に機械学習を行う。具体的には、本システム100は、相互に異なる擬似不良を学習良品画像に合成した複数の擬似不良画像を生成し、擬似不良を合成した領域をROIに指定する。また、本システム100は、各々の擬似不良画像のROIを、相互に異なる画像強調処理の種類および画像強調の度合いで強調した複数のROI強調学習画像を生成する。また、本システム100は、複数のROI強調エンジン31を用いて、かかるROI強調エンジン31ごとに対応する擬似不良画像が入力されると、対応する各ROI強調学習画像が出力されるように、複数のROI強調エンジン31の機械学習を行う。
また、本実施形態に係るシステム100は、画像処理フェーズにおいて、複数のROI強調エンジン31に処理画像を入力することで、各々のROI強調エンジン31がROIを強調した比較用画像を出力し、処理画像と各ROI強調エンジン31から出力された複数の比較用画像とを比較することで、対象物が良品か不良品かを判定(良否判別)する。
第三実施形態では、学習フェーズにおいて、単一のROI、画像強調処理の種類および画像強調の度合いを擬似不良画像に適用することでROI強調学習画像を生成し、擬似不良画像とROI強調学習画像とを用いてROI強調エンジン31の学習を行う方法について説明した。一方で、ROIの種類によっては、単一ではなく相互に異なる画像強調処理の種類や画像強調の度合いで強調したROI強調処理画像を用いることで、検査の精度を向上させることができる場合がある。
そのため、本実施形態に係るシステムは、ROI、画像強調処理の種類および画像強調の度合いが相互に異なるROI強調学習画像を出力するように、複数のROI強調エンジン31の機械学習を行い、検査の際に、複数のROI強調エンジン31が出力した複数種類のROI強調処理画像を用いることで、より高精度に対象物の良否判別を行う。
なお、前述の実施形態と同一の対象および処理については、同一の符号を付して詳細な説明は省略する。
<学習フェーズおよび画像処理フェーズの詳細>
図12は、学習フェーズにおいて2つのROI強調エンジンE3、E4に機械学習を行う処理シーケンスの一例を示した図である。学習フェーズ実行プログラム36は、学習画像DB32から学習良品画像203を取得し(ステップS110)、かかる学習良品画像に第一の擬似不良231を合成することで(ステップS121)、第一の擬似不良画像232を生成する。また、学習フェーズ実行プログラム36は、第一の擬似不良231を合成した領域をROI233に指定する(ステップS122)。
図12は、学習フェーズにおいて2つのROI強調エンジンE3、E4に機械学習を行う処理シーケンスの一例を示した図である。学習フェーズ実行プログラム36は、学習画像DB32から学習良品画像203を取得し(ステップS110)、かかる学習良品画像に第一の擬似不良231を合成することで(ステップS121)、第一の擬似不良画像232を生成する。また、学習フェーズ実行プログラム36は、第一の擬似不良231を合成した領域をROI233に指定する(ステップS122)。
また、学習フェーズ実行プログラム36は、指定したROI233に基づく第一のROI強調学習画像234を生成する(ステップS123)。具体的には、学習フェーズ実行プログラム36は、第一の画像強調の種類および画像強調の度合いによる画像処理を行うことでROI233を強調した第一のROI強調学習画像234を生成する。
次に、学習フェーズ実行プログラム36は、第一の擬似不良231を合成した第一の擬似不良画像232を入力として、第一のROI強調学習画像234が出力されるように、ROI強調エンジンE3の機械学習を行う(ステップS124)。
また、学習フェーズ実行プログラム36は、同様の方法により、ROI強調エンジンE2の機械学習を行う。具体的には、学習フェーズ実行プログラム36は、学習画像DB32から学習良品画像203を取得し(ステップS110)、かかる学習良品画像に、第一の擬似不良とは異なる第二の擬似不良235を合成することで(ステップS121)、第二の擬似不良画像236を生成する。また、学習フェーズ実行プログラム36は、第二の擬似不良235を合成した領域をROI237に指定する(ステップS122)。
また、学習フェーズ実行プログラム36は、指定したROI237に基づく第二のROI強調学習画像238を生成する(ステップS123)。具体的には、学習フェーズ実行プログラム36は、第一の画像強調の種類および画像強調の度合いとは異なる第二の画像強調の種類および画像強調の度合いによる画像処理を行うことでROI237を強調した第二のROI強調学習画像238を生成する。
次に、学習フェーズ実行プログラム36は、第二の擬似不良235を合成した第二の擬似不良画像236を入力として、第二のROI強調学習画像238が出力されるように、ROI強調エンジンE4の機械学習を行う(ステップS124)。
なお、このような第一の画像強調の種類および画像強調の度合い、および、第二の画像強調の種類および画像強調の度合いは、例えば図6に示すGUIを用いてユーザから指定を受け付けても良く、あるいは、予め設定されているものを用いても良い。
次に、画像処理フェーズについて説明する。画像処理フェーズでは、ROI強調エンジンE3、E4の各々について、処理画像221から比較用画像(ROI強調処理画像)222を生成(推定)し、処理画像221と比較用画像222とを比較することで、検査の対象物220が良品か不良品かを判別する。なお、かかる処理は、第三実施形態の画像処理フェーズと同様の処理となる。
ここで、図13を用いて、処理画像221と比較用画像222とを用いた検査の対象物220の良否判定について説明する。
図13は、処理画像221と比較用画像222とを用いた検査の対象物220の良否判別に関する処理シーケンスを示した図である。図示するように、ステップS130で取得された処理画像221には、第一の不良240と、第二の不良241と、が含まれている。画像処理フェーズ実行プログラム37は、処理画像221をROI強調エンジンE3に入力することで、ROIのみが強調されたROI強調処理画像を取得し(ステップS140)、これを比較用画像222mとする。
また、画像処理フェーズ実行プログラム37は、処理画像221を用いた対象物220の良否判定を行う。具体的には、画像処理フェーズ実行プログラム37は、処理画像221と比較用画像222mとの差分画像229mを生成し(ステップS151)、予め設定したしきい値に基づいて、差分画像に二値化処理を行うことで(ステップS152)、二値化画像230mを生成する。
なお、画像処理フェーズ実行プログラム37は、ROI強調エンジンE3を用いた処理と同様の処理を行うことにより、ROI強調エンジンE4を用いて、二値化画像230nを生成する。
そして、画像処理フェーズ実行プログラム37は、かかる二値化画像230m、230nを参照し、少なくとも一方の二値化画像に予め設定されたしきい値よりも大きい箇所すなわち白色で示されている部分を検出した場合、対象物220が不良であると判定する。なお、ステップS160の処理は前述と同様のため、詳細な説明は省略する。
このように、本システム100によれば、相互に異なる画像強調の種類および画像強調の度合いにより生成した複数のROI強調処理画像を用いて不良等に関する検査を行うことができる。そのため、本システム100によれば、ROIの種類に応じた適切なROI強調処理画像を生成することができ、検査の精度を向上させることができる。
なお、前述の実施形態は、同一の事業者がプロセッサシステム100を用いた学習フェーズおよび画像処理フェーズを実施する場合と、学習フェーズのみを実施する事業者と画像処理フェーズ(すなわち、機械学習後のROI強調エンジン31を用いて画像処理を行うフェーズ)のみを実施する事業者とが異なる場合と、の両方を含むものである。
また、本発明は上記した実施形態および変形例に限定されるものではなく、同一の技術的思想の範囲内において様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。例えば、各実施形態におけるROIの指定方法を異なる実施形態において用いても良い。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
また、上記説明では、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
100・・・プロセッサシステム、20・・・プロセッサ、30・・・メモリリソース、31・・・ROI強調エンジン、32・・・学習画像DB、33・・・処理画像DB、34・・・その他情報DB、35・・・GUI実行プログラム、36・・・学習フェーズ実行プログラム、37・・・画像処理フェーズ実行プログラム、40・・・NI(Network Interface Device)、50・・・UI(User Interface Device)、10・・・撮像装置
本発明は、システムおよびプログラムに関する。
Claims (14)
- 1以上のプロセッサと、1以上のメモリリソースと、を有するシステムであって、
前記メモリリソースは、
ROI強調エンジンと、学習フェーズ実行プログラムと、を記憶し、
前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、
学習用の対象物を撮像した学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROI(Region Of Interest)のみを強調したROI強調学習画像を生成し、
前記学習画像を入力した際、前記ROI強調学習画像が生成されるように前記ROI強調エンジンの内部パラメータを最適化するための学習を行う
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記メモリリソースは、画像処理フェーズ実行プログラムをさらに記憶し、
前記プロセッサは、前記画像処理フェーズ実行プログラムを実行することで、
前記処理画像を前記ROI強調エンジンに入力し、当該ROI強調エンジンから出力される前記ROIのみが強調されたROI強調処理画像を取得する
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記メモリリソースは、
GUI実行プログラムをさらに記憶し、
前記プロセッサは、前記GUI実行プログラムを実行することで、
前記ROI強調エンジンの学習を行う学習フェーズにおいて、前記学習画像における前記ROIと、前記ROIに対して行う画像強調処理の種類および画像強調の度合いと、の指定を受け付ける画面情報を出力し、
前記プロセッサは、学習フェーズ実行プログラムを実行することで、
指定された前記ROIに対し、指定された画像強調の度合いであって、指定された種類の画像強調処理を行うことで、前記ROI強調学習画像を生成する
ことを特徴とするシステム。 - 請求項3に記載のシステムであって、
前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、
前記ROI、前記画像強調処理の種類および前記画像強調の度合いのうち、少なくとも一つが異なる前記ROI強調学習画像を出力するように、複数の前記ROI強調エンジンに対して前記学習を行う
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、
前記学習画像であって、学習良品を撮像した学習良品画像および学習不良品を撮像した学習不良品画像の差分画像に基づき指定される前記ROIを強調した前記ROI強調学習画像を生成する
ことを特徴とするシステム。 - 請求項5に記載のシステムであって、
前記メモリリソースは、画像処理フェーズ実行プログラムをさらに記憶し、
前記プロセッサは、前記画像処理フェーズ実行プログラムを実行することで、
前記処理画像と、当該処理画像を前記ROI強調エンジンに入力することで得られる前記ROIのみが強調されたROI強調処理画像である比較用画像と、を比較することにより、前記対象物が良品か不良品かを判別する
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、
前記学習画像であって、学習良品を撮像した学習良品画像に、擬似不良を合成した領域を前記ROIとする前記ROI強調学習画像を生成する
ことを特徴とするシステム。 - 請求項7に記載のシステムであって、
前記メモリリソースは、画像処理フェーズ実行プログラムをさらに記憶し、
前記プロセッサは、前記画像処理フェーズ実行プログラムを実行することで、
前記処理画像と、当該処理画像を前記ROI強調エンジンに入力することで得られる前記ROIのみが強調されたROI強調処理画像である比較用画像と、を比較することにより、前記対象物が良品か不良品かを判別する
ことを特徴とするシステム。 - 請求項8に記載のシステムであって、
前記プロセッサは、前記画像処理フェーズ実行プログラムを実行することで、
前記処理画像および前記比較用画像の差分画像に二値化処理を行って生成した二値化画像を用いて、前記対象物が良品か不良品かを判別する
ことを特徴とするシステム。 - 請求項7に記載のシステムであって、
前記プロセッサは、前記学習フェーズ実行プログラムを実行することで、
相互に異なる前記擬似不良を合成した領域を前記ROIに指定し、前記ROIに対して行う画像強調処理の種類および画像強調の度合いが相互に異なる前記ROI強調学習画像を出力するように、複数の前記ROI強調エンジンに対して前記学習を行う
ことを特徴とするシステム。 - 1以上のプロセッサと、1以上のメモリリソースと、を有するシステムが行う画像処理方法であって、
前記プロセッサは、
学習用の対象物を撮像した学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROI(Region Of Interest)のみを強調したROI強調学習画像を生成するステップと、
前記学習画像を入力した際、前記ROI強調学習画像が生成されるようにROI強調エンジンの内部パラメータを最適化するための学習ステップと、行う
ことを特徴とする画像処理方法。 - 請求項11に記載の画像処理方法であって、
前記プロセッサは、
前記処理画像を前記ROI強調エンジンに入力し、当該ROI強調エンジンから出力される前記ROIのみが強調されたROI強調処理画像を取得するステップをさらに行う
ことを特徴とする画像処理方法。 - 1以上のプロセッサと、1以上のメモリリソースと、を有するシステムの前記プロセッサが前記メモリリソースから読み込んで実行するプログラムであって、
前記プロセッサが実行する学習フェーズ実行プログラムは、
学習用の対象物を撮像した学習画像を用いて、画像処理の対象を撮像した処理画像の注目領域に対応するROI(Region Of Interest)のみを強調したROI強調学習画像を生成し、
前記学習画像を入力した際、前記ROI強調学習画像が生成されるようにROI強調エンジンの内部パラメータを最適化するための学習を行う
ことを特徴とするプログラム。 - 請求項13に記載のプログラムであって、
前記プロセッサが実行する画像処理フェーズ実行プログラムは、
前記処理画像を前記ROI強調エンジンに入力し、当該ROI強調エンジンから出力される前記ROIのみが強調されたROI強調処理画像を取得する
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021196428A JP2023082567A (ja) | 2021-12-02 | 2021-12-02 | システムおよびプログラム |
PCT/JP2022/037531 WO2023100474A1 (ja) | 2021-12-02 | 2022-10-07 | システム、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021196428A JP2023082567A (ja) | 2021-12-02 | 2021-12-02 | システムおよびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023082567A true JP2023082567A (ja) | 2023-06-14 |
Family
ID=86611829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021196428A Pending JP2023082567A (ja) | 2021-12-02 | 2021-12-02 | システムおよびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023082567A (ja) |
WO (1) | WO2023100474A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156334A (ja) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
JP7015001B2 (ja) * | 2018-03-14 | 2022-02-02 | オムロン株式会社 | 欠陥検査装置、欠陥検査方法、及びそのプログラム |
CN117291830A (zh) * | 2019-10-01 | 2023-12-26 | 长沙微妙医疗科技有限公司 | 使用自关注深度学习进行图像增强的系统和方法 |
CN111666994A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技(深圳)有限公司 | 样本图像数据增强方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-02 JP JP2021196428A patent/JP2023082567A/ja active Pending
-
2022
- 2022-10-07 WO PCT/JP2022/037531 patent/WO2023100474A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023100474A1 (ja) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
TW202105549A (zh) | 對樣本的缺陷檢測的方法及其系統 | |
JP6422198B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5956814B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
TW202036475A (zh) | 取樣檢驗的方法及其系統 | |
JP2011214903A (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
JP2011158373A (ja) | 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置 | |
KR102249836B1 (ko) | 투과영상 기반의 비파괴검사 기능을 제공하기 위한 방법 및 컴퓨터 판독 가능한 저장 매체 | |
CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
US20220215521A1 (en) | Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor | |
CN113167742A (zh) | 混凝土构造物的点检辅助装置、点检辅助方法及点检辅助程序 | |
TW202200993A (zh) | 檢查裝置、檢查方法及檢查程式 | |
US20200279359A1 (en) | Inspection apparatus, inspection method, and non-volatile storage medium | |
JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
JP2006292615A (ja) | 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体 | |
WO2023100474A1 (ja) | システム、画像処理方法およびプログラム | |
JP2011232302A (ja) | 画像検査方法及び画像検査装置 | |
KR20220111214A (ko) | 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램 | |
JP7414629B2 (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
JP7449739B2 (ja) | 検査システム、学習装置、学習プログラム、学習方法、検査装置、検査プログラム、検査方法 | |
JP6410459B2 (ja) | 画像検査方法、および画像検査装置 | |
JP7258509B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR102415928B1 (ko) | 투과영상 기반의 비파괴검사 방법 | |
WO2024095721A1 (ja) | 画像処理装置および画像処理方法 | |
KR102616867B1 (ko) | 비파괴검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240308 |