JP2022052990A - 画像検査システム - Google Patents

Abstract

【課題】異常の検出精度を維持しつつ、画像の評価や学習にかかる処理時間を低減させる画像検査システムを提供する。【解決手段】画像検査システム１は、対象画像において、検出対象である異常の短手方向の寸法長さである検出対象分解能と、検査時に必要となる最小限のピクセル数である最低検出分解能と、に応じて、異常のピクセル数が最低検出分解能以下にならない最大の圧縮率である許容圧縮率を算出する許容圧縮率算出部３３と、許容圧縮率以下の圧縮率を維持した状態で、対象画像が分割可能である分割数を算出する分割数算出部３４と、対象画像について、許容圧縮率以下の圧縮率で圧縮を行うとともに、分割数で分割された分割圧縮画像を生成する分割圧縮処理部３８と、生成された分割圧縮画像を利用して構築された学習モデルを用いて学習を行う学習部２５と、を備える。【選択図】図１

Description

本発明は、学習モデルを用いた画像検査システムに関する。

近年、製造現場などにおいて、ディープラーニングによる学習を利用して製品の外観検査を行う等の自動化が進んでいる。ここで、キズ、ブツ、凹等の画角に対して小さい対象物を検出するためには画像の圧縮を避ける必要があり、この画像の圧縮を避ける方法として、１つの画像を複数の画像に分割することが行われている。

従来、このような分野の技術として、特開２０２０－０８７２１１号公報がある。この公報に記載された画像検査システムでは、高周波の異常検知を行うための学習モデルとして、画像を分割して作成した画像を用いて学習を行うとともに、低周波の異常検知を行うための学習モデルとして、あらかじめ設定した圧縮率で圧縮して作成された圧縮画像を、さらに分割することにより作成した画像を用いて学習することについて記載されている。

特開２０２０－０８７２１１号公報

しかしながら、前述した関連する画像検査システムでは、高周波に属するキズの異常を検知する際に、検査精度を維持するために画像の圧縮は行わずに、画像を複数に分割している。そして、分割した画像のそれぞれについて判定を行う際に、判定かかる時間は、分割枚数分だけ増加することとなる。そのため関連する画像検査システムでは、分割された画像のそれぞれについて検査を行う際に、処理すべき画像数の増加に応じて処理にかかる負荷が増大し、タクトタイム内で判定することが困難となる場合がある。
本発明は、検出対象である異常の検出精度を維持しつつ、画像の評価や学習にかかる処理時間を低減させた画像検査システムを提供するものである。

本発明にかかる画像検査システムは、撮影された画像を用いた学習モデルを用いた学習を行い、前記学習の結果を利用して画像内で検出される異常の評価を行う画像検査システムであって、対象画像において、検出対象である前記異常の短手方向の寸法長さである検出対象分解能と、検査時に必要となる最小限のピクセル数である最低検出分解能と、に応じて、前記異常のピクセル数が前記最低検出分解能以下にならない最大の圧縮率である許容圧縮率を算出する許容圧縮率算出部と、前記許容圧縮率算出部で算出された前記許容圧縮率以下の圧縮率を維持した状態で、前記対象画像が分割可能である分割数を算出する分割数算出部と、前記対象画像について、前記許容圧縮率算出部で算出された前記許容圧縮率以下の圧縮率で圧縮を行うとともに、前記分割数算出部により算出された前記分割数で分割された分割圧縮画像を生成する分割圧縮処理部と、前記分割圧縮処理部により生成された前記分割圧縮画像を利用して構築された学習モデルを用いて学習を行う学習部と、を備える。
これにより、処理対象となる画像に対する圧縮率と分割枚数を適切に設定することができる。

これにより、検出対象である異常の検出精度を維持しつつ、画像の評価や学習にかかる処理時間を低減させることができる。

画像検査システムの構成を示した図である。 画像検査システムの動作フローの一例を示した図である。 撮影された画像中の検出対象と検出対象分解能の一例を示す図である。 画像をニューラルネットワークの入力サイズに圧縮する状態示す図である。 必須ピクセル分解能の一例を示す図である。 撮影された画像における検出対象の一例と、設定される検出対象分解能の一例を示す図である。 画像を所定のニューラルネットワークの入力サイズに圧縮する状態示す図である。 撮影された画像における検出対象に対して、必須ピクセル分解能を設定する際の一例を示す図である。 関連する画像検査システムとの分割数、判定時間、検出率の比較の一例を示す図である。 関連する画像検査システムとの分割数、判定時間、検出率の比較の他の例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。図１に示すように、画像検査システム１は、撮像装置１１と、撮像装置１１で取得された画像の処理を行う処理装置１２と、を備える。画像検査システム１は、入力された対象画像について、ニューラルネットワークを用いた学習や判定を行う、検査システムである。なお図１では、撮像装置１１及び処理装置１２の構成と、画像または情報の流れを示している。

撮像装置１１は、対象物を撮影して画像の取得を行うカメラである。また撮像装置１１は、後述する処理装置１２の第１の画像蓄積部２１に撮像画像を出力する。例えば、撮像装置１１から処理装置１２への対象画像の出力は、有線や無線など、いずれの方法で行ってもよい。なお、典型的には撮像装置１１では、可視域での撮影を行うがこれに限られない。

処理装置１２は、撮像装置１１で取得された対象画像を蓄積する第１の画像蓄積部２１と、作業者により対象画像に関連するパラメータの入力を行うための入力部２２と、第１の画像蓄積部２１に蓄積された画像の処理を行う処理部２３と、処理部２３で圧縮及び分割された対象画像（以下、分割圧縮画像）を蓄積する第２の画像蓄積部２４と、第２の画像蓄積部２４に蓄積された分割圧縮画像を利用して学習を行う学習部２５と、評価部２６と、と、を備える。処理装置１２では、撮像装置１１により取得された画像の処理を行う。

第１の画像蓄積部２１は、撮像装置１１で取得された撮像画像を保存して蓄積する。

入力部２２は、対象画像に関連する情報を作業者が入力するための入力装置を備える。ここで例えば、対象画像に関連する情報とは、対象画像の画素数、対象画像における検出対象のピクセル分解能、対象画像内の検出対象の必須分解能、ニューラルネットワークの入力層のサイズである。入力部２２で入力するパラメータについては後に詳述する。

また入力部２２には、入力を行うための装置としてキーボードやマウス、モニター等により実現することができるが、これに限られない。

処理部２３では、第１の画像蓄積部２１に蓄積された撮像画像についての学習や評価を行う。ここで、第１の画像蓄積部２１に蓄積された撮像画像のうち、処理部２３により処理を行う撮像画像を、対象画像として説明する。

処理部２３は、対象画像の許容圧縮率を算出する許容圧縮ピクセル数計算部３１と、対象画像の分割の要否判断を行う分割判定部３２と、対象画像の許容圧縮率を算出する許容圧縮率算出部３３と、分割する際の分割数を算出する分割数算出部３４と、対象画像の読み込みを行う画像読み取り部３５と、対象画像の分割処理を行う分割部３６と、分割部３６により分割された画像を圧縮する圧縮部３７と、を備える。なお分割部３６と圧縮部３７とを行う機能部をまとめて分割圧縮処理部３８とする。

以下では、処理部２３では、第１の画像蓄積部２１に蓄積されている複数の対象画像のうちの１枚について処理を行うものとして説明する。

許容圧縮ピクセル数計算部３１は、入力部２２を介して作業者により入力されることで提供されたパラメータを利用して、対象画像への許容圧縮ピクセル数を計算する。許容圧縮ピクセル数については、後に詳述する。

分割判定部３２は、許容圧縮ピクセル数計算部により算出された許容圧縮ピクセル数と、入力部２２により入力されたニューラルネットワークの入力層のサイズとを比較して、対象画像の分割の要否を判定する。

許容圧縮率算出部３３、対象画像の検出対象分解能と、検査時の最低検出分解能と、に基づいて許容圧縮率を算出する。

ここで、検出対象分解能とは、対象物が撮影された対象画像において所定の方向に延びるキズ（異常）があるものとした場合、キズの短手方向の寸法長さである。また、最低検出分解能とは、検査時に必要となる最小限のピクセル数である。ここで、許容圧縮率は、対象画像における検出対象のピクセル数が、最低検出分解能以下にならない最大の圧縮率を指すものとする。

分割数算出部３４では、許容圧縮率算出部３３で算出された許容圧縮率で行うことができる、対象画像の分割数を算出する。

画像読み取り部３５は、処理部２３において処理対象となる実際の対象画像を、第１の画像蓄積部２１から読み取る。

分割部３６は、分割数算出部３４で算出した分割数となるように、画像読み取り部３５で読み取った対象画像の分割を行う。

圧縮部３７は、対象画像を許容圧縮率以下で圧縮する。言い換えると、圧縮部３７では、分割部３６によって分割された画像が所定のサイズ以上である場合に、許容圧縮率以下で圧縮して所定の縦横サイズの画像となるように縮小変換する。これにより圧縮部３７では、分割部３６により分割されたそれぞれの画像を、ニューラルネットワークの入力層サイズに変換し、ニューラルネットワークの入力層サイズに変換された分割圧縮画像を生成することができる。

なお、圧縮部３７が対象画像を圧縮した後に、分割部３６が分割を行うことによって、同様に分割圧縮画像を生成することも可能である。

第２の画像蓄積部２４は、処理部２３で生成された分割圧縮画像を保存して蓄積する。

学習部２５では、第２の画像蓄積部２４に蓄積されている分割圧縮画像を用いて学習モデルを構築し、この学習モデルを用いて学習を行う機能部である。また、学習部２５では、第１の画像蓄積部２１に蓄積されている撮像画像についても分割圧縮画像と同様に利用して、学習モデルを構築することができる。なお例えば、学習部２５での学習を行う際に、第２の画像蓄積部２４に蓄積されている分割圧縮画像のうちの一部の分割圧縮画像を、学習モデルの構築に用いたり、教師信号として利用することも可能である。

評価部２６では、学習部２５で学習された学習内容を利用することによって、ニューラルネットワークの入力層に入力された分割圧縮画像の評価を行う機能部である。より具体的には、評価部２６では、分割圧縮画像中に含まれるキズ等の検出対象についての評価、判定を行うことができる。なお評価部２６では、第２の画像蓄積部２４に蓄積されている分割圧縮画像に限られず、第１の画像蓄積部２１に蓄積されている撮像画像についても評価、判定を行うことができる。

ここで図２を参照して、画像検査システム１により画像検査を行うための学習及び評価の処理の流れと、それぞれの処理の詳細について説明する。

なお、撮像装置１１で取得された複数の撮像画像が、あらかじめ第１の画像蓄積部２１に蓄積されているものとして説明する。

作業者は、図３（ａ）及び図３（ｂ）に示すように対象画像の画素数と、対象画像の検出対象の分解能、図４に示すようにニューラルネットワークの入力層のサイズ、図５に示すように検出対象の必須分解能の情報の入力を行う（Ｓ１）。

より具体的には図３（ａ）に示すように、作業者は入力部２２を介して、第１の画像蓄積部２１に蓄積されている撮像画像のうち、現在の処理対象となる対象画像の水平ピクセル数Ｌ_ｈ、垂直ピクセル数Ｌ_ｖ、さらに図３（ｂ）に示すように対象画像中において検出したい検出対象物の最小寸法方向ピクセル分解能Ｏ_min、のそれぞれを入力する。図６は、実際の画像を用いた場合の一例として、キズを検出対象物として検出した際に、最小寸法方向ピクセル分解能Ｏ_minとして設定する一例を示している。

さらに図４に示すように、作業者は入力部２２を介して、ニューラルネットワークの水平入力層のサイズＰＩＸ_{re_h}と、垂直入力層のサイズＰＩＸ_{re_v}を設定する。例えば図７に示すように、水平入力層のサイズＰＩＸ_{re_h}と、垂直入力層のサイズＰＩＸ_{re_v}をそれぞれ３００ピクセルに設定することができる。

さらに図５に示すように、作業者は入力部２２を介して、検出対象物の最小寸法方向の必須ピクセル分解能ＰＩＸ_objを入力する。この値は、作業者が、検出対象の特徴を表現できるように任意に決定した値である。図８は、実際の画像を用いた一例として、作業者が適切に必須ピクセル分解能ＰＩＸ_objを設定することで、対象画像中の検出対象物（キズ）に該当する箇所が抽出されやすくなった状態を示している。

次に、許容圧縮ピクセル数計算部３１は、Ｓ１で入力された各パラメータに基づいて、許容できる圧縮ピクセル数を算出する（Ｓ２）。ここで許容圧縮ピクセル数ＰＩＸ_limitは

で計算可能である。なおＬ_maxは、水平ピクセル数Ｌ_ｈと垂直ピクセル数Ｌ_ｖのうちいずれか大きい方とする。

次に、分割判定部３２は、ニューラルネットワークの入力層サイズと、Ｓ２で算出した許容圧縮ピクセル数を比較して分割の要否を判断する（Ｓ３）。ここでは、許容圧縮画素数が圧縮画素数より大きいか否かを判定することにより撮像装置１１で撮像されたオリジナルの撮像画像を使用するか、又は、オリジナルの撮像画像を分割した画像を使用するかを決定する。すなわち、

とする。ただし、ＰＩＸ_reはＰＩＸ_{re_h}とＰＩＸ_{re_v}の小さい方とする。分割判定部３２が、分割が必要であると判定した場合、すなわち許容圧縮画素数が圧縮画素数より大きい場合には（Ｓ３でＹｅｓ）、Ｓ４に進む。分割判定部３２が、分割が不要であると判定した場合、すなわち許容圧縮画素数が圧縮画素数以下であると判定した場合には（Ｓ３でＮｏ）、処理を終了する。

許容圧縮率算出部３３は許容圧縮率を算出し、分割数算出部３４は、許容圧縮率以下で圧縮が行えるように分割数を計算する（Ｓ４）。ここで許容圧縮率は、

で算出するものとし、圧縮率を考慮した分割画像のピクセル数ＰＩＸ_splitは

とする。

画像読み取り部３５は、第１の画像蓄積部２１から、分割する対象画像の読み込みを行う（Ｓ５）。

分割部３６は、Ｓ５において画像読み取り部３５で読み込まれた対象画像について、Ｓ４で算出された分割数で分割する（Ｓ６）。

圧縮部３７は、Ｓ６において分割された画像を許容圧縮率以下で圧縮して、ニューラルネットワーク入力層サイズに変換する（Ｓ７）。すなわち、圧縮部３７では分割圧縮画像が生成される。

第２の画像蓄積部２４では、分割圧縮画像を保存して蓄積を行う（Ｓ８）。その後処理を終了する。

これらの処理が終了した後、学習部２５では、第２の画像蓄積部２４に保存された分割圧縮画像から学習モデルを構築し、学習を行うことができる。例えば、学習部２５では、第２の画像蓄積部２４に蓄積された画像により構築された学習モデルを利用して、ニューラルネットワークにおいて入力層、中間層、出力層との間をつなぐ結合の重みを変換する学習を行うことができる。

また例えば、評価部２６では、第２の画像蓄積部２４に保存された分割圧縮画像をニューラルネットワークの入力層に入力することで、学習部２５による学習結果を利用して、入力された画像の評価を行うことができる。なお、評価部２６が評価を行う際に、ニューラルネットワークの入力層に入力される画像は、第１の画像蓄積部２１に蓄積されている、圧縮や分割がなされていない画像であってもよい。

ここで図９及び図１０は、それぞれ所定の図を入力した際に、関連手法と、上記の本発明の手法によって、評価部２６での評価、判定を行った際の分割数、判定時間、検出率の例を示したものである。

いずれの場合であっても、分割数は本発明の手法による方法では、検出精度を維持しながら、判定時間を５割～６割短縮することができた結果が示されている。

これにより、撮像装置１１により撮像された画像について、高周波の異常を検知できる検査精度を維持しつつ、分割数の増大を防ぐことができる。したがって、検査精度を維持しつつ、画像検査にかかる時間を短縮し、画像の評価、判定にかかる処理についてタクトタイム内での実行をはかることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。すなわち上記の記載は、説明の明確化のため、適宜、省略及び簡略化がなされており、当業者であれば、実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。

例えば、第１の画像蓄積部２１、処理部２３、第２の画像蓄積部２４、学習部２５、評価部については、メモリ、ＳＳＤ、ＨＤＤ等の記憶装置や、ＣＰＵ等の演算装置により実現することができるが、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。 また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、本手法による画像の圧縮率の決定と、分割数の決定方法を用いた画像検査システムは、対象画像から検出したいものがある場合であればよく、ニューラルネットワークを用いたディープラーニングに関するものに限られず、他の機械学習手法に利用することができる。すなわち、任意の手法やシステムによって画像を入力し、任意の手法、システムにおいて検出処理の前段階の画像の圧縮処理を行い、圧縮画像の画素値を利用する処理が行われるものであれば、適用可能である。

１ 画像検査システム
１１ 撮像装置
１２ 処理装置
２１ 第１の画像蓄積部
２２ 入力部
２３ 処理部
２４ 第２の画像蓄積部
２５ 学習部
２６ 評価部
３１ 許容圧縮ピクセル数計算部
３２ 分割判定部
３３ 許容圧縮率算出部
３４ 分割数算出部
３５ 画像読み取り部
３６ 分割部
３７ 圧縮部
３８ 分割圧縮処理部

Claims (1)

1. 撮影された画像を用いた学習モデルを用いた学習を行い、前記学習の結果を利用して画像内で検出される異常の評価を行う画像検査システムであって、
   対象画像において、検出対象である前記異常の短手方向の寸法長さである検出対象分解能と、検査時に必要となる最小限のピクセル数である最低検出分解能と、に応じて、前記異常のピクセル数が前記最低検出分解能以下にならない最大の圧縮率である許容圧縮率を算出する許容圧縮率算出部と、
   前記許容圧縮率算出部で算出された前記許容圧縮率以下の圧縮率を維持した状態で、前記対象画像が分割可能である分割数を算出する分割数算出部と、
   前記対象画像について、前記許容圧縮率算出部で算出された前記許容圧縮率以下の圧縮率で圧縮を行うとともに、前記分割数算出部により算出された前記分割数で分割された分割圧縮画像を生成する分割圧縮処理部と、
   前記分割圧縮処理部により生成された前記分割圧縮画像を利用して構築された学習モデルを用いて学習を行う学習部と、を備える、
   画像検査システム。

Images