JP2021086208A - 画像検査装置 - Google Patents

Abstract

【課題】対象物の検査における処理負荷を低減した画像検査装置を提供する。【解決手段】画像検査装置１０は、対象物１の画像を撮影する撮影部１１と、画像から対象領域の部分画像を抽出する抽出部１４と、学習済みモデル１２ａによって、部分画像に基づいて、対象領域の再構成画像を生成する生成部１５と、少なくとも再構成画像を用いて、対象物の検査を行う検査部１６と、を備える。【選択図】図１

Description

本発明は、画像検査装置に関する。

従来、対象物の画像を撮影し、画像に基づいて対象物の検査を行う画像検査装置が用いられている。例えば、下記特許文献１には、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行う異常判定装置が記載されている。

特開２０１８−５７７３号公報

特許文献１では、オートエンコーダによって判定対象画像から再構成画像を生成している。ここで、撮影される画像は均一とは限らず、位置ずれや明るさのばらつきを含むことがある。このようなばらつきがあっても画像が適切に再構成されるようにするためには、ニューラルネットワークのパラメータをある程度多く用意する必要があり、処理負荷が大きくなることがある。

そこで、本発明は、対象物の検査における処理負荷を低減した画像検査装置を提供する。

本開示の一態様に係る画像検査装置は、対象物の画像を撮影する撮影部と、画像から対象領域の部分画像を抽出する抽出部と、学習済みモデルによって、部分画像に基づいて、対象領域の再構成画像を生成する生成部と、少なくとも再構成画像を用いて、対象物の検査を行う検査部と、を備える。

この態様によれば、対象領域の部分画像を抽出し、その部分画像について再構成画像を生成して、対象物の検査を行うことで、画像のばらつきを低減した状態で検査することができ、対象物の検査における処理負荷を低減することができる。

上記態様において、検査部は、再構成画像と部分画像との差に基づいて、対象物の良否判定を行ってもよい。

この態様によれば、対象物が正常であるか否かを、比較的少ない処理負荷で検査することができる。

上記態様において、検査部は、再構成画像に基づいて、対象物の寸法を測定してもよい。

この態様によれば、比較的少ない処理負荷で対象物の画像からノイズを除去し、対象物の寸法をより正確に測定することができる。

上記態様において、画像に対して平行移動、回転、拡大、縮小、剪断変換、射影変換及びフィルタ処理の少なくともいずれかを適用して基準状態に変換するための写像パラメータを求める算出部をさらに備え、抽出部は、写像パラメータを用いて基準状態に変換された画像から部分画像を抽出するか、又は、画像から写像パラメータを用いて部分画像を抽出してもよい。

この態様によれば、写像パラメータを用いて画像を基準状態に変換してから部分画像を抽出したり、写像パラメータを用いて画像から部分画像を抽出したりすることで、部分画像を抽出するための処理負荷を低減することができる。

上記態様において、算出部は、少なくとも１つの基準画像に基づいて基準状態を定めてもよい。

この態様によれば、画像を基準状態に変換するための処理負荷を低減することができる。

上記態様において、基準画像と、基準状態への写像を識別するための情報とを関連付けて記憶する記憶部をさらに備えてもよい。

この態様によれば、基準状態への写像を識別するための情報に基づいて、画像を基準状態に変換する処理を特定することができる。

上記態様において、抽出部は、基準画像について指定された領域に基づいて対象領域を定めてもよい。

この態様によれば、指定された領域に基づいて対象領域を定めることで、部分画像を抽出するための処理負荷を低減することができる。

上記態様において、抽出部は、画像から所定の条件を満たす領域を探索し、当該領域を対象領域として、部分画像を抽出してもよい。

この態様によれば、画像を基準状態に変換する処理を省略することができる。

上記態様において、抽出部は、対象領域の形状の指定を受け付けてもよい。

この態様によれば、対象領域の形状を任意に指定することができ、検査内容に適した部分画像を抽出することができる。

上記態様において、学習用画像に関する部分画像に基づいて、対象領域の再構成画像を生成するように学習モデルを学習させる学習部をさらに備えてもよい。

この態様によれば、学習用画像に表された対象物の特徴を再現する再構成画像を生成するような学習済みモデルを得ることができる。

本発明によれば、対象物の検査における処理負荷を低減した画像検査装置を提供することができる。

本発明の実施形態に係る画像検査システムの概要を示す図である。 本実施形態に係る画像検査装置の機能ブロックを示す図である。 本実施形態に係る画像検査装置の物理的構成を示す図である。 本実施形態に係る画像検査装置により実行される変換処理の一例を示す図である。 本実施形態に係る画像検査装置により実行される抽出処理の一例を示す図である。 本実施形態に係る画像検査装置により実行される検査処理の一例を示す図である。 本実施形態に係る画像検査装置により実行される学習処理のフローチャートである。 本実施形態に係る画像検査装置により実行される検査処理のフローチャートである。 本実施形態の変形例に係る画像検査装置により実行される検査処理のフローチャートである。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本発明の実施形態に係る画像検査システム１００の概要を示す図である。画像検査システム１００は、画像検査装置１０及び照明２０を含む。照明２０は、対象物１に光Ｌを照射する。画像検査装置１０は、反射光Ｒを撮影し、対象物１の画像に基づいて、対象物１の検査を行う。

図２は、本実施形態に係る画像検査装置１０の機能ブロックを示す図である。画像検査装置１０は、撮影部１１、記憶部１２、算出部１３、抽出部１４、生成部１５、検査部１６及び学習部１７を備える。

撮影部１１は、対象物１の画像を撮影する。撮影部１１は、反射光Ｒを受光して、汎用の撮像素子により対象物１の画像を撮影してよい。

記憶部１２は、学習済みモデル１２ａ、学習用画像１２ｂ、状態識別情報１２ｃ、基準状態情報１２ｄ及び対象領域情報１２ｅを記憶する。学習済みモデル１２ａは、画像から特徴量抽出し、特徴量から画像を再構成するモデルであり、例えば、Christoph Baur1, Benedikt Wiestler, Shadi Albarqouni, and Nassir Navab, "Deep Autoencoding Models for Unsupervised Anomaly Segmentation in Brain MR Images," arXiv:1804.04488に開示されているオートエンコーダを用いたモデルであったり、Thomas Schlegl, Philipp Seebock, Sebastian M. Waldstein, Ursula Schmidt-Erfurth, and Georg Langs, "Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery," arXiv:1703.05921に開示されているＧＡＮ（Generative Adversarial Network）を用いたモデルであったり、ＰＣＡ（Principal Component Analysis）を用いたモデルであったりしてよい。

学習用画像１２ｂは、学習部１７によって学習済みモデル１２ａを生成するために用いられる画像であり、例えば、正常な対象物の画像である。状態識別情報１２ｃは、画像の特徴を求めるための情報であり、画像の位置合わせのための特徴点を求めるための情報であったり、明度合わせのためのフィルタに関する情報であったりする。状態識別情報１２ｃは、画像を基準状態に変換するために用いられる。基準状態情報１２ｄは、基準画像の特徴を示す情報であり、状態識別情報１２ｃを用いて基準画像から求められる。対象領域情報１２ｅは、基準状態である画像に関する対象領域を表す情報である。

記憶部１２は、基準画像と、基準状態への写像を識別するための情報（状態識別情報１２ｃ、基準状態情報１２ｄ）とを関連付けて記憶してよい。ここで基準画像は、学習用画像１２ｂに含まれる画像であったり、対象物１に関する任意の画像であったり、任意の画像生成モデルによって生成された画像であったりしてよい。基準画像と、基準状態への写像を識別するための情報（状態識別情報１２ｃ、基準状態情報１２ｄ）とを関連付けて記憶することで、基準状態への写像を識別するための情報（状態識別情報１２ｃ、基準状態情報１２ｄ）に基づいて、画像を基準状態に変換する処理を特定することができる。

算出部１３は、画像に対して平行移動、回転、拡大、縮小、剪断変換、射影変換及びフィルタ処理の少なくともいずれかを適用して基準状態に変換するための写像パラメータを求める。ここで、フィルタは、画像の明度を変換するフィルタであったり、ノイズを除去する平滑化フィルタであったり、エッジを抽出するフィルタであったりしてよく、任意のフィルタを用いることができる。算出部１３は、少なくとも１つの基準画像に基づいて基準状態を定めてよい。基準画像は、ユーザにより指定された画像であってよい。指定された基準画像により基準状態を定めることで、基準状態の設定を容易に行うことができる。

抽出部１４は、画像から対象領域の部分画像を抽出する。抽出部１４は、写像パラメータを用いて基準状態に変換された画像から部分画像を抽出してよい。また、抽出部１４は、画像から写像パラメータを用いて部分画像を抽出してもよい。写像パラメータを用いて画像を基準状態に変換してから部分画像を抽出したり、写像パラメータを用いて画像から部分画像を抽出したりすることで、対象領域を探索する処理が不要となり、部分画像を抽出するための処理負荷を低減することができる。

抽出部１４は、基準画像について指定された領域に基づいて対象領域を定めてよい。このように、指定された領域に基づいて対象領域を定めることで、対象領域を探索する処理が不要となり、部分画像を抽出するための処理負荷を低減することができる。

抽出部１４は、対象領域の形状の指定を受け付けてもよい。これにより、対象領域の形状を任意に指定することができ、検査内容に適した部分画像を抽出することができる。

生成部１５は、学習済みモデル１２ａによって、部分画像に基づいて、対象領域の再構成画像を生成する。生成部１５は、対象物１の画像全体ではなく、部分画像を学習済みモデル１２ａに入力し、その再構成画像を生成する。そのため、画像全体の再構成画像を生成する場合よりも処理負荷を低減することができる。また、対象領域の部分画像について再構成画像を生成することで、学習済みモデル１２ａに入力する画像のばらつきを低減させ、処理負荷を低減することができる。

検査部１６は、少なくとも再構成画像を用いて、対象物１の検査を行う。検査部１６は、再構成画像と部分画像との差に基づいて、対象物１の良否判定を行ってよい。これにより、対象物１が正常であるか否かを、比較的少ない処理負荷で検査することができる。また、検査部１６は、再構成画像に基づいて、対象物１の寸法を測定してもよい。部分画像にノイズが含まれる場合、再構成画像は、ノイズが低減された画像となる。このように、比較的少ない処理負荷で対象物１の画像からノイズを除去し、対象物１の寸法をより正確に測定することができる。

本実施形態に係る画像検査装置１０によれば、対象領域の部分画像を抽出し、その部分画像について再構成画像を生成して、対象物１の検査を行うことで、画像のばらつきを低減した状態で検査することができ、学習済みモデル１２ａのパラメータの数を比較的少なくすることができるため、対象物１の検査における処理負荷を低減することができる。

検査部１６は、再構成画像と部分画像との差分画像を生成し、差分画像の明度の大きさに基づいて、対象物１の良否判定を行ってもよい。また、検査部１６は、再構成画像と部分画像との差分画像を生成し、差分画像の領域面積の大きさに基づいて、対象物１の良否判定を行ってもよい。また、検査部１６は、再構成画像と部分画像との差分画像を生成し、差分画像の領域の形状に基づいて、対象物１の良否判定を行ってもよい。

検査部１６は、再構成画像と部分画像との差分画像を生成し、差分画像に対して明度基準を設けて、２値化画像を生成してよい。そして、検査部１６は、生成した２値化画像の領域に限定して、明度の大きさに基づいて対象物１の良否判定を行ってもよい。また、検査部１６は、生成した２値化画像の領域の面積大きさに基づいて対象物１の良否判定を行ってもよい。また、検査部１６は、生成した２値化画像の領域の形状に基づいて対象物１の良否判定を行ってもよい。

学習部１７は、学習用画像１２ｂに関する部分画像に基づいて、対象領域の再構成画像を生成するように学習モデルを学習させる。学習用画像１２ｂが正常な対象物の画像である場合、学習モデルは、対象物１の部分画像が入力された場合、正常な対象物に関する対象領域の再構成画像を生成するように学習される。このようにして、学習用画像１２ｂに表された対象物１の特徴を再現する再構成画像を生成するような学習済みモデル１２ａを得ることができる。

図３は、本実施形態に係る画像検査装置１０の物理的構成を示す図である。画像検査装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像検査装置１０が一台のコンピュータで構成される場合について説明するが、画像検査装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像検査装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。ＣＰＵ１０ａは、対象物の画像から再構成された再構成画像を用いて、対象物の検査を行うプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、学習用画像、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、画像検査装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、画像検査の結果を表示してよい。

画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像検査装置１０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像検査装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図４は、本実施形態に係る画像検査装置１０により実行される変換処理の一例を示す図である。同図では、第１学習用画像ＩＭＧ１、第２学習用画像ＩＭＧ２ａ及び第３学習用画像ＩＭＧ３ａを図示しており、第１学習用画像ＩＭＧ１を基準画像として、第２学習用画像ＩＭＧ２ａ及び第３学習用画像ＩＭＧ３ａを基準状態に変換する例を示している。

画像検査装置１０は、学習用画像又は他の対象物１の画像から、少なくとも１つの基準画像の指定を受け付ける。本例の場合、第１学習用画像ＩＭＧ１について選択Ｓａが行われ、基準画像として設定されている。

画像検査装置１０は、選択Ｓａが行われた第１学習用画像ＩＭＧ１について、状態識別情報と基準状態情報を特定する。状態識別情報は、例えば画像の位置合わせのための特徴点を求めるための情報であり、画像に含まれるエッジ、模様又は文字等を抽出するための閾値等であってよい。また、状態識別情報は、画像の明るさや色を求めるための情報を含んでもよい。画像検査装置１０は、第１学習用画像ＩＭＧ１について、状態識別情報に基づいて基準状態情報を求める。基準状態情報は、例えば画像の位置合わせのための特徴点の位置情報であったり、画像に含まれるエッジ、模様又は文字の位置や方向に関する情報であったりしてよいし、画像の色相や彩度に関する情報であってよい。画像検査装置１０は、第２学習用画像ＩＭＧ２ａ及び第３学習用画像ＩＭＧ３ａについても、状態情報を特定する。状態情報は、例えば画像の位置合わせのための特徴点の位置情報であり、画像に含まれるエッジ、模様又は文字等の位置と方向に関する情報や、色に関する情報であってよい。

画像検査装置１０は、第２学習用画像ＩＭＧ２ａ及び第３学習用画像ＩＭＧ３ａに対して平行移動、回転、拡大、縮小、剪断変換、射影変換及びフィルタ処理の少なくともいずれかを適用して、基準状態の第２学習用画像ＩＭＧ２ｂ及び基準状態の第３学習用画像ＩＭＧ３ｂに変換する。本例では、第２学習用画像ＩＭＧ２ａ及び第３学習用画像ＩＭＧ３ａに対して平行移動を適用して、基準状態の第２学習用画像ＩＭＧ２ｂ及び基準状態の第３学習用画像ＩＭＧ３ｂに変換する例を示している。画像の特徴点を状態情報として用いてる場合、画像検査装置１０は、第１学習用画像ＩＭＧ１の基準状態情報に含まれる１又は複数の特徴点と、第２学習用画像ＩＭＧ２ａの状態情報に含まれる１又は複数の特徴点との間の写像を求め、当該写像に基づいて、第２学習用画像ＩＭＧ２ａを基準状態の第２学習用画像ＩＭＧ２ｂに変換する。より具体的には、変換が平行移動である場合、第２学習用画像ＩＭＧ２ａの特徴点座標と、第１学習用画像ＩＭＧ１の特徴点座標との差分量（Δｘ，Δｙ）を算出し、第２学習用画像ＩＭＧ２ａを差分量（Δｘ，Δｙ）だけ平行移動させて、基準状態の第２学習用画像ＩＭＧ２ｂに変換する。また、変換が回転である場合、第２学習用画像ＩＭＧ２ａの特徴点座標と、第１学習用画像ＩＭＧ１の特徴点座標との角度の差分量（Δθ）を算出し、回転中心（Ｘ₀，Ｙ₀）を特定して、第２学習用画像ＩＭＧ２ａを回転中心（Ｘ₀，Ｙ₀）について差分量（Δθ）だけ回転させて、基準状態の第２学習用画像ＩＭＧ２ｂに変換する。

画像検査装置１０は、図４に示したように、変換前後の学習用画像又は検査対象の画像を表示部１０ｆに表示してよい。学習用画像の変換処理が適切に行われない場合、その後に不適切な学習モデルが生成されてしまい、学習済みモデルを用いた検査の精度が低下するおそれがある。また、検査対象の画像に対しても、画像の変換処理が正しく行われないと、検査の精度が低下するおそれがある。反対に、検査の精度が比較的低い場合、その原因として変換処理に問題がある可能性がある。図４に示したように、学習用画像や検査対象の画像に対して、抽出した特徴点、変換前や変換後の画像を表示部１０ｆに表示することで、変換の妥当性をユーザに確認させ、精度向上に役立てることができる。また、検査の精度を改善するために、必要に応じて状態識別情報１２ｃを修正できるようにしてもよい。

記憶部１２は、基準画像を記憶してもよい。画像検査装置１０は、検査対象の画像や学習用画像を基準状態に変換した画像と、基準画像とを並べて表示したり、切り替えて表示したりして、両者を比較可能に表示し、変換の妥当性を確認できるようにしてもよい。また、基準画像を記憶部１２に記憶する場合には、基準状態情報は基準画像から算出できるため、基準状態情報を必ずしも記憶部１２に記憶しておかなくてもよい。もっとも、基準状態情報を記憶しておくことで、基準状態情報を都度算出する必要がなくなり、演算負荷が軽減される。

図５は、本実施形態に係る画像検査装置１０により実行される抽出処理の一例を示す図である。抽出処理は、図４に示した変換処理の後に行われる。同図では、第１学習用画像ＩＭＧ１、基準状態の第２学習用画像ＩＭＧ２ｂ及び基準状態の第３学習用画像ＩＭＧ３ｂを図示しており、第１学習用画像ＩＭＧ１について領域の指定を受け付け、基準状態の第２学習用画像ＩＭＧ２ｂ及び基準状態の第３学習用画像ＩＭＧ３ｂから部分画像を抽出する例を示している。

画像検査装置１０は、基準画像について指定された領域に基づいて対象領域を定める。本例の場合、第１学習用画像ＩＭＧ１について領域の指定Ｓｂが行われ、対象領域として設定されている。

画像検査装置１０は、領域の指定Ｓｂが行われた第１学習用画像ＩＭＧ１について、対象領域の第１部分画像ＩＭＧ１ｃを抽出する。同様に、画像検査装置１０は、基準状態の第２学習用画像ＩＭＧ２ｂから第２部分画像ＩＭＧ２ｃを抽出し、基準状態の第３学習用画像ＩＭＧ３ｂから第３部分画像ＩＭＧ３ｃを抽出する。このように、画像を基準状態に変換してから部分画像を抽出することで、部分画像を抽出するための処理負荷を低減することができる。また、均質な部分画像を抽出することができるため、学習済みモデル１２ａによって再構成画像を生成する場合におけるモデルのパラメータ数を比較的少なくすることができ、処理負荷を低減することができる。

画像検査装置１０は、学習用画像から抽出された第１部分画像ＩＭＧ１ｃ、第２部分画像ＩＭＧ２ｃ及び第３部分画像ＩＭＧ３ｃに基づいて、対象領域の再構成画像を生成するように学習モデルを学習させ、学習済みモデル１２ａを生成する。

図６は、本実施形態に係る画像検査装置１０により実行される検査処理の一例を示す図である。検査処理は、学習済みモデル１２ａを生成した後に実行される。同図では、対象物１の画像ＩＭＧ５ａ、基準状態の画像ＩＭＧ５ｂ、部分画像ＩＭＧ５ｃ及び再構成画像ＩＭＧ５ｄが図示されている。

画像検査装置１０は、対象物１の画像ＩＭＧ５ａを撮影する。本例の画像ＩＭＧ５ａは、対象物１に生じた傷を含む。画像検査装置１０は、基準状態情報１２ｃに基づいて、画像ＩＭＧ５ａに対して平行移動、回転、拡大、縮小、剪断変換、射影変換及びフィルタ処理の少なくともいずれかを適用して基準状態に変換して基準状態の画像ＩＭＧ５ｂを得る。その後、対象領域情報１２ｄに基づいて、基準状態の画像ＩＭＧ５ｂから、対象領域の部分画像ＩＭＧ５ｃを抽出する。

画像検査装置１０は、学習済みモデル１２ａによって、部分画像ＩＭＧ５ｃに基づいて、対象領域の再構成画像ＩＭＧ５ｄを生成する。再構成画像ＩＭＧ５ｄは、学習済みモデル１２ａは、正常な対象物の特徴を抽出するように学習されたモデルであり、再構成画像ＩＭＧ５ｄは、傷を含まない。

画像検査装置１０は、再構成画像ＩＭＧ５ｄと部分画像ＩＭＧ５ｃとの差に基づいて、対象物１の良否判定を行ったり、再構成画像ＩＭＧ５ｄに基づいて、対象物１の寸法を測定したりする。本例では、対象物１の寸法「Ｌ」が図示されている。また、再構成画像ＩＭＧ５ｄと部分画像ＩＭＧ５ｃとの差として対象物１に生じた傷が検出され、対象物１が不良であると判定される。

図７は、本実施形態に係る画像検査装置１０により実行される学習処理のフローチャートである。はじめに、画像検査装置１０は、複数の学習用画像のうち、基準状態を定める少なくとも１つの基準画像の指定を受け付ける（Ｓ１０）。なお、画像検査装置１０は、学習用画像以外の画像を基準画像として受け付けてもよい。

次に、画像検査装置１０は、状態識別情報の指定を受け付ける（Ｓ１１）。状態識別情報の指定は、例えば、エッジや模様、文字等の位置合わせに用いられる特徴箇所（モデル領域）の指定であったり、位置や姿勢のずれ量に関する許容範囲の指定であったりを含んでよい。また、モデル領域を複数指定して、回転や拡大を指定することとしてもよい。なお、状態識別情報は、パターンマッチングを前提として指定のみならず、ＳＩＦＴ（Scale-Invariant Feature Transform）等の局所特徴量の指定を含んでもよい。この場合、状態識別情報は、スケールレベルやエッジ閾値等のパラメータの指定を含んでよい。

また、画像検査装置１０は、基準状態情報及び状態情報を算出する（Ｓ１２）。画像検査装置１０は、例えば、基準画像のモデル領域の中心点を求めて、基準状態情報とする。なお、モデル領域が２つ指定される場合、それぞれの中心位置を結ぶ線分の傾き角や線分の長さを基準状態情報に加えてもよい。画像検査装置１０は、例えば、基準画像以外の学習用画像のモデル領域の中心点を求めて、状態情報とする。

その後、画像検査装置１０は、複数の学習用画像を基準状態に変換する（Ｓ１３）。画像検査装置１０は、基準状態情報及び状態情報を用いて、複数の学習用画像を基準状態に変換する。画像検査装置１０は、例えば、学習用画像のモデル領域の中心点が、基準画像のモデル領域の中心点に合致するように、学習用画像に対して平行移動や回転等の変換を行い、学習用画像を基準状態に変換する。そして、画像検査装置１０は、少なくとも１つの基準画像について、対象領域の指定を受け付ける（Ｓ１４）。なお、画像検査装置１０は、基準画像ではなく、基準状態に変換された任意の画像について、対象領域の指定を受け付けてもよい。また、画像検査装置１０は、表示部１０ｆに基準画像を表示し、対象領域の指定を受け付けるユーザーインターフェースを備えていてよい。

画像検査装置１０は、複数の学習用画像について、対象領域の部分画像を抽出する（Ｓ１５）。そして、画像検査装置１０は、複数の部分画像に基づいて、対象領域の再構成画像を生成するように学習モデルの学習処理を実行する（Ｓ１６）。

最後に、画像検査装置１０は、学習用画像、基準状態への写像を識別するための情報（状態識別情報及び基準状態情報）、対象領域の情報及び学習済みモデルを保存する（Ｓ１７）。

図８は、本実施形態に係る画像検査装置１０により実行される検査処理のフローチャートである。はじめに、画像検査装置１０は、対象物の画像を撮影する（Ｓ２０）。

その後、画像検査装置１０は、画像を基準状態に変換し（Ｓ２１）、対象領域の部分画像を抽出する（Ｓ２２）。また、画像検査装置１０は、学習済みモデルによって、部分画像に基づいて、対象領域の再構成画像を生成する（Ｓ２３）。

画像検査装置１０は、少なくとも再構成画像を用いて、対象物の検査を実行する（Ｓ２４）。検査を続行する場合（Ｓ２５：ＮＯ）、画像検査装置１０は、処理Ｓ２０〜Ｓ２４を再び実行する。一方、検査を終了する場合（Ｓ２５：ＹＥＳ）、画像検査装置１０は、検査処理を終了する。

図９は、本実施形態の変形例に係る画像検査装置１０により実行される検査処理のフローチャートである。本実施形態の変形例に係る画像検査装置１０の抽出部１４は、画像から所定の条件を満たす領域を探索し、当該領域を対象領域として、部分画像を抽出する。ここで、所定の条件とは、対象領域の特徴を表す条件であり、例えば、所定のエッジが含まれること、所定の模様が含まれること、所定の文字が含まれること等であってよい。このように、対象領域に相当する領域を探索することで、画像を基準状態に変換する処理を省略することができる。本実施形態では、画素値を変換して新たな画像を生成したが、本変形例では、画素のアドレス（メモリ上の番地）を変換することで、本実施形態と同等の処理を実現する。すなわち、本変形例では、算出部１３は、画像の画素のアドレスについて平行移動、回転等を適用し、基準状態に変換するための写像パラメータを求める。

学習モデルの学習時に本変形例を適用する場合、画像検査装置１０は、基準画像に対して対象領域を指定するとともに、特徴点を求めて基準状態情報として記憶する。さらに、画像検査装置１０は、他の学習用画像に対しても特徴点を求め、状態情報として記憶する。そして、画像検査装置１０は、学習用画像の特徴点と、基準画像の特徴点との対応関係に基づいて、画像間の写像を求め、学習用画像に関する対象領域を算出する。最後に、画像検査装置１０は、これらの対象領域から部分画像を抽出し、学習モデルを生成する。

学習済みモデルを用いた推論時に本変形例を適用する場合、画像検査装置１０は、対象物の画像に対して特徴点を求め、基準画像の特徴点との対応関係に基づいて写像を求めて、対象物の画像に関する対象領域を算出する。そして、画像検査装置１０は、対象領域から部分領域を抽出して、対象物の検査を行う。

はじめに、画像検査装置１０は、対象物の画像を撮影する（Ｓ３０）。その後、画像検査装置１０は、画像から所定の条件を満たす領域を探索する（Ｓ３１）。そして、画像検査装置１０は、所定の条件を満たす領域を対象領域として、部分画像を抽出する（Ｓ３２）。

画像検査装置１０は、学習済みモデルによって、部分画像に基づいて、対象領域の再構成画像を生成する（Ｓ３３）。画像検査装置１０は、少なくとも再構成画像を用いて、対象物の検査を実行する（Ｓ３４）。検査を続行する場合（Ｓ３５：ＮＯ）、画像検査装置１０は、処理Ｓ３０〜Ｓ３４を再び実行する。一方、検査を終了する場合（Ｓ３５：ＹＥＳ）、画像検査装置１０は、検査処理を終了する。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

［付記］
対象物（１）の画像を撮影する撮影部（１１）と、
前記画像から対象領域の部分画像を抽出する抽出部（１４）と、
学習済みモデル（１２ａ）によって、前記部分画像に基づいて、前記対象領域の再構成画像を生成する生成部（１５）と、
少なくとも前記再構成画像を用いて、前記対象物（１）の検査を行う検査部（１６）と、
を備える画像検査装置（１０）。

１…対象物、１０…画像検査装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…撮影部、１２…記憶部、１２ａ…学習済みモデル、１２ｂ…学習用画像、１２ｃ…基準状態情報、１２ｄ…対象領域情報、１３…算出部、１４…抽出部、１５…生成部、１６…検査部、１７…学習部、２０…照明、１００…画像検査システム

Claims (10)

1. 対象物の画像を撮影する撮影部と、
   前記画像から対象領域の部分画像を抽出する抽出部と、
   学習済みモデルによって、前記部分画像に基づいて、前記対象領域の再構成画像を生成する生成部と、
   少なくとも前記再構成画像を用いて、前記対象物の検査を行う検査部と、
   を備える画像検査装置。
2. 前記検査部は、前記再構成画像と前記部分画像との差に基づいて、前記対象物の良否判定を行う、
   請求項１に記載の画像検査装置。
3. 前記検査部は、前記再構成画像に基づいて、前記対象物の寸法を測定する、
   請求項１に記載の画像検査装置。
4. 前記画像に対して平行移動、回転、拡大、縮小、剪断変換、射影変換及びフィルタ処理の少なくともいずれかを適用して基準状態に変換するための写像パラメータを求める算出部をさらに備え、
   前記抽出部は、前記写像パラメータを用いて前記基準状態に変換された前記画像から前記部分画像を抽出するか、又は、前記画像から前記写像パラメータを用いて前記部分画像を抽出する、
   請求項１から３のいずれか一項に記載の画像検査装置。
5. 前記算出部は、少なくとも１つの基準画像に基づいて前記基準状態を定める、
   請求項４に記載の画像検査装置。
6. 前記基準画像と、前記基準状態への写像を識別するための情報とを関連付けて記憶する記憶部をさらに備える、
   請求項５に記載の画像検査装置。
7. 前記抽出部は、前記基準画像について指定された領域に基づいて前記対象領域を定める、
   請求項５又は６に記載の画像検査装置。
8. 前記抽出部は、前記画像から所定の条件を満たす領域を探索し、当該領域を前記対象領域として、前記部分画像を抽出する、
   請求項１から３のいずれか一項に記載の画像検査装置。
9. 前記抽出部は、前記対象領域の形状の指定を受け付ける、
   請求項１から８のいずれか一項に記載の画像検査装置。
10. 学習用画像に関する前記部分画像に基づいて、前記対象領域の再構成画像を生成するように学習モデルを学習させる学習部をさらに備える、
    請求項１から９のいずれか一項に記載の画像検査装置。

Images