JP2022123234A - 画像検査装置、画像検査方法及び学習済みモデル生成装置 - Google Patents

Abstract

【課題】良品画像の特徴量に対し、特殊パターンを含む良品画像の特徴量を近くにプロットさせるとともに、不良品の検査画像の特徴量を遠くにプロットさせる。
【解決手段】良品分割画像と良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、合成検査分割画像の特徴量を抽出する抽出部２３４と、抽出された合成検査分割画像の特徴量及び学習時に出力された合成良品分割画像の特徴量により形成される特徴空間に基づいて、合成検査分割画像に対応する検査分割画像の欠陥度合いを取得する取得部２３５と、取得された欠陥度合いに基づいて検査対象物を検査する検査部２３６と、を備える。
【選択図】図９

Description

本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。

従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。

例えば、特許文献１には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。

特許文献１の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。

特開２０１８－５７７３号公報

ここで、従来、良品の対象物の良品画像を小さいサイズに分割して入力し、当該良品画像の特徴量を出力するように学習させた学習済みモデルを用い、特徴空間において、検査画像から抽出した特徴量と良品画像の特徴量とに基づいて、検査画像の欠陥を検出する方法があった。

しかしながら、良品画像に特殊パターンが局所的に存在する場合、この特殊パターンを含む良品画像の特徴量は、特徴空間において、他の良品画像の特徴量群から離れた位置にプロットされてしまい、特殊パターンを含む対象物を不良品として検出してしまうことがあった。

また、別の良品画像が、ある位置では良品である一方、別の位置では不良品であるパターンを含む場合、このようなパターンを当該別の位置に含む検査画像の特徴量は、特徴空間において、良品画像の特徴量群の近くにプロットされることになり、不良品を見逃してしまうことがあった。

本発明は、このような事情に鑑みてなされたものであり、良品画像の特徴量に対し、特殊パターンを含む検査画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法、及び学習済みモデル生成装置を提供することを目的の１つとする。

本発明の一態様に係る画像検査装置は、良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、合成検査分割画像の特徴量を抽出する抽出部と、抽出された合成検査分割画像の特徴量、及び学習時に出力された合成良品分割画像の特徴量により形成される特徴空間に基づいて、合成検査分割画像に対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、取得された欠陥度合いに基づいて、検査対象物を検査する検査部と、を備える。

この態様によれば、良品分割画像とラベル情報とを合成した合成良品分割画像を入力として合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像とラベル情報とを合成した合成検査分割画像を入力し、合成検査分割画像の特徴量を抽出させることができ、抽出された合成検査分割画像の特徴量と、学習時に出力された複数の合成良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物３０の検査精度を高めることが可能となる。

ここで、学習済みモデルは、ラベル情報に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各合成良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の合成良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む合成検査分割画像の特徴量が示す点を、当該合成検査分割画像に対応する複数の合成良品分割画像の特徴量が形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、ラベル情報に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の合成検査分割画像の特徴量が示す点を、当該別の位置の複数の合成良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。

上記態様において、取得部は、合成検査分割画像の特徴量と特徴空間を形成する合成良品分割画像の特徴量との間の距離に基づいて、検査分割画像の欠陥度合いを取得してもよい。

この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量によって形成される集合と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。

上記態様において、取得部は、合成検査分割画像の特徴量と、特徴空間を形成する合成良品分割画像の特徴量のうち合成検査分割画像の特徴量との間の距離が最も近い合成良品分割画像の特徴量と、に基づいて、検査分割画像の欠陥度合いを取得してもよい。

この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量のうち検査分割画像に対応する特徴量との間の距離が最も近い良品分割画像に対応する特徴量と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。

上記態様において、検査部は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、欠陥度合い画像に基づいて検査対象物を検査してもよい。

この態様によれば、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することが可能になる。

上記態様において、検査分割画像とラベル情報とを合成して合成検査分割画像を生成する合成部をさらに備え、合成部は、ラベル情報に含まれるラベルを識別する番号に検査分割画像で使用可能な色数を乗算し、当該乗算により得られた値を検査分割画像の濃度値に加算又は乗算することで、合成検査分割画像を生成してもよい。

この態様によれば、検査対象物の画像における検査分割画像の位置ごとに、濃度値が相互に異なる合成検査分割画像を分布させることが可能になる。

上記態様において、良品の検査対象物に含まれる複数の良品分割画像を用いて学習モデルを学習させ、学習済みモデルを生成する学習部をさらに備えることとしてもよい。

この態様によれば、学習済みモデル生成装置がなくても、学習済みモデルを得ることが可能になる。

本発明の他の態様に係る画像検査方法は、良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、合成検査分割画像の特徴量を抽出する抽出ステップと、抽出された合成検査分割画像の特徴量、及び学習時に出力された合成良品分割画像の特徴量により形成される特徴空間に基づいて、合成検査分割画像に対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、取得された欠陥度合いに基づいて、検査対象物を検査する検査ステップと、を含む。

この態様によれば、良品分割画像とラベル情報とを合成した合成良品分割画像を入力として合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像とラベル情報とを合成した合成検査分割画像を入力し、合成検査分割画像の特徴量を抽出させることができ、抽出された合成検査分割画像の特徴量と、学習時に出力された複数の合成良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物３０の検査精度を高めることが可能となる。

ここで、学習済みモデルは、ラベル情報に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各合成良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の合成良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む合成検査分割画像の特徴量が示す点を、当該合成検査分割画像に対応する複数の合成良品分割画像の特徴量が形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、ラベル情報に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の合成検査分割画像の特徴量が示す点を、当該別の位置の複数の合成良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。

本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力として、合成良品分割画像の特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える。

この態様によれば、良品分割画像とラベル情報とを合成した合成良品分割画像を入力として合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像とラベル情報とを合成した合成検査分割画像を入力し、合成検査分割画像の特徴量を抽出させることができる。学習済みモデルは、ラベル情報に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各合成良品分割画像の特徴量が示す点は、対応する他の合成良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む合成良品分割画像の特徴量が示す点を、当該合成良品分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができる。また、学習済みモデルは、ラベル情報に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の合成検査分割画像の特徴量が示す点を、当該別の位置の複数の合成良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができる。

本発明によれば、良品画像の特徴量に対し、特殊パターンを含む良品画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。

本発明の一実施形態に係る画像検査システムの概略構成図である。 同実施形態に係る学習済みモデル生成装置の構成を示す機能ブロック図である。 良品分割画像及びラベル情報を説明するための図である。 良品画像の一例を示す図である。 図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。 合成良品分割画像を生成する際の具体例を説明するための図である。 同実施形態に係るモデル生成部が学習させるモデルを説明するための図である。 同実施形態に係る画像検査装置の構成を示す機能ブロック図である。 同実施形態に係る処理部の構成を示す機能ブロック図である。 欠陥度合いを取得する方法の一例を説明するための概念図である。 欠陥度合いを取得する方法の他の例を説明するための概念図である。 同実施形態に係る検査部による処理を説明するための概念図である。 欠陥度合い画像の一例を示す図である。 同実施形態に係る画像検査装置が実行する画像検査処理の一例を説明するためのフローチャートである。 実施形態に係る画像検査装置が実行する画像検査処理の一例を説明するためのフローチャートである。 同実施形態に係る画像検査装置及び学習済みモデル生成装置の物理的構成を示すブロック図である。

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

添付図面を参照して、本発明の好適な実施形態について説明する。

図１は、本発明の一実施形態に係る画像検査システム１の概略構成図である。画像検査システム１は、画像検査装置２０及び照明２５を含む。照明２５は、検査対象物３０に光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物３０の画像（以下、「検査画像」ともいう。）に基づいて、検査対象物３０の検査を行う。画像検査装置２０は、通信ネットワーク１５を介して、学習済みモデル生成装置１０に接続されている。学習済みモデル生成装置１０は、画像検査装置２０が検査対象物３０の検査を行うために用いる学習済みモデルを生成する。

図２は、本実施形態に係る学習済みモデル生成装置１０の構成を示す機能ブロック図である。学習済みモデル生成装置１０は、例えば、記憶部１００、学習部１１０及び通信部１２０を備える。

記憶部１００は、各種の情報を記憶する。本実施形態において、記憶部１００は、例えば、良品画像４０、学習用画像５０、学習済みモデル６５及び特徴量７０を記憶する。良品画像４０は、良品の検査対象物の画像である。学習用画像５０は、モデルの学習用に入力する画像である。学習済みモデル６５は、後述する学習部１１０により生成されるモデルである。特徴量７０は、学習済みモデル６５から出力されるデータである。

学習部１１０は、例えば、学習用画像生成部１１１及びモデル生成部１１２を備える。

学習用画像生成部１１１は、モデル生成部１１２が学習処理を行うために用いる学習用画像５０を生成する。学習用画像５０は、良品画像４０を分割した良品分割画像とその良品分割画像に対応するラベル情報とを合成して生成される画像である。図３を参照して、良品分割画像及びラベル情報について説明する。

学習用画像生成部１１１は、記憶部１００から良品画像４０を取得し、その良品画像４０を分割することにより複数の良品分割画像４００、４０２、４０４、・・・を生成する。本実施形態において、学習用画像生成部１１１は、良品画像４０を縦及び横にそれぞれ４分割することにより、計１６個の良品分割画像を生成する。なお、良品画像４０は、２から１５個の良品分割画像に分割されてもよいし、１７個以上の良品分割画像に分割されてもよい。

学習用画像生成部１１１は、複数の良品分割画像のそれぞれにラベル情報を付与し、良品分割画像及びラベル情報により構成される複数のデータセットを生成する。学習用画像生成部１１１は、予め指定されたアルゴリズムに基づきラベル情報を良品分割画像に付与してもよいし、ユーザの操作に基づいてラベル情報を良品分割画像に付与してもよい。

例えば、互いに異なる複数の良品画像のそれぞれについて、良品分割画像が生成されているとする。この場合、生成された良品分割画像のうち、良品画像における位置が互いに一致する良品分割画像の全てに、同一のラベル情報を付与する。

学習用画像生成部１１１は、良品分割画像にラベル情報を付与すると、どの位置の良品分割画像にどのラベル情報を付与したのかを示す情報を、記憶部１００に記憶させることとしてもよい。

例えば、図３の良品分割画像４００には、ラベル情報（Ａ）が付与され、良品分割画像４００及びラベル情報（Ａ）が１組のデータセットとして記憶される。同様にして、学習用画像生成部１１１は、良品分割画像４０２及びラベル情報（Ｂ）のデータセット、並びに良品分割画像４０４及びラベル情報（Ｃ）のデータセット等、１６個の良品分割画像のそれぞれに基づくデータセットを生成して記憶させる。

ここで、図４及び図５を参照して、学習用画像生成部１１１が良品分割画像に付与するラベル情報の具体例を説明する。図４は、良品画像４０の一例を示す図である。図４に示す良品画像４０は、４つのパターン（第１パターン４０２、第２パターン４０４、第３パターン４０６及び第４パターン４０８）が含まれている。また、図４に示す良品画像４０は、縦及び横にそれぞれ４分割されており、合計１６個の良品分割画像に分割されている。

図５は、１６個の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。なお、図５では、図４に示した４つのパターンを省略して示している。また、図５の良品分割画像に示されている数字は、ラベルを識別する番号（以下、「ラベル識別番号」という。）であり、ラベル情報に含まれるデータである。

図５に示す良品画像４０では、ラスタスキャンの順番で、１６個の良品分割画像のそれぞれにラベル情報が付与されている。すなわち、図５に示す良品画像４０では、矢印で示した順番に、１６個の良品分割画像のそれぞれに、０から１５までのラベル識別番号が付与されている。例えば、一番上の行の４つの良品分割画像のそれぞれには、左端の良品分割画像４２０から順番に、０から３までのラベル識別番号が付与されている。また、一番上から２番目の行の４つの良品分割画像のそれぞれには、一番左側の良品分割画像４２２から順番に、４から７までのラベル識別番号が付与されている。さらに、一番上から３番目及び４番目の行にある８つの良品分割画像には、８から１５までのラベル識別番号が矢印の順番で付与されている。

なお、ここでは、一番上の左端の良品分割画像４２０をラベル識別番号が０となる開始の良品分割画像として説明したが、いずれの良品分割画像を開始の良品分割画像としてもよい。また、ラベル識別番号の数値は、ラスタスキャンの順番に限らず、いかなる順番で良品分割画像に付与してもよい。

学習用画像生成部１１１は、１つのデータセットを構成する良品分割画像とラベル情報とを合成して合成良品分割画像を生成する。具体的に、学習用画像生成部１１１は、ラベル情報に含まれるラベル識別番号に、良品分割画像で使用可能な色数を乗算し、その乗算により得られた値を良品分割画像の濃度値に加算又は乗算することで、合成良品分割画像を生成する。良品分割画像で使用可能な色数として、例えば２５６色を用いることができる。なお、色数は２５６色に限定されず、量子化ビット数に応じた色数を適宜用いることができる。

図６を参照して、学習用画像生成部１１１が、良品分割画像及びラベル情報に基づいて、合成良品分割画像を生成する際の具体例について説明する。図６に示す良品分割画像及びラベル情報は、図４及び図５に示す計１６個の良品分割画像及びラベル情報の一部に対応する。この良品画像４０で使用可能な色数は、２５６色であるとする。

図６の良品分割画像４２０に対応するラベル情報に含まれるラベル識別番号は、０となる。この場合、ラベル識別番号である０に、色数である２５６を乗算すると、乗算値として０が得られる。学習用画像生成部１１１は、ラベル識別番号と色数との乗算値である０を、良品分割画像４２０の濃度値に加算又は乗算することで、合成良品分割画像４２０’を生成する。

また、良品分割画像４２２に対応するラベル情報に含まれるラベル識別番号は、４となる。したがって、学習用画像生成部１１１は、ラベル識別番号である４と色数である２５６との乗算値である１０２４を、良品分割画像４２２の濃度値に加算又は乗算することで、合成良品分割画像４２２’を生成する。

さらに、良品分割画像４２４に対応するラベル情報に含まれるラベル識別番号は、８となる。したがって、学習用画像生成部１１１は、ラベル識別番号である８と色数である２５６との乗算値である２０４８を、良品分割画像４２４の濃度値に加算又は乗算することで、合成良品分割画像４２４’を生成する。

学習用画像生成部１１１は、上記と同様の処理を残りの１３個の良品分割画像に対して実行することで、計１６個の合成良品分割画像を生成する。このように合成良品分割画像を生成することで、互いに濃度値が異なる１６個の合成良品分割画像を生成することができる。つまり、１６個の合成良品分割画像により構成される良品画像４０の濃度分布を、合成良品分割画像の位置に応じた１６種類の濃度によって表すことが可能となる。

学習用画像生成部１１１は、生成した合成良品分割画像を学習用画像５０として記憶させる。本実施形態では、良品画像４０から生成される複数の合成良品分割画像４２０’、・・・それぞれを学習用画像５０として記憶部１００に記憶する。

図２に示すモデル生成部１１２は、学習用画像５０を用いて学習処理を実行し、学習済みモデル６５を生成する。学習済みモデル６５は、例えば、良品画像４０を構成する複数の合成良品分割画像それぞれを入力とし、それぞれの特徴量を出力するモデルである。

図７に例示するように、モデル生成部１１２が学習済みモデル６５を生成するために用いる学習モデル６０は、例えば、ニューラルネットワークの１つであり、教師なし機械学習の手法の１つでもあるオートエンコーダを用いることができる。オートエンコーダは、入力層６０１と、出力層６０５と、入力層６０１と出力層６０５との間に配置されている中間層６０３と、を含んでいる。

なお、学習モデル６０は、オートエンコーダに限定されるものではない。学習モデル６０は、例えば、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いたモデルであってもよい。また、中間層６０３は、１層である場合に限定されず、２層以上であってもよい。

良品分割画像とラベル情報とを合成して合成良品分割画像が生成される。入力層６０１に合成良品分割画像が入力されると、中間層６０３において合成良品分割画像の次元が削減される。そして、出力層６０５において次元を戻して合成良品分割画像に対応する出力合成良品分割画像が出力される。

オートエンコーダは、合成良品分割画像と出力合成良品分割画像との間の差分が最小となるように、重みを学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、合成良品分割画像と出力合成良品分割画像との間の差分が最小になる。この学習によって、中間層６０３から特徴量を出力することが可能となる。

ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。中間層６０３から出力される特徴量は、例えば合成良品分割画像であることを特徴付けるものであり、具体的には合成良品分割画像が有する濃淡の配列、合成良品分割画像における輝度、赤単体、緑単体、青単体、又は赤・緑・青（ＲＧＢ）のヒストグラム等が挙げられる。一般に、合成良品分割画像は、１種類の特徴量で認識されるよりも、複数種類の特徴量を用いて認識されることが多い。

特徴量は、例えば、複数の特徴量を成分とするベクトル（以下、「特徴ベクトル」ともいう。）により表現することができる。本実施形態では、特徴量をベクトルにより表現する場合について説明するが、これに限定されず、特徴量を、スカラー、行列、テンソルにより表現してもよい

特徴量の数（個数）は、特徴量の次元（次元数）を表す。特徴量により形成される空間は、特徴空間と呼ばれ、１つの特徴量は特徴空間上の１点として表される。

本実施形態において、学習モデル６０への入力は、例えば合成良品分割画像であり、学習モデル６０の中間層６０３からの出力は、その合成良品分割画像の特徴量である。

例えば、図４の良品画像４０のための学習済みモデル６５を生成する場合、学習モデル６０には、良品画像４０に基づいて生成された、図６の合成良品分割画像４２０’、・・・のそれぞれが入力される。そして、学習モデル６０は、合成良品分割画像ごとに、その合成良品分割画像と同じ位置に配置されている複数の合成良品分割画像の特徴量を示す点の集まりが、特徴空間において近い距離にプロットされるように、各重みを学習する。これにより、合成良品分割画像の特徴量を出力する学習済みモデル６５が生成される。

このように、モデル生成部１１２は、良品分割画像とその良品分割画像のラベル情報とを合成した合成良品分割画像を学習モデル６０に入力し、学習モデル６０を学習させることで、学習済みモデル６５を生成する。

学習済みモデル６５は、良品画像における位置を特定するためのラベル情報を良品分割画像に合成した合成良品分割画像に基づいて学習するため、良品画像におけるどの位置の良品分割画像のパターンであるのかを判別することが可能となる。

図２に戻り、学習済みモデル生成装置１０の通信部１２０について説明する。通信部１２０は、各種の情報を送受信することができる。例えば、通信部１２０は、通信ネットワーク１５を介して、学習済みモデル６５を画像検査装置２０に送信する。このとき、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報も、画像検査装置２０に送信される。

図８は、本実施形態に係る画像検査装置２０の構成を示す機能ブロック図である。画像検査装置２０は、例えば、通信部２００、記憶部２１０、撮影部２２０、処理部２３０及び学習部２４０を備える。

通信部２００は、例えば、通信ネットワーク１５を介して、学習済みモデル生成装置１０から学習済みモデル６５及び特徴量７０を受信する。また、通信部２００は、例えば、通信ネットワーク１５を介して、学習済みモデル生成装置１０又は他の装置から学習用画像５０を受信することもできる。受信した学習用画像５０、学習済みモデル６５及び特徴量７０は、記憶部２１０に書き込まれて記憶される。なお、通信部２００は、学習済みモデル６５及び特徴量７０と学習用画像５０とのいずれか一方のみを受信してもよい。通信部２００が学習用画像５０のみを受信する場合、後述する学習部２４０は、学習用画像５０を用い、学習済みモデル６５を生成し、学習済みモデル６５を生成する過程で特徴量７０を抽出してもよい。

記憶部２１０は、各種の情報を記憶するように構成されている。記憶部２１０は、例えば、学習用画像５０と、学習済みモデル６５と、特徴量７０とを記憶する。学習済みモデル６５には、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も付与される。学習済みモデル６５を記憶部２１０に記憶させることで、学習済みモデルを容易に読み出すことが可能となる。

学習部２４０は、学習用画像５０により学習モデルを学習させ、学習済みモデル６５を生成するように構成されている。学習済みモデル６５は、合成良品分割画像を入力とし、その合成良品分割画像の特徴量を出力するモデルである。生成した学習済みモデル６５は、記憶部２１０に書き込まれて記憶される。なお、学習モデルを学習させる方法は、前述した学習済みモデル生成装置１０のモデル生成部１１２による方法と同様であるため、その説明を省略する。

画像検査装置２０に学習部２４０を備えることにより、学習済みモデル生成装置１０がなくても、学習済みモデル６５を得ることができる。

撮影部２２０は、例えばカメラ等の撮像装置を含み、検査対象物３０の画像を撮像する。本実施形態において、撮影部２２０は、検査対象物３０からの反射光Ｒを受光し、検査対象物３０の画像を撮像する。撮影部２２０は、撮像した画像を処理部２３０に出力する。

処理部２３０は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行う。図９は、本実施形態に係る処理部２３０の構成を示す機能ブロック図である。処理部２３０は、例えば、分割部２３１、ラベル付与部２３２、合成部２３３、抽出部２３４、取得部２３５及び検査部２３６を備える。

分割部２３１は、撮影部２２０から検査対象物の画像を取得し、その検査対象物の画像を分割することにより複数の検査分割画像を生成する。なお、検査対象物の画像を分割する方法は、前述した学習済みモデル生成装置１０の学習用画像生成部１１１による良品画像の分割方法と同様であるため、その説明を省略する。

ラベル付与部２３２は、複数の検査分割画像のそれぞれにラベル情報を付与し、検査分割画像及びラベル情報により構成される複数のデータセットを生成する。本実施形態において、ラベル付与部２３２は、学習済みモデル６５に紐づけて記憶されている、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報を参照し、検査分割画像と同じ位置にある良品分割画像のラベル情報を、検査分割画像に付与する。

合成部２３３は、１つのデータセットを構成する検査分割画像とラベル情報とを合成して合成検査分割画像を生成する。なお、合成検査分割画像を生成する方法は、前述した学習済みモデル生成装置１０の学習用画像生成部１１１による合成良品分割画像の生成方法と同様であるため、その説明を省略する。

抽出部２３４は、学習済みモデル６５に合成検査分割画像を入力し、その合成検査分割画像の特徴量を抽出する。

取得部２３５は、抽出された合成検査分割画像の特徴量、及び学習時に出力された合成良品分割画像の特徴量７０により形成される特徴空間に基づいて、合成検査分割画像の特徴量に対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する。取得部２３５が欠陥度合いを取得する際の手順を、以下に説明する。

最初に、取得部２３５は、記憶部２１０に記憶された特徴量７０を読み出し、各特徴量７０が示す点を特徴空間にプロットする。これにより、例えば、図１０に示すように、２次元の特徴空間に、各特徴量７０が示す黒丸の点によって、破線で示す集合Ｓ１が形成される。この集合Ｓ１は、例えば良品画像４０における良品分割画像の位置ごとに形成される。なお、取得部２３５は、複数の特徴量７０に基づいて特徴空間における集合Ｓ１をあらかじめ形成しておき、その集合Ｓ１に関する情報を記憶部２１０に書き込んで記憶していてもよい。

続いて、取得部２３５は、集合Ｓ１に対応する位置の合成検査分割画像の特徴量が示す点を、特徴空間にプロットする。図１０では、対応する位置の合成検査分割画像の特徴量は、白丸の点Ｐ１で示されている。そして、取得部２３５は、この合成検査分割画像の特徴量が示す点Ｐ１と集合Ｓ１とに基づいて、合成検査分割画像に対応する検査分割画像の欠陥度合いを取得する。

より詳細には、取得部２３５は、抽出された特徴量について、特徴空間における、その特徴量が示す点と複数の合成良品分割画像の特徴量によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する。

図１０に示す例では、第１特徴量及び第２特徴量により形成される特徴空間において、取得部２３５は、ある合成検査分割画像の特徴量が示す点Ｐ１と、その合成検査分割画像に対応する複数の合成良品分割画像の特徴量の集合Ｓ１との間の距離に基づいて、その合成検査分割画像に対応する検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点Ｐ１と複数の合成良品分割画像の特徴量によって形成される集合Ｓ１との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。

ここで、検査分割画像の欠陥度合いを取得する際に、ある合成検査分割画像の特徴量が示す点と、複数の合成良品分割画像の特徴量のうちの１つが示す点との間の距離に基づいて、検査分割画像の欠陥度合いを取得することとしてもよい。

例えば、図１１に示すように、第１特徴量及び第２特徴量により形成される特徴空間において、取得部２３５は、ある合成検査分割画像の特徴量が示す点Ｐ２と、その合成検査分割画像に対応する複数の合成良品分割画像の特徴量の集合Ｓ２に含まれる点Ｐ３との間の距離に基づいて、検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。また、集合Ｓ２に含まれる点Ｐ３は、集合Ｓ２に含まれる複数の点のうち、点Ｐ２に最も近い点である。取得部２３５は、集合Ｓ２に含まれる複数の点のそれぞれについて点Ｐ２との間の距離を算出し、点Ｐ２に最も近い点を決定することができる。

このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点Ｐ２と複数の合成良品分割画像の特徴量のうちの１つが示す点との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。

取得部２３５は、抽出部２３４により抽出される各特徴量について、以上の手順を繰り返し行い、複数の検査分割画像のそれぞれの欠陥度合いを取得する。そして、取得部２３５は、複数の欠陥度合いを検査部２３６に出力する。

図９に戻り、検査部２３６について説明する。検査部２３６は、取得部２３５によって取得された複数の欠陥度合いに基づいて、検査対象物３０を検査する。

例えば、検査部２３６は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、生成した欠陥度合い画像に基づいて検査対象物３０を検査する。これにより、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することができる。欠陥度合いは、検査分割画像の欠陥の程度を示す値であることが好ましい。これにより、検査分割画像の欠陥の程度を定量的に示すことができる。

具体的に、検査部２３６は、図１２に示すように、取得部２３５によって取得された各欠陥度合い４６０，４６２、４６４，・・・を、それぞれの値に基づいて画像化することで、部分画像４８０，４８２，４８４，・・・を生成する。部分画像４８０，４８２，４８４，・・・は、例えば、欠陥度合いの値を、白黒の階調に変換したグレースケール画像や、ＲＧＢの階調に変換したカラー画像等である。

検査部２３６は、生成された部分画像４８０，４８２，４８４，・・・を統合することで、欠陥度合い画像４８を生成する。なお、欠陥度合い画像４８の縦及び横のサイズ（画素数）は、検査画像と同じであってもよいし、異なっていてもよい。そして、検査部２３６は、欠陥度合い画像４８に基づいて検査対象物３０が良品であるか否かを判定する。

図１３に示すように、欠陥度合い画像４８は、例えば、２つの欠陥部分画像４８２，４８４を含む。欠陥部分画像４８４は欠陥度合いが相対的に低い部分画像であり、欠陥部分画像４８２は欠陥度合いが相対的に高い部分画像である。

検査部２３６は、例えば、欠陥度合い画像４８における欠陥部分画像４８２，４８４の占める割合が、所定の閾値以下である場合に検査対象物３０が良品であると判定し、所定の閾値を超える場合に検査対象物３０が良品ではない、つまり、不良品であると判定する。

ここで、検査部２３６は、欠陥度合い画像４８に含まれる欠陥部分画像４８２，４８４の有無に基づいて、検査対象物３０の欠陥を検出してもよい。

このように、特徴空間における、合成検査分割画像の特徴量が示す点と複数の合成良品分割画像の特徴量によって形成される集合とに基づいて、各検査分割画像の欠陥度合いを取得し、これら複数の欠陥度合いに基づいて、検査対象物３０を検査することにより、検査対象物３０の検査精度を高めることができる。

次に、図１４を参照して、実施形態に係る学習済みモデル生成装置が実行する学習済みモデル生成処理の一例を説明する。

最初に、通信部１２０は、通信ネットワーク１５を介して、複数の良品画像４０を取得する（ステップＳ１０１）。取得された複数の良品画像４０は、記憶部１００に記憶される。

続いて、学習用画像生成部１１１は、記憶部１００から複数の良品画像４０を読み出し、複数の良品画像４０に基づいて、複数の学習用画像５０を生成する（ステップＳ１０２）。学習用画像５０として、前述したように、良品分割画像とラベル情報とに基づいて生成される合成良品分割画像を用いる。

続いて、モデル生成部１１２は、ステップＳ１０２において生成された複数の学習用画像５０を入力とし、その学習用画像の特徴量を出力するように学習させた学習済みモデル６５を生成する（ステップＳ１０３）。生成された学習済みモデル６５は、記憶部１００に記憶される。

続いて、通信部１２０は、ステップＳ１０３において生成された学習済みモデル６５と、学習済みモデル６５を生成する過程で抽出された特徴量７０とを、通信ネットワーク１５を介して、画像検査装置２０に送信する（ステップＳ１０４）。これにより、画像検査装置２０は、学習済みモデル生成装置１０によって生成された学習済みモデルを使用できるようになる。

ステップＳ１０４の後、学習済みモデル生成装置１０は、学習済みモデル生成処理を終了する。

次に、図１５を参照して、実施形態に係る画像検査装置が実行する画像検査処理の一例を説明する。

なお、以下の例では、通信部２００が学習済みモデル生成装置１０から学習済みモデル６５及び特徴量７０を受信し、記憶部２１０に学習済みモデル６５及び特徴量７０が記憶されているものとして説明する。

最初に、撮影部２２０が、検査対象物３０の検査画像を取得する（ステップＳ２０１）。取得された検査画像は、処理部２３０に出力される。

続いて、処理部２３０の分割部２３１は、ステップＳ２０１において取得された検査画像を分割し、複数の検査分割画像を生成する（ステップＳ２０２）。生成された複数の検査分割画像は、処理部２３０のラベル付与部２３２に出力される。

続いて、ラベル付与部２３２は、ステップＳ２０２において生成された検査分割画像に、当該検査分割画像と同じ位置にある良品分割画像のラベル情報を付与してデータセットを生成する（ステップＳ２０３）。生成されたデータセットは、処理部２３０の合成部２３３に出力される。

続いて、合成部２３３は、ステップＳ２０３において生成されたデータセットを構成する検査分割画像とラベル情報とを合成して合成検査分割画像を生成する（ステップＳ２０４）。生成された合成検査分割画像は、処理部２３０の抽出部２３４に出力される。

続いて、抽出部２３４は、記憶部２１０にあらかじめ記憶された学習済みモデル６５を読み出し、ステップＳ２０４において生成された合成検査分割画像を、学習済みモデル６５に入力し、合成検査分割画像の特徴量を抽出する（ステップＳ２０５）。抽出された特徴量は、処理部２３０の取得部２３５に出力される。

続いて、取得部２３５は、記憶部２１０にあらかじめ記憶された合成良品分割画像の特徴量７０を読み出し、ステップＳ２０５において抽出された特徴量について、特徴空間における、その特徴量が示す点と、読み出された特徴量７０によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する（ステップＳ２０６）。得られた欠陥度合いは、処理部２３０の検査部２３６に出力される。

続いて、検査部２３６は、ステップＳ２０６において得られた欠陥度合いの値から部分画像を生成し、生成した部分画像を統合して欠陥度合い画像を生成する（ステップＳ２０７）。

続いて、検査部２３６は、ステップＳ２０７において生成された欠陥度合い画像に基づいて、検査対象物３０を検査する（ステップＳ２０８）。

ステップＳ２０８の後、画像検査装置２０は、画像検査処理を終了する。

なお、本実施形態で説明したフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。

図１６は、本実施形態に係る学習済みモデル生成装置１０の物理的構成を示す図である。学習済みモデル生成装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

なお、画像検査装置２０の物理的構成は、学習済みモデル生成装置１０の物理的構成と同様であるため、その説明を省略する。

なお、本例では、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、学習済みモデル生成装置１０及び画像検査装置２０が一台のコンピュータで構成されてもよい。また、図１６で示す構成は一例であり、学習済みモデル生成装置１０及び画像検査装置２０は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置１０が備えるＣＰＵ１０ａは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム（学習プログラム）を実行する演算部である。また、画像検査装置２０が備えるＣＰＵ１０ａは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、学習用データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。

通信部１０ｄは、学習済みモデル生成装置１０又は画像検査装置２０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。入力部１０ｅは、例えば良品分割画像又は検査分割画像のラベル情報等の入力を受け付けてもよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、検査対象物の検査結果等を表示してよい。

画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置１０では、ＣＰＵ１０ａが学習プログラムを実行することにより、図２等を用いて説明した様々な機能が実現される。また、画像検査装置２０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図８及び図９等を用いて説明した様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

前述したように、本実施形態における画像検査装置２０及び画像検査方法によれば、良品分割画像とラベル情報とを合成した合成良品分割画像を入力として合成良品分割画像の特徴量を出力するように学習させた学習済みモデル６５に、検査分割画像とラベル情報とを合成した合成検査分割画像を入力し、合成検査分割画像の特徴量を抽出させることができ、抽出された合成検査分割画像の特徴量と、学習時に出力された複数の合成良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物３０の検査精度を高めることが可能となる。

ここで、本実施形態における学習済みモデル６５は、ラベル情報に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各合成良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の合成良品分割画像の特徴量によって形成される集合の近くにプロットされる。

したがって、特徴空間において、特殊パターンを含む合成検査分割画像の特徴量が示す点を、当該合成検査分割画像に対応する複数の合成良品分割画像の特徴量が形成する集合の近くにプロットすることができ、欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。

それゆえ、良品画像に特殊パターンが局所的に存在する場合であっても、特殊パターンを含む対象物を良品として正しく検査することが可能となる。

また、本実施形態における学習済みモデル６５は、ラベル情報に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。

したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の合成検査分割画像の特徴量が示す点を、当該別の位置の複数の合成良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。

それゆえ、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む場合であっても、不良品の見逃しを抑制することが可能となる。

なお、前述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。

［付記１］
良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデル（６５）に、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、前記合成検査分割画像の特徴量を抽出する抽出部（２３４）と、
前記抽出された前記合成検査分割画像の特徴量、及び学習時に出力された前記合成良品分割画像の特徴量により形成される特徴空間に基づいて、前記合成検査分割画像に対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部（２３５）と、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査部（２３６）と、
を備える画像検査装置（２０）。

［付記２］
良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデル（６５）に、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、前記合成検査分割画像の特徴量を抽出する抽出ステップと、
前記抽出された前記合成検査分割画像の特徴量、及び学習時に出力された前記合成良品分割画像の特徴量により形成される特徴空間に基づいて、前記合成検査分割画像に対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査ステップと、
を含む、画像検査方法。

［付記３］
良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力として、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデル（６５）を生成するモデル生成部（１１２）を備える、
学習済みモデル生成装置（１０）。

１…画像検査システム、１０…モデル生成装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１５…通信ネットワーク、２０…画像検査装置、２５…照明、３０…検査対象物、４０…良品画像、５０…学習用画像、６０…学習モデル、６５…学習済みモデル、７０…特徴量、１００…記憶部、１１０…学習部、１１１…学習用画像生成部、１１２…モデル生成部、１２０…通信部、２００…通信部、２１０…記憶部、２２０…撮影部、２３０…処理部、２３１…分割部、２３２…ラベル付与部、２３３…合成部、２３４…抽出部、２３５…取得部、２３６…検査部、２４０…学習部、６０１…入力層、６０５…出力層

Claims (8)

1. 良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、前記合成検査分割画像の特徴量を抽出する抽出部と、
   前記抽出された前記合成検査分割画像の特徴量、及び学習時に出力された前記合成良品分割画像の特徴量により形成される特徴空間に基づいて、前記合成検査分割画像に対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、
   前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査部と、
   を備える画像検査装置。
2. 前記取得部は、前記合成検査分割画像の特徴量と前記特徴空間を形成する前記合成良品分割画像の特徴量との間の距離に基づいて、前記検査分割画像の前記欠陥度合いを取得する、
   請求項１に記載の画像検査装置。
3. 前記取得部は、前記合成検査分割画像の特徴量と、前記特徴空間を形成する前記合成良品分割画像の特徴量のうち前記合成検査分割画像の特徴量との間の距離が最も近い前記合成良品分割画像の特徴量と、に基づいて、前記検査分割画像の前記欠陥度合いを取得する、
   請求項２に記載の画像検査装置。
4. 前記検査部は、複数の前記欠陥度合いに基づいて欠陥度合い画像を生成し、前記欠陥度合い画像に基づいて前記検査対象物を検査する、
   請求項１から３のいずれか一項に記載の画像検査装置。
5. 前記検査分割画像と前記ラベル情報とを合成して前記合成検査分割画像を生成する合成部をさらに備え、
   前記合成部は、前記ラベル情報に含まれるラベルを識別する番号に前記検査分割画像で使用可能な色数を乗算し、当該乗算により得られた値を前記検査分割画像の濃度値に加算又は乗算することで、前記合成検査分割画像を生成する、
   請求項１から４のいずれか一項に記載の画像検査装置。
6. 良品の検査対象物に含まれる複数の前記良品分割画像を用いて学習モデルを学習させ、前記学習済みモデルを生成する学習部をさらに備える、
   請求項１から５のいずれか一項に記載の画像検査装置。
7. 良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力とし、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像と当該検査分割画像に対応するラベル情報とを合成して生成された合成検査分割画像を入力して、前記合成検査分割画像の特徴量を抽出する抽出ステップと、
   前記抽出された前記合成検査分割画像の特徴量、及び学習時に出力された前記合成良品分割画像の特徴量により形成される特徴空間に基づいて、前記合成検査分割画像に対応する前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
   前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査ステップと、
   を含む、画像検査方法。
8. 良品の検査対象物の分割画像である良品分割画像と当該良品分割画像に対応するラベル情報とを合成して生成された合成良品分割画像を入力として、前記合成良品分割画像の特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える、
   学習済みモデル生成装置。

Images