JP2022182702A - 評価プログラム、評価方法、及び情報処理装置 - Google Patents

Abstract

【課題】画像による対象物に対する評価の精度向上を図る。【解決手段】コンピュータが、画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデル１１ｂに入力画像データ１１ｈを入力することで、前記入力画像データ１１ｈに含まれる複数の部分画像１１ｅを特定し、１以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデル１１ｇに、特定した前記複数の部分画像１１ｅを入力することで、前記入力画像データ１１ｈに対する評価を行なう。【選択図】図８

Description

本発明は、評価プログラム、評価方法、及び情報処理装置に関する。

部品又は製品の表面に付着した又は生じた、異物、汚れ、傷、バリ、欠け、及び、変形等の外観上の欠陥を確認し、当該部品又は製品の評価、例えば良否判定を行なう外観検査が知られている。

外観検査の手法の１つとして、ブロブの画像解析を行なうブロブ解析が知られている。ブロブとは、塊を意味し、画像解析におけるブロブとは、例えば、２値化された画像において、一方の値（換言すれば「色」）の画素で形成される個々の領域を意味する。

ブロブ解析等の外観検査は、例えば、コンピュータによって、ＡＩ（Artificial Intelligence）を用いた画像解析処理により行なわれることがある。例えば、コンピュータは、検査対象となる部品又は製品を撮像した画像に基づき生成される機械学習モデルを利用して、ブロブの良否判定を行なう。

特開２０２０－１５３７６４号公報

検査対象となる部品又は製品のサイズが大きい場合、外観検査において外観上の欠陥を画像に記録する（含める）ために、部品又は製品の画像を高解像度に撮像することがある。しかし、高解像度の画像では、画像サイズに対して欠陥のサイズが極端に小さくなることがある。

また、検査項目によって、欠陥の大きさ、部品又は製品の形状等が異なることがある。また、何を基準として良否判定を行なうかが異なることがある。しかし、機械学習モデルの生成では、ブロブの大きさ、形状、個数等、検査目的及び要件等の条件が考慮されないことがあり、部品又は製品等の対象物全体の良否判定を行なうことが困難な場合がある。

さらに、機械学習を利用したコンピュータによるブロブ解析では、個々のブロブごとに良否判定が行なわれることがあるが、１以上のブロブを含む画像単位又は製品単位で良否判定を行なうことは困難な場合がある。

以上のように、コンピュータにより、機械学習を利用して、撮像された画像に基づく外観検査を実行することが困難な場合がある。

１つの側面では、本発明は、画像による対象物に対する評価の精度向上を図ることを目的とする。

１つの側面では、評価プログラムは、コンピュータに以下の処理を実行させてよい。前記処理は、画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定する処理を含んでよい。また、前記処理は、１以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう処理を含んでよい。

１つの側面では、画像による対象物に対する評価の精度を向上させることができる。

一実施形態の一例としてのサーバの機能構成例を示すブロック図である。 検出モデル訓練データセットの一例を示す図である。 撮像画像の一例を示す図である。 検出モデルの機械学習処理の一例を示す図である。 解析モデル訓練データセットの一例を示す図である。 解析モデルの機械学習処理の一例を示す図である。 解析モデルの機械学習を実行する際の解析モデル訓練データセットの一例を示す図である。 実行部による推論処理の一例を示す図である。 検出モデルの機械学習処理の動作例を説明するためのフローチャートである。 解析モデルの機械学習処理の動作例を説明するためのフローチャートである。 ブロブ抽出処理の動作例を説明するためのフローチャートである。 推論処理の動作例を説明するためのフローチャートである。 シートの撮像画像に欠陥としてフィッシュアイが含まれる場合の一例を示す図である。 集合演算を含まないニューラルネットワークの機械学習の一例を示す図である。 ブロブ画像、特徴量及び推論結果（良否判定結果）の一例を示す図である。 一実施形態に係るサーバの機能を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

〔１〕一実施形態
〔１－１〕サーバの機能構成例
図１は、一実施形態の一例としてのサーバ１の機能構成例を示すブロック図である。サーバ１は、入力画像データに対する評価を行なう評価装置又は情報処理装置の一例である。

図１に示すように、サーバ１は、例示的に、メモリ部１１、取得部１２、検出モデル訓練部１３、ブロブ抽出部１４、特徴量抽出部１５、解析モデル訓練部１６、実行部１７、及び、出力部１８を備えてよい。取得部１２、検出モデル訓練部１３、ブロブ抽出部１４、特徴量抽出部１５、解析モデル訓練部１６、実行部１７、及び、出力部１８は、制御部１９の一例である。

メモリ部１１は、記憶領域の一例であり、サーバ１による処理に用いられる種々の情報を記憶する。図１に示すように、メモリ部１１は、例示的に、検出モデル訓練データセット１１ａ、検出モデル１１ｂ、検出結果１１ｃ、解析モデル訓練データセット１１ｄ及び１１ｄ'、複数のブロブ画像１１ｅ、複数の特徴量１１ｆ、解析モデル１１ｇ、検査対象画像１１ｈ、推論結果１１ｉ、並びに、出力データ１１ｊを記憶可能であってよい。

取得部１２は、検出モデル１１ｂ及び解析モデル１１ｇのそれぞれの機械学習処理（訓練）、並びに、訓練済みの検出モデル１１ｂ及び解析モデル１１ｇを利用する推論処理、の実行に用いる情報の少なくとも一部を、例えば図示しないコンピュータから取得する。

例えば、取得部１２は、検出モデル１１ｂ及び解析モデル１１ｇのそれぞれの機械学習に用いる検出モデル訓練データセット１１ａ及び解析モデル訓練データセット１１ｄ、並びに、推論処理に用いる検査対象画像１１ｈを取得し、メモリ部１１に格納してよい。

検出モデル訓練データセット１１ａは、画像データと画像データにおける抽出対象の部分画像とを関連付けた訓練データの集合である訓練データセットの一例である。画像データは、検査対象、例えば外観検査対象となる対象物を撮像した画像データ（画像）であり、一例として対象物の外観の撮像画像であるものとする。対象物は、検査対象となる物体（被写体）である。

図２は、検出モデル訓練データセット１１ａの一例を示す図である。検出モデル訓練データセット１１ａは、図２に例示するように、ｎ個（ｎは２以上の整数）の検出モデル訓練データ１１０（検出モデル訓練データ＃０～＃ｎ－１）の集合であってよい。各検出モデル訓練データ１１０は、第１訓練データの一例であり、訓練の対象物（「訓練対象物」と称されてもよい）を撮影した画像１１１と、当該画像１１１において訓練対象物における抽出対象の部分画像を示すアノテーション画像１１２とを関連付けて含んでよい。

画像１１１は、画像データの一例である。画像１１１としては、例えば、図３に示すように、撮像装置の一例であるカメラ２により、少なくとも１つの対象物（訓練対象物）３の外観を撮像して得られる撮像画像２１が挙げられる。例えば、取得部１２は、カメラ２により撮像された撮像画像２１を、図示しないネットワークを介してカメラ２又はコンピュータから取得（例えば受信）してよい。

以下の説明では、画像１１１、後述する画像１２１及び検査対象画像１１ｈを含む「画像」又は「撮像画像」としては、図３に示す手法により撮像された撮像画像２１が用いられるものとする。対象物３としては、例えば、基板３１、シート３２、ガラス板３３、ボルト・ナット３４、及び、缶類３５等の種々の製品又は部品のうちの少なくとも１種類が挙げられる。

複数の検出モデル訓練データ１１０における各画像１１１は、カメラ２により撮像される一連の動画像から時系列（例えばｔ＝０～（ｎ－１））に切り出されたフレームでもよいし、互いに異なる動画像から切り出されたフレームでもよい。或いは、各画像１１１は、静止画像として撮影された画像でもよい。

アノテーション画像１１２は、アノテーションデータの一例であり、例えば、図２に示すように、画像１１１中の抽出対象のピクセル単位のアノテーションを示す画像である。抽出対象は、例えば、良否判定（評価）に関わるブロブ領域を白（又は黒）で表現し、ブロブ領域以外を黒（又は白）で表現する２値画像（２値化画像）であってよい。ブロブ領域は、例えば、対象物３としての部品又は製品の外観上の欠陥部分を示す欠陥領域であってよい。

「欠陥」としては、例えば、部品又は製品の表面に付着した又は生じた、異物、汚れ、傷、バリ、欠け、及び、変形等のうちの少なくとも１種類が挙げられる。図３には、撮像画像２１における対象物３の欠陥として、傷２１１、及び、汚れ２１２を例示している。

アノテーション画像１１２は、例えば、コンピュータを用いた画像加工（解析）処理により生成されてもよいし、ユーザにより生成されてもよく、その他の種々の手法によって生成されてよい。

検出モデル訓練部１３は、検出モデル訓練データセット１１ａに含まれる複数の検出モデル訓練データ１１０のそれぞれを用いて、検出モデル１１ｂの機械学習を実行する。

図４は、検出モデル１１ｂの機械学習処理の一例を示す図である。図４に例示するように、検出モデル訓練部１３は、各検出モデル訓練データ１１０に含まれる、画像１１１及びアノテーション画像１１２のペアについて、対象物３を撮像した画像１１１を入力情報とし、当該画像１１１内の欠陥領域を表すアノテーション画像１１２を教師情報（教師データ）として、ＡＩ（Artificial Intelligence）モデルの機械学習（訓練）を行なう。ＡＩモデルは、機械学習の完了により、検出モデル１１ｂとして利用可能となる。検出モデル１１ｂは、例えば、ブロブを検出するための種々のニューラルネットワーク（ＮＮ；Neural Network）であり、一例として、セグメンテーション用ＮＮである。

なお、図４の例では、検出モデル訓練データ１１０に含まれる複数の画像１１１のそれぞれの撮像条件が揃っている場合を想定する。撮像条件が揃っている場合としては、例えば、工場のライン上に設置されたカメラ２により、画像１１１が連続的に撮像される場合等が挙げられる。このため、画像１１１の解像度、画像１１１内における部品又は製品の領域の大きさ等の変化を画像１１１間で無くす又は小さくすることができる。

一実施形態では、撮像条件が揃っている場合を想定するため、教師情報は、画像１１１ごとの撮影条件の差異に関する情報をラベルとして含まなくても、適切に検出モデル１１ｂの訓練を行なうことができる。一方、画像１１１間で撮像条件が変動するような状況であれば、検出モデル訓練部１３は、機械学習処理において、撮像条件の差異を吸収できるようなラベルを教師情報として追加で付与してもよい。このようなラベルとしては、例えば、画像１１１の全体（或いは画像１１１に写った部品又は製品全体）の大きさに関するラベル等が挙げられる。

ブロブ抽出部１４は、検出モデル１１ｂからの出力結果（推論結果）から、解析モデル１１ｇの機械学習処理、及び、解析モデル１１ｇを用いた推論処理において利用されるブロブ画像１１ｅを抽出するブロブ抽出処理を実行する。

例えば、ブロブ抽出部１４は、検出モデル訓練部１３による訓練済みの検出モデル１１ｂに対して、解析モデル訓練データセット１１ｄに含まれる画像を入力し、検出モデル１１ｂから出力される推論結果の２値画像に対して、ブロブ抽出処理を実行してよい。

図５は、解析モデル訓練データセット１１ｄの一例を示す図である。解析モデル訓練データセット１１ｄは、図５に例示するように、ｍ個（ｍは２以上の整数）の解析モデル訓練データ１２０（解析モデル訓練データ＃０～＃ｍ－１）の集合であってよい。各解析モデル訓練データ１２０は、第２訓練データの一例であり、対象物３を撮影した画像１２１と、当該画像１２１が良否判定において良となるか否となるかを示す良否ラベル１２２とを関連付けて含んでよい。

画像１２１としては、図３に例示する撮像画像２１が挙げられる。画像１２１は、検出モデル訓練データセット１１ａに含まれる画像１１１と同一（共通）であってもよいし、互いに異なってもよい。

良否ラベル１２２は、画像１２１の被写体である対象物３に対する評価結果の一例であり、例えば、画像１２１に基づく良否判定により、対象物３が「不良品」と判定されるか、或いは、「良品」と判定されるかを示す情報であってよい。良否ラベル１２２は、一例として、「１」又は「０」の数値であってよい。例えば、良否ラベル１２２が「１」である場合、対象物３が良否判定で不良品と判定されることを示してよく、良否ラベル１２２が「０」である場合、対象物３が良否判定で良品と判定されることを示してよい。良否ラベル１２２は、例えば、画像１２１に対する良否判定の結果（良否判定結果）に応じて当該画像１２１に対応付けられてもよいし、その他種々の手法により設定されてもよい。

図６は、解析モデル１１ｇの機械学習処理の一例を示す図である。図６に例示するように、ブロブ抽出部１４は、各解析モデル訓練データ１２０に含まれる画像１２１を、機械学習処理実行済み（訓練済み）の検出モデル１１ｂに入力し、当該画像１２１内の欠陥領域を表す検出結果１１ｃを取得する。検出結果１１ｃは、画像１２１に含まれる欠陥部分を欠陥領域（ブロブ領域）として、アノテーション画像１１２と同様の態様で表す２値画像であってよい。

ブロブ抽出部１４は、検出結果１１ｃに対してブロブ抽出処理を行なう。例えば、ブロブ抽出部１４は、検出結果１１ｃに含まれるブロブごとに、個別のブロブを含むブロブ画像１１ｅを抽出し、１以上のブロブ画像１１ｅをメモリ部１１に格納してよい。ブロブ画像１１ｅは、部分画像の一例であり、例えば、２値画像からブロブ領域を含む矩形領域を切り出した画像（パッチ画像）である。

ブロブ抽出部１４は、各ブロブの形状、検出結果１１ｃに含まれるブロブの個数等に応じて、ブロブの切り出しサイズ、１つの検出結果１１ｃからのブロブの切り出し数の最大値等を調整（チューニング）及び設定可能であってよい。

ブロブの切り出し数の最大値を設定する場合、ブロブ抽出部１４は、良否判定処理に関連の大きい特徴を得るために、切り出した複数のブロブのうちのブロブ領域のピクセルサイズが大きい順に、上位最大値以下の数のブロブを抽出してよい。例えば、ブロブ抽出部１４は、ブロブ領域のピクセルサイズが大きい順に複数のブロブをソートしてもよい。

特徴量抽出部１５は、１以上のブロブ画像１１ｅのそれぞれに対して特徴量抽出処理を行なうことで、１以上のブロブ画像１１ｅのそれぞれから特徴量１１ｆを抽出し、メモリ部１１に格納する。

特徴量１１ｆは、良否判定の目的等に応じた所定の種別の特徴量であり、図６に示すように、例示的に、ブロブの長さ、及び、画像１２１におけるブロブの座標を含んでよい。ブロブの長さは、画像１２１におけるブロブの長手方向のサイズの一例であり、例えば、ブロブの長手方向のピクセル数であってよい。ブロブの座標は、画像１２１におけるブロブの位置の一例であり、例えば、ブロブの中心（又は重心）位置のＸ座標及びＹ座標の値であってよい。なお、特徴量１１ｆとしては、ブロブの長さ及び座標に限定されるものではなく、良否判定の目的等に応じて、例えば、ブロブの面積等の種々の種別の特徴量であってもよく、これらの１種類以上の組み合わせであってもよい。

解析モデル訓練部１６は、解析モデル訓練データセット１１ｄ’に含まれるデータを用いて、解析モデル１１ｇの機械学習を実行する。解析モデル１１ｇは、評価モデルの一例である。

図７は、解析モデル１１ｇの機械学習を実行する際の解析モデル訓練データセット１１ｄ’の一例を示す図である。解析モデル訓練データセット１１ｄ’は、対象物３の撮像画像（画像１２１）ごとに解析モデル訓練データ１２０’を含んでよい。図７に示すように、解析モデル訓練データ１２０’は、例示的に、検出モデル訓練データセット１１ａと同様の画像１２１及び良否ラベル１２２に加えて、ブロブ抽出部１４が抽出したブロブ画像１１ｅ、及び、特徴量抽出部１５が抽出した特徴量１１ｆを関連付けて含んでよい。なお、解析モデル訓練データセット１１ｄ’には、画像１２１が含まれなくてもよい。

以上のように、各解析モデル訓練データ１２０’は、例えば、１つの対象物３の撮像画像から抽出される１以上のブロブ画像１１ｅ及び１以上の特徴量１１ｆと、解析モデル１１ｇの教師情報となる良否ラベル１２２とのペアを含んでよい。

以下の説明では、便宜上、解析モデル訓練部１６が、解析モデル訓練データセット１１ｄを修正（加工）して得られる解析モデル訓練データセット１１ｄ’を利用して機械学習処理を行なう場合を例に挙げるが、これに限定されるものではない。例えば、解析モデル訓練部１６は、解析モデル訓練データセット１１ｄ’の生成に代えて、メモリ部１１に格納されたブロブ画像１１ｅ、特徴量１１ｆ、及び、解析モデル訓練データセット１１ｄ内の良否ラベル１２２をそれぞれ利用してもよい。

図６に例示するように、解析モデル訓練部１６は、解析モデル訓練データセット１１ｄ’の各解析モデル訓練データ１２０’に含まれる、ブロブ画像１１ｅ及び特徴量１１ｆの集合を入力情報とし、良否ラベル１２２を教師情報として、ＡＩモデルの機械学習（訓練）を行なう。

ところで、対象物３の良否判定結果（検査結果）には、複数のブロブ画像１１ｅ（パッチ画像群）の並び順は影響を与えない。そこで、ＡＩモデルとしては、複数のブロブ画像１１ｅを順不同の性質を持つ集合として扱うことのできる（集合演算を実現できる）ＡＩモデルが用いられてよい。例えば、解析モデル訓練部１６は、１つの画像１２１から得られた複数のブロブ画像１１ｅ及び複数の特徴量１１ｆを入力とし、最終的な良否判定結果を示す良否ラベル１２２を教師情報としてＡＩモデルを訓練してよい。ＡＩモデルは、機械学習の完了により、解析モデル１１ｇとして利用可能となる。換言すれば、解析モデル１１ｇは、集合演算が組み込まれたＮＮの一例である。

以上のように、取得部１２、検出モデル訓練部１３、ブロブ抽出部１４、特徴量抽出部１５及び解析モデル訓練部１６は、機械学習フェーズにおいて、検出モデル１１ｂ及び解析モデル１１ｇの機械学習を実行する機械学習部の一例である。

なお、検出モデル訓練部１３による検出モデル１１ｂの機械学習処理、及び、解析モデル訓練部１６による解析モデル１１ｇの機械学習処理のそれぞれの機械学習手法としては、既知の種々の手法が採用されてよい。

例えば、機械学習処理では、入力に応じてＡＩモデルの順伝播処理により得られる推定結果と、教師情報とに基づき得られる誤差関数の値を小さくするために、順伝播方向の処理で使用するパラメータを決定する逆伝播処理が実行されてよい。そして、機械学習処理では、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理が実行されてよい。これらのパラメータ及び変数等は、ＡＩモデルのそれぞれに含まれてよい。検出モデル訓練部１３及び解析モデル訓練部１６は、繰り返し回数又は精度等が閾値に達するまで、ＡＩモデルの機械学習処理を繰り返し実行し、ＡＩモデルを更新してよい。機械学習が終了したＡＩモデルは、上述のように、訓練済みの検出モデル１１ｂ及び解析モデル１１ｇとなる。

実行部１７は、推論フェーズにおいて、検出モデル１１ｂ及び解析モデル１１ｇを利用した推論処理を実行する。

図８は、実行部１７による推論処理の一例を示す図である。例えば、実行部１７は、入力画像データの一例である検査対象画像１１ｈを検出モデル１１ｂに入力し、検出結果１１ｃを取得する。また、実行部１７は、検出結果１１ｃをブロブ抽出部１４に入力して複数のブロブ画像１１ｅを取得（特定）する。さらに、実行部１７は、複数のブロブ画像１１ｅを特徴量抽出部１５に入力して複数の特徴量１１ｆを取得（特定）する。

そして、実行部１７は、検査対象画像１１ｈから得られた複数のブロブ画像１１ｅ及び複数の特徴量１１ｆを解析モデル１１ｇに入力することで、検査対象画像１１ｈに対する評価を行なう。例えば、実行部１７は、解析モデル１１ｇから評価結果として推論結果１１ｉを取得する。

なお、実行部１７は、推論処理の過程において取得する検出結果１１ｃ、複数のブロブ画像１１ｅ、複数の特徴量１１ｆ及び推論結果１１ｉの少なくとも１つを、検査対象画像１１ｈと対応（関連）付けてメモリ部１１に格納してもよい。

推論結果１１ｉは、解析モデル１１ｇによる検査対象画像１１ｈの最終的な良否判定結果、換言すれば評価結果を示す情報であり、例えば、「良品」又は「不良品」といったクラスに対応する数値であってよい。一例として、推論結果１１ｉは、「０」以上「１」以下の小数によって表現される尤度であってよい。尤度は、クラスの尤もらしさを示す度合いである。例えば、推論結果１１ｉから不良品の尤度を示す場合、尤度が「１」に近いほど不良品である可能性が高く、尤度が「０」に近いほど不良品ではない（良品である）可能性が高いといえる。

一実施形態では、簡単のために、推論結果１１ｉのクラスとして、「良品」及び「不良品」の２つのクラスを用いるが、これに限定されるものではなく、推論処理の判定種別数（クラスの数）は、タスクに応じて適時変更（例えば増加）してもよい。

出力部１８は、実行部１７により取得される推論結果１１ｉを出力データとして出力する。例えば、出力部１８は、推論結果１１ｉそのものを図示しない他のコンピュータに送信してもよいし、推論結果１１ｉをメモリ部１１に蓄積してサーバ１又は他のコンピュータから参照可能に管理してもよい。或いは、出力部１８は、推論結果１１ｉを示す情報をサーバ１等の出力装置に画面出力してもよい。

なお、出力部１８は、出力データとして、推論結果１１ｉそのものに代えて又は加えて、種々のデータを出力してもよい。出力データは、例えば、推論結果１１ｉに基づく良否判定結果の分析結果、中間生成情報（例えばブロブ画像１１ｅ、特徴量１１ｆ等）そのもの、又は、当該中間生成情報に基づく良否判定の根拠についての解析結果、等の種々のデータであってもよい。良否判定の根拠についての解析結果とは、例えば、ＡＩモデルがどのように判定を行なうかをユーザに知らせるためのいわゆる「暗黙知」の顕在化の位置付けであってもよい。

以上のように、取得部１２、ブロブ抽出部１４、特徴量抽出部１５、実行部１７及び出力部１８は、推論フェーズにおいて、訓練済みの検出モデル１１ｂ及び解析モデル１１ｇを利用して、対象物３の良否判定処理を実行する推論処理部の一例である。推論処理部は、取得した推論結果１１ｉを良否判定結果として出力してよい。

〔１－２〕動作例
次に、図９～図１２を参照して、上述の如く構成されたサーバ１の動作例を説明する。

〔１－２－１〕機械学習フェーズの動作例
図９は、検出モデル１１ｂの機械学習処理の動作例を説明するためのフローチャートであり、図１０は、解析モデル１１ｇの機械学習処理の動作例を説明するためのフローチャートである。図１１は、ブロブ抽出処理の動作例を説明するためのフローチャートである。なお、解析モデル１１ｇの機械学習処理は、検出モデル１１ｂの機械学習処理の完了後に実行されてよい。

（検出モデル１１ｂの機械学習処理）
図９に例示するように、取得部１２は、検出モデル訓練データセット１１ａを取得し（ステップＳ１）、メモリ部１１に格納する。

検出モデル訓練部１３は、検出モデル訓練データセット１１ａ内の検出モデル訓練データ１１０ごとに、画像１１１を入力情報とし、アノテーション画像１１２を教師情報として検出モデル１１ｂの機械学習を実行し（ステップＳ２）、処理が終了する。例えば、アノテーション画像１１２は、画像１１１における欠陥領域を示す２値画像であってよい。

（解析モデル１１ｇの機械学習処理）
図１０に例示するように、取得部１２は、解析モデル訓練データセット１１ｄを取得し（ステップＳ１１）、メモリ部１１に格納する。

ブロブ抽出部１４は、解析モデル訓練データセット１１ｄ内の解析モデル訓練データ１２０の画像１２１を機械学習済みの検出モデル１１ｂに入力し、検出モデル１１ｂから検出結果１１ｃを取得して（ステップＳ１２）、メモリ部１１に格納する。検出結果１１ｃは、画像１２１における欠陥領域を示す２値画像であってよい。

ブロブ抽出部１４は、検出結果１１ｃに基づきブロブ抽出処理を実行する（ステップＳ１３）。

特徴量抽出部１５は、ブロブ抽出処理で取得された複数のブロブ画像１１ｅのそれぞれに対して特徴量抽出処理を行ない（ステップＳ１４）、各ブロブ画像１１ｅから特徴量１１ｆを抽出してメモリ部１１に格納する。

解析モデル訓練部１６は、ブロブ画像１１ｅ及び特徴量１１ｆを含む解析モデル訓練データセット１１ｄ’内の解析モデル訓練データ１２０’ごとに、解析モデル１１ｇの機械学習を実行し（ステップＳ１５）、処理が終了する。機械学習では、解析モデル訓練部１６は、１つの対象物３の画像１２１に対応する複数のブロブ画像１１ｅ及び複数の特徴量１１ｆを入力情報とし、当該画像１２１に対応する良否ラベル１２２を教師情報として解析モデル１１ｇの訓練を行なってよい。

（ブロブ抽出処理）
図１１に例示するように、ブロブ抽出部１４は、ブロブ抽出処理（図１０のステップＳ１３、又は、後述する図１２のステップＳ３３）において、検出結果１１ｃから抽出したブロブをピクセルサイズの大きい順にソートする（ステップＳ２１）。

ブロブ抽出部１４は、例えば、変数ｉに０をセットし、Ｎｍａｘに最大値をセットする（ステップＳ２２）。最大値は、例えば、予め定めた上限値であってもよいし、ステップＳ２１で検出したブロブ数であってもよい。

ブロブ抽出部１４は、ブロブをパッチ画像（ブロブ画像１１ｅ）として切り出し、リスト、例えば解析モデル訓練データ１２０’に追加し（ステップＳ２３）、ｉに１を加算する（ステップＳ２４）。

ブロブ抽出部１４は、ｉがＮｍａｘに達したか否かを判定し（ステップＳ２５）、達していない場合（ステップＳ２５でＮＯ）、処理がステップＳ２３に移行する。一方、ｉがＮｍａｘに達した場合（ステップＳ２５でＹＥＳ）、ブロブ抽出処理が終了する。

〔１－２－２〕推論（判定）フェーズの動作例
図１２は、推論処理の動作例を説明するためのフローチャートである。図１２に例示するように、取得部１２は、検査対象画像１１ｈを取得し（ステップＳ３１）、メモリ部１１に格納する。

実行部１７は、検査対象画像１１ｈを機械学習済みの検出モデル１１ｂに入力し、検出モデル１１ｂから検出結果１１ｃを取得して（ステップＳ３２）、メモリ部１１に格納する。検出結果１１ｃは、検査対象画像１１ｈにおける欠陥領域を示す２値画像であってよい。

実行部１７は、検出結果１１ｃをブロブ抽出部１４に入力して、図１１に例示するブロブ抽出処理を実行し（ステップＳ３３）、複数のブロブ画像１１ｅを取得する。

実行部１７は、ブロブ抽出処理により取得した複数のブロブ画像１１ｅを特徴量抽出部１５に入力し、各ブロブ画像１１ｅに対する特徴量抽出処理を実行する（ステップＳ３４）。実行部１７は、特徴量抽出処理により、複数の特徴量１１ｆを取得し、メモリ部１１に格納する。

実行部１７は、複数のブロブ画像１１ｅ及び複数の特徴量１１ｆを機械学習済みの解析モデル１１ｇに入力し、推論結果１１ｉを取得する（ステップＳ３５）。

出力部１８は、推論結果１１ｉに基づき出力データを出力し（ステップＳ３６）、処理が終了する。例えば、出力部１８は、推論結果１１ｉを出力データとして出力してもよいし、推論結果１１ｉに基づき種々の出力データを生成して出力してもよい。

〔１－３〕一実施形態の説明
次に、上述した一実施形態に係るサーバ１について、適用例とともに説明する。

（良否判定対象となり得る欠陥のバリエーションについて）
一実施形態に係るサーバ１によれば、対象物３に生じ得る多様な欠陥に対応して、対象物３の良否判定を行なうことができる。

例えば、ブロブ領域（欠陥領域）として検出される欠陥は、対象物３の種類に応じて、以下に例示するものであってよい。

対象物３がガラス板３３の場合、欠陥は、例えば、傷、チリ又はホコリ等の対象物３に混入した異物、気泡、クラック等であってよい。クラックとは、裂け目又はひび割れである。

対象物３が基板３１の場合、欠陥は、例えば、傷、クラック、クレイジング、ミーズリング、半田不良等であってよい。クレイジングとは、機械ストレスによってガラス繊維が樹脂から剥離することであり、ミーズリングとは、主に熱ストレスによってガラス繊維が樹脂から剥離することである。

対象物３がシート３２の場合、欠陥は、例えば、傷、しわ、ストリーク、フィッシュアイ等であってよい。ストリークは、気体が表面に現れ、銀箔色の筋状の痕が発生する不良のことであり、フィッシュアイは、材料の一部が周囲の材料と完全に混合せずにできた球状のブロブである。

対象物３が缶類３５の場合、欠陥は、例えば、傷、凹み、油汚れ等であってよい。

上述した種々の欠陥は、検出モデル１１ｂにより、例えば傷であれば長い細線として、チリ又はホコリ等の異物であれば小粒のブロブが密集したものとして、２値形式で検出されてよい。このように、ブロブ領域は、欠陥の種類に応じて、ブロブの大きさ、形状、個数等のうちの少なくとも１つが相互に異なるものとして表現されてよい。

一実施形態に係るサーバ１は、検出モデル１１ｂの出力画像（検出結果１１ｃ）から、ブロブ単位でパッチ画像（ブロブ画像１１ｅ）を切り出すため、ブロブからの任意の（例えばユーザにより設定される所望の）特徴量１１ｆを抽出することができる。

（第１の例）
例えば、細線の傷に関するブロブ画像１１ｅを良否判定に用いる場合、サーバ１は、ブロブの長さを特徴量１１ｆとして抽出してよい。これにより、サーバ１は、良否判定に用いるブロブと、傷以外の欠陥、及び、良否判定に寄与しないブロブとを区別して解析モデル１１ｇの機械学習を実行することができる。また、サーバ１は、機械学習済み解析モデル１１ｇを用いて、細線の傷に関するブロブに基づく推論結果１１ｉを出力できる。

（第２の例）
チリ等の異物混入による対象物３の外観の変化を良否判定に用いる場合、撮像画像２１では、複数の小さなブロブが密集しているように見えることがある。この場合、サーバ１は、ブロブの位置座標を特徴量１１ｆとして抽出してよい。これにより、サーバ１は、ブロブの密集度を加味して解析モデル１１ｇの機械学習を実行することができる。また、サーバ１は、機械学習済み解析モデル１１ｇを用いて、ブロブの密集度を加味した判定を行なうことができる。

（第３の例）
プリント基板等の基板３１のクレイジング及びミーズリングに関するブロブ画像１１ｅを良否判定に用いる場合、クレイジング及びミーズリングの欠陥領域は、撮像画像２１において、その他の領域と色の見え方が異なることがある。この場合、サーバ１は、例えば、検出モデル１１ｂの検出結果１１ｃをマスク画像として、入力画像、例えば画像１２１、検査対象画像１１ｈに対してマスク処理を行なってよい。そして、サーバ１は、マスク処理で得られた画像をブロブごとに分割し、部分画像（ブロブ画像１１ｅ）を得てよい。これにより、色情報を付与した上で、良否判定処理を行なうことができる。

（第４の例）
シート３２に発生するフィッシュアイは球状のブロブ形状となる。このため、サーバ１は、フィッシュアイに関するブロブ画像１１ｅを良否判定に用いる場合、ブロブの長径、短径及び周長等の情報を特徴量１１ｆとして抽出して解析モデル１１ｇの機械学習を行なうことで、ブロブ形状（特徴量１１ｆ）が円形に近いか否かを判定材料とした論理を解析モデル１１ｇに組み込むことができる。

（第５の例）
基板３１の半田不良の判定において、サーバ１は、ブロブの面積を特徴量１１ｆとして抽出して解析モデル１１ｇの機械学習を行なうことで、半田の量が基準に対して多い又は少ないということを判定材料とした論理を解析モデル１１ｇに組み込むことができる。

（集合演算の説明）
一実施形態に係るサーバ１は、解析モデル１１ｇを用いた集合演算により、１つの検査対象画像１１ｈから得られる複数の順不同なブロブの特性を効果的に処理できる。

集合演算では、個々のブロブの特徴だけでなく、撮像画像２１全体の大局的な特徴を捉えることができるため、部品又は製品全体における欠陥の程度によって良否判定が変わるといったような場合においても、サーバ１を適用した機械学習及び推論が可能となる。一例として、どの種類の欠陥がいくつ存在すれば不良品となるかが暗黙知となっている場合においても、一実施形態にサーバ１を適用可能である。

また、集合演算により、サーバ１では、入力画像（撮像画像２１）のサイズと個々のブロブのサイズとの差異による影響を緩和することができる。換言すれば、撮像画像２１が高解像度の画像であり、画像サイズに対して欠陥のサイズが極端に小さくなる場合であっても、適切に良否判定を行なうことができる。

図１３は、フィルムシート等のシート３２の撮像画像２１に、欠陥としてフィッシュアイ２１３が含まれる場合の一例を示す図である。

図１３に矢印Ａで示す撮像画像２１の場合、サーバ１は、フィッシュアイ２１３の数が少なく、程度が低い（例えば大きさが小さい等）場合、解析モデル１１ｇによる推論において、当該欠陥を無害な欠陥（換言すれば、良品）として扱うことができる。

一方、図１３に矢印Ｂで示す撮像画像２１の場合、サーバ１は、フィッシュアイ２１３の数が多く、比較的大きい欠陥が見られる場合、解析モデル１１ｇによる推論において、当該欠陥を不良品として判定することができる。このように、サーバ１は、例えば、撮像画像２１に一定数以上のフィッシュアイ２１３が含まれれば不良品とする、といったルールベースではなく、良否判定の基準及び境界についても、ＡＩモデルの機械学習により、解析モデル１１ｇに獲得させることができる。

図１４は、集合演算を含まないＮＮ４００の機械学習の一例を示す図である。図１４に例示するように、入力情報として「１」、「３」、「５」を利用して、集合演算を含まないＮＮ４００の機械学習を実行する場合、矢印Ａ～Ｃでそれぞれ示すように、同じデータを、並び順を変えてＮＮ４００に入力させることになる。例えば、矢印Ａでは入力４１０が「５」、「３」、「１」の順であり、矢印Ｂでは入力４１１が「１」、「５」、「３」の順であり、矢印Ｃでは入力４１２が「５」、「３」、「１」の順である。なお、教師情報４２０は矢印Ａ～Ｃで共通である。

図１４に例示するように、ＮＮ４００のような一般的なＮＮでは、入力する特徴量の並び順によって推論結果が変化するため、図１４に例示するように、並び方の組み合わせを考慮した機械学習が行なわれる。同じデータを入力とするＮＮ４００の機械学習を、データの並び順の組み合わせの回数に亘って繰り返すことは、ＮＮ４００の機械学習時間の増加につながる。また、データの並び順を変えるとＮＮ４００の出力が変わる性質は、撮像画像２１においてブロブの大きさ、数、位置等が不定であるという前提から、良否判定においては不適切である。

これに対し、一実施形態に係るサーバ１によれば、集合演算をＮＮ（解析モデル１１ｇ）に組み込むことにより、解析モデル１１ｇに入力される複数のブロブ画像１１ｅ及び複数の特徴量１１ｆの順序の考慮を不要とすることができる。従って、図１４の例と比較して、機械学習時間を低減することができる。また、データの並び順に依らずに、適切な良否判定を行なうことができる。

（出力データの一例）
次に、一実施形態に係るサーバ１（出力部１８）から出力される出力データの一例を説明する。上述したように、出力部１８は、出力データとして、推論結果１１ｉそのものに代えて又は加えて、例えば、中間生成情報そのもの、又は、中間生成情報に基づく良否判定の根拠についての解析結果を出力してもよい。

例えば、出力部１８又は中間生成情報を取得したコンピュータは、中間生成情報として得られるブロブ画像１１ｅ、ブロブ画像１１ｅから算出される特徴量１１ｆに基づき、サーバ１（良否判定システム）の判定根拠を解析することが可能である。

図１５は、ブロブ画像１１ｅ、特徴量１１ｆ及び推論結果１１ｉ（良否判定結果）の一例を示す図である。例えば、出力部１８は、図１５に例示するデータ（出力データ１５０、１５１）を出力してもよい。図１５の例において、良否判定結果（推論結果１１ｉ）は、不良品の尤度であり、「１」に近いほど不良品であるといえ、「０」に近いほど良品であるといえる。

図１５に示す出力データ１５０、１５１の各良否判定結果を例に挙げると、ブロブの個数の多さよりも、検出されたブロブの中に長さ又はサイズの大きいブロブが存在していることの方が、不良品と判定する根拠として、より採用され易いことがわかる。このように、中間生成情報を含む（又は中間生成情報に基づく）出力データ１５０、１５１の出力により、サーバ１のシステムの特性をより定量的に評価することが可能となる。

（一実施形態の効果）
以上のように、一実施形態に係るサーバ１は、検出モデル訓練データ１１０を用いて訓練された解析モデル１１ｇに検査対象画像１１ｈを入力することで、（例えばブロブ抽出処理を経て）検査対象画像１１ｈに含まれる複数のブロブ画像１１ｅを特定する。また、サーバ１は、解析モデル訓練データ１２０’を用いて訓練された解析モデル１１ｇに、特定した複数のブロブ画像１１ｅを入力することで、検査対象画像１１ｈに対する評価を行なう。これにより、検査対象画像１１ｈによる対象物３に対する評価の精度を向上することができる。

例えば、ブロブ抽出部１４が検出結果１１ｃから複数のブロブ画像１１ｅを個別に切り出すことによって、撮像画像２１の解像度による判定精度への影響を緩和できる。

また、解析モデル１１ｇとして、集合を入力とするＮＮを用いることで、検出されたブロブの順序の影響を受けず、且つ、ブロブの大きさ、形状及び個数等を加味した推論を実現でき、高い精度で良否判定を行なうことができる。

さらに、個々のブロブごとに良否判定を行なうことに代えて、複数のブロブを解析モデル１１ｇへの入力とすることにより、部品又は製品等の対象物３単位で、撮像画像２１（検査対象画像１１ｈ）に基づく良否判定を行なうことができる、

また、中間生成情報としてブロブ画像１１ｅ、及び、特徴量１１ｆの少なくとも一方を取得できるため、良否判定の根拠について解析することが可能となる。

さらに、ブロブに対して所定の特徴量抽出処理を行なった上で、ブロブ画像１１ｅ及び特徴量１１ｆに基づき解析モデル１１ｇに良否判定を実行させるため、ユーザのニーズに適合した性質を有するＡＩを開発することが容易になる。

また、サーバ１は、ブロブの特性に応じた特徴量抽出のチューニング、換言すれば、良否判定の目的等に応じた種別の抽出を行なうことで、ブロブの大きさ、形状、個数等、検査目的及び要件等を加味した上で、部品又は製品の良否判定を行なうことができる。良否判定の目的等に応じた種別の特徴量は、例えば、ユーザによって選定することが可能であるため、対象物３等に応じて柔軟に適切な良否判定を行なうことができる。

〔１－４〕ハードウェア構成例
一実施形態に係るサーバ１を実現する装置は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷ（Hardware）リソース及びＮＷ（Network）リソースを用いて実現されてもよい。

図１６は、一実施形態に係るサーバ１の機能を実現するコンピュータ１０のハードウェア（ＨＷ）構成例を示すブロック図である。サーバ１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１６に例示するＨＷ構成を備えてよい。

図１６に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、Ｉ／Ｏ（Input / Output）部１０ｅ、及び読取部１０ｆを備えてよい。

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。

メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

なお、図１に示すメモリ部１１が記憶する情報１１ａ～１１ｉは、メモリ１０ｂ及び記憶部１０ｃの一方又は双方が有する記憶領域に格納されてよい。

また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（評価プログラム）を格納してよい。例えば、サーバ１のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図１に例示するサーバ１（例えば制御部１９）としての機能を実現できる。

ＩＦ部１０ｄは、ネットワークの一方又は双方との間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、サーバ１は、ＩＦ部１０ｄを介して、図示しないコンピュータと相互に通信可能に接続されてよい。また、例えば、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。

Ｉ／Ｏ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。

読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。

記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、サーバ１において、Ｉ／Ｏ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。

〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。

例えば、図１に示すサーバ１が備える各処理機能１２～１８は、それぞれ任意の組み合わせで併合してもよく、分割してもよい。

また、サーバ１は、特徴量抽出部１５を備えない構成が許容されてもよい。換言すれば、サーバ１は、解析モデル１１ｇの機械学習及び推論において、ブロブ画像１１ｅからの特徴量１１ｆの取得を省略し、解析モデル１１ｇには、入力情報としてブロブ画像１１ｅを入力してもよい。

さらに、一実施形態では、撮像画像２１（画像１１１、１２１及び検査対象画像１１ｈ）として、例えば可視光を捉えるイメージセンサを有するカメラ２により撮像された画像が用いられるものとしたが、これに限定されるものではない。撮像画像２１としては、例えば、超音波画像、磁気共鳴画像、Ｘ線画像、温度又は電磁波等を捉えるセンサによる検出画像、並びに、非可視光を捉えるイメージセンサによる撮像画像、等の種々の画像が用いられてもよい。

また、図１に示すサーバ１は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、取得部１２及び出力部１８はＷｅｂサーバ、検出モデル訓練部１３、ブロブ抽出部１４、特徴量抽出部１５、解析モデル訓練部１６及び実行部１７はアプリケーションサーバ、メモリ部１１はＤＢ（Database）サーバ、であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１としての各処理機能を実現してもよい。

さらに、検出モデル訓練部１３及び解析モデル訓練部１６による機械学習処理、並びに、実行部１７による推論処理に係る各処理機能が、互いに異なる装置により提供されてもよい。この場合においても、これらの装置がネットワークを介して互いに連携することにより、サーバ１としての各処理機能を実現してもよい。

〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
１以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
処理をコンピュータに実行させる、評価プログラム。

（付記２）
前記第２訓練データは、前記１以上の部分画像のそれぞれから取得される所定の種別の特徴量を含み、
前記評価を行なう処理は、前記評価モデルに、前記特定した複数の部分画像と、前記特定した複数の部分画像のそれぞれから取得した前記所定の種別の特徴量とを入力することで、前記入力画像データに対する前記評価を行なう、処理を含む、
付記１に記載の評価プログラム。

（付記３）
前記取得した複数の特徴量は、前記評価の目的に応じて、前記特定した複数の部分画像に含まれる抽出対象の領域の長さ、面積、前記入力画像データにおける座標、のうちの少なくとも１種類の情報を含む、
付記２に記載の評価プログラム。

（付記４）
前記評価の結果と、前記特定した複数の部分画像とを出力する、
処理を前記コンピュータに実行させる、付記１～付記３のいずれか１項に記載の評価プログラム。

（付記５）
前記評価モデルは、集合演算が組み込まれたニューラルネットワークである、
付記１～付記４のいずれか１項に記載の評価プログラム。

（付記６）
前記第２訓練データに含まれる前記１以上の部分画像と、前記１以上の部分画像のそれぞれから取得した所定の種別の特徴量とを入力情報とし、前記評価結果を教師情報として利用することで、前記評価モデルの訓練を行なう、
処理を前記コンピュータに実行させる、
付記１～付記５のいずれか１項に記載の評価プログラム。

（付記７）
画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
１以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
処理をコンピュータが実行する、評価方法。

（付記８）
前記第２訓練データは、前記１以上の部分画像のそれぞれから取得される所定の種別の特徴量を含み、
前記評価を行なう処理は、前記評価モデルに、前記特定した複数の部分画像と、前記特定した複数の部分画像のそれぞれから取得した前記所定の種別の特徴量とを入力することで、前記入力画像データに対する前記評価を行なう、処理を含む、
付記７に記載の評価方法。

（付記９）
前記取得した複数の特徴量は、前記評価の目的に応じて、前記特定した複数の部分画像に含まれる抽出対象の領域の長さ、面積、前記入力画像データにおける座標、のうちの少なくとも１種類の情報を含む、
付記８に記載の評価方法。

（付記１０）
前記評価の結果と、前記特定した複数の部分画像とを出力する、
処理を前記コンピュータが実行する、付記７～付記９のいずれか１項に記載の評価方法。

（付記１１）
前記評価モデルは、集合演算が組み込まれたニューラルネットワークである、
付記７～付記１０のいずれか１項に記載の評価方法。

（付記１２）
前記第２訓練データに含まれる前記１以上の部分画像と、前記１以上の部分画像のそれぞれから取得した所定の種別の特徴量とを入力情報とし、前記評価結果を教師情報として利用することで、前記評価モデルの訓練を行なう、
処理を前記コンピュータが実行する、
付記７～付記１１のいずれか１項に記載の評価方法。

（付記１３）
画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
１以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
制御部、を備える情報処理装置。

（付記１４）
前記第２訓練データは、前記１以上の部分画像のそれぞれから取得される所定の種別の特徴量を含み、
前記制御部は、前記評価を行なう処理において、前記評価モデルに、前記特定した複数の部分画像と、前記特定した複数の部分画像のそれぞれから取得した前記所定の種別の特徴量とを入力することで、前記入力画像データに対する前記評価を行なう、
付記１３に記載の情報処理装置。

（付記１５）
前記取得した複数の特徴量は、前記評価の目的に応じて、前記特定した複数の部分画像に含まれる抽出対象の領域の長さ、面積、前記入力画像データにおける座標、のうちの少なくとも１種類の情報を含む、
付記１４に記載の情報処理装置。

（付記１６）
前記制御部は、前記評価の結果と、前記特定した複数の部分画像とを出力する、
付記１３～付記１５のいずれか１項に記載の情報処理装置。

（付記１７）
前記評価モデルは、集合演算が組み込まれたニューラルネットワークである、
付記１３～付記１６のいずれか１項に記載の情報処理装置。

（付記１８）
前記制御部は、前記第２訓練データに含まれる前記１以上の部分画像と、前記１以上の部分画像のそれぞれから取得した所定の種別の特徴量とを入力情報とし、前記評価結果を教師情報として利用することで、前記評価モデルの訓練を行なう、
付記１３～付記１７のいずれか１項に記載の情報処理装置。

１ システム
１０ コンピュータ
１１ メモリ部
１１ａ 検出モデル訓練データセット
１１ｂ 検出モデル
１１ｃ 検出結果
１１ｄ、１１ｄ’ 解析モデル訓練データセット
１１ｅ ブロブ画像
１１ｆ 特徴量
１１ｇ 解析モデル
１１ｈ 検査対象画像
１１ｉ 推論結果
１１０ 検出モデル訓練データ
１１１、１２１ 画像
１１２ アノテーション画像
１２０、１２０’ 解析モデル訓練データ
１２２ 良否ラベル
１２ 取得部
１３ 検出モデル訓練部
１４ ブロブ抽出部
１５ 特徴量抽出部
１６ 解析モデル訓練部
１７ 実行部
１８ 出力部
１９ 制御部
２ カメラ
２１ 撮像画像
３ 対象物
３１ 基板
３２ シート
３３ ガラス板
３４ ボルト・ナット
３５ 缶類

Claims (7)

1. 画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
   １以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
   処理をコンピュータに実行させる、評価プログラム。
2. 前記第２訓練データは、前記１以上の部分画像のそれぞれから取得される所定の種別の特徴量を含み、
   前記評価を行なう処理は、前記評価モデルに、前記特定した複数の部分画像と、前記特定した複数の部分画像のそれぞれから取得した前記所定の種別の特徴量とを入力することで、前記入力画像データに対する前記評価を行なう、処理を含む、
   請求項１に記載の評価プログラム。
3. 前記取得した複数の特徴量は、前記評価の目的に応じて、前記特定した複数の部分画像に含まれる抽出対象の領域の長さ、面積、前記入力画像データにおける座標、のうちの少なくとも１種類の情報を含む、
   請求項２に記載の評価プログラム。
4. 前記評価の結果と、前記特定した複数の部分画像とを出力する、
   処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の評価プログラム。
5. 前記評価モデルは、集合演算が組み込まれたニューラルネットワークである、
   請求項１～請求項４のいずれか１項に記載の評価プログラム。
6. 画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
   １以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
   処理をコンピュータが実行する、評価方法。
7. 画像データと前記画像データにおける抽出対象の部分画像とを関連付けた第１訓練データの集合である訓練データセットを用いて訓練された検出モデルに入力画像データを入力することで、前記入力画像データに含まれる複数の部分画像を特定し、
   １以上の部分画像と前記１以上の部分画像を含む画像の被写体である対象物に対する評価結果とを関連付けた第２訓練データを用いて訓練された評価モデルに、特定した前記複数の部分画像を入力することで、前記入力画像データに対する評価を行なう、
   制御部、を備える情報処理装置。

Images