JP2022136618A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】計測画像の誤分類を抑制することのできる、画像処理装置及び画像処理方法を提供する。【解決手段】検査対象物の計測画像（３２７）を分類するための画像処理装置（３０）であって、計測画像（３２７）の特徴量と学習画像の特徴量とに基づいて、計測画像（３２７）の評価値（３２８）を算出する算出部（３５０）と、計測画像（３２７）の評価値（３２８）に基づいて、計測画像（３２７）の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定する判定部（３６０）と、を備える。【選択図】図３

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、この種の情報処理装置として、対象物体の欠陥を検出する情報処理装置であって、対象物体に複数の方向から光を照射して撮像された画像群を取得する取得手段と、画像群に含まれるそれぞれの画像の輝度情報に基づいて、画像の小領域ごとに輝度プロファイルを生成する生成手段と、小領域毎に生成された輝度プロファイルに基づいて、対象物体における欠陥を検出する検出手段とを備えるものが知られている（特許文献１参照）。特許文献１の情報処理装置は、事前学習して得られたデータを用いることなく対象物体の欠陥を検出している。

特開２０１６－１６６８４２号公報

一方、検査対象物を撮影した計測画像において、検査対象物の種類、例えば、欠陥なし又は欠陥あり、及び欠陥ありであるときのその欠陥の種類の分類を求められることがある。

そのために、計測画像の特徴量とあらかじめ分類の分かっている学習画像の特徴量とに基づいて、当該計測画像を分類する方法が提案されている。

しかしながら、計測画像の特徴量が学習画像の特徴量と比較して外れ値である場合、そのような計測画像は既存の分類のいずれにも属さないにもかからず、上記方法では最も近い分類が与えられてしまう。その結果、計測画像を誤って分類してしまうことがあった。

本発明は、このような事情に鑑みてなされたものであり、計測画像の誤分類を抑制することのできる、画像処理装置及び画像処理方法を提供することを目的の１つとする。

本開示の一態様に係る画像処理装置は、検査対象物の計測画像を分類するための画像処理装置であって、計測画像の特徴量と学習画像の特徴量とに基づいて、計測画像の評価値を算出する算出部と、計測画像の評価値に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定する判定部と、を備える。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに基づいて算出された計測画像の評価値に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定する。これにより、当該計測画像を、既存の分類以外、例えば計測エラー等として除外することが可能になる。従って、計測画像の誤分類を抑制することができる。

前述した態様において、算出部は、複数の特徴量で表現される特徴空間における計測画像の点と学習画像の点との間の距離に基づいて、計測画像の評価値を算出してもよい。

この態様によれば、複数の特徴量で表現される特徴空間における計測画像の点と学習画像の点との間の距離に基づいて、計測画像の評価値が算出される。これにより、計測画像の特徴量が学習画像の特徴量に対して外れ値であるかを評価する計測画像の評価値を、簡単かつ容易に算出することができる。

前述した態様において、算出部は、複数の特徴量で表現される特徴空間における計測画像の点と学習画像の点との間の密度に基づいて、計測画像の評価値を算出してもよい。

この態様によれば、複数の特徴量で表現される特徴空間における計測画像の点と学習画像の点との間の密度に基づいて、計測画像の評価値が算出される。これにより、さらに高精度な計測画像の評価値を、簡単かつ容易に算出することができる。

前述した態様において、学習画像と該学習画像に付与された分類とに基づいて、計測画像を分類する分類部をさらに備えてもよい。

この態様によれば、学習画像と該学習画像に付与された分類とに基づいて、計測画像が分類される。これにより、あらかじめ分類の分かっている学習画像から、計測画像が属する分類を推定することができる。

前述した態様において、計測画像及び学習画像は、それぞれ、欠陥を含み得る検査対象物の画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの該欠陥の種類を示すクラスとを含んでもよい。

この態様によれば、計測画像及び学習画像は、それぞれ、欠陥を含み得る検査対象物の画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの当該欠陥の種類を示すクラスとを含む。これにより、計測画像の欠陥の有無及びその種類を分類することが可能となる。

前述した態様において、分類部は、学習画像の特徴量と分類とを用いて学習させた学習済みモデルに計測画像の特徴量を入力し、該学習済みモデルから計測画像の分類を出力させてもよい。

この態様によれば、学習画像の特徴量と分類とを用いて学習させた学習済みモデルに計測画像の特徴量を入力し、当該学習済みモデルから計測画像の分類が出力される。これにより、さらに高精度な計測画像の分類を簡単かつ容易に得ることができる。

前述した態様において、学習画像の特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成する学習部をさらに備えてもよい。

この態様によれば、学習画像の特徴量を入力とし、学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルが生成される。これにより、学習済みモデル生成装置がなくても、学習済みモデルを得ることができる。

前述した態様において、複数の特徴量のそれぞれの指標に基づいて、複数の特徴量から少なくとも１つを選択する選択部をさらに備え、学習部は、学習画像における選択された特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成し、分類部は、学習済みモデルに計測画像における選択された特徴量を入力し、該学習済みモデルから計測画像の分類を出力させてもよい。

この態様によれば、学習画像における複数の特徴量から選択された特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成させ、分類部は、学習済みモデルに計測画像における選択された特徴量を入力し、該学習済みモデルから計測画像の分類を出力させる。これにより、学習時間を短縮することができるともに、学習済みモデルの過学習と計測画像の分類精度の低下とを抑制することができる。

前述した態様において、算出部は、計測画像における選択された特徴量と学習画像における選択された特徴量とに基づいて、計測画像の評価値を算出してもよい。

この態様によれば、計測画像における選択された特徴量と学習画像における選択された特徴量とに基づいて、計測画像の評価値が算出される。これにより、特徴量の数（次元）を削減されるので、さらに高精度な計測画像の評価値を、さらに少ない計算量で算出することができる。

前述した態様において、判定部による判定結果と分類部による分類とに基づいて、計測画像の適否を出力する出力部をさらに備えてもよい。

この態様によれば、判定部による判定結果と分類部による分類とに基づいて、計測画像の適否を出力する。これにより、分類に適さない、又は、欠陥を含む計測画像を、容易に除外することができる。

前述した態様において、判定部は、計測画像の評価値としきい値との比較に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定してもよい。

この態様によれば、計測画像の評価値としきい値との比較に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かが判定される。これにより、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを、容易に判定することができる。

前述した態様において、算出部は、一の学習画像の特徴量と他の学習画像の特徴量とに基づいて、一の学習画像の評価値を算出し、しきい値は、学習画像の評価値に基づいて設定されてもよい。

この態様によれば、しきい値が学習画像の評価値に基づいて設定される。これにより、適切なしきい値を容易に設定することができる。

前述した態様において、計測画像の特徴量と学習画像の特徴量とに基づく座標系に、計測画像の点と学習画像の点とをプロットしたグラフを作成する作成部、をさらに備えてもよい。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに基づく座標系に計測画像の点と学習画像の点とをプロットしたグラフが作成される。これにより、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを視覚的に確認することが可能になる。

本開示の他の態様に係る画像処理方法は、検査対象物の計測画像を分類するための画像処理方法であって、計測画像の特徴量と学習画像の特徴量とに基づいて、計測画像の評価値を算出するステップと、計測画像の評価値に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定するステップと、を含む。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに基づいて算出された計測画像の評価値に基づいて、計測画像の特徴量が学習画像の特徴量に対して外れ値であるか否かを判定する。これにより、当該計測画像を、既存の分類以外、例えば計測エラー等として除外することが可能になる。従って、計測画像の誤分類を抑制することができる。

本発明によれば、計測画像の誤分類を抑制することができる。

図１は、一実施形態における画像検査システムの概略構成を例示する構成図である。 図２は、一実施形態における学習済みモデル生成装置、画像検査装置、及び画像処理装置の物理的構成を示す構成図である。 図３は、一実施形態における画像処理装置の機能ブロックの構成を示す構成図である。 図４は、学習データの一例を示す図である。 図５は、計測画像の特徴量及び評価値と、学習画像の特徴量及び評価値との一例を示す図である。 図６は、計測画像の一例を示す図である。 図７は、出力画面の第１例を示す図である。 図８は、出力画面の第２例を示す図である。 図９は、出力画面の第３例を示す図である。 図１０は、出力画面の第４例を示す図である。 図１１は、作成部によって作成されるグラフの一例を示す図である。 図１２は、特徴量選択画面の一例を示す図である。 図１３は、一実施形態における画像処理装置が行う画像処理の一例を説明するためのフローチャートである。

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

まず、図１を参照しつつ、一実施形態に従う画像検査システムの構成について説明する。図１は、一実施形態における画像検査システム１の概略構成を例示する構成図である。

図１に示すように、画像検査システム１は、学習済みモデル生成装置１０と、画像検査装置２０と、画像処理装置３０と、照明ＩＬとを含んでいる。学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、通信ネットワークＮＷを介して、互いに通信可能に接続されている。照明ＩＬは、検査対象物ＴＡに光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物ＴＡを計測した画像（以下、「計測画像」ともいう）に基づいて、検査対象物ＴＡの検査を行う。より詳細には、画像検査装置２０は、計測画像に基づいて、検査対象物ＴＡが良品であるか不良品であるかを判定したり、検査対象物ＴＡが欠陥を含むか否かを判定したりする。

学習済みモデル生成装置１０は、画像処理装置３０が計測画像を分類するために用いる学習済みモデルを生成する。また、学習済みモデル生成装置１０は、画像検査装置２０が検査を行うために用いる学習済みモデルを生成してもよい。

画像処理装置３０は、検査対象物ＴＡの計測画像を分類するためのものである。計測画像は検査対象物ＴＡの画像であり、検査対象物ＴＡには、例えば製造工程において欠陥が生じることがある。欠陥は、特に限定されるものではないが、例えば、欠け、傷、薄い汚れ、濃い汚れ、クラック、バリ、付着物、異物、打痕、色等のムラ、印字のかすれ、印字等の位置ずれ等の視認可能なものを含む。よって、計測画像は、このような欠陥の部分画像（以下、単に「欠陥」ともいう）を含み得る。

前述したように、画像検査装置２０は、計測画像に基づいて検査対象物ＴＡが欠陥を含むか否かを判定することが可能である。一方、画像処理装置３０は、計測画像に基づいて、当該計測画像における欠陥の有無、及び、欠陥があるときの当該欠陥の種類を分類することが可能である。そのため、画像処理装置３０は、例えば、計測画像の分析や解析、計測画像に含まれ得る欠陥の原因の推定及び／又は絞り込みに有用である。

次に、図２を参照しつつ、一実施形態に従う学習済みモデル生成装置、画像検査装置、及び画像処理装置の物理的構成について説明する。図２は、一実施形態における学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０の物理的構成を示す構成図である。

図２に示すように、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、プロセッサ３１と、メモリ３２と、記憶装置３３と、通信装置３４と、入力装置３５と、出力装置３６と、を備える。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

プロセッサ３１は、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０の各部の動作を制御するように構成されている。プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））、ＳｏＣ（Ｓｙｓｍｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等の集積回路を含んで構成される。

メモリ３２及び記憶装置３３は、それぞれ、プログラムやデータ等を記憶するように構成されている。メモリ３２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）及び／又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。記憶装置３３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及び／又はｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）等のストレージから構成される。

通信装置３４は、有線及び無線の少なくとも一方のネットワークを介して通信を行うように構成されている。通信装置３４は、例えば、ネットワークカード、通信モジュール、他の機器に接続するインターフェース等を含んで構成される。

入力装置３５は、ユーザの操作により情報を入力できるように構成されている。入力装置３５は、例えば、キーボード、タッチパネル、マウス、ポインティングデバイス、及び／又はマイク等を含んで構成される。

出力装置３６は、情報を出力するように構成されている。出力装置３６は、例えば液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置、及び／又はスピーカ等を含んで構成される。

なお、図２に示す例では、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０が、それぞれ、一台のコンピュータで構成される場合について説明するが、これに限定されるものではない。学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、これら以外の構成を備えてもよいし、これらの構成のうち一部を備えなくてもよい。

次に、図３から図１２を参照しつつ、一実施形態に従う画像処理装置の機能ブロックについて説明する。図３は、一実施形態における画像処理装置３０の機能ブロックの構成を示す構成図である。図４は、学習用データ３２１の一例を示す図である。図５は、計測画像３２７の特徴量及び評価値３２８と、学習画像３２１ａの特徴量及び評価値３２２との一例を示す図である。図６は、計測画像３２７の一例を示す図である。図７は、出力画面ＯＳの第１例を示す図である。図８は、出力画面ＯＳの第２例を示す図である。図９は、出力画面ＯＳの第３例を示す図である。図１０は、出力画面ＯＳの第４例を示す図である。図１１は、作成部３８０によって作成されるグラフの一例を示す図である。図１２は、特徴量選択画面ＳＳの一例を示す図である。

図３に示すように、画像処理装置３０は、通信部３１０と、記憶部３２０と、学習部３３０と、分類部３４０と、算出部３５０と、判定部３６０と、出力部３７０と、作成部３８０と、選択部３９０と、を備える。

通信部３１０は、各種の情報を送信及び受信可能に構成されている。通信部３１０は、例えば、通信ネットワークＮＷを介して、学習済みモデル生成装置１０又は他の装置から複数の学習用データ３２１を受信する。また、通信部３１０は、例えば、通信ネットワークＮＷを介して、画像検査装置２０又は他の装置から計測画像３２７を受信する。さらに、通信部３１０は、例えば、通信ネットワークＮＷを介して、学習済みモデル生成装置１０から学習済みモデル３２５を受信する。受信した複数の学習用データ３２１、学習済みモデル３２５、及び計測画像３２７は、記憶部３２０に書き込まれて記憶される。なお、通信部３１０は、複数の学習用データ３２１及び計測画像３２７のみを受信してもよい。通信部３１０が複数の学習用データ３２１及び計測画像３２７のみを受信する場合、後述する学習部３３０は、複数の学習用データ３２１を用いて学習済みモデル３２５を生成する。

記憶部３２０は、各種の情報を記憶するように構成されている。記憶部３２０は、例えば、複数の学習用データ３２１と、学習済みモデル３２５と、計測画像３２７とを記憶する。このように、学習済みモデル３２５を記憶する記憶部３２０を備えることにより、学習済みモデルを容易に読み出すことができる。

学習部３３０は、記憶部３２０に記憶された複数の学習用データ３２１を用い、学習モデルの機械学習を実行し、学習済みモデル３２５を生成するように構成されている。生成した学習済みモデル３２５は、記憶部３２０に書き込まれて記憶される。

より詳細には、学習部３３０は、学習用データ３２１に含まれる学習画像の特徴量を入力とし、当該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成するように構成されている。

図４に示すように、複数の学習用データ３２１は、それぞれ、学習画像３２１ａ及びラベルデータ３２１ｂを含んでいる。すなわち、各学習用データ３２１は、学習画像３２１ａとラベルデータ３２１ｂとの組合せで構成されている。学習画像３２１ａは、前述した計測画像３２７と同様に、欠陥を含み得る検査対象物ＴＡの画像である。

一般的に、ラベルデータは、学習モデルの機械学習の際に、当該学習モデルに入力される入力データの性質を表すデータである。別の言い方をすれば、ラベルデータは、当該学習モデルが出力すべきデータであり、学習の目標とされるデータである。本実施形態では、ラベルデータ３２１ｂは、対応する学習画像３２１ａの分類、厳密には、対応する学習画像３２１ａの特徴量に基づく分類である。このように、学習用データ３２１において、学習画像３２１ａには分類が付与されている。この分類は、学習画像３２１ａに欠陥を含まない（以下、「欠陥がない」又は「欠陥なし」ともいう）ことを示すクラスと、学習画像３２１ａに欠陥を含む（以下、「欠陥がある」又は「欠陥あり」ともいう）ときの当該欠陥の種類を示すクラスとを含んでいる。

より詳細には、ラベルデータ３２１ｂに、対応する学習画像３２１ａの分類を示すクラスが設定されており、当該クラスはＩＤで表されている。例えば、ラベルデータ３２１ｂが“０”（ＩＤ：０）である場合、対応する学習画像３２１ａは“欠陥なし”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“１”（ＩＤ：１）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“欠け”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“２”（ＩＤ：２）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“傷”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“３”（ＩＤ：３）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“濃い汚れ”であることを示すクラスに分類される。さらに、ラベルデータ３２１ｂが“４”（ＩＤ：４）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“薄い汚れ”であることを示すクラスに分類される。

このように、計測画像３２７及び学習画像３２１ａは、それぞれ、欠陥を含み得る検査対象物ＴＡの画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの当該欠陥の種類を示すクラスとを含むことにより、計測画像３２７の欠陥の有無及びその種類を分類することが可能となる。

ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。学習モデルの機械学習の際に、当該学習モデルに入力される学習画像３２１ａの特徴量は、例えば、欠陥を含み得る検査対象物ＴＡの画像であることを特徴づけるものである。具体的には、学習画像３２１ａの特徴量は、面積、重心位置のｘ座標、重心位置のｙ座標、扁平率、画像の濃度平均等で表される濃淡値等が挙げられる。一般的に、学習画像３２１ａは、１種類の特徴量だけで検査対象物ＴＡの画像であることを認識可能である場合は少なく、複数種類の特徴量を用いて検査対象物ＴＡの画像であることを認識できる場合が多い。

この１つ又は複数の特徴量を成分としてベクトル形式で表現したものが特徴ベクトルである。特徴量の数（個数）は、当該特徴ベクトルの次元（次元数）を表す。特徴ベクトルで表現される空間、別の言い方をすれば、特徴ベクトルによって張られる空間は、特徴空間と呼ばれ、特徴ベクトルは特徴空間上の１点として表される。よって、特徴空間は、特徴量に基づく座標系であるといえる。

学習部３３０は、学習部３３０は、学習画像３２１ａから１つ又は複数の特徴量を算出し、算出した特徴量を学習モデルに入力する。なお、学習モデルに入力される特徴量は、学習画像３２１ａに基づいてあらかじめ算出され、学習用データ３２１に含まれていてもよい。さらに、学習画像３２１ａについて複数の特徴量が使用される場合、後述するように、当該複数の特徴量から選択された少なくとも１つの特徴量を学習モデルに入力してもよい。

学習済みモデル３２５の生成には、例えば、Ｋ近傍法、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木、回帰モデル、ニューラルネットワーク等の学習モデルが使用可能である。例えば、学習モデルがニューラルネットワークである場合、学習画像３２１ａの特徴量を入力し、その出力とラベルデータとの差に基づいて、誤差逆伝播法にニューラルネットワークの重みを更新する。このプロセスを複数の学習用データ３２１のそれぞれについて行うことで、学習済みモデル３２５が生成される。なお、学習モデルは、前述したものに限定されず、学習部３３０は、その他のアルゴリズムを用いて学習済みモデル３２５を生成してもよい。

このように、学習画像３２１ａの特徴量を入力とし、学習画像３２１ａの分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成することにより、学習済みモデル生成装置１０がなくても、学習済みモデル３２５を得ることができる。

なお、通信部３１０が、通信ネットワークＮＷを介して、学習済みモデル生成装置１０から学習済みモデル３２５を受信する場合、学習済みモデル生成装置１０は、学習部３３０と同様の機能を有する。すなわち、学習済みモデル生成装置１０は、学習部３３０についての説明と同様の方法で、学習モデルを学習させて学習済みモデル３２５を生成する。そのため、学習済みモデル生成装置１０については、その詳細な説明を省略する。

図３の説明に戻り、分類部３４０は、学習画像３２１ａと該学習画像３２１ａに付与された分類とに基づいて、計測画像３２７を分類するように構成されている。これにより、あらかじめ分類の分かっている学習画像３２１ａから、計測画像３２７が属する分類を推定することができる。

より詳細には、分類部３４０は、学習画像３２１ａの特徴量と分類とを用いて学習させた学習済みモデル３２５に計測画像３２７の特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させるように構成されている。

具体的には、分類部３４０は、記憶部３２０に記憶された学習済みモデル３２５及び計測画像３２７をそれぞれ読み出し、学習済みモデル３２５に計測画像３２７の特徴量を入力して計測画像３２７の分類を出力させる。学習済みモデル３２５から出力された計測画像３２７の分類は、記憶部３２０に書き込まれて記憶される。また、分類部３４０は、出力された計測画像３２７の分類を出力部３７０に出力する。さらに、分類部３４０は、出力された計測画像３２７の分類を前述した出力装置３６に出力し、当該分類は表示装置等に表示される。なお、分類部３４０は、学習済みモデル３２５の出力をそのまま計測画像３２７の分類として用いなくてもよく、任意の後処理を行ってよい。

このように、学習画像３２１ａの特徴量と分類とを用いて学習させた学習済みモデル３２５に計測画像３２７の特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させることにより、さらに高精度な計測画像３２７の分類を簡単かつ容易に得ることができる。

本実施形態では、分類部３４０が学習済みモデル３２５を用いて計測画像３２７の分類を得る例を示したが、これに限定されるものではない。例えば、分類部３４０は、マハラノビス距離に基づいて計測画像３２７を分類してもよい。この場合、分類部３４０は、所定の座標系において、複数の学習画像３２１ａの分類ごとに形成される複数の点群（グループ）に対し、計測画像３２７の点とそれぞれの点群との間のマハラノビス距離を算出する。そして、分類部３４０は、マハラノビス距離が最小となるような点群のクラスに属するものとして、計測画像３２７の分類を決定する。

また、分類部３４０は、１つの分類手法によって計測画像３２７を分類する場合に限定されず、複数の分類手法から選択した１つ以上の分類手法を用いて、計測画像３２７を分類してもよい。この場合、分類手法ごとに、当該分類手法に従う計測画像３２７の分類が得られる。また、記憶部３２０は、各分類手法に従ってそれぞれ学習させた複数の学習済みモデルを記憶していてもよい。

算出部３５０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づいて、計測画像３２７の評価値を算出するように構成されている。算出部３５０は、算出した計測画像３２７の評価値３２８を判定部３６０に出力する。また、当該評価値３２８は、記憶部３２０に書き込まれて記憶される。算出部３５０は、少なくとも１つの特徴量に基づいて計測画像３２７の評価値を算出すればよく、計測画像３２７及び学習画像３２１ａが複数の特徴量で特徴付けられる場合、計測画像３２７及び学習画像３２１ａにおける当該複数の特徴量に基づいて、計測画像３２７の評価値を算出してもよい。また、算出部３５０は、少なくとも１つの学習画像３２１ａの特徴量に基づいて計測画像３２７の評価値を算出すればよく、複数の学習画像３２１ａが存在する場合、当該複数の学習画像３２１ａの特徴量のそれぞれに基づいて、計測画像３２７の評価値を算出してもよい。

また、算出部３５０は、一の学習画像３２１ａの特徴量と他の学習画像３２１ａの特徴量とに基づいて、当該一の学習画像３２１ａの評価値３２２を算出するように構成されている。他の学習画像３２１ａは、１つであってもよいし複数であってもよい。また、複数の学習画像３２１ａが存在する場合、算出部３５０は、複数の学習画像３２１ａのそれぞれについて、当該学習画像３２１ａの特徴量と他の学習画像３２１ａの特徴量とに基づいて、当該学習画像３２１ａの評価値３２２を算出する。算出された評価値３２２は、記憶部３２０に書き込まれて記憶される。

ここで、図５に示すように、計測画像３２７と複数の学習画像３２１ａとは、それぞれ、例えば第１特徴量から第５特徴量の５つの特徴量で特徴付けられる。第１特徴量は、例えば画像の面積であり、単位はピクセルである。第２特徴量は、例えば画像の重心のｘ座標であり、単位はピクセルである。第３特徴量は、例えば画像の重心のｙ座標であり、単位はピクセルである。第４特徴量は、例えば画像の扁平率であり、ゼロから１の値であって単位なし（無次元）である。第５特徴量は、例えば画像の濃淡値であり、ゼロから２５５の明度であって単位なし（無次元）である。

前述したように、複数の学習画像３２１ａには、それぞれ、ラベルデータ３２１ｂとして、分類が付与されている。この分類は、“０”から“４”のＩＤで識別される５つのクラスを含んでいる。また、計測画像３２７には、分類部３４０によって分類が付与される。図５に示す例では、計測画像３２７の分類は、ＩＤが“４”で識別されるクラスであって、図４を用いて説明した例では、“欠陥あり”で、欠陥の種類が“薄い汚れ”である。

図５に示す例における計測画像３２７は、例えば、図６に示すような画像である。この計測画像３２７は、前述したＩＤが“１”から“４”で識別される“欠陥あり”のクラスに分類される種類の欠陥は含んでいない。その一方、ＩＤが“１”で識別される“欠陥なし”のクラスに分類される、図４に示した学習画像３２１ａと比べて、図６に示す計測画像３２７は、右下部分に切欠きを有しており、外形状が異なっている。よって、当該計測画像３２７は、その特徴量が学習画像３２１ａの特徴量に対して外れ値であると考えられる。このように、特徴量が外れ値である計測画像３２７は、他にも、例えば、検査対象物ＴＡが未完成品である場合、検査対象物ＴＡを撮影する際に、当該検査対象物ＴＡの位置がずれていて、検査対象物ＴＡの一部が含まれていない場合、あるいは、計測画像３２７に検査対象物ＴＡの画像が含まれていない場合等が挙げられる。

従来、計測画像３２７の特徴量が学習画像３２１ａの特徴量と比較して外れ値であると、本来であれば計測画像は既存の分類のいずれにも属さないにもかからず、学習画像に付与された分類の中で最も近い分類が与えられていた。その結果、計測画像３２７を誤って分類してしまうことがあった。

これに対し、本実施形態の画像処理装置３０は、算出部３５０が、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づいて、計測画像３２７の評価値３２８を算出する。図５に示す例では、計測画像３２７の評価値３２８は、“３．２２”である。また、算出部３５０は、複数の学習画像３２１ａのそれぞれについて、当該学習画像３２１ａの特徴量と他の学習画像３２１ａの特徴量とに基づいて、当該学習画像３２１ａの評価値３２２を算出する。図５に示す例では、各学習画像３２１ａの評価値３２２のうち、最大値が“２．０１”である。計測画像３２７の評価値３２８は、複数の学習画像３２１ａのそれぞれの評価値３２２と比較して、例えば、相対的に高い値になっている。

計測画像３２７の評価値は、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるかを評価するためのものである。別の言い方をすれば、計測画像３２７の評価値は、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かの判定基準となる値である。そのため、計測画像３２７の評価値は、計測画像３２７及び学習画像３２１ａの特徴量で表現される特徴空間において、計測画像３２７と学習画像３２１ａとの分布に基づくものであることが好ましい。

より詳細には、算出部３５０は、複数の特徴量で表現される特徴空間における計測画像３２７の点と学習画像３２１ａの点との間の距離に基づいて、計測画像３２７の評価値を算出するように構成されていてもよい。具体的には、計測画像３２７の評価値は、複数の学習画像３２１ａが存在する場合、計測画像３２７の点に最も近い学習画像３２１ａの点との間の距離である。当該距離は、一般的に用いられるユークリッド距離に限定されず、マハラノビス距離等の他の距離であってもよい。

このように、複数の特徴量で表現される特徴空間における計測画像３２７の点と学習画像３２１ａの点との間の距離に基づいて、計測画像３２７の評価値を算出することにより、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるかを評価する計測画像３２７の評価値を、簡単かつ容易に算出することができる。

また、計測画像３２７の評価値は、複数の特徴量で表現される特徴空間における分布のうち、特に、密度に基づくものであることが好ましい場合がある。より詳細には、算出部３５０は、複数の特徴量で表現される特徴空間における計測画像３２７の点と学習画像３２１ａの点との間の密度に基づいて、計測画像３２７の評価値を算出するように構成されていてもよい。計測画像３２７の点と学習画像３２１ａの点との間の密度を推定する方法として、例えば、局所外れ値因子法（ＬＯＦ：Ｌｏｃａｌ Ｏｕｔｌｉｅｒ Ｆａｃｔｏｒ）が用いられる。局所外れ値因子法を用いる場合、特徴空間における計測画像３２７の点と、当該計測画像３２７の点から近傍のｋ個（ｋは１以上の整数）の学習画像３２１ａの点との間の局所密度という指標に基づいて、計測画像３２７の評価値が算出される。この局所外れ値因子法を用いると、局所的な密度の違いを考慮することができ、特徴空間における計測画像３２７の点と学習画像３２１ａの点とのが複雑に分布している場合に特に有効である。なお、特徴空間における計測画像３２７の点と学習画像３２１ａの点との間の密度は、局所外れ値因子法を用い場合に限定されず、例えば、ｋ最近傍法（ｋ－ＮＮ：ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）やＯｎｅ Ｃｌａｓｓ ＳＶＭ等の方法を用いてもよい。

このように、複数の特徴量で表現される特徴空間における計測画像３２７の点と学習画像３２１ａの点との間の密度に基づいて、計測画像３２７の評価値を算出することにより、さらに高精度な計測画像３２７の評価値を、簡単かつ容易に算出することができる。

図３の説明に戻り、判定部３６０は、計測画像３２７の評価値３２８に基づいて、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを判定するように構成されている。判定部３６０は、判定結果を出力部３７０に出力する。

このように、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づいて算出された計測画像３２７の評価値３２８に基づいて、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを判定することにより、当該計測画像３２７を、既存の分類以外、例えば計測エラー等として除外することが可能になる。従って、計測画像３２７の誤分類を抑制することができる。

より詳細には、判定部３６０は、計測画像３２７の評価値３２８としきい値３２３との比較に基づいて、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを判定するように構成されている。これにより、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを、容易に判定することができる。

しきい値３２３は、学習画像３２１ａの評価値３２２に基づいて、設定される。設定されたしきい値３２３は、記憶部３２０に書き込まれて記憶される。複数の学習画像３２１ａが存在する場合、しきい値３２３は、当該複数の学習画像３２１ａの評価値３２２のそれぞれに基づいて、設定される。しきい値の設定は、例えば、操作者（ユーザ）の入力操作に従って行われる。操作者（ユーザ）は、例えば、図５に示す学習画像３２１ａの評価値３２２を見て、適切な値、例えば“３．００”をしきい値３２３に設定する。あるいは、算出部３５０は、算出された複数の学習画像３２１ａの評価値３２２のうちの最大値に所定値を加算したものを、しきい値３２３に設定してもよい。なお、しきい値３２３は、１つである場合に限定されず、例えば、上限値及び下限値である場合等、複数存在してもよい。

このように、しきい値３２３が学習画像３２１ａの評価値３２２に基づいて設定されることにより、適切なしきい値３２３を容易に設定することができる。

出力部３７０は、判定部３６０による判定結果と分類部３４０による分類とに基づいて、計測画像３２７の適否を出力するように構成されている。出力部３７０は、計測画像３２７の適否を、前述した出力装置３６に出力し、当該計測画像３２７の適否は表示装置等に表示される。

図７に示すように、計測画像３２７の適否を出力するための出力画面ＯＳが表示される。出力部３７０は、出力画面ＯＳの表示に必要なデータを生成し、生成したデータを前述した出力装置３６に出力することで、出力画面ＯＳを表示装置等に表示することができる。出力画面ＯＳは、例えば、第１領域Ｒ１１と、第２領域Ｒ１２と、第３領域Ｒ１３と、第４領域Ｒ１４と、を含んでいる。

第１領域Ｒ１１は、計測画像３２７を表示するためのものである。図７に示す例では、第１領域Ｒ１１に、ＩＤが“０”で識別される“欠陥なし”のクラスに分類される計測画像３２７が表示されている。

第２領域Ｒ１２は、第１領域Ｒ１１に表示された計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを表示するためのものである。出力部３７０は、判定部３６０から入力された判定結果に基づいて、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値である場合に“ＮＧ”を表示し、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値でない場合に“ＯＫ”を表示する。図７に示す例では、第１領域Ｒ１１に表示された計測画像３２７の評価値が、例えばしきい値３２３以下であるから、第２領域Ｒ１２に“ＯＫ”が表示される。

第３領域Ｒ１３は、第１領域Ｒ１１に表示された計測画像３２７が欠陥を含むか否かを表示するためのものである。出力部３７０は、分類部３４０から入力された計測画像３２７の分類に基づいて、計測画像３２７が欠陥を含む場合に“ＮＧ”を表示し、計測画像３２７が欠陥を含まない場合に“ＯＫ”を表示する。図７に示す例では、第１領域Ｒ１１に表示された計測画像３２７の分類はＩＤが“０”で識別される“欠陥なし”のクラスであるから、第３領域Ｒ１３に“ＯＫ”が表示される。

第４領域Ｒ１４は、第１領域Ｒ１１に表示された計測画像３２７が適切か否か、つまり、計測画像３２７の適否を表示するためのものである。出力部３７０は、判定部３６０による判定結果と、分類部３４０による分類とに基づいて、計測画像３２７が適切でない場合に“ＮＧ”を表示し、計測画像３２７が適切である場合に“ＯＫ”を表示する。

本実施形態では、計測画像３２７が適切であるとは、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値でなく、かつ、計測画像３２７が欠陥を含まない場合である。別の言い方をすれば、第２領域Ｒ１２の表示が“ＯＫ”、かつ、第３領域Ｒ１３の表示が“ＯＫ”であるときに、計測画像３２７は適切であると見なされる。逆に、第２領域Ｒ１２の表示及び第３領域Ｒ１３の表示の少なくとも一方が“ＮＧ”であるときは、計測画像３２７が適切でないとみなされる。図７に示す例では、第１領域Ｒ１１に表示された計測画像３２７は、その特徴量が学習画像３２１ａの特徴量に対して外れ値でなく、かつ、その分類が“欠陥なし”のクラスであるから、第４領域Ｒ１４に“ＯＫ”が表示される。

図８に示すように、第１領域Ｒ１１に、ＩＤが“１”で識別される、“欠陥あり”であって、その欠陥の種類が“欠け”のクラスに分類される計測画像３２７が表示される場合、当該計測画像３２７の評価値は、例えばしきい値３２３以下であるから、第２領域Ｒ１２に“ＯＫ”が表示される。また、当該計測画像３２７の分類はＩＤが“１”で識別される“欠陥あり”のクラスであるから、第３領域Ｒ１３に“ＮＧ”が表示される。さらに、当該計測画像３２７は、その特徴量が学習画像３２１ａの特徴量に対して外れ値でないものの、その分類が“欠陥あり”のクラスであるから、第４領域Ｒ１４に“ＮＧ”が表示される。

図９に示すように、第１領域Ｒ１１に、ＩＤが“２”で識別される、“欠陥あり”であって、その欠陥の種類が“傷”のクラスに分類される計測画像３２７が表示される場合、当該計測画像３２７の評価値は、例えばしきい値３２３以下であるから、第２領域Ｒ１２に“ＯＫ”が表示される。また、当該計測画像３２７の分類はＩＤが“２”で識別される“欠陥あり”のクラスであるから、第３領域Ｒ１３に“ＮＧ”が表示される。さらに、当該計測画像３２７は、その特徴量が学習画像３２１ａの特徴量に対して外れ値でないものの、その分類が“欠陥あり”のクラスであるから、第４領域Ｒ１４に“ＮＧ”が表示される。

図１０に示すように、第１領域Ｒ１１に、ＩＤが“４”で識別される、“欠陥あり”であって、その欠陥の種類が“薄い汚れ”のクラスに分類され、その評価値がしきい値より大きい計測画像３２７が表示される場合、当該計測画像３２７の評価値はしきい値３２３より大きいから、第２領域Ｒ１２に“ＮＧ”が表示される。また、当該計測画像３２７の分類はＩＤが“４”で識別される“欠陥あり”のクラスであるものの、当該計測画像３２７の特徴量は学習画像３２１ａの特徴量に対して外れ値であるから、この分類は誤分類であり、当該計測画像３２７は欠陥を含んでいないから、第３領域Ｒ１３には“ＯＫ”が表示される。さらに、当該計測画像３２７は、その特徴量が学習画像３２１ａの特徴量に対して外れ値であるので、第４領域Ｒ１４に“ＮＧ”が表示される。

このように、判定部３６０による判定結果と分類部３４０による分類とに基づいて、計測画像３２７の適否を出力することにより、分類に適さない、又は、欠陥を含む計測画像３２７を、容易に除外することができる。

図３の説明に戻り、作成部３８０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づく座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成するように構成されている。作成部３８０は作成したグラフを、前述した出力装置３６に出力し、当該グラフは表示装置等に表示される。

また、作成部３８０は、作成するグラフに関して、例えば、拡大率、縮小率、回転角、仰角等のパラメータを変更可能に構成されている。よって、操作者（ユーザ）は、前述の入力装置３５を介した入力操作によって、これらのパラメータを任意に変更することができる。

図１１に示すように、グラフは、例えば３次元（３Ｄ）の座標系で表される。Ｘ軸に平行な方向の第１座標軸は、例えば画像の面積である前述の第１特徴量であり、Ｙ軸に平行な方向の第２座標軸は、例えば画像の重心のｘ座標である前述の第２特徴量であり、Ｚ軸に平行な方向の第３座標軸は、例えば画像の重心のｙ座標である前述の第３特徴量である。

図１１に示す例では、丸で示される計測画像３２７の点ＭＰは、第２座標軸負方向側に配置されており、それぞれ十字で示される、複数の学習画像３２１ａの各点から離れた位置に配置されている。そのため、計測画像３２７の特徴量は、当該複数の学習画像３２１ａの特徴量に対して外れ値であることが推定される。

なお、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であると、計測画像３２７の点が学習画像３２１ａの点から大きく離れた位置にプロットされてグラフ内に表示できないことがある。このように、計測画像３２７の点がグラフ内に表示できないことを避けるために、作成部３８０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、標準化及び正規化の少なくとも一方を行い、変換された特徴量を座標軸とする座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成してもよい。

例えば標準化を行う場合、作成部３８０は、図５に示す計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、例えば、複数の学習画像３２１ａの特徴量に基づいて標準化を行い、計測画像３２７の変換後の特徴量及び学習画像３２１ａの変換後の特徴量にそれぞれ変換する。

より詳細には、作成部３８０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量に基づいて算出された平均及び標準偏差を用いて標準化を行うように構成されている。

具体的には、計測画像３２７の変換後の各特徴量Ｙｉ（ｉ＝１，２，３，４，５）は、計測画像３２７の変換前の第ｉ特徴量Ｘｉ（ｉ＝１，２，３，４，５）と、各学習画像３２１ａの第ｉ特徴量に基づいて算出された平均μｉと、各学習画像３２１ａにおいて対応する第ｉ特徴量に基づいて算出された標準偏差ρｉと、を用い、以下の式（１）で算出することができる。
Ｙｉ＝（Ｘｉ－μｉ）／ρｉ …（１）

同様に、学習画像３２１ａの変換後の各特徴量Ｍｉ（ｉ＝１，２，３，４，５）は、学習画像３２１ａの変換前の第ｉ特徴量Ｌｉ（ｉ＝１，２，３，４，５）と、前述の平均μｉ及び標準偏差ρｉと、を用い、以下の式（２）で算出することができる。
Ｍｉ＝（Ｌｉ－μｉ）／ρｉ …（２）

このように、計測画像３２７の第ｉ特徴量と学習画像３２１ａの第ｉ特徴量とに対し、複数の学習画像３２１ａの第ｉ特徴量に基づいて算出された平均μｉ及び標準偏差ρｉを用いて標準化を行うことにより、平均μｉが“０”になり、標準偏差ρｉが“１”になるので、異なる特徴量との間であっても、計測画像３２７の変換後の特徴量の値と学習画像３２１ａの変換後の特徴量の値との比較が容易になる。

また、作成部３８０は、前述した標準化に代えて、又は、前述した標準化に加えて、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量における最大値と最小値とを用いて正規化を行うように構成されている。

具体的には、計測画像３２７の変換後の各特徴量Ｔｉ（ｉ＝１，２，３，４，５）は、計測画像３２７の変換前の第ｉ特徴量Ｓｉ（ｉ＝１，２，３，４，５）と、各学習画像３２１ａの第ｉ特徴量における最大値ＭＡＸｉと、各学習画像３２１ａの第ｉ特徴量における最小値ＭＩＮｉと、を用い、以下の式（３）で算出することができる。
Ｔｉ＝（Ｓｉ－ＭＩＮｉ）／（ＭＡＸｉ－ＭＩＮｉ） …（３）

同様に、学習画像３２１ａの変換後の各特徴量Ｑｉ（ｉ＝１，２，３，４，５）は、学習画像３２１ａの変換前の第ｉ特徴量Ｐｉ（ｉ＝１，２，３，４，５）と、前述の最大値ＭＡＸｉ及び最小値ＭＩＮｉと、を用い、以下の式（４）で算出することができる。
Ｑｉ＝（Ｐｉ－ＭＩＮｉ）／（ＭＡＸｉ－ＭＩＮｉ） …（４）

このように、計測画像３２７の第ｉ特徴量と学習画像３２１ａの第ｉ特徴量とに対し、複数の学習画像３２１ａの第ｉ特徴量における最大値ＭＡＸｉと最小値ＭＩＮｉとを用いて正規化を行うことにより、計測画像３２７の変換後の特徴量の値と学習画像３２１ａの変換後の特徴量の値とがある範囲に収まるので、異なる特徴量との間であっても、計測画像３２７の変換後の特徴量の値と学習画像３２１ａの変換後の特徴量の値との比較が容易になる。

前述した標準化及び正規化では、複数の学習画像３２１ａの特徴量のみに基づいて行われる例を示したが、これに限定されるものではない。例えば、作成部３８０は、標準化及び正規化の少なくとも一方を、計測画像３２７の特徴量にさらに基づいて行ってもよい。具体的には、前述の平均μｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とから算出され、前述の標準偏差ρｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とから算出されてもよい。同様に、例えば、前述の最大値ＭＡＸｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とにおける最大値であり、前述の最小値ＭＩＮｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とにおける最小値であってもよい。

このように、前述した標準化及び正規化の少なくとも一方が、計測画像３２７の第ｉ特徴量にさらに基づいて行われることにより、標準化及び正規化の少なくとも一方を更に適切に行うことが可能になる。

本実施形態では、作成部３８０が作成するグラフは、３次元の座標系にプロットする例を示したが、これに限定されるものではない。作成部３８０は、３次元以外の次元数、例えば２次元又は４次元以上の座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成してもよい。また、作成部３８０は、グラフ以外の形式、例えばリスト形式で、計測画像３２７及び学習画像３２１ａの、特徴量と評価値とを表示してもよい。この場合、特徴量及び評価値の少なくとも１つで計測画像３２７及び学習画像３２１ａをソートし、降順又は昇順で表示してもよい。

このように、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づく座標系に計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成することにより、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを視覚的に確認することが可能になる。

図３の説明に戻り、選択部３９０は、複数の特徴量のそれぞれの指標に基づいて、複数の特徴量から少なくとも１つを選択するように構成されている。選択された特徴量は、記憶部３２０に書き込まれて記憶される。

図１２に示すように、例えば、複数の特徴量から少なくとも１つの特徴量を選択可能な特徴量選択画面ＳＳが表示される。選択部３９０は、特徴量選択画面ＳＳの表示に必要なデータを生成し、生成したデータを前述した出力装置３６に出力することで、特徴量選択画面ＳＳが表示装置等に表示することができる。特徴量選択画面ＳＳは、例えば、第１領域Ｒ２１と、確認ボタンＢ１と、第２領域Ｒ２２と、第３領域Ｒ２３とを含んでいる。

第１領域Ｒ２１は、複数の特徴量の中から少なくとも１つの特徴量を選択するためのものである。図１２に示す例では、第１領域Ｒ２１は、第１特徴量から第１５特徴量のチェックボックスを含んでおり、そのうち、選択対象外となる第６特徴量から第１５特徴量のチェックボックスはグレーアウトされ、選択不能となっている。一方、第１特徴量から第５特徴量のチェックボックスは、“オン”になっている。操作者（ユーザ）は、入力操作によってこれらのチェックボックスを“オン”又は“オフ”に変更することで、当該特徴量の選択状態又は非選択状態を設定することができる。

第２領域Ｒ２２は、選択された特徴量に基づく学習画像３２１ａの分類の正解率を表示するためのものである。複数の分類手法が存在する場合、分類手法ごとに、選択された特徴量に基づく学習画像３２１ａの分類の正解率が表示される。具体的には、第１領域Ｒ２１のチェックボックスのうちの少なくとも１つが“オン”になっているときに、操作者（ユーザ）が確認ボタンＢ１を押下すると、第２領域Ｒ２２に、分類手法ごとの分類の正解率が算出され、表示される。

分類の正解率は、例えば、複数の学習画像３２１ａのそれぞれについて、選択された特徴量に基づいて、当該分類手法を用いて取得される分類と、当該学習画像３２１ａに対応するラベルデータ３２１ｂの分類とを比較し、一致するか否かを判定する。そして、全ての学習画像３２１ａについて、取得された分類と対応するラベルデータ３２１ｂの分類とが一致した個数の割合（％）を算出する。図１２に示す例では、第１特徴量から第５特徴量までの全ての特徴量が選択されているので、第１分類手法から第４分類手法までのそれぞれにおいて、正解率は“１００．０”（％）となっている。

第３領域Ｒ２３は、特徴量ごとの指標を表示するためのものである。複数の分類手法が存在する場合、分類手法ごと、且つ、特徴量ごとに、当該特徴量の指標が表示される。

特徴量の指標は、例えば、複数の学習画像３２１ａのそれぞれについて、その特徴量を使用しないときに当該分類手法を用いて取得される分類と、当該学習画像３２１ａに対応するラベルデータ３２１ｂの分類とを比較し、一致するか否かを判定する。そして、全ての学習画像３２１ａについて、取得された分類と対応するラベルデータ３２１ｂの分類とが一致しない個数を指標として算出する。この場合、指標が“０”であるとき、その特徴量は分類のために不要であり、指標が“０”以外であるとき、その特徴量は分類のために必要である蓋然性が高い。図１２に示す例では、例えば、第１分類方法において、第１特徴量、第２特徴量、及び第３特徴量の指標は全て“０”であるのに対し、第４特徴量及び第５特徴量の指標は、それぞれ、“２”である。よって、第１分類方法では、第４特徴量及び第５特徴量を選択すればよいことが推定される。

なお、特徴量の指標は、前述した例に限定されるものではなく、多種多様な方法で算出することができる。例えば、特徴量を選択するための方法として知られている、複数の特徴量を１つずつ独立に評価してランク付けを行うフィルタ法、複数の特徴量を組み合わせて評価するラッパー法、又は、学習モデルの学習と特徴量の評価とを同時に行う組み込み法等を使用し、特徴量の指標を算出することができる。また、特徴量の指標は、数値又は算出可能なものに限定されず、特徴量を選択するための基準、程度、又は目安等になるものであれば、例えば、レベル、ランク、クラス、級（等級）等であってもよい。

本実施形態では、選択部３９０が、特徴量選択画面ＳＳを表示させ、操作者（ユーザ）の入力操作に従って特徴量を選択する例を示したが、これに限定されるものではない。例えば、選択部３９０は、複数の特徴量のそれぞれの指標に基づいて複数の特徴量から少なくとも１つの特徴量を自動的に選択してもよい。図１２を用いて説明した前述の例では、第１分類方法において、第４特徴量及び第５特徴量の指標は、それぞれ、“０”以外であるから、選択部３９０は、第１特徴量から第５特徴量のうちの第４特徴量及び第５特徴量を自動的に選択する。

また、作成部３８０は、選択部３９０により選択された特徴量に基づいてグラフを作成してもよい。すなわち、作成部３８０は、計測画像３２７の選択された特徴量と学習画像３２１ａの選択された特徴量とに基づく座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成する。これにより、特徴量の数（次元）を削減することができ、選択された特徴量の変換後特徴量を座標軸とする座標系において、計測画像３２７の点と学習画像３２１ａの点とを更に適切に分布させることができる。

また、学習部３３０は、選択部３９０により選択された特徴量を学習モデルに入力して機械学習を行い、分類部３４０は、学習済みモデル３２５に選択部３９０により選択された特徴量を入力して計測画像３２７の分類を出力させてもよい。すなわち、学習部３３０は、学習画像３２１ａにおける選択された特徴量を入力とし、該学習画像３２１ａの分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成する。そして、分類部３４０は、この学習済みモデル３２５に計測画像３２７における選択された特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させる。これにより、学習時間を短縮することができるともに、学習済みモデル３２５の過学習と計測画像３２７の分類精度の低下とを抑制することができる。

また、算出部３５０は、選択部３９０により選択された特徴量に基づいて、評価値を算出してもよい。すなわち、算出部３５０は、計測画像３２７における選択された特徴量と学習画像３２１ａにおける選択された特徴量とに基づいて、計測画像３２７の評価値を算出する。これにより、特徴量の数（次元）を削減されるので、さらに高精度な計測画像３２７の評価値を、さらに少ない計算量で算出することができる。

なお、学習部３３０、分類部３４０、算出部３５０、判定部３６０、出力部３７０、作成部３８０、及び選択部３９０のうちの少なくとも１つは、プロセッサ３１が、記憶装置３３に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、ＵＳＢメモリ、又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）等の記憶媒体であってもよい。

次に、図１３を参照しつつ、一実施形態に従う画像処理装置が行う処理手順について説明する。図１３は、一実施形態における画像処理装置３０が行う画像処理Ｓ１００の一例を説明するためのフローチャートである。

なお、以下の例では、記憶部３２０に複数の学習用データ３２１、学習済みモデル３２５、及び計測画像３２７が記憶されているものとして、説明する。

図１３に示すように、まず、分類部３４０は、記憶部３２０に記憶された学習済みモデル３２５及び計測画像３２７をそれぞれ読み出し、学習済みモデル３２５に計測画像３２７の特徴量を入力し、学習済みモデル３２５から計測画像３２７の分類を出力させることで、計測画像３２７を分類する（Ｓ１０１）。計測画像３２７の分類は、記憶部３２０に記憶されるとともに、出力部３７０に出力される。

次に、算出部３５０は、記憶部３２０に記憶された複数の学習用データ３２１をそれぞれ読み出し、複数の学習画像３２１ａのそれぞれについて、当該学習画像３２１ａの特徴量と当該学習画像３２１ａ以外の他の学習画像３２１ａの特徴量とに基づいて、当該学習画像３２１ａの評価値３２２を算出する（Ｓ１０２）。算出された各学習画像３２１ａの評価値３２２は、記憶部３２０に記憶される。

次に、算出部３５０は、ステップＳ１０２で算出された複数の学習画像３２１ａの評価値３２２のそれぞれに基づいて、しきい値３２３を設定する（Ｓ１０３）。算出されたしきい値３２３は、記憶部３２０に記憶されるとともに、判定部３６０に出力される。

次に、算出部３５０は、記憶部３２０に記憶された複数の学習用データ３２１及び計測画像３２７をそれぞれ読み出し、計測画像３２７の特徴量と複数の学習画像３２１ａのそれぞれの特徴量とに基づいて、当該計測画像３２７の評価値３２８を算出する（Ｓ１０４）。算出された計測画像３２７の評価値３２８は、記憶部３２０に記憶されるとともに、判定部３６０に出力される。

次に、判定部３６０は、ステップＳ１０４で算出された計測画像３２７の評価値３２８とステップＳ１０３で算出されたしきい値３２３との比較に基づいて、学習画像３２１ａの特徴量に対して計測画像３２７の特徴量が外れ値であるか否かを判定する（Ｓ１０５）。判定結果は、出力部３７０に出力される。

ステップＳ１０５の判定の結果、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値である場合、判定部３６０は、当該計測画像３２７が計測エラーであると判定する（Ｓ１０６）。この場合、画像処理装置３０は、例えば、ステップＳ１０１における当該計測画像３２７の分類は誤分類であるとみなして使用しない。一方、ステップＳ１０５の判定の結果、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値でない場合、判定部３６０はステップＳ１０６を行わない。

次に、出力部３７０は、ステップＳ１０５における判定結果とステップＳ１０１における当該計測画像３２７の分類とに基づいて、計測画像３２７の適否を出力する（Ｓ１０７）。計測画像３２７の適否は、図７から図１０を用いて説明したように、表示装置等に表示される。

次に、作成部３８０は、記憶部３２０に記憶された計測画像３２７及び複数の学習用データ３２１をそれぞれ読み出し、計測画像３２７の特徴量と複数の学習用データ３２１の特徴量とに基づく座標系に、計測画像３２７の点と、複数の学習画像３２１ａのそれぞれの点とをプロットしたグラフを作成する（Ｓ１０８）。作成されたグラフは、図１１を用いて説明したように、表示装置等に表示される。

ステップＳ１０８の後、画像処理装置３０は、画像処理Ｓ１００を終了する。

なお、図１３では、説明の簡略化のため、計測画像３２７及び学習画像３２１ａについて複数の特徴量が使用される場合に、当該複数の特徴量の全てを用いる例を示したが、これに限定されるものではない。画像処理Ｓ１００は、前述したように、複数の特徴量のうちの少なく１つを選択し、選択された特徴量について、ステップＳ１０１からステップＳ１０８を行ってもよい。

また、本実施形態で説明したシーケンス及びフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。

以上、本発明の例示的な実施形態について説明した。本実施形態における画像処理装置３０及び画像処理方法によれば、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに基づいて算出された計測画像３２７の評価値３２８に基づいて、計測画像３２７の特徴量が学習画像３２１ａの特徴量に対して外れ値であるか否かを判定する。これにより、当該計測画像３２７を、既存の分類以外、例えば計測エラー等として除外することが可能になる。従って、計測画像３２７の誤分類を抑制することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。

［付記１］
検査対象物（ＴＡ）の計測画像（３２７）を分類するための画像処理装置（３０）であって、
計測画像（３２７）の特徴量と学習画像（３２１ａ）の特徴量とに基づいて、計測画像（３２７）の評価値（３２８）を算出する算出部（３５０）と、
計測画像（３２７）の評価値（３２７）に基づいて、計測画像（３２７）の特徴量が学習画像（３２１ａ）の特徴量に対して外れ値であるか否かを判定する判定部（３６０）と、を備える、
画像処理装置（３０）。
［付記１４］
検査対象物（ＴＡ）の計測画像（３２７）を分類するための画像処理方法であって、
検査対象物（ＴＡ）の計測画像（３２７）を分類するための画像処理装置（３０）であって、
計測画像（３２７）の特徴量と学習画像（３２１ａ）の特徴量とに基づいて、計測画像（３２７）の評価値（３２８）を算出するステップと、、
計測画像（３２７）の評価値（３２７）に基づいて、計測画像（３２７）の特徴量が学習画像（３２１ａ）の特徴量に対して外れ値であるか否かを判定するステップと、を含む、
画像処理方法。

１…画像検査システム、１０…モデル生成装置、２０…画像検査装置、３０…画像処理装置、３１…プロセッサ、３２…メモリ、３３…記憶装置、３４…通信装置、３５…入力装置、３６…出力装置、３１０…通信部、３２０…記憶部、３２０…分類部、３２１…学習用データ、３２１ａ…学習画像、３２１ｂ…ラベルデータ、３２２…評価値、３２３…しきい値、３２５…学習済みモデル、３２７…計測画像、３２８…評価値、３３０…学習部、３４０…分類部、３５０…算出部、３６０…判定部、３７０…出力部、３８０…作成部、３９０…選択部、Ｂ１…確認ボタン、ＩＬ…照明、Ｌ…光、ＭＡＸｉ…最大値、ＭＩＮｉ…最小値、ＭＰ…点、ＮＷ…通信ネットワーク、ＯＳ…出力画面、Ｒ…反射光、Ｒ１１…第１領域、Ｒ１２…第２領域、Ｒ１３…第３領域、Ｒ１４…第４領域、Ｒ２１…第１領域、Ｒ２２…第２領域、Ｒ２３…第３領域、Ｓ１００…画像処理、ＳＳ…特徴量選択画面、ＴＡ…検査対象物、μｉ…平均、ρｉ…標準偏差。

Claims (14)

1. 検査対象物の計測画像を分類するための画像処理装置であって、
   前記計測画像の特徴量と学習画像の特徴量とに基づいて、前記計測画像の評価値を算出する算出部と、
   前記計測画像の前記評価値に基づいて、前記計測画像の前記特徴量が前記学習画像の前記特徴量に対して外れ値であるか否かを判定する判定部と、を備える、
   画像処理装置。
2. 前記算出部は、複数の前記特徴量で表現される特徴空間における前記計測画像の点と前記学習画像の点との間の距離に基づいて、前記計測画像の前記評価値を算出する、
   請求項１に記載の画像処理装置。
3. 前記算出部は、複数の前記特徴量で表現される特徴空間における前記計測画像の点と前記学習画像の点との間の密度に基づいて、前記計測画像の前記評価値を算出する、
   請求項１に記載の画像処理装置。
4. 前記学習画像と該学習画像に付与された分類とに基づいて、前記計測画像を分類する分類部をさらに備える、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記計測画像及び前記学習画像は、それぞれ、欠陥を含み得る前記検査対象物の画像であり、
   前記分類は、前記欠陥がないことを示すクラスと、前記欠陥があるときの該欠陥の種類を示すクラスとを含む、
   請求項４に記載の画像処理装置。
6. 前記分類部は、前記学習画像の前記特徴量と前記分類とを用いて学習させた学習済みモデルに前記計測画像の前記特徴量を入力し、該学習済みモデルから前記計測画像の前記分類を出力させる、
   請求項４又は５に記載の画像処理装置。
7. 前記学習画像の前記特徴量を入力とし、該学習画像の前記分類をラベルデータとして学習モデルを学習させ、前記学習済みモデルを生成する学習部をさらに備える、
   請求項６に記載の画像処理装置。
8. 複数の前記特徴量のそれぞれの指標に基づいて、前記複数の特徴量から少なくとも１つを選択する選択部をさらに備え、
   前記学習部は、前記学習画像における前記選択された特徴量を入力とし、該学習画像の前記分類をラベルデータとして学習モデルを学習させ、前記学習済みモデルを生成し、
   前記分類部は、前記学習済みモデルに前記計測画像における前記選択された特徴量を入力し、該学習済みモデルから前記計測画像の前記分類を出力させる、
   請求項７に記載の画像処理装置。
9. 前記算出部は、前記計測画像における前記選択された特徴量と前記学習画像における前記選択された特徴量とに基づいて、前記計測画像の評価値を算出する、
   請求項８に記載の画像処理装置。
10. 前記判定部による判定結果と前記分類部による分類とに基づいて、前記計測画像の適否を出力する出力部をさらに備える、
    請求項４から９のいずれか一項に記載の画像処理装置。
11. 前記判定部は、前記計測画像の前記評価値としきい値との比較に基づいて、前記計測画像の前記特徴量が学習画像の特徴量に対して外れ値であるか否かを判定する、
    請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記算出部は、一の前記学習画像の特徴量と他の前記学習画像の特徴量とに基づいて、前記一の学習画像の評価値を算出し、
    前記しきい値は、前記学習画像の前記評価値に基づいて設定される、
    請求項１１に記載の画像処理装置。
13. 前記計測画像の特徴量と前記学習画像の特徴量とに基づく座標系に、前記計測画像の点と前記学習画像の点とをプロットしたグラフを作成する作成部、をさらに備える、
    請求項１から１２のいずれか一項に記載の画像処理装置。
14. 検査対象物の計測画像を分類するための画像処理方法であって、
    前記計測画像の特徴量と学習画像の特徴量とに基づいて、前記計測画像の評価値を算出するステップと、
    前記計測画像の前記評価値に基づいて、前記計測画像の前記特徴量が前記学習画像の前記特徴量に対して外れ値であるか否かを判定するステップと、を含む、
    画像処理方法。

Images