JP2020042001A - 評価装置、評価方法、評価プログラム、及び検査装置 - Google Patents

Abstract

【課題】物品の状態を分類する分類器を、着目する領域に関する人との類似性の観点から評価すること。
【解決手段】物品を被写体として含む画像を参照して該物品の状態を分類する複数の分類器（Ｃ１，Ｃ２，…Ｃｎ）の各々を評価する評価装置１は、人が状態を分類した物品を被写体として含む画像をサンプル画像として、各分類器（Ｃｉ）に対応するヒートマップであって、上記分類処理において該分類器が着目する該サンプル画像内の領域を示すヒートマップＭｉｊを作成する作成部（１０１）と、対応するヒートマップが示すサンプル画像内の領域と、物品の状態を分類するために人が着目するサンプル画像内の領域との比較に基づいて、各分類器（Ｃｉ）を評価する評価部（１０２）と、を備えている。
【選択図】図２

Description

本発明は、物品の状態を分類する分類器を評価する評価装置、評価方法、及び評価プログラムに関する。また、本発明は、物品の検査を行う検査装置に関する。

物品を被写体として含む画像を参照して該物品の状態を分類する技術が広く用いられている。このような技術を、機械学習により構築された分類器を用いて実現する場合、分類器を完成させる過程で、学習済みの分類器を評価する必要がある。

このような問題の解決に資する可能性のある技術としては、例えば、特許文献１に記載の評価装置が挙げられる。この評価装置は、学習目標を受け付ける学習目標受付部と、少なくとも学習目標に含まれる評価項目について分類器の評価を行い、評価データを生成する評価部と、学習目標と評価データとを用いて、分類器が学習目標を達成したか否か判定する判定部とを含む。

特開２０１８−１８１１８４号公報（２０１８年１１月１５日公開）

発明者らは、物品の状態を分類する際に分類器が着目する画像内の領域と、物品の状態を分類する際に人が着目する画像内の領域との比較を行った。その結果、一定の汎化能力を有する分類器（例えば、特許文献１の記載の評価装置によって学習目標を達成したと判定された評価装置）であっても、物品の状態を分類する際に人が着目する領域とは全く異なる領域に着目している分類器が存在することが分かった。このような分類器は、限られたテストデータに関して人による分類の結果を偶発的に再現した分類器に過ぎないと考えられる。したがって、このような分類器は、追加学習による汎化能力の向上を期待することができない、謂わば「筋の悪い」の分類器であり、人による物品の分類を代替する分類器になり得ない。このような観点から分類器を評価する技術は、これまで存在していない。もちろん、特許文献１に記載の評価装置も、このような観点から分類器を評価するものではない。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、物品の状態を分類する分類器を、着目する領域に関する人との類似性の観点から評価することが可能な評価装置、評価方法、及び評価プログラムを実現することにある。また、そのような評価装置を用いた検査装置を実現することにある。

上記の課題を解決するために、本発明の一態様に係る評価装置は、物品を被写体として含む画像を参照して該物品の状態を分類する分類処理を、学習により定められたアルゴリズムに従い実行する複数の分類器の各々を評価する評価装置である。該評価装置は、人が状態を分類した物品を被写体として含む画像をサンプル画像として、各分類器に対応するヒートマップであって、上記分類処理において該分類器が着目する該サンプル画像内の領域を示すヒートマップを作成する作成部と、対応するヒートマップが示すサンプル画像内の領域と、物品の状態を分類するために上記人が着目するサンプル画像内の領域との比較に基づいて、各分類器を評価する評価部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る評価方法は、物品を被写体として含む画像を参照して該物品の状態を分類する分類処理を、学習により定められたアルゴリズムに従い実行する複数の分類器の各々を評価する評価方法である。該評価方法は、人が状態を分類した物品を被写体として含む画像をサンプル画像として、各分類器に対応するヒートマップであって、上記分類処理において該分類器が着目する該サンプル画像内の領域を示すヒートマップを作成する作成ステップと、対応するヒートマップが示すサンプル画像内の領域と、物品の状態を分類するために上記人が着目するサンプル画像内の領域との比較に基づいて、各分類器を評価する評価ステップと、を備えている。

上記の課題を解決するために、本発明の一態様に係る評価プログラムは、コンピュータを上述の評価装置として動作させる評価プログラムであって、上記コンピュータを上記評価装置の各部として機能させる。

上記の課題を解決するために、本発明の一態様に係る検査装置は、物品の検査を行う検査装置である。該検査装置は、上記複数の分類器と、上述の評価装置と、上記評価装置による評価結果に基づいて、上記複数の分類器から何れかの分類器を選択する選択部と、を含み、上記選択部により選択された分類器を用いて、上記物品の検査を行う。

上記の構成によれば、物品の状態を分類する分類器を、着目する領域に関する人との類似性の観点から評価することができる。

本発明の一態様に係る評価装置において、上記評価部は、対応するヒートマップが示すサンプル画像内の領域の中に、物品の状態を分類するために上記人が着目するサンプル画像内の領域と重複する領域が含まれている分類器を、含まれていない分類器より高く評価する、ことが好ましい。

上記の構成によれば、物品の状態を分類するために、人が着目する領域と類似する領域に着目する分類器を高く評価することができる。

本発明の一態様に係る評価装置において、上記評価部は、対応するヒートマップが示すサンプル画像内の領域の中に、物品の状態を分類するために上記人が着目するサンプル画像内の領域と重複しない領域が含まれている分類器を、含んでいない分類器よりさらに高く評価する、ことが好ましい。

上記の構成によれば、物品の状態を分類するために、人が着目する領域と類似する領域に着目することに加えて、人が着目する領域と類似しない独自の領域に着目する分類器を、高く評価することができる。

本発明の一態様に係る評価装置において、人が状態を分類した物品を被写体として含む複数の画像の各々をサンプル画像として、サンプル画像毎に各分類器に対応するヒートマップを作成し、上記評価部は、サンプル画像毎に各分類器を評価した評価結果に基づいて、各分類器を評価する、ことが好ましい。

上記の構成によれば、物品の状態を分類する分類器を、より高い精度で評価することができる。

本発明の一態様に係る評価装置において、上記評価部は、上記複数の分類器のうち、各サンプル画像に被写体として含まれる物品の状態を分類した結果が、上記人が該物品の状態を分類した結果に一致する割合がより高い分類器を、さらに高く評価する、ことが好ましい。

上記の構成によれば、物品の状態を分類するために、人が着目する領域と類似する領域に着目すると共に、分類精度が高い分類器を高く評価することができる。

本発明の一態様によれば、物品の状態を分類する分類器を、着目する領域に関する人との類似性の観点から評価することができる。

本発明の第１の実施形態に係る評価装置の物理的構成を示すブロック図である。 図１に示す評価装置の機能的構成を示すブロック図である。 図１に示す評価装置が実行する評価方法Ｓ１の流れを示すフローチャートである。 図３に示す作成ステップにおいて生成されるヒートマップの一例を示す図である。 （ａ）〜（ｃ）は、各サンプル画像における、検査者による着目領域の一例を示す模式図である。（ｄ）〜（ｅ）は、ある分類器に対応する各サンプル画像のヒートマップが示す、該分類器による着目領域を示す模式図である。（ｆ）〜（ｈ）は、他の分類器に対応する各サンプル画像のヒートマップが示す、該分類器による着目領域を示す模式図である。 図３に示す評価ステップにおける各分類器の評価の一例を示す図である。 本発明の第２の実施形態に係る検査装置の機能的構成を示すブロック図である。 （ａ）は、図７に示す検査装置の実施例において、検査者による着目領域を示す図である。（ｂ）、（ｃ）は、各分類器による着目領域を示す図である。 図４に示す検査装置の実施例において、評価が低い分類器について説明する図である。

〔実施形態１〕
（評価装置の物理的構成）
本発明の第１の実施形態に係る評価装置１の物理的構成について、図１を参照して説明する。図１は、評価装置１の物理的構成を示すブロック図である。

評価装置１は、図１に示すように、バス１０と、主メモリ１１と、プロセッサ１２と、補助メモリ１３と、入出力インターフェース１４と、を備えたコンピュータである。主メモリ１１、プロセッサ１２、補助メモリ１３、及び入出力インターフェース１４は、バス１０を介して互いに接続されている。主メモリ１１としては、例えば、単一又は複数の半導体ＲＡＭ（random access memory）が用いられる。プロセッサ１２としては、例えば、単一又は複数のマイクロプロセッサ、単一又は複数のデジタルシグナルプロセッサ、単一又は複数のマイクロコントローラ、又はこれらの組み合わせが用いられる。補助メモリ１３としては、例えば、単一又は複数のＨＤＤ（Hard Disk Drive）、単一又は複数のＳＳＤ（Solid State Drive）、又はこれらの組み合わせが用いられる。また、補助メモリ１３の一部又は全部は、通信インタフェース（図示せず）を介して接続されたネットワーク上のストレージであってもよい。入出力インターフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェース、赤外線やBluetooth（登録商標）等の近距離通信インターフェース、又はこれらの組み合わせが用いられる。

入出力インターフェース１４には、例えば、入力装置２０及び出力装置３０が接続される。入力装置２０としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置３０としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。なお、評価装置１は、ノート型コンピュータのように、入力装置２０として機能するキーボート及びタッチパッド、並びに、出力装置３０として機能するディスプレイを内蔵していてもよい。また、評価装置１は、スマートフォン又はタブレット型コンピュータのように、入力装置２０及び出力装置３０として機能するタッチパネルを内蔵していてもよい。

補助メモリ１３には、後述する評価処理Ｓ１をプロセッサ１２に実行させるためのプログラムＰが格納されている。プロセッサ１２は、補助メモリ１３に格納されたプログラムＰを主メモリ１１上に展開し、主メモリ１１上に展開されたプログラムＰに含まれる各命令を実行することによって、後述する評価処理Ｓ１に含まれる各ステップを実行する。また、補助メモリ１３には、後述する評価処理Ｓ１を実行するためにプロセッサ１２が参照する各種データが格納されている。

なお、ここでは、内部記憶媒体である補助メモリ１３に格納されているプログラムＰに従ってプロセッサ１２が後述する評価処理Ｓ１を実行する形態について説明したが、これに限定されない。すなわち、外部記録媒体に格納されているプログラムＰに従ってプロセッサ１２が後述する評価処理Ｓ１を実行する形態を採用してもよい。この場合、外部記録媒体としては、コンピュータが読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブル論理回路などを用いることができる。あるいは、通信インタフェース（図示せず）を介して接続されるネットワーク上から取得したプログラムＰに従ってプロセッサ１２が後述する評価処理Ｓ１を実施する形態を採用してもよい。この場合、ネットワークとしては、例えば、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、又はこれらの少なくとも一部の組み合わせ等などを用いることができる。

また、ここでは、単一のコンピュータを用いて評価装置１を実現する形態について説明したが、これに限定されない。すなわち、互いに通信可能に構成された複数のコンピュータを用いて評価装置１を実現する形態を採用してもよい。この場合、後述する評価処理Ｓ１を構成する各ステップを、これらのコンピュータにより並列的に実行することが可能になる。

（評価装置の機能的構成）
評価装置１の機能的構成について、図２を参照して説明する。図２は、評価装置１の機能的構成を示すブロック図である。

評価装置１は、図２に示すように、複数の分類器Ｃ１，Ｃ２，…，Ｃｎと、作成部１０１と、評価部１０２とを備えている。ここで、ｎは、分類器Ｃ１，Ｃ２，…，Ｃｎの個数を表す任意の自然数である。これらのブロックは、上述したプロセッサ１２が上述したプログラムＰの命令を実行することにより実現される機能ブロックである。

各分類器Ｃｉ（ｉ＝１，２，…，ｎ）は、物品を被写体として含む画像を参照して該物品の状態を分類する分類処理を、機械学習により定められたアルゴリズム（以下、「モデル」と記載する）を用いて実行する。分類処理に利用可能なモデルとしては、例えば、物品を被写体として含む画像を入力とし、該物品の状態を出力とするニューラルネットワークが挙げられる。

各分類器Ｃｉが用いるモデルは、評価装置１による評価が開始する前に、事前の機械学習により構築される。事前の機械学習においては、（１）モデルの選択、（２）モデルの調整（ネットワーク構造及びハイパーパラメータの調整）、及び、（３）モデルの機械学習が行われる。

作成部１０１は、検査者（特許請求の範囲における「人」の一例）が状態を分類した物品を被写体として含む画像Ｉ１，Ｉ２，…，Ｉｍをサンプル画像として、各分類器Ｃｉ（ｉ＝１，２，…，ｎ）に対応するヒートマップＭｉｊ（ｊ＝１，２，…，ｍ）を作成するブロックである。ここで、ヒートマップＭｉとは、分類処理において分類器Ｃｉが着目するサンプル画像Ｉｊ内の領域を示す画像のことを指す。

例えば、ヒートマップＭｉｊは、特定のクラス分類の確からしさ、又は、関連の深さを、色の濃さで表した画像である。この場合、例えば、ヒートマップＭｉｊにおいて、相対的に色の濃い領域が、サンプル画像Ｉｊにおいて、物品の状態を分類するために分類器Ｃｉが着目した領域を表す。或いは、ヒートマップＭｉｊは、分類器Ｃｉの出力に与える影響の大きさに応じて各画素の画素値が設定された画像である。この場合、例えば、ヒートマップＭｉｊにおいて、相対的に高い画素値を有する領域が、サンプル画像Ｉｊにおいて、物品の状態を分類するために分類器Ｃｉが着目した領域を表す。以下、各サンプル画像Ｉｊにおいて、物品の状態を分類するために分類器Ｃｉが着目する領域を、分類器Ｃｉによる「着目領域」とも記載する。分類器Ｃｉによる着目領域は、１箇所の場合もあるし、複数箇所の場合もある。ヒートマップＭｉｊの作成には、例えば、公知のアルゴリズムであるＧｒａｄ−ＣＡＭ（Gradient-weighted Class Activation Mapping）を用いることができる。

なお、作成部１０１は、各分類器Ｃｉに対応するヒートマップＭｉｊの生成を、分類器Ｃｉによる分類の結果が正解情報（人による分類の結果を示す）に一致したサンプル画像Ｉｊについてのみ行う（分類器Ｃｉによる分類の結果が正解情報に一致しないサンプル画像Ｉｌについては行わない）ように構成されていてもよい。

評価部１０２は、ヒートマップＭｉｊが示す分類器Ｃｉによる着目領域（すなわち、物品の状態を分類するために分類器Ｃｉが着目するサンプル画像Ｉｊ内の領域）と、物品の状態を分類するために検査者が着目するサンプル画像Ｉｊ内の領域との比較に基づいて、各分類器Ｃｉを評価するブロックである。以降、検査者が着目するサンプル画像Ｉｊ内の領域を、検査者による着目領域とも記載する。例えば、検査者による着目領域は、入力装置２０を介して入力される。具体的には、評価部１０２は、サンプル画像Ｉｊをディスプレイに表示し、タッチパッド又はマウス等の操作により指定された領域を、検査者による着目領域として取得してもよい。検査者による着目領域は、１箇所であってもよいし、複数箇所であってもよい。

検査者による着目領域と分類器Ｃｉによる着目領域との類似度が高い場合、その分類器Ｃｉは、汎化能力が高い（或いは、今後の追加学習により汎化能力の向上が期待できる）分類器であると考えられる。逆に、検査者による着目領域と分類器Ｃｉによる着目領域との類似度が低い場合、その分類器Ｃｉは、汎化能力が低い（或いは、今後の追加学習により汎化能力の向上が期待しにくい）分類器であると考えられる。評価部１０２は、このような観点から各分類器Ｃｉを評価する。各分類器Ｃｉに対する評価結果は、良又は否等の２段階で表されていてもよいし、３段階以上で表されていてもよいし、所定範囲の数値として表されていてもよい。

例えば、評価部１０２は、分類器Ｃｉによる着目領域の中に、検査者による着目領域と重複する着目領域が含まれている分類器Ｃｉを、そうでない分類器Ｃｋ（ｋ≠ｉ）よりも高く評価する。ここで、２つの領域が重複するとは、これら２つの領域の共通部分が存在することを意味する。以下、分類器Ｃｉによる着目領域のうち、検査者による着目領域と重複する着目領域のことを、重複領域とも記載する。

また、評価部１０２は、分類器Ｃｉによる着目領域の中に、検査者による着目領域と重複する領域と、検査者による着目領域と重複しない領域との両方が含まれている分類器Ｃｉを、そうでない分類器Ｃｋよりも高くする評価する。以下、分類器Ｃｉによる着目領域のうち、検査者による着目領域と重複しない着目領域のことを、独自領域とも記載する。独自領域は、分類器Ｃｉによる着目領域の中で、検査者が着目することのない着目領域、すなわち、分類器Ｃｉが独自に着目する着目領域である。なお、評価部１０２は、分類器Ｃｉによる着目領域のうち、検査者による着目領域と重複しない着目領域を独自領域とみなすか否かを、検査者による入力情報に基づいて決定してもよい。これにより、評価部１０２は、そのような分類器Ｃｉの独自の着目領域のうち、検査者にとって確かにその着目領域もあり得ると考えられる着目領域を、独自領域とみなして動作する。

また、評価部１０２は、各サンプル画像Ｉｊに被写体として含まれる物品の状態を分類した結果が、検査者が該物品の状態を分類した結果に一致する割合（以下、「正解率」とも記載する）がより高い分類器Ｃｉを、そうでない分類器Ｃｋよりも高く評価する。この場合、評価部１０２は、各分類器Ｃｉについて、分類器Ｃｉによる着目領域と検査者による着目領域との比較結果と、分類器Ｃｉの正解率とに基づく評価を行うことになる。

具体的には、評価部１０２には、検査者が該物品の状態を分類した結果が正解情報として、入力装置２０を介して入力される。また、評価部１０２には、各分類器Ｃｉから出力される分類結果が入力される。そして、評価部１０２は、各分類器Ｃｉについて、当該分類器Ｃｉから出力される各サンプル画像Ｉｊの分類結果が正解情報に一致する割合を、正解率として算出する。例えば、評価部１０２は、各分類器Ｃｉについて、該分類器Ｃｉによる着目領域と検査者による着目領域との比較に基づく評価結果に対して、正解率が高いほど評価結果がさらに高くなるような重み付けを行う。

なお、評価部１０２は、各分類器Ｃｉについて、該分類器Ｃｉによる着目領域と検査者による着目領域との比較を、当該分類器Ｃｉから出力された分類結果が正解情報に一致したサンプル画像Ｉｊについてのみ行う（一致しないサンプル画像Ｉｌについては比較を行わない）構成を採用してもよい。

（評価方法）
評価装置１が実行する評価方法Ｓ１ついて、図３〜図６を参照して説明する。

図３は、評価方法Ｓ１の流れを示すフローチャートである。評価方法Ｓ１は、図３に示すように、作成ステップＳ１０１と、評価ステップＳ１０２と、を含んでいる。

作成ステップＳ１０１は、検査者が状態を分類した物品を被写体として含む画像をサンプル画像Ｉｊとして、各分類器Ｃｉに対応するヒートマップＭｉｊを作成するステップである。上述したように、本実施形態では、各分類器Ｃｉに複数のサンプル画像Ｉ１，Ｉ２，…，Ｉｍが入力され、複数のヒートマップＭｉ１，Ｍｉ２，…，Ｍｉｍが作成される。ここでは、作成部１０１は、分類器Ｃｉによる分類結果が正解情報に一致したサンプル画像Ｉｊについてヒートマップを作成し、一致しなかったサンプル画像Ｉｌ（ｌ≠ｊ）については、ヒートマップを作成しない。

評価ステップＳ１０２は、対応するヒートマップＭｉｊが示すサンプル画像Ｉｊ内の領域と、物品の状態を分類するために検査者が着目するサンプル画像Ｉｊ内の領域との比較に基づいて、各分類器Ｃｉを評価するステップである。上述したように、本実施形態では、複数のサンプル画像Ｉ１，Ｉ２，…，Ｉｍの各々について、分類器Ｃｉによる着目領域と検査者による着目領域との比較が行われる。また、各分類器Ｃｉについて、複数のサンプル画像Ｉ１，Ｉ２，…，Ｉｍの分類結果が正解情報と一致した割合である正解率が算出される。そして、各分類器Ｃｉについて、比較結果と正解率とに基づいた評価が実行され、評価結果が出力される。

図４は、作成ステップＳ１０１において生成されるヒートマップの一例を示す図である。ここでは、各分類器Ｃｉには、サンプル画像Ｉ１，Ｉ２，Ｉ３が入力される。サンプル画像Ｉ１，Ｉ２，Ｉ３には、それぞれ、物品Ｏ１，Ｏ２，Ｏ３が被写体として含まれている。ここで、サンプル画像Ｉ１，Ｉ２，Ｉ３の正解情報は、それぞれ、クラスＡ、クラスＢ、クラスＣである。

分類器Ｃ１，Ｃ２によるサンプル画像Ｉ１の分類結果は、それぞれクラスＡで正解であり、分類器Ｃ１に対応するヒートマップＭ１１と、分類器Ｃ２に対応するヒートマップＭ２１とが作成される。

分類器Ｃ１，Ｃ２によるサンプル画像Ｉ２の分類結果は、それぞれクラスＢで正解であり、分類器Ｃ１に対応するヒートマップＭ１２と、分類器Ｃ２に対応するヒートマップＭ２２とが作成される。

分類器Ｃ１によるサンプル画像Ｉ３の分類結果は、クラスＢで不正解であり、分類器Ｃ１に対応するヒートマップは作成されない。分類器Ｃ２によるサンプル画像Ｉ３の分類結果は、クラスＣで正解であり、分類器Ｃ２に対応するヒートマップＭ２３が作成される。

評価ステップＳ１０２における比較処理の一例を、図５〜図６を用いて説明する。

図５（ａ），（ｂ），（ｃ）は、サンプル画像Ｉ１，Ｉ２，Ｉ３における、検査者による着目領域Ｒ１，Ｒ２，Ｒ３を示す模式図である。

図５（ｄ）は、上述したヒートマップＭ１１が示す着目領域を示す。ヒートマップＭ１１は、２つの着目領域Ｐ１１，Ｐ１２を含んでいる。分類器Ｃ１による着目領域Ｐ１１，Ｐ１２の中で、着目領域Ｐ１１は、検査者による着目領域Ｒ１と重複する重複領域である。また、分類器Ｃ１による着目領域Ｐ１１，Ｐ１２の中で、着目領域Ｐ１２は、検査者による着目領域Ｒ１と重複していない独自領域である。

図５（ｅ）は、上述したヒートマップＭ１２が示す着目領域を示す。ヒートマップＭ１２は、２つの着目領域Ｐ２１，Ｐ２２を含んでいる。分類器Ｃ１による着目領域Ｐ２１，Ｐ２２の中で、着目領域Ｐ２１は、検査者による着目領域Ｒ２と重複する重複領域である。また、分類器Ｃ１による着目領域Ｐ２１，Ｐ２２の中で、着目領域Ｐ２２は、検査者による着目領域Ｒ２と重複していない独自領域である。

図５（ｆ）は、上述したヒートマップＭ２１が示す着目領域を示す。ヒートマップＭ２１は、１つの着目領域Ｑ１を含んでいる。分類器Ｃ２による着目領域Ｑ１は、検査者による着目領域Ｒ１と重複していない。

図５（ｇ）は、上述したヒートマップＭ２２が示す着目領域を示す。ヒートマップＭ２２は、１つの着目領域Ｑ２を含んでいる。分類器Ｃ２による着目領域Ｑ２は、検査者による着目領域Ｒ２と重複していない。

図５（ｈ）は、上述したヒートマップＭ２３が示す着目領域を示す。ヒートマップＭ２３は、１つの着目領域Ｑ３を含んでいる。分類器Ｃ２による着目領域Ｑ３は、検査者による着目領域Ｒ３と重複する重複領域である。

図６は、各分類器Ｃｉについて、正解／不正解、重複領域の有無、及び独自領域の有無を、サンプル画像Ｉｊ毎に整理した表であり、各分類器Ｃｉの評価結果を示している。なお、ヒートマップＭｉｊが示す着目領域の中に重複領域が無い場合には、独自領域の有無については記載していない。

図６の例では、評価部１０２は、ｎ個の分類器Ｃｉを、正解率、重複領域率、独自領域率に基づいて比較した結果に基づいて、各分類器Ｃｉの評価結果を生成している。ここで、重複領域率とは、サンプル画像Ｉｊの総数ｍに対して、分類器Ｃｉが重複領域を検出したサンプル画像Ｉｊの数の割合である。また、独自領域率とは、サンプル画像Ｉｊの総数に対して、分類器Ｃｉが独自領域を検出したサンプル画像Ｉｊの数の割合である。また、この例では、「良」または「否」の２段階の評価結果が生成されている。

また、評価部１０２は、重複領域率を、正解率および独自領域率よりも重視した評価処理を行う。例えば、評価部１０２は、ｎ個の中で重複領域率が高いとの条件（例えば、最も高い）を満たす分類器Ｃｉのうち、正解率が高いとの条件（例えば、閾値以上）を満たす分類器Ｃｉの評価結果を「良」とする。そして、評価部１０２は、当該評価結果を「良」とした分類器Ｃｉとの比較により他の分類器Ｃｋの評価を行う。

例えば、分類器Ｃ１の重複領域率６０％は、ｎ個の中で最も高い。また、分類器Ｃ１の正解率７０％は、閾値（例えば、７０％）以上である。そこで、評価部１０２は、分類器Ｃ１の評価結果を「良」とする。

分類器Ｃ２は、分類器Ｃ１と比較して、重複領域率６０％が同じであるが、正解率８０％が高い一方で、独自領域率１０％が低い。この場合、分類器Ｃ２は、分類器Ｃ１と比較して優れているとも劣っているともいえず、同等であると判定される。したがって、評価部１０２は、分類器Ｃ２の評価結果を「良」とする。

また、分類器Ｃ３は、分類器Ｃ１と比較して、重複領域率６０％が同じであるが、正解率６０％および独自領域率０％ともに低い。この場合、分類器Ｃ３は、分類器Ｃ１と比較して劣っていると判定される。したがって、評価部１０２は、分類器Ｃ３の評価結果を「否」とする。

また、分類器Ｃ４は、分類器Ｃ１と比較して、重複領域率６０％および正解率７０％が同じであるが、独自領域率２０％が低い。この場合、分類器Ｃ４は、分類器Ｃ１と比較して劣っていると判定される。したがって、評価部１０２は、分類器Ｃ４の評価結果を「否」とする。

また、分類器Ｃ５は、分類器Ｃ１と比較して、重複領域率６０％および独自領域率３０％が同じであるが、正解率６０％が低い。この場合、分類器Ｃ５は、分類器Ｃ１と比較して劣っていると判定される。したがって、評価部１０２は、分類器Ｃ５の評価結果を「否」とする。

また、分類器Ｃ６は、分類器Ｃ１と比較して、重複領域率５０％が低く、正解率７０％が同じであり、独自領域率４０％が高い。この場合、重複領域率が低いことを、独自領域率が高いことより重視するため、分類器Ｃ６は、分類器Ｃ１と比較して劣っていると判定される。したがって、評価部１０２は、分類器Ｃ６の評価結果を「否」とする。

また、分類器Ｃｎは、重複領域率３０％が極端に低いとの条件（例えば、閾値以下）を満たす。この場合、評価部１０２は、分類器Ｃｎを他の分類器Ｃｉと比較することなく、分類器Ｃｎの評価結果を「否」とする。

（評価装置１の効果）
本実施形態に係る評価装置１は、分類器Ｃｉが着目する領域の中に、検査者が着目する領域と重複する重複領域が含まれる該分類器Ｃｉを、そうでない分類器Ｃｋより高く評価する。また、本実施形態に係る評価装置１は、分類器Ｃｉが着目する領域の中に、検査者が着目する領域と重複しない独自領域がさらに含まれる該分類器Ｃｉを、そうでない分類器Ｃｋよりさらに高く評価する。したがって、本実施形態に係る評価装置１は、各分類器Ｃｉを、当該分類器Ｃｉが着目する領域に関する検査者が着目する領域との類似性の観点から、評価することができる。

（変形例１）
なお、本実施形態に係る評価方法Ｓ１では、評価部１０２が、検査者による着目領域を入力として、分類器による着目領域及び検査者による着目領域を比較するものとして説明した。これに限らず、評価方法Ｓ１では、分類器による着目領域及び検査者による着目領域の比較を、検査者が行ってもよい。この場合、評価部１０２は、作成部１０１によって生成されたヒートマップが示す、分類器による着目領域をディスプレイ等に表示する。また、評価部１０２は、ディスプレイに表示された着目領域を視認した検査者による上述した比較結果を表す情報を、入力装置３０を介して取得する。

（変形例２）
また、本実施形態においては、複数の分類器Ｃ１，Ｃ２，…，Ｃｎが、評価装置１の内部に含まれている（評価装置１と同じコンピュータで実行されている）構成を採用しているが、本発明は、これに限定されない。例えば、複数の分類器Ｃ１，Ｃ２，…，Ｃｎの一部又は全部が評価装置１の内部に含まれていない（評価装置１と異なるコンピュータで実行される）構成を採用しても構わない。すなわち、複数の分類器Ｃ１，Ｃ２，…，Ｃｎは、評価装置１の必須の構成要素ではない。

〔実施形態２〕
本実施形態では、実施形態１に係る評価装置１を用いて、物品の検査を行う検査装置２を構成する実施形態について説明する。

図７は、検査装置２の機能的構成を示すブロック図である。なお、検査装置２の物理的構成については、図１を参照して説明した評価装置１と同様であるため、詳細な説明を省略する。

図７に示すように、検査装置２は、評価装置１と、選択部２０３とを含む。検査装置２は、選択部２０３により選択された分類器Ｃｉを用いて、物品の検査を行う。

選択部２０３は、評価装置１による評価結果に基づいて、複数の分類器Ｃ１，Ｃ２，…，Ｃｎから何れかの分類器Ｃｉを選択するブロックである。例えば、選択部２０３は、各分類器Ｃｉのうち、評価結果が所定条件を満たす（例えば、評価結果が「良」である）ものを１つ以上選択してもよい。

具体的には、選択部２０３は、検査装置２に対して入力される画像が、選択した分類器Ｃｉに入力され、選択した分類器Ｃｉからの出力が、検査結果として外部に出力されるよう、切り替え処理を行う。選択部２０３による切り替え処理は、評価装置１による評価が完了した後、検査装置２によって物品の検査を行う運用が開始される前に行われる。また、検査装置２の運用が開始する前に、選択された１つ以上の分類器Ｃｉを追加学習させる処理が、さらに実行されてもよい。

〔実施例１〕
検査装置２を用いた実施例１について、図９を参照して説明する。実施例１では、物品としての圧着端子を被写体として含むサンプル画像Ｉ１を用いて、評価装置１による評価を行った。

各分類器Ｃｉは、圧着端子を被写体として含む画像に基づいて、該圧着端子の状態を次の８状態の何れかに分類するよう、事前の機械学習により構築されている。

状態１：良品
状態２：浅打ち
状態３：深打ち
状態４：バレルめくれ
状態５：トランジション部へのはみだし
状態６：インス側へのはみ出し
状態７：芯線切れ
状態８：ベルマウス不良
図８（ａ）は、サンプル画像Ｉ１における検査者による着目領域を示す図である。この実施例では、検査者は、圧着端子のバレルを含む領域に着目している。

本実施形態において、分類器Ｃ１及びＣ２は、何れも、上述したサンプル画像Ｉ１に被写体として含まれる圧着端子を、「状態４：バレルめくれ」として分類し、検査者が状態を分類した分類結果に一致する分類結果を出力した。

図８（ｂ）は、分類器Ｃ１による２つの着目領域を示す図である。ここでは、分類器Ｃ１による一方の着目領域は、検査者による着目領域と重複する重複領域である。また、他方の着目領域は、検査者による着目領域と重複しない独自領域である。

図８（ｃ）は、分類器Ｃ２による１つの着目領域を示す図である。ここでは、分類器Ｃ２による着目領域は、検査者による着目領域と重複していない。

図９は、分類器Ｃ２の評価について説明する図である。図９に示すように、評価装置１は、分類器Ｃ２による分類結果が検査者による分類結果と一致したものの、分類器Ｃ２による着目領域の中に重複領域が含まれないので、含まれる分類器Ｃ１より評価を低くする。このような分類器Ｃ２は、検査者による基準との関係が薄い画像箇所に基づいて、偶然に正しい分類結果を得た可能性があり、追加学習を行っても正解率が向上しない可能性がある。検査装置２は、そのような分類器Ｃ２を選択することなく、追加学習に適した分類器Ｃ１を用いて、物品の検査を行うことができる。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 評価装置
２ 検査装置
１０ バス
１１ 主メモリ
１２ プロセッサ
１３ 補助メモリ
１４ 入出力インターフェース
２０ 入力装置
３０ 出力装置
Ｃ１，Ｃ２，…，Ｃｎ，Ｃｉ 分類器
１０１ 作成部
１０２ 評価部
２０３ 選択部

Claims (8)

1. 物品を被写体として含む画像を参照して該物品の状態を分類する分類処理を、学習により定められたアルゴリズムに従い実行する複数の分類器の各々を評価する評価装置であって、
   人が状態を分類した物品を被写体として含む画像をサンプル画像として、各分類器に対応するヒートマップであって、上記分類処理において該分類器が着目する該サンプル画像内の領域を示すヒートマップを作成する作成部と、
   対応するヒートマップが示すサンプル画像内の領域と、物品の状態を分類するために上記人が着目するサンプル画像内の領域との比較に基づいて、各分類器を評価する評価部と、を備えている、
   ことを特徴とする評価装置。
2. 上記評価部は、対応するヒートマップが示すサンプル画像内の領域の中に、物品の状態を分類するために上記人が着目するサンプル画像内の領域と重複する領域が含まれている分類器を、含まれていない分類器より高く評価する、
   ことを特徴とする請求項１に記載の評価装置。
3. 上記評価部は、対応するヒートマップが示すサンプル画像内の領域の中に、物品の状態を分類するために上記人が着目するサンプル画像内の領域と重複しない領域が含まれている分類器を、含んでいない分類器よりさらに高く評価する、
   ことを特徴とする請求項２に記載の評価装置。
4. 上記作成部は、人が状態を分類した物品を被写体として含む複数の画像の各々をサンプル画像として、サンプル画像毎に各分類器に対応するヒートマップを作成し、
   上記評価部は、サンプル画像毎に各分類器を評価した評価結果に基づいて、各分類器を評価する、
   ことを特徴とする請求項１から３の何れか１項に記載の評価装置。
5. 上記評価部は、上記複数の分類器のうち、各サンプル画像に被写体として含まれる物品の状態を分類した結果が、上記人が該物品の状態を分類した結果に一致する割合がより高い分類器を、さらに高く評価する、
   ことを特徴とする請求項４に記載の評価装置。
6. 物品を被写体として含む画像を参照して該物品の状態を分類する分類処理を、学習により定められたアルゴリズムに従い実行する複数の分類器の各々を評価する評価方法であって、
   人が状態を分類した物品を被写体として含む画像をサンプル画像として、各分類器に対応するヒートマップであって、上記分類処理において該分類器が着目する該サンプル画像内の領域を示すヒートマップを作成する作成ステップと、
   対応するヒートマップが示すサンプル画像内の領域と、物品の状態を分類するために上記人が着目するサンプル画像内の領域との比較に基づいて、各分類器を評価する評価ステップと、を備えている、
   ことを特徴とする評価方法。
7. コンピュータを請求項１から５の何れか１項に記載の評価装置として動作させる評価プログラムであって、上記コンピュータを上記評価装置の各部として機能させることを特徴とする評価プログラム。
8. 物品の検査を行う検査装置であって、
   上記複数の分類器と、
   請求項１から５の何れか１項に記載の評価装置と、
   上記評価装置による評価結果に基づいて、上記複数の分類器から何れかの分類器を選択する選択部と、を含み、
   上記選択部により選択された分類器を用いて、上記物品の検査を行うことを特徴とする検査装置。