JP2022078377A - 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット - Google Patents

Abstract

【課題】課題は、閾値を利用する判定の精度の向上が図れる、学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセットを提供することである。【解決手段】学習方法は、対象データから特徴量を算出する算出ステップ（Ｓ１１）と、特徴量に基づく特徴量情報を提示する提示ステップ（Ｓ１２）と、特徴量に基づく対象データの判定のための閾値の入力を受け付ける受付ステップ（Ｓ１３）と、閾値を用いて、対象データと判定の結果との入出力関係を学習した学習済みモデルを生成する学習ステップ（Ｓ１４）とを含む。【選択図】 図２

Description

本開示は、一般に、学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセットに関する。本開示は、特に、閾値を利用する判定のための、学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセットに関する。

特許文献１は、画像検査装置を開示する。特許文献１の画像検査装置は、基準画像の少なくとも一部及び検査画像の少なくとも一部を第１及び第２画像データとして画素レベルで対応させて画像重合処理を行う。そして、画像検査装置は、画像重合された第１及び第２画像データを比較して両画像データ間での差分を検出し、検出された差分に対して部分領域毎に異なる閾値を用いて相違点表示画像データを生成して画像検査処理を行う。

特許第６４１６５３１号公報

特許文献１の画像検査装置では、判定の精度を向上するためには、閾値を適切に設定する必要がある。

課題は、閾値を利用する判定の精度の向上が図れる、学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセットを提供することである。

本開示の一態様に係る学習方法は、算出ステップと、提示ステップと、受付ステップと、学習ステップとを含む。前記算出ステップは、対象データから特徴量を算出するステップである。前記提示ステップは、前記特徴量に基づく特徴量情報を提示するステップである。前記受付ステップは、前記特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるステップである。前記学習ステップは、前記閾値を用いて、前記対象データと前記判定の結果との入出力関係を学習した学習済みモデルを生成するステップである。

本開示の一態様に係る判定方法は、前記学習方法により得られた学習済みモデルを利用して、対象データの判定を行う判定ステップを含む。

本開示の一態様に係るプログラムは１以上のプロセッサに、前記学習方法を実行させるための、プログラムである。

本開示の一態様に係る学習システムは、算出部と、提示部と、受付部と、学習部とを含む。前記算出部は、対象データから複数の特徴量を算出するように構成される。前記提示部は、前記複数の特徴量に基づく特徴量情報を提示するように構成される。前記受付部は、前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるように構成される。前記学習部は、前記閾値を用いて、前記対象データと前記判定の結果との関係を機械学習のモデルに学習させるように構成される。

本開示の一態様に係る学習用データセットの生成方法は、算出ステップと、提示ステップと、受付ステップと、生成ステップとを含む。前記算出ステップは、対象データから複数の特徴量を算出するステップである。前記提示ステップは、前記複数の特徴量に基づく特徴量情報を提示するステップである。前記受付ステップは、前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるステップである。前記生成ステップは、前記対象データと前記閾値とを含む学習用データセットを生成するステップである。

本開示の一態様に係る学習用データセットは、対象データと、前記対象データから算出される複数の特徴量に基づく特徴量情報の提示に対して入力された、前記複数の特徴量に基づく前記対象データの判定のための閾値と、とを含む。

本開示の態様によれば、閾値を利用する判定の精度の向上が図れる、という効果を奏する。

図１は、実施形態１のシステムのブロック図である。 図２は、上記システムが実行する学習方法のフローチャートである。 図３は、上記システムが実行する判定方法のフローチャートである。 図４は、上記学習方法に用いられる基準画像の一例を示す図である。 図５は、上記学習方法に用いられる対象画像の一例を示す図である。 図６は、上記学習方法での特徴量の算出方法の説明図である。 図７は、上記特徴量の算出方法の説明図である。 図８は、上記学習方法で提示される特徴量画像の一例を示す図である。 図９は、実施形態２のシステムのブロック図である。 図１０は、上記システムが実行する学習方法のフローチャートである。 図１１は、上記学習方法における事前学習ステップの説明図である。 図１２は、変形例の特徴量の算出方法の説明図である。

１．実施形態
１．１ 実施形態１
１．１．１ 概要
図１は、実施形態１のシステム１０を示す。システム１０は、学習方法及び判定方法を実行する。図２は、システム１０が実行する学習方法のフローチャートを示し、図３は、システム１０が実行する判定方法のフローチャートを示す。

本実施形態の学習方法は、対象データの判定を行う学習済みモデルを生成するための方法である。本実施形態の学習方法は、図２に示すように、算出ステップＳ１１と、提示ステップＳ１２と、受付ステップＳ１３と、学習ステップＳ１４とを含む。算出ステップＳ１１は、対象データから特徴量を算出するステップである。提示ステップＳ１２は、特徴量に基づく特徴量情報を提示するステップである。受付ステップＳ１３は、特徴量に基づく対象データの判定のための閾値の入力を受け付けるステップである。学習ステップＳ１４は、閾値を用いて、対象データと判定の結果との入出力関係を学習した学習済みモデルを生成するステップである。

このように、本実施形態の学習方法では、学習済みモデルでの判定に利用される特徴量に基づく特徴量情報を提示して、判定のための閾値の入力を受け付ける。そして、学習済みモデルの生成には、特徴量情報を考慮して入力された閾値が利用される。つまり、本実施形態の学習方法では、ユーザが、学習済みモデルでの判定に利用される特徴量に基づく特徴量情報を参照しながら、判定のための閾値を入力することができる。これによって、学習済みモデルは、ユーザにより入力された閾値に基づいて、対象データと判定の結果との入出力関係を学習することができる。よって、本実施形態の学習方法によれば、閾値を利用する判定の精度の向上が図れる。

本実施形態の判定方法は、対象データの判定を行う方法である。本実施形態の判定方法は、図３に示すように、判定ステップＳ２１，Ｓ２３を含む。判定ステップＳ２１，Ｓ２３は、本実施形態の学習方法により得られた学習済みモデルを利用して、対象データの判定を行うステップである。

このように、本実施形態の判定方法では、上記の学習方法で生成された学習済みモデルを利用して、対象データの判定を実行する。よって、本実施形態の判定方法によれば、閾値を利用する判定の精度の向上が図れる。

１．１．２ 詳細
以下、本実施形態のシステム１０について、図１～図８を参照して更に詳細に説明する。システム１０は、学習方法及び判定方法を実行する。よって、システム１０は、学習システム及び判定システムとしての側面を有する。学習方法は、対象データの判定を行う学習済みモデルを生成するための方法である。判定方法は、学習方法で生成された学習済みモデルを利用して対象データの判定を行う方法である。

本実施形態では、対象データは、対象画像３０（図４及び図５参照）を表すデータである。対象画像３０は、判定対象物２０の画像である。判定対象物２０は、缶である。対象画像３０は、缶の底面を表している。また、図４の対象画像３０は、正常な状態の判定対象物２０を示す。図５の対象画像３０は、異常な状態の判定対象物２０を示す。図５の対象画像３０では、判定対象物２０に、異物２１及び線傷２２がある。なお、判定対象物２０の異常な状態としては、判定対象物２０に点打痕、円擦り傷、汚れ、及び液付着の少なくとも一つがある場合も含まれ得る。判定対象物２０のどのような状態が、異常な状態かは、適宜決められる。

本実施形態では、対象データの判定は、対象データが表す対象画像３０に写った判定対象物２０が正常な状態か異常な状態かの判定を意味する。つまり、システム１０は、対象データの入力に対して、対象データの判定の結果、つまり、判定対象物２０が正常な状態か異常な状態かの判定の結果を出力する。このように、システム１０は、判定対象物２０の検査に利用され得る。

システム１０は、図１に示すように、入力部１１と、出力部１２と、モデル格納部１３と、処理部１４とを備える。

入力部１１は、システム１０に情報を入力するために用いられる。入力部１１によりシステム１０に入力する情報の例としては、学習方法の実行のための情報、判定方法の実行のための情報、及び、システム１０の操作のための情報を含み得る。入力部１１は、情報の入力のための１以上のインタフェースを含む。１以上のインタフェースは、データの入力のためのポート、及びシステム１０を操作するための入力装置を含む。入力装置は、例えば、キーボード、マウス、トラックボール、タッチパッド等を含み得る。

出力部１２は、システム１０から情報を出力するために用いられる。出力部１２によりシステム１０から出力する情報の例としては、学習方法の実行のための情報、判定方法の実行のための情報、及び、システム１０の操作のための情報を含み得る。出力部１２は、情報の出力のための１以上のインタフェースを含む。１以上のインタフェースは、データの出力のためのポート、及び情報を表示するための画像表示装置を備える。画像表示装置は、液晶ディスプレイや有機ＥＬディスプレイ等の薄型のディスプレイ装置を含み得る。

モデル格納部１３は、対象データの判定に使用される判定モデルを格納する。判定モデルは、対象データと判定の結果との関係を学習した学習済みモデルである。モデル格納部１３は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。

処理部１４は、システム１０の全体的な制御、すなわち、入力部１１、出力部１２、及びモデル格納部１３を制御するように構成される。処理部１４は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１４として機能する。プログラムは、ここでは処理部１４のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部１４は、図１に示すように、学習機能部Ｆ１０と、判定機能部Ｆ２０とを備える。図１において、学習機能部Ｆ１０及び判定機能部Ｆ２０は実体のある構成を示しているわけではなく、処理部１４によって実現される機能を示している。

学習機能部Ｆ１０は、対象データの判定を行う学習済みモデルを生成するための学習方法を実行する。つまり、学習機能部Ｆ１０は、主に学習フェーズに関する処理を担う。学習方法では、複数の対象データが用いられる。つまり、対象画像３０が学習画像として利用される。学習画像には、図４に示すような正常な状態の判定対象物２０の画像だけではなく、図５に示すような異常な状態の判定対象物２０の画像も含まれ得る。なお、学習方法に関しては、対象データを学習用データということがある。

学習機能部Ｆ１０は、算出部Ｆ１１と、提示部Ｆ１２と、受付部Ｆ１３と、学習部Ｆ１４とを備える。

算出部Ｆ１１は、対象データ（学習用データ）から特徴量を算出するように構成される。つまり、算出部Ｆ１１は、対象データ（学習用データ）から特徴量を算出する算出ステップを実行する。特徴量の算出には、基準データが用いられる。基準データは、対象データの基準となるデータである。基準データは、対象データと同様に判定対象物２０の画像である。本実施形態では、基準データは、正常な状態の判定対象物２０の画像（基準画像）を示すデータである。よって、図４に示す対象画像３０は、正常な状態の判定対象物２０の画像を示しており、基準画像３１として利用され得る。本実施形態では、基準画像３１と学習画像（対象画像３０）は、判定対象物２０の位置及びサイズが一致している。また、基準画像３１と学習画像（対象画像３０）は、判定対象物２０の背景が同じである。

算出部Ｆ１１は、特徴ベクトルを利用して、特徴量を算出する。算出部Ｆ１１は、図６に示すように、対象画像３０及び基準画像３１に共通して設定される、１以上の画素を含む同じ大きさの複数のブロック３００のそれぞれから特徴量を算出する。各ブロック３００は、ｍ×ｎの画素で構成される。ｍ、ｎはいずれも１以上の整数である。本実施形態では、各ブロック３００は、５×５の画素で構成される。算出部Ｆ１１は、対象データ（対象画像３０）及び基準データ（基準画像３１）それぞれにおいて、ブロック３００毎に、特徴ベクトルを算出する。特徴ベクトルは、ブロック３００に含まれる画素の画素値を要素とする。ブロック３００が５×５の画素で構成される場合、特徴ベクトルは、２５の要素を持つ。つまり、特徴ベクトルは、２５次元空間のベクトルである。算出部Ｆ１１は、図７に示すように、対象データから特徴ベクトル（第１特徴ベクトルＶ１）を算出し、対象データの基準となる基準データから第１特徴ベクトルＶ１に対応する特徴ベクトル（第２特徴ベクトルＶ２）を算出する。ここで、「第１特徴ベクトルＶ１に対応する」とは、第２特徴ベクトルＶ２が第１特徴ベクトルＶ１と同じブロック３００に対応することを意味する。つまり、第１特徴ベクトルＶ１と第２特徴ベクトルＶ２とは、対象画像３０と基準画像３１とで同じ位置（ブロック）にある。算出部Ｆ１１は、互いに対応する第１特徴ベクトルＶ１と第２特徴ベクトルＶ２との差分を特徴量とする。つまり、特徴量は、第１特徴ベクトルＶ１と第２特徴ベクトルＶ２との差分ベクトルＶ３で表される。算出部Ｆ１１は、対象データが表す対象画像３０の全てのブロック３００について、特徴量である差分ベクトルＶ３を算出する。

提示部Ｆ１２は、特徴量に基づく特徴量情報を提示するように構成される。つまり、提示部Ｆ１２は、特徴量に基づく特徴量情報を提示する提示ステップを実行する。本実施形態では、特徴量情報は、図８に示すように、特徴量の大きさを示す特徴量画像４０である。特徴量画像４０は、対象画像３０のブロック３００毎に特徴量の大きさを示す。特徴量の大きさは、特徴量である差分ベクトルＶ３の大きさで評価される。特徴量画像４０は、対象画像３０の複数のブロック３００のそれぞれを、対応する特徴量の大きさに応じた色で表す画像である。特徴量画像４０は、いわゆるヒートマップである。なお、図８では、対象画像３０のブロック３００との関係を分かりやすく示すために、特徴量画像４０を格子状の線に区切っているが、実際の画像では、格子状の線は表示しなくてよい。また、図８の特徴量画像４０はあくまでも一例である。

特徴量画像４０では、特徴量の大きさを、６つのレベルに分類しており、６つのレベルが異なる色で表されている。特徴量の大きさの分類は、絶対的な尺度で行ってもよいし、相対的な尺度で行ってもよい。相対的な尺度を用いる場合には、一例として、複数のブロック３００の差分ベクトルＶ３の最大値に対する割合で、特徴量の大きさを分類してよい。図８では、色が濃いほど、特徴量が大きいことを示している。特徴量が大きいほど、第１特徴ベクトルＶ１が第２特徴ベクトルＶ２から遠い、つまり、似ていないことになる。

提示部Ｆ１２は、特徴量画像４０を提示する。更に、提示部Ｆ１２は、特徴量画像４０の生成に用いられた対象画像３０を提示する。一例として、図８の特徴量画像４０は、図５の対象画像３０から得られている。本実施形態では、提示部Ｆ１２は、出力部１２を用いて、特徴量画像４０及び対象画像３０を提示する。特に、提示部Ｆ１２は、出力部１２の画像表示装置に、特徴量画像４０及び対象画像３０を一緒に表示する。これによって、特徴量画像４０及び対象画像３０の対比が容易になる。なお、特徴量画像４０及び対象画像３０は、画像表示装置の画面において、上下又は左右等の所定の方向に並べられてもよいし、重ねて表示されてもよい。

受付部Ｆ１３は、特徴量に基づく対象データの判定のための閾値の入力を受け付けるように構成される。つまり、受付部Ｆ１３は、特徴量に基づく対象データの判定のための閾値の入力を受け付ける受付ステップを実行する。受付部Ｆ１３は、入力部１１により、閾値の入力を受け付ける。特に、受付部Ｆ１３は、提示部Ｆ１２が特徴量画像４０を提示している状態において、閾値の入力を受け付ける。したがって、ユーザは、特徴量画像４０を参照しながら、閾値の入力が可能である。提示部Ｆ１２は、特徴量画像４０とともに、対象画像３０を提示する。そのため、ユーザは、特徴量画像４０及び対象画像３０を見て、特徴量画像４０において特徴量が大きい場所が、対象画像３０のどの場所かを把握できる。例えば、特徴量画像４０において、特徴量が比較的大きい領域４１，４２は、それぞれ、図５の対象画像３０の異物２１及び線傷２２に対応している。ユーザは、異物２１及び線傷２２がある場合に対象データの判定の結果が異常となるように、閾値を入力する。つまり、ユーザは、判定対象物２０の異常な部分に対応するブロック３００と判定対象物２０の正常な部分に対応するブロック３００との境界となるブロック３００が、閾値に該当する。受付部Ｆ１３は、特徴量の大きさのレベルを閾値として、受け取ることができる。この場合に、ユーザは、特徴量の大きさのレベルをキーボード等で直接入力することができる。また、ユーザは、特徴量画像４０において、閾値に使用したいレベルに対応するブロック３００を指定することで、閾値の入力を行える。受付部Ｆ１３は、閾値とするレベルが指定されると、指定されたレベルに分類される大きさの特徴量を持つブロック３００を抽出し、抽出したブロック３００に対応する差分ベクトルＶ３を閾値の決定に利用する。受付部Ｆ１３は、抽出したブロック３００に対応する差分ベクトルＶ３の代表値を持つベクトルを利用して、対象データの判定のための閾値を表す閾値ベクトルを設定する。ここで、代表値としては、平均値、最頻値、中央値、最大値、最小値が挙げられる。あるいは、受付部Ｆ１３は、閾値とするレベルが指定されると、指定されたレベルを基準に、差分ベクトルを特徴量が閾値より大きい第１グループと特徴量が閾値より小さい第１グループとに分けてもよい。そして、受付部Ｆ１３は、第１グループの代表となる差分ベクトルと第２グループの代表となる差分ベクトルとから等距離となるベクトルを閾値ベクトルとして設定してよい。第１グループの代表となる差分ベクトルは、第１グループにおいて最も中心に位置するベクトル、又は、第１グループにおいて第２グループに最も近いベクトルであってよい。第２グループの代表となる差分ベクトルは、第２グループにおいて最も中心に位置するベクトル、又は、第２グループにおいて第１グループに最も近いベクトルであってよい。このようにして、受付部Ｆ１３は、ユーザから、対象画像３０に適した、閾値を受け付ける。

学習部Ｆ１４は、閾値（受付部Ｆ１３で受け付けた閾値）を用いて、対象データと当該対象データの判定の結果との入出力関係を学習した学習済みモデルを生成するように構成される。つまり、学習部Ｆ１４は、閾値を用いて、対象データと判定の結果との入出力関係を学習した学習済みモデルを生成する学習ステップを実行する。特に、学習部Ｆ１４は、対象データ（対象画像３０）と、対象データ（対象画像３０）から生成された特徴量画像４０に対して入力された閾値（閾値ベクトル）との対応関係を利用して、学習済みモデルを生成する。つまり、対象データ（対象画像３０）に対して、閾値が決まれば、対象データ（対象画像３０）に対して、判定対象物２０が正常な状態か異常な状態かの判定の結果を出力することができる。本実施形態では、対象データの複数のブロックの差分ベクトルＶ３の少なくとも一つにおいて大きさが閾値ベクトル以上であれば、判定対象物２０が異常な状態であるとしている。学習部Ｆ１４は、対象データと、対象データから算出される複数の特徴量に基づく特徴量情報の提示に対して入力された複数の特徴量に基づく対象データの判定のための閾値とを含む、複数の学習用データセットを用意する。つまり、学習部Ｆ１４は、提示部Ｆ１２での処理（提示ステップ）と受付部Ｆ１３での処理（受付ステップ）とを複数回実行して、複数の学習用データセットを生成する。学習部Ｆ１４は、このようにして生成された複数の学習用データセットを用いた教師あり学習により、学習済みモデルを生成する。より詳細には、学習部Ｆ１４は、複数の学習用データセットにより、人工知能のプログラム（アルゴリズム）に、対象データと当該対象データの判定の結果との入出力関係を学習させる。なお、人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。学習部Ｆ１４は、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、学習済みモデルを生成する。学習部Ｆ１４は、生成した学習済みモデルを、モデル格納部１３に格納する。

判定機能部Ｆ２０は、学習方法で生成された学習済みモデルを利用して対象データの判定を行う判定方法を実行する。つまり、判定機能部Ｆ２０は、主に推論フェーズに関する処理を担う。判定方法は、システム１０に新しく入力される対象データに対して実施される。システム１０に新しく入力される対象データは、学習済みモデルの生成に利用された対象データとは異なる。なお、判定方法に関しては、対象データを学習用データと区別して判定用データということがある。判定用データは、入力部１１によりシステム１０に入力され得る。

判定機能部Ｆ２０は、判定部Ｆ２１と、調整部Ｆ２２とを備える。

判定部Ｆ２１は、学習方法により得られた学習済みモデルを利用して、対象データの判定を行うように構成される。つまり、判定部Ｆ２１は、学習方法により得られた学習済みモデルを利用して、対象データの判定を行う判定ステップを実行する。より詳細には、判定部Ｆ２１は、入力部１１により判定用データとしての対象データがシステム１０に入力された場合に、モデル格納部１３に格納された学習済みモデルを利用して、対象データ（判定用データ）の判定を行う。判定部Ｆ２１は、入力部１１を通じて対象データを受け取ると、モデル格納部１３に格納された学習済みモデルに、受け取った対象データを入力して、対象データの判定の結果を出力させる。判定部Ｆ２１は、対象データの判定の結果が得られると、出力部１２により提示する。

調整部Ｆ２２は、閾値の調整を行うように構成される。つまり、調整部Ｆ２２は、閾値の調整を行う調整ステップを実行する。言い換えれば、調整部Ｆ２２は、モデル格納部１３に格納された学習済みモデルの再学習を行うといえる。調整部Ｆ２２は、学習機能部Ｆ１０の算出部Ｆ１１、提示部Ｆ１２、受付部Ｆ１３、及び学習部Ｆ１４と同様の処理を実行する。つまり、調整部Ｆ２２は、対象データから特徴量を算出するステップ（第２算出ステップ）を実行する。また、調整部Ｆ２２は、特徴量に基づく特徴量情報を提示するステップ（第２提示ステップ）を実行する。また、調整部Ｆ２２は、特徴量に基づく対象データの判定のための閾値の入力を受け付けるステップ（第２受付ステップ）を実行する。また、調整部Ｆ２２は、閾値を用いて、学習済みモデルに入出力関係を再度学習させるステップ（第２学習ステップ）を実行する。調整部Ｆ２２は、算出部Ｆ１１、提示部Ｆ１２、受付部Ｆ１３、及び学習部Ｆ１４と同様の処理によって実現可能である。ユーザは、判定部Ｆ２１での判定の結果が想定とは異なる場合に、調整部Ｆ２２によって、閾値の調整を行うことができる。つまり、判定対象物２０の環境等の影響により、モデル格納部１３に格納された学習済みモデルでは、新しい対象データに対応できなくなってくることが想定される。このような場合に、調整部Ｆ２２によって、再学習を行うことで、学習済みモデルを新しい対象データに適応させることが可能となる。

１．１．３ 動作
１．１．３．１ 学習
次に、システム１０の学習時の動作（つまり、学習機能部Ｆ１０の動作）について図２のフローチャートを参照して簡単に説明する。

まず、学習機能部Ｆ１０に、学習用のデータとして、対象データを入力する（Ｓ１０）。学習機能部Ｆ１０は、算出部Ｆ１１によって、入力された対象データから、特徴量を算出する（Ｓ１１）。次に、学習機能部Ｆ１０は、提示部Ｆ１２によって、特徴量画像４０を特徴量情報として提示する（Ｓ１２）。そして、学習機能部Ｆ１０は、受付部Ｆ１３によって、ユーザからの閾値の入力を受け付ける（Ｓ１３）。学習機能部Ｆ１０は、ユーザにより入力された閾値を用いて、対象データと判定の結果との入出力関係を学習した学習済みモデルを生成する（Ｓ１４）。

このように、本実施形態の学習方法では、学習済みモデルでの判定に利用される特徴量に基づく特徴量情報を提示して、判定のための閾値の入力を受け付ける。これによって、学習済みモデルは、ユーザにより入力された閾値に基づいて、対象データと判定の結果との入出力関係を学習することができる。よって、本実施形態の学習方法によれば、閾値を利用する判定の精度の向上が図れる。

１．１．３．２ 判定
次に、システム１０の判定時の動作（つまり、判定機能部Ｆ２０の動作）について図３のフローチャートを参照して簡単に説明する。

まず、判定機能部Ｆ２０に、判定用のデータとして、対象データを入力する（Ｓ２０）。判定機能部Ｆ２０は、判定部Ｆ２１によって、入力された対象データから、学習済みモデルを用いて、対象データの判定の結果を出力する（Ｓ２１）。ここで、ユーザがステップＳ２１での判定の結果に疑義がある場合には、閾値の調整（学習済みモデルの再学習）が実行され得る（Ｓ２２）。判定機能部Ｆ２０は、ステップＳ２２においては、対象データ（一例として、ステップＳ２０で入力された対象データ）から、特徴量を算出し、特徴量に基づいて特徴量画像４０を提示し、ユーザからの閾値の入力を受け付ける。学習機能部Ｆ１０は、ユーザにより入力された閾値を用いて、学習済みモデルの再学習を実行する。そして、判定機能部Ｆ２０は、判定部Ｆ２１によって、入力された対象データから、再学習後の学習済みモデルを用いて、対象データの判定の結果を再度出力する（Ｓ２３）。

このように、本実施形態の判定方法では、上記の学習方法で生成された学習済みモデルを利用して、対象データの判定を実行する。よって、本実施形態の判定方法によれば、閾値を利用する判定の精度の向上が図れる。更に、判定方法では、必要に応じて、学習済みモデルの再学習が可能である。この再学習においても、学習済みモデルでの判定に利用される特徴量に基づく特徴量情報を提示して、判定のための閾値の入力を受け付ける。よって、再学習により、閾値を利用する判定の精度の向上が図れる。ステップＳ２２及びＳ２３は、必ずしも毎回実行されるわけではなく、必要に応じて実行される。また、ステップＳ２３の後に、更に、ステップＳ２２が実行され、再度、ステップＳ２３が実行される場合もある。つまり、閾値の調整（ステップＳ２２）は、必要に応じて何回も実行可能である。

１．１．４ まとめ
以上述べたように、システム１０は、学習システムとして機能し、算出部Ｆ１１と、提示部Ｆ１２と、受付部Ｆ１３と、学習部Ｆ１４とを備える。算出部Ｆ１１は、対象データから複数の特徴量を算出するように構成される。提示部Ｆ１２は、複数の特徴量に基づく特徴量情報を提示するように構成される。受付部Ｆ１３は、複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるように構成される。学習部Ｆ１４は、閾値を用いて、対象データと判定の結果との関係を機械学習のモデルに学習させるように構成される。よって、本実施形態の学習システム（システム１０）によれば、閾値を利用する判定の精度の向上が図れる。

換言すれば、学習システム（システム１０）は、下記の方法（学習方法）を実行しているといえる。学習方法は、対象データの判定を行う学習済みモデルを生成するための方法である。本実施形態の学習方法は、図２に示すように、算出ステップＳ１１と、提示ステップＳ１２と、受付ステップＳ１３と、学習ステップＳ１４とを含む。算出ステップＳ１１は、対象データから特徴量を算出するステップである。提示ステップＳ１２は、特徴量に基づく特徴量情報を提示するステップである。受付ステップＳ１３は、特徴量に基づく対象データの判定のための閾値の入力を受け付けるステップである。学習ステップＳ１４は、閾値を用いて、対象データと判定の結果との入出力関係を学習した学習済みモデルを生成するステップである。このような学習方法によれば、学習システム（システム１０）と同様に、閾値を利用する判定の精度の向上が図れる。

また、学習システム（システム１０）は、コンピュータシステム（１以上のプロセッサ）により実現されている。つまり、学習システムは、１以上のプロセッサがプログラム（コンピュータプログラム）を実行することにより実現される。このプログラムは、１以上のプロセッサに学習方法を実行させるためのプログラムである。このようなプログラムによれば、学習方法と同様に、閾値を利用する判定の精度の向上が図れる。

システム１０は、判定部Ｆ２１を備える。判定部Ｆ２１は、学習方法で生成された学習済みモデルを利用して対象データの判定を行うように構成される。学習済みモデルは、上述したように、ユーザにより入力された閾値に基づいて、対象データと判定の結果との入出力関係を学習している。よって、システム１０によれば、閾値を利用する判定の精度の向上が図れる。

換言すれば、システム１０は、下記の方法（判定方法）を実行しているといえる。判定方法は、対象データの判定を行う方法である。本実施形態の判定方法は、図３に示すように、学習方法で生成された学習済みモデルを利用して対象データの判定を行う判定ステップ（Ｓ２１，Ｓ２３）を含む。このような判定方法によれば、システム１０と同様に、閾値を利用する判定の精度の向上が図れる。

また、システム１０は、コンピュータシステム（１以上のプロセッサ）により実現されている。つまり、システム１０は、１以上のプロセッサがプログラム（コンピュータプログラム）を実行することにより実現される。このプログラムは、１以上のプロセッサに判定方法を実行させるためのプログラムである。このようなプログラムによれば、判定方法と同様に、閾値を利用する判定の精度の向上が図れる。

更に、本実施形態では、学習部Ｆ１４は、学習用データセットを利用した教師あり学習により、学習済みモデルを生成している。すなわち、学習システム（システム１０）は、学習用データセットの生成方法を実行している。この学習用データセットの生成方法は、算出ステップＳ１１と、提示ステップＳ１２と、受付ステップＳ１３と、生成ステップ（学習ステップＳ１４）とを含む。算出ステップＳ１１は、対象データから複数の特徴量を算出するステップである。提示ステップＳ１２は、複数の特徴量に基づく特徴量情報を提示するステップである。受付ステップＳ１３は、複数の特徴量に基づく対象データの判定のための閾値の入力を受け付けるステップである。生成ステップ（学習ステップＳ１４）は、対象データと閾値とを含む学習用データセットを生成するステップである。このような学習用データセットは、対象データと、対象データから算出される複数の特徴量に基づく特徴量情報の提示に対して入力された、複数の特徴量に基づく対象データの判定のための閾値とを含む。よって、このような学習用データセットを利用して学習を実行して得られた学習済みモデルを利用することで、閾値を利用する判定の精度の向上が図れる。

１．２ 実施形態２
以下、実施形態２のシステム１０Ａについて、図９～図１１を参照して説明する。システム１０Ａは、システム１０の学習機能部Ｆ１０とは異なる学習機能部Ｆ１０Ａを備える。

学習機能部Ｆ１０Ａは、対象データの判定を行う学習済みモデルを生成するための学習方法を実行する。学習機能部Ｆ１０Ａは、算出部Ｆ１１と、提示部Ｆ１２と、受付部Ｆ１３と、学習部Ｆ１４とに加えて、事前学習部Ｆ１５を備える。

事前学習部Ｆ１５は、複数の対象データを用いた教師なし学習により、人工知能のプログラムに複数の対象データのグループ分けを学習させて事前学習済みモデルを生成するように構成される。つまり、事前学習部Ｆ１５は、複数の対象データを用いた教師なし学習により、人工知能のプログラムに複数の対象データのグループ分けを学習させて事前学習済みモデルを生成する事前学習ステップ（図１０のステップＳ３１）を実行する。より詳細には、事前学習部Ｆ１５は、複数の対象データの各々について、算出部Ｆ１１と同様に、ブロック３００毎の特徴量（差分ベクトルＶ３）を算出する。事前学習部Ｆ１５は、ブロック３００毎に、教師なし学習により、特徴量に基づく対象データのグループ分けを実行する。教師なし学習のアルゴリズムとしては、クラスタリングが挙げられる。また、クラスタリングの一例としては、ｋ－平均法が挙げられる。本実施形態では、対象データの判定の結果が、判定対象物２０が正常な状態か異常な状態かの２つであるから、クラスタの数を２つとしてクラスタリングが実行され得る。例えば、図１１に示すように、複数の対象データの同一ブロック３００から算出される差分ベクトルＶ３は、クラスタＣ１１，Ｃ１２のいずれかに分類される。そして、差分ベクトルＶ３がクラスタＣ１１，Ｃ１２のいずれに属するかを決めるための閾値となる閾値ベクトルＴ１０が決定される。このようにして、事前学習部Ｆ１５は、ブロック３００毎に閾値を設定し、事前学習済みモデルを生成する。

算出部Ｆ１１は、事前学習部Ｆ１５での事前学習済みモデルの生成に用いられた複数の対象データから選択される１以上の特定の対象データについて、１以上の特徴量の算出を行うように構成される。また、提示部Ｆ１２は、１以上の特定の対象データについて１以上の特徴量情報を提示するように構成される。更に、受付部Ｆ１３は、１以上の特定の対象データについて１以上の閾値の入力を受け付けるように構成される。

ここで、１以上の特定の対象データは、事前学習済みモデルに対してユーザの判断を反映させるために利用される。１以上の特定の対象データは、複数の対象データからランダムに選択されてもよい。ただし、本実施形態では、複数の対象データから、複数の特定の対象データを選択している。ここで、複数の特定の対象データの数は、複数の対象データの数よりも少ないほうが、学習方法において、ユーザの負担を低減できる。複数の特定の対象データは、複数の対象データのうち事前学習済みモデルでのグループ分けの信頼性が異なる複数の対象データである。ここで、グループ分けの信頼性は、同一クラスタに分類されると判断された特徴量に関して、クラスタの中心点からの距離で評価される。つまり、クラスタの中心点に近い特徴量ほどグループ分けの信頼性が高く、クラスタの中心点から遠い特徴量ほどグループ分けの信頼性が低い。ここで、複数の特定の対象データは、クラスタ毎に、クラスタの中心点に最も近い特徴量を含む対象データ（つまり、信頼性が高い対象データ）と、クラスタの中心点から最も遠い特徴量を含む対象データ（信頼性が低い対象データ）とを含むことが好ましい。

学習部Ｆ１４は、１以上の特定の対象データについての１以上の閾値を用いて、事前学習済みモデルに入出力関係を学習させて、学習済みモデルを生成するように構成される。本実施形態では、学習部Ｆ１４は、特定の対象データ（対象画像３０）と、特定の対象データ（対象画像３０）から生成された特徴量画像４０に対して入力された閾値（閾値ベクトル）との対応関係を利用して、事前学習済みモデルに入出力関係を学習させる。事前学習済みモデルは、複数の対象データについて、特徴量の分類を学習しているが、この学習の結果にはユーザの判断が反映されていない。学習部Ｆ１４は、対象データに対してユーザが与えた閾値を利用して、事前学習済みモデルにユーザの判断を学習させる処理を行う。例えば、図１１において、差分ベクトルＶ３１は、当初はクラスタＣ１１に属している。ユーザが差分ベクトルＶ３１はクラスタＣ１２に属するべきだと考えて閾値を入力することによって、クラスタＣ１１は、差分ベクトルＶ３１を含まないクラスタＣ２１に変更され、クラスタＣ１２は、差分ベクトルＶ３１を含むクラスタＣ２２に変更され得る。更に、閾値ベクトルＴ１０が、新たな閾値ベクトルＴ２０に変更される。このように、学習部Ｆ１４は、特定の対象データに対してユーザが入力した閾値を利用して、事前学習済みモデルの有する閾値ベクトルを修正することで、学習済みモデルにユーザの判断を反映させる。

具体的には、学習部Ｆ１４は、特定の対象データから、対象データと閾値とを含む学習用データセットを用意する。学習部Ｆ１４は、事前学習済みモデルをベースにして、学習用データセットを用いた教師あり学習を実行し、学習済みモデルを生成する。より詳細には、学習部Ｆ１４は、学習用データセットにより、事前学習済みモデルに、対象データと当該対象データの判定の結果との入出力関係を学習させる。学習部Ｆ１４は、複数の特定の対象データがある場合には、複数の特定の対象データの各々に対して、学習用データセットを用意する。学習部Ｆ１４は、信頼性が高い順に、学習用データセットを事前学習済みモデルに適用して学習済みモデルを生成する。つまり、学習部Ｆ１４は、信頼性が高い対象データから順に学習に用いる。これによって、算出部Ｆ１１の処理（ステップＳ３２）、提示部Ｆ１２の処理（ステップＳ３３）、受付部Ｆ１３の処理（ステップＳ３４）、及び学習部Ｆ１４の処理（ステップＳ３５）は、複数の特定の対象データについて、信頼性が高い順に実行される。学習部Ｆ１４は、生成した学習済みモデルをモデル格納部１３に格納する。

次に、システム１０Ａの学習時の動作（つまり、学習機能部Ｆ１０Ａの動作）について図１０のフローチャートを参照して簡単に説明する。なお、判定機能部Ｆ２０の動作については、システム１０とシステム１０Ａとで変わりはない。

まず、学習機能部Ｆ１０Ａに、学習用のデータとして、複数の対象データを入力する（Ｓ３０）。学習機能部Ｆ１０Ａは、事前学習部Ｆ１５によって、複数の対象データから、事前学習済みモデルを生成する（Ｓ３１）。学習機能部Ｆ１０Ａは、算出部Ｆ１１によって、特定の対象データから、特徴量を算出する（Ｓ３２）。次に、学習機能部Ｆ１０Ａは、提示部Ｆ１２によって、特徴量情報（図８の特徴量画像４０参照）を提示する（Ｓ３３）。そして、学習機能部Ｆ１０Ａは、受付部Ｆ１３によって、ユーザからの閾値の入力を受け付ける（Ｓ３４）。学習機能部Ｆ１０Ａは、ユーザにより入力された閾値を用いて、特定の対象データと判定の結果との入出力関係を事前学習済みモデルに学習させ、学習済みモデルを生成する（Ｓ３５）。

このように、本実施形態の学習方法では、学習済みモデルでの判定に利用される特徴量に基づく特徴量情報を提示して、判定のための閾値の入力を受け付ける。これによって、学習済みモデルは、ユーザにより入力された閾値に基づいて、対象データと判定の結果との入出力関係を学習することができる。よって、本実施形態の学習方法によれば、閾値を利用する判定の精度の向上が図れる。更に、複数の対象データから、事前学習済みモデルを生成し、この事前学習済みモデルをベースに、最終的な学習済みモデルを生成する。この場合、複数の対象データの全てに対して学習用データセットを作成する場合に比べれば、ユーザが閾値を入力する回数を減らすことができる。よって、学習方法の実施にかかるユーザの負担を低減できる。ここで、複数の対象データから複数の特定の対象データを選ぶ場合、算出ステップ（Ｓ３２）、提示ステップ（Ｓ３３）、受付ステップ（Ｓ３４）、及び学習ステップ（Ｓ３５）は、複数の特定の対象データについて、信頼性が高い順に実行されるとよい。

２．変形例
本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。

一変形例では、算出部Ｆ１１は、実施形態１，２と異なる方法で、特徴量を算出してよい。算出部Ｆ１１は、対象画像３０及び基準画像３１に共通して設定される、１以上の画素を含む同じ大きさの複数のブロック３００のそれぞれから特徴量を算出する。算出部Ｆ１１は、対象データの全てのブロック３００について特徴ベクトル（第１特徴ベクトルＶ１）を算出し、更に、対象データの基準となる基準データの全てのブロックについて特徴ベクトル（第２特徴ベクトルＶ２）を算出する。算出部Ｆ１１は、第１特徴ベクトルＶ１に、第２特徴ベクトルＶ２のいずれとも合致しない第１特徴ベクトルＶ１があるかどうかを調べる。例えば、図１２は、第１特徴ベクトルＶ１の分布を示している。図１２において、Ｇ１０は、第２特徴ベクトルＶ２のいずれかに合致する第１特徴ベクトルＶ１のグループを示す。Ｇ１１は、第２特徴ベクトルＶ２のいずれにも合致しない第１特徴ベクトルＶ１のグループを示す。グループＧ１１に属する第１特徴ベクトルＶ１は、基準画像３１に存在しない特徴ベクトルであるから、判定対象物２０の異常に関する可能性が高い。このような観点から、算出部Ｆ１１は、対象データから第１特徴ベクトルＶ１を算出し、対象データの基準となる基準データから第１特徴ベクトルＶ１との距離が最も近い第２特徴ベクトルＶ２を算出する。そして、算出部Ｆ１１は、第１特徴ベクトルＶ１と第２特徴ベクトルＶ２との差分を特徴量とする。言い換えれば、算出部Ｆ１１は、次の算出ステップを実行する。算出ステップでは、算出部Ｆ１１は、対象データから第１特徴ベクトルＶ１を算出し、対象データの基準となる基準データから第１特徴ベクトルＶ１との距離が最も近い第２特徴ベクトルＶ２を算出する。算出部Ｆ１１は、第１特徴ベクトルＶ１と第２特徴ベクトルＶ２との差分を特徴量とする。特徴量が大きければ、基準画像３１に存在しない特徴ベクトルである可能性が高く、判定対象物２０の異常に関する可能性が高い。この場合には、対象画像３０及び基準画像３１において、判定対象物２０の位置及びサイズをそろえておく必要がなくなる。そのため、対象画像３０を得るための処理が簡略化され得る。

一変形例では、特徴量情報は、図８に示す特徴量画像４０に限定されない。特徴量情報は、特徴量の大きさをユーザが理解できる形式の情報であればよい。例えば、特徴量情報の例としては、ヒートマップの他に、等高線及び３Ｄ棒グラフが挙げられる。

実施形態１では、システム１０は、学習機能部Ｆ１０及び判定機能部Ｆ２０の両方を備えているが、学習機能部Ｆ１０及び判定機能部Ｆ２０の一方だけを備えていてよい。また、判定機能部Ｆ２０は、調整部Ｆ２２を必ずしも有している必要はない。この点は、実施形態２のシステム１０Ａにおいても同様に適用できる。

一変形例では、判定対象物２０は、缶以外の物体であってもよい。物体は、検査又は検出の対象となる物体であってよく、一例としては、電気製品、車両、船舶、航空機、食器、家具、寝具、衣類、建物、遊具、書籍、看板等があり得る。

一変形例では、対象データは、画像を表すデータでなくてもよい。例えば、対象データは、音を表すデータであってもよい。つまり、対象データは、特徴量の算出が可能なデータであればよい。

一変形例では、システム（１０，１０Ａ）は、複数のコンピュータにより構成されていてもよい。例えば、システム（１０，１０Ａ）の機能（特に、学習機能部Ｆ１０，Ｆ１０Ａ及び判定機能部Ｆ２０）は、複数の装置に分散されていてもよい。更に、学習機能部Ｆ１０，Ｆ１０Ａ及び判定機能部Ｆ２０の機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。

以上述べたシステム（１０，１０Ａ）の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるシステム（１０，１０Ａ）の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（ＦＧＰＡ）、ＡＳＩＣ（application specific integrated circuit）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

３．態様
上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。

第１の態様は、学習方法であって、算出ステップ（Ｓ１１；Ｓ３２）と、提示ステップ（Ｓ１２；Ｓ３３）と、受付ステップ（Ｓ１３；Ｓ３４）と、学習ステップ（Ｓ１４；Ｓ３５）とを含む。前記算出ステップ（Ｓ１１；Ｓ３２）は、対象データから特徴量を算出するステップである。前記提示ステップ（Ｓ１２；Ｓ３３）は、前記特徴量に基づく特徴量情報を提示するステップである。前記受付ステップ（Ｓ１３；Ｓ３４）は、前記特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるステップである。前記学習ステップ（Ｓ１４；Ｓ３５）は、前記閾値を用いて、前記対象データと前記判定の結果との入出力関係を学習した学習済みモデルを生成するステップである。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第２の態様は、第１の態様の学習方法に基づく。第２の態様では、前記特徴量情報は、前記特徴量の大きさ示す特徴量画像（４０）である。この態様によれば、ユーザが閾値を容易に決定できるようになる。

第３の態様は、第２の態様の学習方法に基づく。第３の態様では、前記対象データは、対象画像（３０）を表すデータである。前記提示ステップは、前記対象画像（３０）と前記特徴量画像（４０）とを提示する。この態様によれば、ユーザが閾値を容易に決定できるようになる。

第４の態様は、第３の態様の学習方法に基づく。第４の態様では、前記算出ステップ（Ｓ１１）は、前記対象画像（３０）に設定される、１以上の画素を含む同じ大きさの複数のブロック（３００）のそれぞれから前記特徴量を算出する。前記特徴量画像（４０）は、前記複数のブロック（３００）のそれぞれを、対応する特徴量の大きさに応じた色で表す画像である。この態様によれば、ユーザが閾値を容易に決定できるようになる。

第５の態様は、第１～第４の態様のいずれか一つの学習方法に基づく。第５の態様では、前記学習ステップ（Ｓ１４）は、複数の学習用データセットを用いた教師あり学習により、前記学習済みモデルを生成する。前記複数の学習用データセットは、前記提示ステップ（Ｓ１２）と前記受付ステップ（Ｓ１３）とを複数回実行して生成され、それぞれ前記対象データと前記閾値とを含む。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第６の態様は、第１～第４の態様のいずれか一つの学習方法に基づく。第６の態様では、前記学習方法は、前記算出ステップ（Ｓ３２）の前に実行される事前学習ステップ（Ｓ３１）を含む。前記事前学習ステップ（Ｓ３１）は、複数の前記対象データを用いた教師なし学習により、人工知能のプログラムに前記複数の対象データのグループ分けを学習させて事前学習済みモデルを生成するステップである。前記算出ステップ（Ｓ３２）は、前記複数の対象データのうちの１以上の特定の対象データについて１以上の特徴量を算出する。前記提示ステップ（Ｓ３３）は、前記１以上の特定の対象データについて１以上の前記特徴量情報を提示する。前記受付ステップ（Ｓ３４）は、前記１以上の特定の対象データについて１以上の前記閾値の入力を受け付ける。前記学習ステップ（Ｓ３５）は、前記１以上の特定の対象データについての前記１以上の閾値を用いて、前記事前学習済みモデルに前記入出力関係を学習させて、前記学習済みモデルを生成する。この態様によれば、学習方法の実施にかかるユーザの負担を低減できる。

第７の態様は、第６の態様の学習方法であって、前記１以上の特定の対象データは、前記複数の対象データのうち前記事前学習済みモデルでの前記グループ分けの信頼性が異なる複数の特定の対象データである。前記算出ステップ（Ｓ３２）、前記提示ステップ（Ｓ３３）、前記受付ステップ（Ｓ３４）、及び前記学習ステップ（Ｓ３５）は、前記複数の特定の対象データについて、前記信頼性が高い順に実行される。この態様によれば、学習方法の実施にかかるユーザの負担を低減できる。

第８の態様は、第１～第７の態様のいずれか一つの学習方法に基づく。第８の態様では、前記算出ステップ（Ｓ１１；Ｓ３２）は、前記対象データから第１特徴ベクトル（Ｖ１）を算出し、前記対象データの基準となる基準データから前記第１特徴ベクトル（Ｖ１）に対応する第２特徴ベクトル（Ｖ２）を算出する。前記算出ステップ（Ｓ１１；Ｓ３２）は、前記第１特徴ベクトル（Ｖ１）と前記第２特徴ベクトル（Ｖ２）との差分を前記特徴量とする。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第９の態様は、第１～第７の態様のいずれか一つの学習方法に基づく。第９の態様では、前記算出ステップ（Ｓ１１；Ｓ３２）は、前記対象データから第１特徴ベクトル（Ｖ１）を算出し、前記対象データの基準となる基準データから前記第１特徴ベクトル（Ｖ１）との距離が最も近い第２特徴ベクトル（Ｖ２）を算出する。前記算出ステップ（Ｓ１１；Ｓ３２）は、前記第１特徴ベクトル（Ｖ１）と前記第２特徴ベクトル（Ｖ２）との差分を前記特徴量とする。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１０の態様は、判定方法であって、第１～第９の態様のいずれか一つの学習方法により得られた学習済みモデルを利用して、対象データの判定を行う判定ステップ（Ｓ２１，Ｓ２３）を含む。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１１の態様は、第１０の態様の判定方法に基づく。第１１の態様では、前記判定方法は、調整ステップ（Ｓ２２）を更に含む。前記調整ステップ（Ｓ２２）は、第２算出ステップと、第２提示ステップと、第２受付ステップと、第２学習ステップとを含む。前記第２算出ステップは、対象データから特徴量を算出するステップである。前記第２提示ステップは、前記特徴量に基づく特徴量情報を提示するステップである。前記第２受付ステップは、前記特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるステップである。前記第２学習ステップは、前記閾値を用いて、前記学習済みモデルに前記入出力関係を再度学習させるステップである。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１２の態様は、プログラム（コンピュータプログラム）であって、１以上のプロセッサに、第１～第９の態様のいずれか一つの学習方法を実行させるための、プログラムである。この態様によれば、閾値を利用する判定の精度の向上が図れる。なお、第１２の態様の他例は、プログラム（コンピュータプログラム）であって、１以上のプロセッサに、第１０又は第１１の態様の判定方法を実行させるための、プログラムである。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１３の態様は、学習システム（１０；１０Ａ）であって、算出部（Ｆ１１）と、提示部（Ｆ１２）と、受付部（Ｆ１３）と、学習部（Ｆ１４）と、を備える。前記算出部（Ｆ１１）は、対象データから複数の特徴量を算出するように構成される。前記提示部（Ｆ１２）は、前記複数の特徴量に基づく特徴量情報を提示するように構成される。前記受付部（Ｆ１３）は、前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるように構成される。前記学習部（Ｆ１４）は、前記閾値を用いて、前記対象データと前記判定の結果との関係を機械学習のモデルに学習させるように構成される。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１４の態様は、学習用データセットの生成方法であって、算出ステップ（Ｓ１１）と、提示ステップ（Ｓ１２）と、受付ステップ（Ｓ１３）と、生成ステップ（Ｓ１４）とを含む。前記算出ステップ（Ｓ１１）は、対象データから複数の特徴量を算出するステップである。前記提示ステップ（Ｓ１２）は、前記複数の特徴量に基づく特徴量情報を提示するステップである。前記受付ステップ（Ｓ１３）は、前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付けるステップである。前記生成ステップ（Ｓ１４）は、前記対象データと前記閾値とを含む学習用データセットを生成するステップである。この態様によれば、閾値を利用する判定の精度の向上が図れる。

第１５の態様は、学習用データセットであって、対象データと、前記対象データから算出される複数の特徴量に基づく特徴量情報の提示に対して入力された、前記複数の特徴量に基づく前記対象データの判定のための閾値と、を含む。この態様によれば、閾値を利用する判定の精度の向上が図れる。

１０，１０Ａ システム（学習システム）
Ｆ１１ 算出部
Ｆ１２ 提示部
Ｆ１３ 受付部
Ｆ１４ 学習部
３０ 対象画像
３００ ブロック
４０ 特徴量画像
Ｖ１ 特徴ベクトル（第１特徴ベクトル）
Ｖ２ 特徴ベクトル（第２特徴ベクトル）
Ｓ１１，Ｓ３２ 算出ステップ
Ｓ１２，Ｓ３３ 提示ステップ
Ｓ１３，Ｓ３４ 受付ステップ
Ｓ１４，Ｓ３５ 学習ステップ
Ｓ３１ 事前学習ステップ
Ｓ２１，Ｓ２３ 判定ステップ
Ｓ２２ 調整ステップ

Claims (15)

1. 対象データから特徴量を算出する算出ステップと、
   前記特徴量に基づく特徴量情報を提示する提示ステップと、
   前記特徴量に基づく前記対象データの判定のための閾値の入力を受け付ける受付ステップと、
   前記閾値を用いて、前記対象データと前記判定の結果との入出力関係を学習した学習済みモデルを生成する学習ステップと、
   を含む、
   学習方法。
2. 前記特徴量情報は、前記特徴量の大きさ示す特徴量画像である、
   請求項１の学習方法。
3. 前記対象データは、対象画像を表すデータであり、
   前記提示ステップは、前記対象画像と前記特徴量画像とを提示する、
   請求項２の学習方法。
4. 前記算出ステップは、前記対象画像に設定される、１以上の画素を含む同じ大きさの複数のブロックのそれぞれから前記特徴量を算出し、
   前記特徴量画像は、前記複数のブロックのそれぞれを、対応する特徴量の大きさに応じた色で表す画像である、
   請求項３の学習方法。
5. 前記学習ステップは、前記提示ステップと前記受付ステップとを複数回実行して生成された、それぞれ前記対象データと前記閾値とを含む複数の学習用データセットを用いた教師あり学習により、前記学習済みモデルを生成する、
   請求項１～４のいずれか一つの学習方法。
6. 前記算出ステップの前に実行される事前学習ステップを含み、
   前記事前学習ステップは、複数の前記対象データを用いた教師なし学習により、人工知能のプログラムに前記複数の対象データのグループ分けを学習させて事前学習済みモデルを生成するステップであり、
   前記算出ステップは、前記複数の対象データのうちの１以上の特定の対象データについて１以上の特徴量を算出し、
   前記提示ステップは、前記１以上の特定の対象データについて１以上の前記特徴量情報を提示し、
   前記受付ステップは、前記１以上の特定の対象データについて１以上の前記閾値の入力を受け付け、
   前記学習ステップは、前記１以上の特定の対象データについての前記１以上の閾値を用いて、前記事前学習済みモデルに前記入出力関係を学習させて、前記学習済みモデルを生成する、
   請求項１～４のいずれか一つの学習方法。
7. 前記１以上の特定の対象データは、前記複数の対象データのうち前記事前学習済みモデルでの前記グループ分けの信頼性が異なる複数の特定の対象データであり、
   前記算出ステップ、前記提示ステップ、前記受付ステップ、及び前記学習ステップは、前記複数の特定の対象データについて、前記信頼性が高い順に実行される、
   請求項６の学習方法。
8. 前記算出ステップは、前記対象データから第１特徴ベクトルを算出し、前記対象データの基準となる基準データから前記第１特徴ベクトルに対応する第２特徴ベクトルを算出し、前記第１特徴ベクトルと前記第２特徴ベクトルとの差分を前記特徴量とする、
   請求項１～７のいずれか一つの学習方法。
9. 前記算出ステップは、前記対象データから第１特徴ベクトルを算出し、前記対象データの基準となる基準データから前記第１特徴ベクトルとの距離が最も近い第２特徴ベクトルを算出し、前記第１特徴ベクトルと前記第２特徴ベクトルとの差分を前記特徴量とする、
   請求項１～７のいずれか一つの学習方法。
10. 請求項１～９のいずれか一つの学習方法により得られた学習済みモデルを利用して、対象データの判定を行う判定ステップを含む、
    判定方法。
11. 調整ステップを更に含み、
    前記調整ステップは、
    対象データから特徴量を算出する第２算出ステップと、
    前記特徴量に基づく特徴量情報を提示する第２提示ステップと、
    前記特徴量に基づく前記対象データの判定のための閾値の入力を受け付ける第２受付ステップと、
    前記閾値を用いて、前記学習済みモデルに前記入出力関係を再度学習させる第２学習ステップと、
    を含む、
    請求項１０の判定方法。
12. １以上のプロセッサに、請求項１～９のいずれか一つの学習方法を実行させるための、
    プログラム。
13. 対象データから複数の特徴量を算出する算出部と、
    前記複数の特徴量に基づく特徴量情報を提示する提示部と、
    前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付ける受付部と、
    前記閾値を用いて、前記対象データと前記判定の結果との関係を機械学習のモデルに学習させる学習部と、
    を備える、
    学習システム。
14. 対象データから複数の特徴量を算出する算出ステップと、
    前記複数の特徴量に基づく特徴量情報を提示する提示ステップと、
    前記複数の特徴量に基づく前記対象データの判定のための閾値の入力を受け付ける受付ステップと、
    前記対象データと前記閾値とを含む学習用データセットを生成する生成ステップと、
    を含む、
    学習用データセットの生成方法。
15. 対象データと、
    前記対象データから算出される複数の特徴量に基づく特徴量情報の提示に対して入力された、前記複数の特徴量に基づく前記対象データの判定のための閾値と、
    を含む、
    学習用データセット。

Images