JP2019159499A - 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム - Google Patents

Abstract

【課題】これから分類しようとするオブジェクトに適した学習用データを適切に収集する。【解決手段】学習用データ生成装置１０は、学習済みモデルに基づきオブジェクト画像を評価して信頼度を算出する分類評価部３６と、信頼度が、第１閾値より小さく、かつ、第１閾値より値が小さい第２閾値以上である場合に、候補ラベルとは異なる仮ラベルをオブジェクト画像に関連付ける分類判定部３８と、仮ラベルと関連付けられたオブジェクト画像に基づき学習用データを生成する学習用データ生成部４２と、を有する。【選択図】図１

Description

本発明は、学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラムに関する。

近年、ＧＰＵ（Graphics Processing Unit）などの実用化によって、ディープラーニングによる機械学習が注目されている。ディープラーニングは、多層化したニューラルネットワークを機械学習させる手法であり、大量の学習用データを、教師あり学習させることで、精度を向上させることができる。例えばこの学習用データを用いれば、画像などのオブジェクトにラベルを付与してオブジェクトを分類することができる。ここで、精度良く教師あり学習を行うためには、ラベルが付与された学習用データを大量に準備する必要がある。例えば、特許文献１では、検証用画像を誤検出した場合に、教師なし画像分類器で未学習画像データから類似画像を抽出して学習用データとして追加するシステムが開示されている。また、特許文献２では、動画像中の顔領域を追跡することで、学習用データを増加させる方法が開示されている。

特開２０１７−１１１７３１号公報 特開２００６−３４３７９１号公報

しかし、特許文献１では、検証用画像の分類精度を向上させることはできるが、これから分類しようとするオブジェクトに適した学習用データの収集の観点からは、改善の余地がある。また、特許文献２では、既知のラベルに対する学習用データを増加させることはできるが、既知のラベルに分類されないオブジェクトに適した学習用データを増加させるためには、改善の余地がある。従って、これから分類しようとするオブジェクトに適した学習用データを適切に収集することが求められている。

本発明は、上記課題を鑑み、これから分類しようとするオブジェクトに適した学習用データを適切に収集可能な学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラムを提供することを目的とする。

本発明の一態様にかかる学習用データ生成装置は、画像を取得する画像取得部と、前記画像からオブジェクト画像を抽出するオブジェクト抽出部と、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価部と、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定部と、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成部と、を備える。

本発明の一態様にかかる学習用データ生成方法は、画像を取得する画像取得ステップと、前記画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する。

本発明の一態様にかかるプログラムは、画像を取得する画像取得ステップと、前記画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、をコンピュータに実行させる。

本発明によれば、これから分類しようとするオブジェクトに適した学習用データを適切に収集することができる。

図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。 図２は、学習済みモデルによる分類の概念を模式的に示した図である。 図３は、信頼度テーブルの一例を示す図である。 図４は、分類判定部による判定を説明するための図である。 図５は、ラベルテーブルの一例を示す図である。 図６は、仮ラベルテーブルの一例を示す図である。 図７は、ラベルテーブルの一例を示す図である。 図８は、学習済みデータテーブルの一例である。 図９は、学習済みデータテーブルの一例である。 図１０は、学習用データ生成装置の制御部による処理フローを説明するフローチャートである。 図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。本実施形態に係るオブジェクト分類システム１は、学習済みモデルに基づき、オブジェクト画像にラベルを付与することで、オブジェクト画像を分類するシステムである。また、オブジェクト分類システム１は、学習用データを生成して、学習済みモデルを更新することで、オブジェクト画像の分類精度を高くするものである。すなわち、オブジェクト分類システム１は、学習用モデル作成システムであるともいえる。

図１に示すように、オブジェクト分類システム１は、学習用データ生成装置１０と、学習装置１２とを有する。学習用データ生成装置１０は、本実施形態では、所定の位置に設定された端末である。学習用データ生成装置１０は、撮像部２０と、記憶部２２と、通信部２４と、制御部２６とを有する。なお、学習用データ生成装置１０は、例えばユーザが入力可能な入力部、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力部は、撮像部２０に撮像させるためのボタンなどの入力装置であってもよいし、マウスやキーボード、タッチパネルなどであってもよい。出力部は、例えばディスプレイであり、撮像した画像などが表示可能である。

撮像部２０は、制御部２６の制御により画像を撮像する撮像素子である。本実施形態では、撮像部２０は、動画像を撮像するものであるが、静止画像を撮像するものであってもよい。このように、学習用データ生成装置１０は、本実施形態では、撮像部２０を有する撮像装置である。ただし、学習用データ生成装置１０は、必ずしも撮像部２０を有していなくてもよい。この場合、学習用データ生成装置１０は、外部装置から、画像を通信などによって画像を取得すればよい。撮像部２０は、画像解像度が（１９２０ｘ１０８０）で
フレームレートが３０フレーム／秒で撮像を行うが、解像度及びフレームレートなど、撮像条件はこれに限られない。

記憶部２２は、制御部２６の演算内容やプログラムの情報、及び撮像部２０が撮像した画像などを記憶するメモリである。記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。

通信部２４は、制御部２６の制御により、外部装置、ここでは学習装置１２と通信することでデータの送受信をする。通信部２４は、例えばアンテナであり、例えば無線ＬＡＮ、Ｗｉ-ｆｉ（登録商標）、ブルートゥース（登録商標）などの無線通信により学習装置１２とデータの送受信を行う。ただし、通信部２４は、学習装置１２とケーブルで接続されて、有線通信により情報を送受信するものであってもよい。

制御部２６は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部２６は、画像取得部３０と、オブジェクト抽出部３２と、学習済みモデル取得部３４と、分類評価部３６と、分類判定部３８と、ラベル付与部４０と、学習用データ生成部４２と、学習用データ送信制御部４４とを有する。画像取得部３０と、オブジェクト抽出部３２と、学習済みモデル取得部３４と、分類評価部３６と、分類判定部３８と、ラベル付与部４０と、学習用データ生成部４２と、学習用データ送信制御部４４とは、記憶部２２に記憶されたソフトウェア（プログラム）を読み出すことで、後述する処理を実行する。

画像取得部３０は、撮像部２０を制御して、撮像部２０に画像を撮像させる。画像取得部３０は、撮像部２０が撮像した画像を取得する。画像取得部３０は、取得した画像を記憶部２２に記憶させる。

オブジェクト抽出部３２は、画像取得部３０が取得した画像から、オブジェクト画像Ｐを抽出する。オブジェクト画像Ｐは、画像内の一部の領域に含まれる画像であり、分類の対象となる画像である。例えば、オブジェクト画像Ｐは、画像内に写っている人の顔画像である。オブジェクト抽出部３２は、１つの画像から、複数のオブジェクト画像Ｐが抽出する。すなわち、画像に顔画像が複数存在する場合、オブジェクト抽出部３２は、その顔画像のそれぞれを、オブジェクト画像Ｐとして抽出する。なお、オブジェクト画像Ｐは、分類の対象となる画像であれば、人の顔画像に限られず任意の画像であってよい。オブジェクト画像Ｐとしては、例えば、動植物、建造物、及び自動車などの各種装置が挙げられる。

オブジェクト抽出部３２は、画像の特徴量を検出することでオブジェクト画像Ｐを抽出する。オブジェクト抽出部３２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いて顔認識するもの（Ｈａａｒ−ｌｉｋｅ検出器）であるが、他の方法で顔認識が出来る特徴量検出器であってもよい。すなわち、オブジェクト抽出部３２は、オブジェクト画像Ｐを抽出できるものであれば、抽出の方法は任意である。オブジェクト抽出部３２が抽出したオブジェクト画像Ｐは、記憶部２２に記憶される。

学習済みモデル取得部３４は、通信部２４を制御して、学習装置１２から学習済みモデルを取得する。学習済みモデル取得部３４は、取得した学習済みモデルを、記憶部２２に記憶させる。本実施形態に係る学習済みモデルは、ディープラーニングによって学習された分類器を構成するニューラルネットワークを定義するモデル（ニューラルネットワークの構成情報）と、変数とで構成される。学習済みモデルは、同一の入力データが入力されれば、同一の分類結果が得られるニューラルネットワークを再現できるものである。ディープラーニングは、ディープニューラルネットワークをバックプロパケーション（誤差逆伝搬法）で学習させる学習方法である。

図２は、学習済みモデルによる分類の概念を模式的に示した図である。分類評価部３６は、記憶部２２から学習済みモデルを読み出し、学習済みモデルを用いて、オブジェクト画像Ｐを分類する。さらに言えば、分類評価部３６は、学習済みモデルを用いて、オブジェクト画像Ｐが、候補ラベルに分類される可能性（後述する信頼度）を、複数の候補ラベルのそれぞれについて算出する。分類評価部３６は、学習済みモデルに、オブジェクト画像Ｐを入力データとして入力する。これにより、学習済みモデルは、オブジェクト画像Ｐから複数種類の特徴量を抽出して、その特徴量に基づき、複数の候補ラベルのそれぞれについて、オブジェクト画像Ｐが分類される可能性の高さを算出する。さらに言えば、学習済みモデルは、複数階層のニューラルネットワークで構成されており、階層ごとに異なる特徴量を抽出することで、オブジェクト画像Ｐを分類する。すなわち、学習済みモデルにおいては、例えば、２つ候補ラベルに分類する場合には、図２に示すように、抽出したオブジェクト画像Ｐの特徴量が、設定された境界線Ｌ以上となるか以下となるかにより、オブジェクト画像Ｐがどちらの候補ラベルに分類されるかの判定を行う。本実施形態において、学習済みモデルに用いるモデルとしては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。ＣＮＮでは、中間層に主に複数の畳み込み層と複数のプーリング層が設置されて、入力データの特徴量を抽出し、最終層に全結合層が設置されて、入力データを分類する。ただし、学習済みモデルは、オブジェクト画像Ｐの特徴量に基づきオブジェクト画像Ｐを分類するものであれば、分類するモデルや方法は任意である。ディープラーニングは、Tensor Flowなどのディープラーニングのフレームワークを利用して、ＣＰＵやＧＰＵ等で動作するようにソフトウェアを実装することができる。

本実施形態では、分類評価部３６は、学習済みモデルに基づきオブジェクト画像Ｐを評価（解析）して、候補ラベル毎の信頼度を算出する。信頼度とは、オブジェクト画像Ｐが候補ラベルに分類される可能性の高さを示す指標、ここでは値である。また、候補ラベルとは、学習済みモデルに予め設定されているラベルである。それぞれのオブジェクト画像Ｐは、互いに異なる種類の顔画像である場合があり、候補ラベルは、そのオブジェクト画像Ｐの種類を指すラベルである。従って、分類評価部３６は、オブジェクト画像Ｐがどの種類の顔画像であるかの確率を、信頼度として算出するといえる。本実施形態では、候補ラベルは、個人（同一人）毎に設定される。すなわち、１つの候補ラベルは、ある個人の顔を指し、他の候補ラベルは、他の個人の顔を指す。ただし、候補ラベルは、オブジェクト画像Ｐの種類を示す指標であれば、個人に限られず任意に設定できる。例えば、候補ラベルは、人の年齢、性別、人種などであってもよい。また、候補ラベルは、動植物の種類、建造物の種類、自動車などの各種装置の種類などであってもよい。

図３は、信頼度テーブルの一例を示す図である。分類評価部３６は、オブジェクト画像Ｐの信頼度を、候補ラベル毎に算出して、図３に示す信頼度テーブルを生成する。図３の例では、候補ラベルとして、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が設定されている。本実施形態では、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が、それぞれ互いに異なる個人を示しているといえる。図３の例では、信頼度が、候補ラベルＦ０１から候補ラベルＦ０５の順で、それぞれ、０．０５、０．０７、０，８６、０．０２、０．００となっている。信頼度は、全ての候補ラベルの信頼度の合計が１となるように設定される。従って、図３の例では、分類評価部３６は、オブジェクト画像Ｐが候補ラベルＦ０１に分類される可能性を、５％とし、候補ラベルＦ０２に分類される可能性を、７％とし、候補ラベルＦ０３に分類される可能性を、８６％とし、候補ラベルＦ０４に分類される可能性を２％とし、候補ラベルＦ０５に分類される可能性を、０％としている。

分類評価部３６は、以上のように算出した信頼度を、オブジェクト画像Ｐに関連付けて、記憶部２２に記憶させる。分類評価部３６は、それぞれのオブジェクト画像Ｐについて、信頼度を算出する。

図４は、分類判定部による判定を説明するための図である。分類判定部３８は、分類評価部３６が算出した信頼度に基づき、オブジェクト画像Ｐが候補ラベルに分類されるかを判定する。具体的には、分類判定部３８は、複数の候補ラベルのうち、信頼度が最も高い候補ラベルを抽出し、その候補ラベルにオブジェクト画像Ｐが分類されるかの判定を行う。以下、信頼度が最も高い候補ラベルの信頼度を、最大信頼度とする。図３の例では、信頼度が最も高い候補ラベルが、候補ラベルＦ０３であり、最大信頼度が、候補ラベルＦ０３の信頼度である０．８６である。

図４に示すように、分類判定部３８は、最大信頼度が第１閾値Ｋ１以上である場合に、オブジェクト画像Ｐが、その最大信頼度とされた候補ラベルに分類されると判定する。第１閾値Ｋ１は、分類する数と学習済みモデルにおける学習済み画像の数に基づいて設定することが好ましいが、ここでは、０．８５であるとし、それに限られず任意に設定できる。例えば、分類する数が多い程、第１閾値Ｋ１を小さくし、学習済みモデルにおける学習済み画像の数が増える程、第１閾値Ｋ１を大きくするようにするのが好ましい。分類判定部３８は、オブジェクト画像Ｐがその候補ラベルに分類されるとの判定結果を、ラベル付与部４０に伝達する。ラベル付与部４０は、その候補ラベルを、オブジェクト画像Ｐのラベルとして付与する。すなわち、ラベル付与部４０は、その候補ラベルを正式のラベルとして、オブジェクト画像Ｐがそのラベルに分類されると決定する。例えば、第１閾値Ｋ１を０．８５とした場合、図３のオブジェクト画像Ｐ３は、候補ラベルＦ０３に分類されると判断される。ラベル付与部４０は、候補ラベルＦ０３を正式のラベルＦ０３として、オブジェクト画像Ｐに付与する。すなわち、オブジェクト画像Ｐは、候補ラベルＦ０３（ラベルＦ０３）という個人の顔画像であると分類される。

一方、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さい場合、オブジェクト画像Ｐがその候補ラベルに分類されないと判断する。さらに、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さい場合、その最大信頼度が、第２閾値Ｋ２以上であるかを判定する。図４に示すように、第２閾値Ｋ２は、第１閾値Ｋ１より小さい値である。第２閾値Ｋ２は、分類する数と学習済みモデルにおける学習済み画像の数とに基づいて設定することが好ましいが、ここでは、０．７であるとし、第１閾値Ｋ１より小さい値として任意に設定可能である。なお、未知の新たな個人（分類）の数が多い程、第１閾値Ｋ１と第２閾値Ｋ２との間隔を小さくし、学習済みモデルにおける学習済み画像の数が増える程、第１閾値Ｋ１と第２閾値Ｋ２との間隔を大きくするようにするのが好ましい。分類判定部３８は、最大信頼度が、第１閾値Ｋ１より小さく、かつ、第２閾値Ｋ２以上である場合に、仮ラベルをオブジェクト画像Ｐに関連付ける。仮ラベルは、それぞれの候補ラベルに対して設定されるものであるが、候補ラベルとは異なる種類のラベルである。すなわち、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さく第２閾値Ｋ２以上である場合、オブジェクト画像Ｐを、既存の候補ラベルに分類することなく、既存の候補ラベル以外の仮ラベルに関連付ける。言い換えれば、分類判定部３８は、オブジェクト画像Ｐを、候補ラベルとされていた各個人に分類することなく、それら以外の未知の新たな個人に、仮に関連付ける。例えば図３の候補ラベルＦ０３の信頼度（最大信頼度）が第１閾値Ｋ１より小さく第２閾値Ｋ２以上である場合、オブジェクト画像Ｐは、候補ラベルＦ０１からＦ０５とは別の仮ラベルに関連付けられる。

分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像Ｐに候補ラベルや仮ラベルを関連付けない。すなわち、分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、オブジェクト画像Ｐを分類しない。さらに、分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像Ｐを、後述する学習用データに用いない。ただし、分類判定部３８は、第２閾値Ｋ２を設定しないで第１閾値Ｋ１だけを設定して、そのオブジェクト画像Ｐを学習用データに用いてもよい。

図５は、ラベルテーブルの一例を示す図である。分類判定部３８は、以上説明した判定を、オブジェクト画像Ｐ毎に行う。ラベル付与部４０は、正式のラベルとしたラベルとオブジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。図５は、ラベルとオブジェクト画像Ｐとの関連を示す情報であるラベルテーブルの一例である。図５は、オブジェクト画像Ｐ１からオブジェクト画像Ｐ２０までが判定された例を示している。図５の例では、候補ラベルＦ０１を正式のラベルＦ０１としたオブジェクト画像Ｐが、オブジェクト画像Ｐ１、Ｐ２、Ｐ１０、Ｐ１２、Ｐ１３、Ｐ１６である。また、候補ラベルＦ０２を正式のラベルＦ０２としたオブジェクト画像Ｐが、オブジェクト画像Ｐ３、Ｐ１９であり、候補ラベルＦ０３を正式のラベルＦ０３としたオブジェクト画像Ｐが、オブジェクト画像Ｐ１８である。そして、候補ラベルＦ０４を正式のラベルＦ０４としたオブジェクト画像Ｐが、オブジェクト画像Ｐ４、Ｐ９、Ｐ１７、Ｐ２０であり、候補ラベルＦ０５を正式のラベルＦ０５としたオブジェクト画像Ｐは、無い。このように、オブジェクト画像Ｐ１からオブジェクト画像Ｐ２０のうち、ラベルが付与されていないオブジェクト画像Ｐがある。

図６は、仮ラベルテーブルの一例を示す図である。分類判定部３８は、仮ラベルとオブジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。ここで、最大信頼度となる候補ラベルは、オブジェクト画像Ｐ毎に異なる場合がある。この場合、分類判定部３８は、最大信頼度となった候補ラベル毎に、仮ラベルを設定する。図６は、仮ラベルとオブジェクト画像Ｐとを関連付けた情報である仮ラベルテーブルの一例である。例えば図６では、分類判定部３８は、候補ラベルＦ０１が最大信頼度となった場合の仮ラベルを仮ラベルＦ０６とし、候補ラベルＦ０２が最大信頼度となった場合の仮ラベルを、仮ラベルＦ０７とする。すなわち、分類判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度となる候補ラベルが異なる場合には、別の仮ラベル（別の個人）を関連付ける。そして、分類判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度となる候補ラベルが同じ場合には、同じ仮ラベルを関連付ける。図６の例では、仮ラベルＦ０６に関連付けられたオブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５であり、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐが、オブジェクト画像Ｐ６である。

分類判定部３８は、同じ仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上になった場合に、それらのオブジェクト画像Ｐが、その仮ラベルに分類されると判定する。そして、分類判定部３８は、オブジェクト画像Ｐがその仮ラベルに分類されるとの判定結果を、ラベル付与部４０に伝達する。ラベル付与部４０は、その仮ラベルを、オブジェクト画像Ｐのラベルとして付与する。すなわち、ラベル付与部４０は、その仮ラベルを正式のラベルとして、オブジェクト画像Ｐがそのラベルに分類されると決定する。このように、ラベル付与部４０は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上になった場合に、すでに設定されていた候補ラベルとは別のラベル（仮ラベル）を、それらのオブジェクト画像Ｐに付与する。なお、ここでの所定数は、例えば５であるが、それに限られず任意に設定可能である。

図７は、ラベルテーブルの一例を示す図である。上述のように仮ラベルが正式なラベルとされると、ラベルテーブル中のラベルの数が増える。図７は、図５に対し、仮ラベルＦ０６が正式のラベルとして付与された場合のラベルテーブルを示している。図７に示すように、仮ラベルＦ０６が正式のラベルＦ０６として設定され、そのラベルＦ０６に分類されたオブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５である。仮ラベルＦ０７は、関連付けられたオブジェクト画像Ｐの数が所定数より小さいため、正式のラベルとされていない。

図１に戻り、学習用データ生成部４２は、分類判定部３８の判定結果に基づき、学習済みモデルを更新するための学習用データを生成する。学習用データ生成部４２は、分類判定部３８において仮ラベルに関連付けられたオブジェクト画像Ｐの数が、所定数以上となった場合に、それらのオブジェクト画像Ｐと仮ラベルとを、学習用データとする。すなわち、学習用データ生成部４２は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上となることで、仮ラベルに正式のラベルが付与される場合に、その仮ラベルとそれぞれのオブジェクト画像Ｐとを紐付けて、学習用データとする。ここでの学習用データとは、教師ありデータを指し、オブジェクト画像Ｐが、その仮ラベルに分類されるという情報を有したデータである。図６の例では、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が、それぞれ仮ラベルＦ０６と紐付けられ、学習用データとされる。

図１に示す学習用データ送信制御部４４は、通信部２４を制御して、学習用データ生成部４２が作成した学習用データを、学習装置１２に送信する。学習用データ生成部４２は、学習用データとして利用されたオブジェクト画像Ｐを、記憶部２２が記憶している仮ラベルテーブルから削除する。すなわち、図６の例では、仮ラベルＦ０６に関連付けられて学習用データとされたオブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が、削除される。従って、仮ラベルテーブルには、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐ６だけが残る。ただし、学習用データ生成部４２は、学習用データとするオブジェクト画像Ｐが出てきた場合に仮ラベルテーブル内の全てのオブジェクト画像Ｐを削除してもよい。この場合、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐ６も削除される。この場合、次に分類を始める場合に、学習用データを反映した新しい学習済みモデルを用いて、より精度の高い分類や仮ラベルの設定ができる。一方、学習用データとして利用されたオブジェクト画像Ｐだけが削除された場合、他の仮ラベルにはオブジェクト画像Ｐが残る。従って、この場合、所定数まで達する数が少なくて済むため、より迅速な学習用データ生成が可能となる。

学習用データ生成装置１０は、以上のような構成となっている。次に、学習装置１２について説明する。図１に示すように、学習装置１２は、学習用データ生成装置１０とは異なる位置に設けられた装置（サーバ）である。学習装置１２は、通信部５０と、記憶部５２と、制御部５４とを有する。なお、学習装置１２は、例えばユーザが入力可能な入力部、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力部は、マウスやキーボード、タッチパネルなどである。出力部は、例えばディスプレイであり、撮像した画像などが表示可能である。

通信部５０は、制御部５４の制御により、外部装置、ここでは学習用データ生成装置１０と通信することでデータの送受信をする。通信部５０は、例えばアンテナであり、例えば無線ＬＡＮ、Ｗｉ-ｆｉ、ブルートゥースなどの無線通信により学習用データ生成装置１０とデータの送受信を行う。ただし、通信部５０は、学習用データ生成装置１０とケーブルで接続されて、有線通信により情報を送受信するものであってもよい。

記憶部５２は、制御部５４の演算内容やプログラムの情報などを記憶するメモリである。記憶部５２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。

制御部５４は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部５４は、学習用データ取得部６０と、学習部６２と、学習済みモデル送信制御部６４とを有する。学習用データ取得部６０と、学習部６２と、学習済みモデル送信制御部６４とは、記憶部５２に記憶されたソフトウェア（プログラム）を読み出すことで、後述する処理を実行する。

学習用データ取得部６０は、通信部５０を制御して、学習用データ生成装置１０の通信部２４から、学習用データ生成部４２が生成した学習用データを取得する。学習用データ取得部６０は、取得した学習用データを、記憶部５２に記憶させる。

学習部６２は、学習済みモデルを学習により更新する。学習部６２は、記憶部５２から、予め記憶していた学習済みモデルと学習済みの学習用データとを読み出し、学習用データ取得部６０が取得した新たな学習用データとを読み出す。学習部６２は、学習済みの学習用データと新たな学習用データとを教師ありデータとして学習済みモデルに学習させることで、学習済みモデルを更新する。

図８及び図９は、学習済みデータテーブルの一例である。図８は、更新前の学習済みデータテーブルの一例である。学習済みデータテーブルとは、記憶部５２が記憶している教師ありデータであり、学習済み画像がラベルに紐付けられた情報である。すなわち、学習済みデータテーブルとは、学習済み画像がどのラベルに分類されるかを示す教師データを複数含むデータ群である。学習済みモデルは、この学習済みデータテーブルの各データを教師データとして、学習されて構築される。

図８は、学習用データ生成部４２からの学習用データによる更新前の学習済みデータテーブルの一例を示している。図８に示す学習済みデータテーブルにおいては、学習済み画像Ｐ１０１〜Ｐ２００が、ラベルＦ０１に分類され、学習済み画像Ｐ２０１〜Ｐ３００が、ラベルＦ０２に分類され、学習済み画像Ｐ３０１〜Ｐ４００が、ラベルＦ０３に分類され、学習済み画像Ｐ４０１〜Ｐ５００が、ラベルＦ０４に分類され、学習済み画像Ｐ５０１〜Ｐ６００が、ラベルＦ０５に分類されている。これらの学習済み画像Ｐ１００〜Ｐ６００は、予め抽出された顔画像であり、学習用データ生成装置１０が分類することなく、予めどのラベルに分類するかが設定された画像である。すなわち、学習済みモデルは、予め学習済み画像Ｐ１００〜Ｐ６００が教師ありデータとして供給されることで、構築されている。

図９は、学習用データ生成部４２からの学習用データによる更新後の学習済みデータテーブルの一例を示している。図９に示すように、学習部６２は、更新前の学習済みデータテーブルに、学習用データを追加して、学習済みデータテーブルを更新する。すなわち、学習部６２は、学習用データのオブジェクト画像Ｐを学習済み画像とし、仮ラベルを新たなラベルとして、学習済みデータテーブルを更新する。すなわち、学習用データは、オブジェクト画像Ｐがどの仮ラベルに付与されているかが示された教師ありデータとなる。図９の例では、学習済みデータテーブルに、学習用データに含まれた新たな学習済み画像（オブジェクト画像）Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が追加され、それらの学習済み画像には、新たなラベルＦ０６が紐付けられている。学習部６２は、このように新たな学習用データが追加された学習済みデータテーブルにより、学習済みモデルを更新する。学習部６２は、更新された学習済みモデルを記憶部５２に記憶させる。

図１に戻り、学習済みモデル送信制御部６４は、通信部５０を制御して、更新された学習済みモデルを、学習用データ生成装置１０に送信する。学習用データ生成装置１０は、学習済みモデル取得部３４が、この更新された学習済みモデルを読み出し、次のオブジェクト画像Ｐの分類と、学習用データの生成とを行う。

学習装置１２は、上述のように、学習用データ生成装置１０から離れた位置に設けられるサーバである。ただし、学習装置１２は、学習用データ生成装置１０に組み込まれたものであってよい。すなわち、オブジェクト分類システム１は、学習装置１２を有さず、代わりに、学習用データ取得部６０及び学習部６２が、学習用データ生成装置１０の制御部２６に組み込まれていてもよい。この場合、学習用データ送信制御部４４も不要となる。また、本実施形態では、学習用データ生成装置１０が、分類判定部３８で判定を行っていたが、学習装置１２が分類判定部３８を有して判定を行ってもよい。また、学習装置１２が分類評価部３６を有して優先度の算出を行ってもよい。

また、オブジェクト分類システム１は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

以上説明したオブジェクト分類システム１の処理の処理フローを、フローチャートを用いて説明する。図１０は、学習用データ生成装置の制御部による処理フローを説明するフローチャートである。図１０に示すように、学習用データ生成装置１０の制御部２６は、画像取得部３０により、撮像部２０が撮像した画像を取得し（ステップＳ１０）、オブジェクト抽出部３２により、取得した画像からオブジェクト画像Ｐを１つ抽出する（ステップＳ１２）。

制御部２６は、分類評価部３６により、学習済みモデルに基づき、オブジェクト画像Ｐの、候補ラベル毎の信頼度を算出する（ステップＳ１６）。そして、制御部２６は、分類判定部３８により、最大信頼度が第１閾値Ｋ１以上であるかを判定する（ステップＳ１８）。最大信頼度とは、それぞれの候補ラベルのうちで信頼度が最も高い候補ラベルの、信頼度である。最大信頼度が第１閾値Ｋ１以上である場合（ステップＳ１８；Ｙｅｓ）、分類判定部３８は、オブジェクト画像Ｐがその最大信頼度の候補ラベルに分類されると判定して、ラベル付与部４０が、最大信頼度の候補ラベルを、そのオブジェクト画像Ｐのラベルとして確定する（ステップＳ２０）。最大信頼度の候補ラベルをラベルとして確定した後は、後述するステップＳ３２に進む。

最大信頼度が第１閾値Ｋ１以上でない場合（ステップＳ１８；Ｎｏ）、すなわち第１閾値Ｋ１より小さい場合、分類判定部３８は、最大信頼度が第２閾値Ｋ２以上であるかを判定し（ステップＳ２２）、第２閾値Ｋ２以上でない場合（ステップＳ２２；Ｎｏ）、すなわち第２閾値より小さい場合、ステップＳ３２に進む。最大信頼度が第２閾値Ｋ２以上である場合（ステップＳ２２；Ｙｅｓ）、分類判定部３８は、そのオブジェクト画像Ｐに仮ラベルを割り当てる（ステップＳ２４）。そして、分類判定部３８は、仮ラベルが割り当てられたオブジェクト画像Ｐが所定数以上あるかを判定し（ステップＳ２６）、所定数以上ない場合（ステップＳ２６；Ｎｏ）、ステップＳ３２に進む。一方、仮ラベルが割り当てられたオブジェクト画像Ｐが所定数以上ある場合（ステップＳ２６；Ｙｅｓ）、ラベル付与部４０がその仮ラベルをラベルとして確定し（ステップＳ２８）、学習用データ生成部４２が、その仮ラベルとオブジェクト画像Ｐとを、学習用データとする（ステップＳ３０）。その後、ステップＳ３１に移動し、オブジェクト抽出部３２は、その画像に、他のオブジェクト画像Ｐがあるかを判断し（ステップＳ３１）、他のオブジェクト画像Ｐがある場合（ステップＳ３１；Ｙｅｓ）、ステップＳ１２に戻って、他のオブジェクト画像Ｐを１つ抽出する。他のオブジェクト画像Ｐが無い場合（ステップＳ３１；Ｎｏ）、ステップＳ３２に移動し、制御部２６は、他の画像があるかを判断し（ステップＳ３２）、他の画像がある場合（ステップＳ３２；Ｙｅｓ）はステップＳ１０に戻り、他の画像が無い場合（ステップＳ３２；Ｎｏ）は本処理を終了する。その後、制御部２６は、学習用データ送信制御部４４により、学習用データを学習装置１２に送信し、学習装置１２が、学習用データに基づき学習済みモデルを更新する。制御部２６は、更新した学習済みモデルを用いて、次以降の上記処理を実行する。

以上説明したように、本実施形態に係る学習用データ生成装置１０は、画像を取得する画像取得部３０と、画像からオブジェクト画像Ｐを抽出するオブジェクト抽出部３２と、分類評価部３６と、分類判定部３８と、学習用データ生成部４２とを有する。分類評価部３６は、学習済みモデルに基づきオブジェクト画像Ｐを評価して、オブジェクト画像Ｐが候補ラベルに分類される可能性の高さを示す信頼度を算出する。分類判定部３８は、信頼度が、第１閾値Ｋ１より小さく、かつ、第１閾値Ｋ１より値が小さい第２閾値Ｋ２以上である場合に、候補ラベルとは異なる仮ラベルを、オブジェクト画像Ｐに関連付ける。そして、学習用データ生成部４２は、仮ラベルと関連付けられた前記オブジェクト画像に基づき前記学習用データを生成する。また、分類判定部３８は、信頼度に基づき判定を行って、オブジェクト画像Ｐが候補ラベルに分類されるかを判定する。学習用データ生成部４２は、分類判定部３８の判定結果に基づき、学習済みモデルを更新するための学習用データを生成する。分類判定部３８は、信頼度が第１閾値Ｋ１以上である場合に、候補ラベルにオブジェクト画像Ｐが分類されると判定し、信頼度が第１閾値Ｋ１より低く、かつ、第２閾値Ｋ２以上である場合に、候補ラベルに対して設定される仮ラベルを、オブジェクト画像Ｐに関連付ける。学習用データ生成部４２は、仮ラベルと関連付けられたオブジェクト画像Ｐの数が所定数以上となった場合に、それぞれのオブジェクト画像Ｐと仮ラベルとを、学習用データとする。このような構成とすることにより、仮ラベルを付与して、学習用データの精度を高くすることができる。また、信頼度が第１閾値Ｋ１以上になった場合には、その候補ラベルとオブジェクト画像Ｐを学習用データとしないことで、機械学習の前提として、予め機械学習において用いられるような画像を除外することができ、機械学習の効率化を図ることができる。

ここで、ディープラーニングなどの機械学習により学習済みモデルを構築する際には、解が分かっている教師ありデータを用いる場合がある。この場合、教師ありデータの数が多いほど精度が高くなるため、教師ありデータを適切に収集することが求められている。それに対し、本実施形態に係る学習用データ生成装置１０は、分類しようとするオブジェクト画像Ｐを解析して、仮ラベルを割り当てる。そして、オブジェクト画像Ｐが仮ラベルに分類されるとして、それを学習用データ（教師ありデータ）とする。従って、学習用データ生成装置１０は、これから分類しようとしている画像を用いて学習用データを生成するため、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。

また、学習用データ生成装置１０は、仮ラベルとして新たなラベルを付与することで、更新前の学習済みモデルでは分類できなかった画像を教師あり学習させることで、更新後（再学習後）の分類数を増加させることができる。なお、本実施形態では、学習済みモデルを更新しても、仮ラベルなどを付与するための第１閾値Ｋ１及び第２閾値Ｋ２の値を一定としていた。ただし、学習用データ生成装置１０は、学習済みモデルを更新したら、第１閾値Ｋ１及び第２閾値Ｋ２の値を変更してもよい。例えば、学習用データ生成装置１０は、学習済みモデルを更新して候補ラベルの数が所定の数より増えた場合に、第１閾値Ｋ１及び第２閾値Ｋ２の値を小さくしてもよい。これにより、分類数が増えた場合にも分類を好適に行うことができる。

また、分類評価部３６は、複数種類の候補ラベルのそれぞれに対する信頼度を算出する。分類判定部３８は、候補ラベル毎に仮ラベルを設定し、オブジェクト画像Ｐを、信頼度が最も高い候補ラベルに対して設定された仮ラベルに関連付ける。この学習用データ生成装置１０は、複数の候補ラベルのうちから、信頼度が最も高い候補ラベルに対して設定された仮ラベルを関連付ける。従って、学習用データ生成装置１０によると、分類を適切に行うことができつつ、仮ラベルを適切に付与して、学習用データの精度を高くすることができる。

また、学習用データ生成装置１０は、オブジェクト画像Ｐにラベルを付与するラベル付与部４０を有する。ラベル付与部４０は、候補ラベルにオブジェクト画像Ｐが分類されると判定された場合、候補ラベルを、オブジェクト画像Ｐのラベルとして付与する。ラベル付与部４０は、仮ラベルと関連付けられたオブジェクト画像Ｐの数が所定数以上となった場合に、仮ラベルを、オブジェクト画像のラベルとして付与する。この学習用データ生成装置１０は、信頼度が第１閾値Ｋ１以上のものはラベルとして決定し、信頼度がそれより低い第２閾値Ｋ２以上のものは、複数個データが蓄積されてからラベルとして決定するため、未知のラベルを設定する際の精度を高くすることができる。

また、本実施形態に係る学習用モデル作成システム（オブジェクト分類システム１）は、学習用データ生成装置１０と、学習用データ生成部４２が作成した学習用データに基づき機械学習して、学習済みモデルを更新する学習部６２を有する。学習用モデル作成システムは、学習用データ生成装置１０が作成した学習用データに基づき、学習済みモデルを生成する。この学習用モデル作成システムは、学習用データに基づき学習用モデルを更新するので、これから分類しようとするオブジェクトに適した学習用モデルを構築することができる。

また、学習部６２は、ディープラーニングで機械学習を行う。従って、この学習用モデル作成システムは、高精度の学習用モデルを構築することができる。

また、本実施形態に係るオブジェクト分類システム１は、学習用データ生成装置１０を有し、学習済みモデルを用いてオブジェクト画像Ｐを分類する。従って、このオブジェクト分類システム１は、オブジェクト画像Ｐを適切に分類することができる。

図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。本実施形態においては、分類判定部３８は、１つの候補ラベルに対し、１つの仮ラベルを設定していたが、１つの候補ラベルに対して複数の仮ラベルを設定することも可能である。図１１の例は、１つの候補ラベルに対して仮ラベルＡ、Ｂを割り当てる例を示している。図１１に示すように、分類判定部３８は、最大信頼度が、第１閾値Ｋ１より小さく、かつ、閾値Ｋ２Ａ以上である場合に、仮ラベルＢをオブジェクト画像Ｐに関連付ける。閾値Ｋ２Ａは、第１閾値Ｋ１より小さく第２閾値Ｋ２より大きい値である。また、分類判定部３８は、最大信頼度が、閾値Ｋ２Ａより小さく、かつ、第２閾値Ｋ２以上である場合に、仮ラベルＡをオブジェクト画像Ｐに関連付ける。このように、分類判定部３８は、１つの候補ラベルの最大信頼度が取り得る数値範囲を区分して、数値範囲毎に仮ラベルを設定してもよい。

ここで、例えば、学習済みモデルにおける学習済み画像の数が所定数よりも小さい時などのように、第１閾値Ｋ１の信用度が必ずしも高くないと考えられる場合には、最大信頼度が、第１閾値Ｋ１より小さく、かつ、閾値Ｋ２Ａ以上である場合に、オブジェクト画像Ｐに仮ラベルを割り当てないようにしてもよい。

このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より小さく第２閾値Ｋ２よりも大きい中間閾値（閾値Ｋ２Ａ）以上であり、かつ、第１閾値Ｋ１より値が小さい場合に、候補ラベルとは異なる第１の仮ラベル（仮ラベルＢ）をオブジェクト画像Ｐに関連付ける。分類判定部３８は、信頼度が、第２閾値Ｋ２以上であり、かつ、中間閾値（閾値Ｋ２Ａ）より小さい場合に、第１の仮ラベルとは異なる第２の仮ラベル（仮ラベルＡ）を、オブジェクト画像Ｐに関連付ける。このように数値範囲毎に仮ラベルを設定することて、より高精度の分類が可能となる。

図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。本実施形態においては、分類判定部３８は、最大信頼度が第１閾値Ｋ１より大きい場合には、ラベルを付与するが、学習用データには用いなかった。ただし、分類判定部３８は、ラベルを付与するものを学習用データとして用いてもよい。この場合、図１２に示すように、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であり、かつ、第３閾値Ｋ３より小さい場合に、そのオブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラベルとして付与する。さらに、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であり、かつ、第３閾値Ｋ３より小さい場合に、そのオブジェクト画像Ｐと最大信頼度となった候補ラベルとを、学習用データとして用いる。第３閾値Ｋ３は、第１閾値Ｋ１より値が大きい。一方、分類判定部３８は、最大信頼度が、第３閾値Ｋ３以上である場合に、そのオブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラベルとして付与するが、そのオブジェクト画像Ｐと候補ラベルとを、学習用データには用いない。

図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。図１３は、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６の最大信頼度となる候補ラベルが候補ラベルＦ０１であり、かつ、最大信頼度が、第１閾値Ｋ１以上であって第３閾値Ｋ３より小さい場合の例を示している。この場合、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６は、候補ラベルＦ０１と紐付けられて、学習用データ（教師ありデータ）として、学習済みデータテーブルに加えられる。従って、図１３に示す学習済みデータテーブルは、図１０に示すものに加え、学習済み画像Ｐ１２、Ｐ１３、Ｐ１６がラベルＦ０１に紐づいているというデータも含むこととなる。従って、学習部６２は、この学習済み画像Ｐ１２、Ｐ１３、Ｐ１６を用いて、さらに分類精度を高い学習済みモデルを構築することができる。

このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より値が大きい第３閾値Ｋ３より小さく、第１閾値Ｋ１以上である場合に、候補ラベルにオブジェクト画像Ｐに関連付ける。そして、学習用データ生成部４２は、仮ラベル又は候補ラベルが関連付けられたオブジェクト画像Ｐに基づき、学習用データを生成する。このように、学習用データ生成部４２は、信頼度が、第１閾値Ｋ１より高く、かつ、第１閾値Ｋ１より高い第３閾値Ｋ３よりも低い候補ラベルと、オブジェクト画像Ｐとを、学習用データとしてもよい。そして、学習用データ生成部４２は、信頼度が第３閾値Ｋ３以上である候補ラベルと、オブジェクト画像Ｐとを、学習用データとしなくてもよい。この学習用データ生成装置１０は、信頼度が第３閾値Ｋ３以上として十分に高い場合は、新たな学習には不要のデータとして学習用データとせず、信頼度が十分だが第３閾値Ｋ３まで高くない場合には、学習用モデルの精度向上に適していると判断して、学習用データに用いる。従って、この学習用データ生成装置１０は、適切なデータのみを学習用データとすることで、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。

また、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応じて、第１閾値Ｋ１と第２閾値Ｋ２との少なくとも一方を変更してもよい。さらに言えば、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応じて、第１閾値Ｋ１と第２閾値Ｋ２と閾値Ｋ２Ａと第３閾値Ｋ３との少なくともいずれかを、変更してもよい。このようにすることで、画像の数の変化に応じて、閾値を適切に変化させることが可能となり、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ オブジェクト分類システム（学習用モデル作成システム）
１０ 学習用データ生成装置
１２ 学習装置
２６、５４ 制御部
３０ 画像取得部
３２ オブジェクト抽出部
３４ 学習済みモデル取得部
３６ 分類評価部
３８ 分類判定部
４０ ラベル付与部
４２ 学習用データ生成部
４４ 学習用データ送信制御部
６０ 学習用データ取得部
６２ 学習部
６４ 学習済みモデル送信制御部
Ｋ１ 第１閾値
Ｋ２ 第２閾値
Ｐ オブジェクト画像

Claims (7)

1. 画像を取得する画像取得部と、
   前記画像からオブジェクト画像を抽出するオブジェクト抽出部と、
   学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価部と、
   前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定部と、
   前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成部と、を備える、
   学習用データ生成装置。
2. 前記分類判定部は、前記信頼度が、前記第１閾値より小さく前記第２閾値よりも大きい中間閾値以上であり、かつ、前記第１閾値より値が小さい場合に、前記候補ラベルとは異なる第１の仮ラベルを前記オブジェクト画像に関連付け、前記第２閾値以上であり、かつ、前記中間閾値より小さい場合に、前記第１の仮ラベルとは異なる第２の仮ラベルを、前記オブジェクト画像に関連付ける、請求項１に記載の学習用データ生成装置。
3. 前記分類判定部は、前記信頼度が、前記第１閾値より値が大きい第３閾値より小さく、かつ、前記第１閾値以上である場合に、前記候補ラベルに前記オブジェクト画像に関連付け、
   前記学習用データ生成部は、仮ラベル又は候補ラベルが関連付けられた前記オブジェクト画像に基づき前記学習用データを生成する、請求項１又は請求項２に記載の学習用データ生成装置。
4. 前記分類判定部は、前記学習済みモデルに用いられた画像の数に応じて、前記第１閾値及び前記第２閾値の少なくとも一方を変更する、請求項１から請求項３のいずれか１項に記載の学習用データ生成装置。
5. 請求項１から請求項４のいずれか１項に記載の学習用データ生成装置が作成した前記学習用データに基づき、学習済みモデルを生成する、学習用モデル作成システム。
6. 画像を取得する画像取得ステップと、
   前記画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
   学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
   前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、
   前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
   学習用データ生成方法。
7. 画像を取得する画像取得ステップと、
   前記画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
   学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
   前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、
   前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
   をコンピュータに実行させる、プログラム。

Images