JP2021149818A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】不確実度を高精度に算出する。【解決手段】実施形態の情報処理装置は、分割部と、算出部と、統合部と、を備える。分割部は、データを入力して処理結果を出力する処理の対象とする入力データを、複数の部分データに分割する。算出部は、複数の部分データごとに処理を実行し、処理の不確実性を示す複数の不確実度を算出する。統合部は、複数の不確実度を統合し、入力データの不確実度として出力する。【選択図】図２

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

不確実性（uncertainty）は、統計学、経済学、および、自然科学等の分野で生まれてきた概念である。不確実性を表現する方法（不確実度、不確実性尺度）として様々な方法が提案されている。機械学習分野でも、不確実度は、能動学習のための訓練データの選別、および、高精度なモデルを学習するための訓練データの選別などの様々な活用法がある。

特開２０１９−０６１６４２号公報

しかしながら、従来技術では、不確実度を高精度に算出できない場合があった。

実施形態の情報処理装置は、分割部と、算出部と、統合部と、を備える。分割部は、データを入力して処理結果を出力する処理の対象とする入力データを、複数の部分データに分割する。算出部は、複数の部分データごとに処理を実行し、処理の不確実性を示す複数の不確実度を算出する。統合部は、複数の不確実度を統合し、入力データの不確実度として出力する。

図１は、２クラス分類問題のデータ分布の例を示す図である。 図２は、第１の実施形態にかかる情報処理装置の構成の一例を示すブロック図である。 図３は、パーツの分割方法の一例を示す図である。 図４は、第１の実施形態における学習処理の一例を示すフローチャートである。 図５は、第１の実施形態におけるデータ選別処理の一例を示すフローチャートである。 図６は、画像データおよび当該画像データに対する認識結果の例を示す図である。 図７は、画像データおよび当該画像データに対する認識結果の例を示す図である。 図８は、第２の実施形態にかかる情報処理装置の構成の一例を示すブロック図である。 図９は、第２の実施形態における学習処理の一例を示すフローチャートである。 図１０は、訓練データと選別対象データとの関係を説明するための図である。 図１１は、第１または第２の実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。以下では、不確実度を算出し、算出した不確実度に基づいて訓練データを選別し、選別した訓練データで機械学習モデル（以下、モデルという）を学習する情報処理装置（学習装置）を例に説明する。モデルは、例えばニューラルネットワークモデル、ランダムフォレスト、サポートベクターマシン（SVM）、条件付き確率場（Conditional Random Fields：CRF）、および、ロジスティック回帰などである。

不確実度を用いる処理は学習処理に限られるものではなく、どのような処理であってもよい。例えば、データに対する処理の不確実度を算出して出力（表示など）する装置に適用してもよい。

能動学習は、専門家に質問しながら分類器（モデルの一例）を学習させる機械学習のフレームワークの１つである。一般的な教師あり学習では、数千以上の大量のラベル付きデータ（訓練データ）によって学習を行う必要がある。しかし、多くの教師あり学習タスクでは、ラベル付きデータの入手は非常に困難であったり、時間的コストおよび費用的コストが必要であったりする場合が多い。能動学習は、できるだけ学習に効果的な訓練データを優先的に選別して教示するユーザに提示することで、教示コストを削減するための学習方法である。

理論的には、不確実性とは、モデルによるデータに対する処理結果（予測結果）の曖昧さを表す指標である。以下では不確実性を示す度合いを不確実度という。不確実性の高い（予測結果が最も曖昧である）データを訓練データとして学習するほうが、モデルの予測精度を向上させること、および、所望の予測性能を達成するまでの学習期間を短縮することができる。

図１は、２クラス分類問題のデータ分布の例を示す図である。白い三角および黒い三角は、それぞれ２クラスのうちいずれかのクラスに分類されるデータを表す。実線は、データに対するモデルによる分類の境界線を表す。境界線に近いデータほど、不確実性が高いデータであると考えられる。

不確実性の高いデータを訓練データとすることで予測精度が向上する原因として以下が挙げられる。
（Ｆ１）各クラスのデータ分布の中心部１１、１２のデータの学習頻度を減らし、中心部１１、１２のデータへの過学習を防ぐ。
（Ｆ２）境界線から遠く離れて、ラベルが間違っているデータ２１、２２、２３を排除できる。
（Ｆ３）不確実性の高いデータは情報エントロピー（情報量）が大きく、境界線との距離が近い領域３１に含まれると考えられる。このようなデータを集中的に学習すれば、より高精度に境界線３２を構築できる。

不確実性が高いデータを選別する方法としては、以下のような方法が存在する。なお、確率とは、処理の精度（予測精度など）を示す値である。例えば認識処理の場合、認識率が確率に相当する。
（Ｍ１）LeastConfidence：「確率最大のラベル」の確率が最小のデータを選ぶ。
（Ｍ２）MarginSampling：「１番目に確率の高いラベル」と「２番目に確率の高いラベル」との間の確率の差が最も小さいデータを選ぶ。
（Ｍ３）EntropyBased：予測分布のエントロピーが最大のデータを選ぶ。
（Ｍ４）Query-By-Committee：相互に異なる初期値から学習された複数の異なるモデル（committee）によりデータに対する予測処理を行い、複数のモデル間の予測結果のばらつき、または、誤差（Loss値）が最も大きいデータを選ぶ。

上記の各方法では、それぞれ以下の指標が、不確実度に相当する。なお指標に応じて、値が大きいほど不確実性（処理結果の曖昧さ）が高くなる場合と、値が小さいほど不確実性が高くなる場合がある。
（Ｉ１）「確率最大のラベル」の確率の低さ
（Ｉ２）「１番目に確率の高いラベル」と「２番目に確率の高いラベル」確率の差
（Ｉ３）予測分布のエントロピーの大きさ
（Ｉ４）複数のモデル間の予測のばらつき、または、誤差の大きさ

データを予め定められたルールに従って複数の部分データ（以下、パーツという場合がある）に分割し、予測処理等を行う方法も存在する。例えば、コネクションニスト時系列分類法（connectionist temporal classification）では、系列データを畳み込んで、特徴マップを１画素ずつのパーツに分割し、各パーツの予測情報を統合し、最終の予測を出力する。しかし、このような方法では、局所の不確実性に左右され、全般的な不確実性の高いデータを選別することができない。

（第１の実施形態）
そこで、第１の実施形態にかかる情報処理装置は、局所の不確実性に左右されることなく、全般的な不確実性がより考慮されるように、データの不確実度を算出する。なお、不確実度を算出する対象となる処理はどのような処理であってもよいが、例えば、予測、分類、または、物体認識などである。

図２は、第１の実施形態にかかる情報処理装置１００の構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、前処理部１０１と、学習部１０２と、出力制御部１０３と、選別部１１０と、記憶部１２１と、を備えている。

前処理部１０１は、データ選別処理および学習処理の前処理を実行する。訓練済みのモデルが既に存在する場合、前処理は、目的に応じた訓練済みのモデルをベースモデルとして準備する処理である。前処理部１０１は、訓練済みのモデルをそのままベースモデルとして準備してもよいし、プルーニングなどの学習を必要としない前処理を訓練済みのモデルに対して実行してベースモデルを生成してもよい。

訓練済みモデルが存在しない場合、前処理は、入力されたデータから予め定められたルールに従って訓練データと選別対象データとに分ける処理、および、訓練データを用いてモデルを学習してベースモデルを生成する処理を含む。訓練データは、事前にモデルを学習するために用いられるデータである。選別対象データは、選別部１１０によるデータ選別処理の対象となるデータである。ルールの例を以下に記載する。
（Ｒ１）データをランダムに分ける。
（Ｒ２）データに付与されたラベル（教示情報）を参照し、同じラベルが付与されたデータが偏らないように分ける。
（Ｒ３）データを複数のクラスタに分類した分類情報（クラスタリング結果情報）を参照し、同じクラスタに分類されたデータが偏らないように分ける。

前処理部１０１は、訓練データを用いてモデルを学習し、ベースモデルを生成する。なお、訓練済みのモデルが予め準備され、そのモデルをそのまま利用できる場合は、情報処理装置１００は、前処理部１０１を備えなくてもよい。

学習部１０２は、データを入力して処理結果を出力する処理を実行するモデルを、訓練データを用いて学習する。例えば学習部１０２は、前処理により訓練データとして分けられたデータと、選別対象データのうち選別部１１０により選別されたデータと、を訓練データとして用いてモデルを学習する。選別部１１０によるデータ選別処理は後述する。

出力制御部１０３は、情報処理装置１００による各種情報の出力を制御する。例えば出力制御部１０３は、学習部１０２により学習されたモデルの情報を、モデルを用いる外部の装置等に出力する。出力制御部１０３は、算出された不確実度をディスプレイなどの表示装置に表示してもよい。

選別部１１０は、選別対象データに対するデータ選別処理を実行する。選別部１１０は、分割部１１１と、算出部１１２と、統合部１１３と、を備えている。

分割部１１１は、選別対象データ（入力データ）を、複数の部分データ（パーツ）に分割する。分割部１１１は、入力された選別対象データをそのまま分割してもよいし、選別対象データに対して処理を加えたデータを分割してもよい。選別対象データに加える処理は、例えば選別対象データの特徴量を求める処理である。

選別対象データに処理を加えるか否かは、例えば、学習するモデルに対する入力データの形式に応じて決定すればよい。例えば画像データを入力するモデルを用いる場合は、分割部１１１は、画像データである選別対象データをそのまま分割してもよい。例えば画像データの特徴量を入力して認識処理を行うモデルを用いる場合は、分割部１１１は、画像データの特徴量を求める処理を実行し、得られた特徴量を分割してもよい。

画像データは例えば２次元のデータである。画像データの特徴量は、例えば２次元の画像データを畳み込むことで算出される特徴マップである。特徴マップは、例えば画像データを入力して特徴マップを出力するニューラルネットワークにより算出することができる。特徴マップは、例えば、２次元の画素位置それぞれに特徴量を示す画素値が設定されたデータである。画像データまたは特徴マップに対しては、分割部１１１は、例えば、上下または左右の一定数の画素ごとにデータを分割して複数のパーツを生成する。

例えば文字列データおよび音声データなどの１次元の系列データを入力するモデルを用いる場合、分割部１１１は、系列データを一定の間隔、または、不特定の間隔で分割して複数のパーツを生成する。不特定の間隔とは、例えばランダムに決定される間隔である。

図３は、パーツの分割方法の一例を示す図である。画像３０１、３０２は、分割前のデータの例である。画像３０１、３０２は、それぞれ特徴マップ３１１に変換される。分割部１１１は、特徴マップ３１１を、左右方向、または、上下方向に分割してパーツを生成する。

算出部１１２は、複数のパーツごとの不確実度を算出する。例えば算出部１１２は、複数のパーツをそれぞれモデルに入力し、処理結果から、上記の（Ｉ１）〜（Ｉ４）などに示す不確実度を算出する。

統合部１１３は、複数のパーツそれぞれに対して算出された複数の不確実度を統合し、分割前の選別対象データに対する不確実度を求めて出力する。まず統合部１１３は、検証用データ（バリデーションデータ）に対するモデルの状態を示す状態情報に基づいて、複数の統合方法のうちいずれかの統合方法を決定する。

複数の統合方法は、例えば以下の方法を含む。
（ＭＭ１）複数の不確実度すべての平均値または中央値を算出する。
（ＭＭ２）複数の不確実度のうち一部の不確実度の平均値または中央値を算出する。
（ＭＭ３）複数の不確実度の重み付け加算値を算出する。

（ＭＭ２）は、例えば複数の不確実度のうち値が予め定められた範囲に含まれる不確実度の平均値または中央値を算出する方法である。予め定められた範囲は、例えば、値が乖離しているような不確実度を除外するような範囲である。

検証用データとは、例えば、学習対象とするモデルを用いて事前に処理を行ったときのデータ、および、このモデルに対して事前に学習を行ったときのデータなどである。状態情報は、例えば検証用データに対するモデルの予測精度、および、検証用データに対してモデルを学習したときの誤差である。

例えば統合部１１３は、検証用データに対するモデルの各カテゴリの認識率（予測精度）が大きく異なっている場合は、上記（ＭＭ３）を統合方法として決定する。そして統合部１１３は、例えば、認識率が高いパーツほど小さい重みをかけ、認識率が低いパーツほど大きな重みをかけて、不確実度を統合する。

また統合部１１３は、例えばモデルの学習時に検証用データに対する認識率または誤差が大きく変動している場合は、（ＭＭ２）を統合方法として決定する。そして統合部１１３は、予め定められた範囲外である不確実度を除外することにより、不確実度が乖離しているパーツを除去してから、各パーツの中央値または平均値を算出して、不確実度を統合する。

また統合部１１３は、モデルの状態情報が取得できない場合は、（ＭＭ１）を統合方法として決定する。

上記各部（前処理部１０１、学習部１０２、出力制御部１０３、および、選別部１１０）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

記憶部１２１は、情報処理装置１００による各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、訓練データ、選別対象データ、および、モデルを示すデータなどを記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

次に、このように構成された第１の実施形態にかかる情報処理装置１００による学習処理について説明する。図４は、第１の実施形態における学習処理の一例を示すフローチャートである。

前処理部１０１は、入力されたデータを訓練データと選別対象データとに分ける（ステップＳ１０１）。前処理部１０１は、訓練データを用いてモデルを学習しベースモデルを生成する（ステップＳ１０２）。なお、訓練済みのモデルが予め準備されている場合は、ステップＳ１０１、Ｓ１０２は省略することができる。

選別部１１０は、選別対象データを対象としてデータ選別処理を実行する（ステップＳ１０３）。データ選別処理の詳細は後述する。

学習部１０２は、データ選別処理により、不確実性が高いデータが得られたか否かを判定する（ステップＳ１０４）。不確実性が高いデータが得られた場合（ステップＳ１０４：Ｙｅｓ）、学習部１０２は、選別されたデータを訓練データに追加してモデルを学習する（ステップＳ１０５）。

学習部１０２による学習方法はどのような方法であってもよい。例えば学習部１０２は、訓練データが教師なしデータの場合、能動学習によりモデルを学習する。学習部１０２は、訓練データが教師ありデータの場合、教師あり学習によりモデルを学習する。

モデルを学習した後、ステップＳ１０３に戻り処理が繰り返される。不確実性が高いデータが得られなかった場合（ステップＳ１０４：Ｎｏ）、学習部１０２は、それまでに学習された学習済みのモデルを出力し（ステップＳ１０６）、学習処理を終了する。

次に、ステップＳ１０３のデータ選別処理の詳細について説明する。図５は、第１の実施形態におけるデータ選別処理の一例を示すフローチャートである。

分割部１１１は、入力された選別対象データそれぞれを複数のパーツに分割する（ステップＳ２０１）。算出部１１２は、分割された複数のパーツごとに、不確実度を算出する（ステップＳ２０２）。統合部１１３は、モデルの状態情報を参照して不確実度の統合方法を決定する（ステップＳ２０３）。統合部１１３は、決定した統合方法により、複数の不確実度を統合し、分割前の選別対象データに対する不確実度を算出する（ステップＳ２０４）。統合部１１３は、算出した不確実度が示す不確実性が高い（例えば不確実性が閾値以上である）選別対象データを出力する（ステップＳ２０５）。

例えば上記（Ｉ２）（「１番目に確率の高いラベル」と「２番目に確率の高いラベル」確率の差）のように、値が小さいほど不確実性が高い不確実度を用いる場合、統合部１１３は、不確実度が閾値以下である選別対象データを出力する。上記（Ｉ３）（予測分布のエントロピーの大きさ）のように、値が大きいほど不確実性が高い不確実度を用いる場合、統合部１１３は、不確実度が閾値以上である選別対象データを出力する。

閾値および終了条件は、予め定められた値または条件を用いてもよいし、ユーザにより設定可能としてもよい。また、閾値および終了条件は、処理中に状況に応じて動的に変更されてもよい。例えば、ある閾値を用いて選別対象データが得られなかった場合は、統合部１１３は、選別対象データが得られやすいように閾値を変更してもよい。

以下に、本実施形態と比較例との相違について説明する。説明を簡単にするため、「ａ」および「ｂ」の２種類のカテゴリのみである文字列を含む画像データをモデルにより認識し、認識したカテゴリを出力する例とする。パーツの分割方法は、画像データをニューラルネットに入力して得らえる特徴マップを分割する方法とする。本実施形態で不確実性が高いデータを選別する方法は、（Ｍ２）（MarginSampling）とする。また、一般に不確実度はノイズおよび文字の綺麗さなどと関連するが、ここではノイズのみで不確実度を表す。

図６および図７は、画像データおよび当該画像データに対する認識結果の例を示す図である。図６および図７内の楔形状は、画像上にノイズが含まれることを意味する。図６および図７の例では、「ａａｂ」の文字列を含む画像データ６０２および７０２が、それぞれ３つのパーツＰ１、Ｐ２、Ｐ３に分割される。画像データ６０２は、パーツＰ３のみにノイズが含まれている。すなわち、画像データ６０２は、局所的に不確実性が高いデータとなる。画像データ７０２は、すべてのパーツにノイズが含まれている。すなわち、画像データ７０２は、全般的な不確実性の高いデータとなる。

画像データ６０２および７０２の上には、それぞれ対応する認識結果６０１および７０１の例が示されている。認識結果６０１および７０１内の数値は、各パーツに対応する文字列がカテゴリ「ａ」または「ｂ」に属する確率を示している。

画像データ６０２は、パーツＰ１、Ｐ２に相当する「ａａ」に対してはノイズがなく高い確率で認識されるが、パーツＰ３に相当する「ｂ」に対しては大きなノイズのため認識が困難となるようなデータである。画像データ７０２は、すべてのパーツＰ１、Ｐ２、Ｐ３に相当する「ａａｂ」に小さなノイズがあり平均的に認識が困難となるようなデータである。

比較例では、各パーツのカテゴリの確率の積で、各ラベル列の確率を算出し、各ラベル列の確率の差を不確実度とする。ラベル列とは、各パーツの認識結果となりうる文字（ラベル）を並べた情報である。図６および図７の例では、「ａａａ」、「ａａｂ」、「ａｂａ」、「ａｂｂ」、「ｂａａ」、「ｂａｂ」、「ｂｂａ」、「ｂｂｂ」の８種類のラベル列が得られる。

また比較例では、「１番目に確率の高いラベル列」と「２番目に確率の高いラベル列」との間の確率の差（＝不確実度）が最も小さい画像データが選別されるものとする。比較例では、画像データ６０２に対する不確実度は例えば以下のように算出される。
ラベル列「ａａｂ」：１×１×０．５＝０．５
ラベル列「ａａａ」：１×１×０．５＝０．５
不確実度＝０．５−０．５＝０

また、比較例では、画像データ７０２に対する不確実度は例えば以下のように算出される。
ラベル列「ａａｂ」：０．７５×０．７５×０．７５≒０．４２
ラベル列「ａａａ」：０．７５×０．７５×０．２５≒０．１４
不確実度＝０．４２−０．１４＝０．２８

従って、比較例では、不確実性が高い（不確実度の値が小さい）データとして、全般的な不確実性の高い画像データ７０２（不確実度＝０．２８）ではなく、局所的に不確実性が高い画像データ６０２（不確実度＝０）が選別される。

これに対して本実施形態では、画像データ６０２に対する不確実度は例えば以下のように算出される。
パーツＰ１の不確実度：１−０＝１
パーツＰ２の不確実度：１−０＝１
パーツＰ３の不確実度：０．５−０．５＝０
画像データ６０２の不確実度：（１＋１＋０）／３≒０．６７

また、本実施形態では、画像データ７０２に対する不確実度は例えば以下のように算出される。
パーツＰ１の不確実度：０．７５−０．２５＝０．５
パーツＰ２の不確実度：０．７５−０．２５＝０．５
パーツＰ３の不確実度：０．７５−０．２５＝０．５
画像データ７０２の不確実度：（０．５＋０．５＋０．５）／３＝０．５

従って、本実施形態では、不確実性が高い（不確実度の値が小さい）データとして、全般的な不確実性の高い画像データ７０２が選別される。

以上のように、比較例では、複数のパーツのうち１つでもパーツごとの１位候補の確率と２位候補の確率の差が小さい場合、ラベル列間の確率の差分（Margin）も必然的に小さくなる。すなわち、局所的な不確実度の影響が大きくなる。

一方、本実施形態では、パーツごとに不確実度を算出し、各パーツの不確実度を統合する（ここでは平均値をとる）ことで、データの不確実度を算出する。このため、全般的な不確実度を考慮したより高精度な不確実度を算出することができる。この結果、全般的に不確実性が高いデータを選別することが可能となる。

また本実施形態では、以下のように計算量を削減することも可能となる。比較例では、データの不確実度を算出するときに、各パーツのカテゴリの積で各ラベル列（カテゴリの全ての組み合わせ）の確率を算出する。このため、比較例の計算量のオーダーは、Ο（（カテゴリのクラス数）^（系列長））となる。すなわち、パーツの数が増えると、計算量が指数関数的に増加する。

一方、本実施形態では、パーツごとにクラス間の比較を行えばよい。このため、計算量のオーダーは、Ο（（カテゴリのクラス数）×（系列長））となる。本実施形態では、パーツの数が増えると、計算量が線形関数的に増加する。従って、本実施形態では、比較例より少ない計算量でデータを選別することができる。

例えば図３の場合、比較例では不確実度を計算するために「ａａａ」、「ａａｂ」、「ａｂａ」、「ａｂｂ」、「ｂａａ」、「ｂａｂ」、「ｂｂａ」、「ｂｂｂ」の８種類の文字列の確率を計算し、比較する必要があるが、本実施形態では３つのパーツに対してそれぞれ「ａ」と「ｂ」の確率を計３回比較するだけでよい。

以上のように、第１の実施形態にかかる情報処理装置では、不確実度をより高精度に算出することができる。

（第２の実施形態）
第２の実施形態の情報処理装置は、モデルの学習をより効率的に実行する機能をさらに備える。

図８は、第２の実施形態にかかる情報処理装置１００−２の構成の一例を示すブロック図である。図８に示すように、情報処理装置１００−２は、前処理部１０１−２と、学習部１０２−２と、出力制御部１０３と、選別部１１０と、記憶部１２１と、を備えている。

第２の実施形態では、前処理部１０１−２および学習部１０２−２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる情報処理装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

前処理部１０１−２は、認識するカテゴリを設定する機能をさらに備える点が、第１の実施形態の前処理部１０１と異なっている。例えば文字認識の場合、前処理部１０１−２は、カテゴリを文字または部首に設定する。例えば音声認識の場合、前処理部１０１−２は、カテゴリを基本音素に設定する。例えば物体認識の場合、前処理部１０１−２は、カテゴリを認識する各物体に設定する。前処理部１０１−２は、例えばユーザから指定されたカテゴリを、認識するカテゴリとして設定する。

学習部１０２−２は、不確実性が低いデータを訓練データから除外するための機能（忘却機能）、および、学習の収束を判定する機能をさらに備える点が、第１の実施形態の学習部１０２と異なっている。

次に、このように構成された第２の実施形態にかかる情報処理装置１００−２による学習処理について図９を用いて説明する。図９は、第２の実施形態における学習処理の一例を示すフローチャートである。

前処理部１０１は、認識処理で用いられるカテゴリを設定する（ステップＳ３０１）。

ステップＳ３０２、Ｓ３０３は、第１の実施形態にかかる情報処理装置１００におけるステップＳ１０１、Ｓ１０２と同様の処理なので、その説明を省略する。

本実施形態では、学習部１０２−２が、訓練データを用いた学習が終了（収束）したか否かを判定する（ステップＳ３０４）。例えば学習部１０２−２は、学習時に算出される誤差およびエラー率などを用いて学習が収束したか判定する。学習部１０２−２は、例えば誤差またはエラー率が閾値以下となった場合に学習が収束したと判定する。

学習が終了していない場合（ステップＳ３０４：Ｎｏ）、学習部１０２−２は、ステップＳ３０３に戻り処理を繰り返す。学習が終了した場合（ステップＳ３０４：Ｙｅｓ）、学習部１０２−２は、訓練データの一部を選別対象データに移動する（ステップＳ３０５）。例えば学習部１０２−２は、訓練データからランダムに一部のデータを選択し、選択したデータを選別対象データに移動する。

図１０は、訓練データと選別対象データとの関係を説明するための図である。データ１００１は、ステップＳ３０２の処理の対象となるデータ（入力されたデータ）に相当する。ステップＳ３０２で分けられた訓練データを図１０ではベースモデル訓練データ１００２と記載している。またステップＳ３０２で分けられた選別対象データが図１０の選別対象データ１００３に相当する。

選別対象データ１００３のうち選別処理により選別されたデータ（選別：Ｙｅｓ）は、訓練データ１００４に追加される。訓練データ１００４は、ベースモデル訓練データ１００２とともにステップＳ３０８のモデルの学習で用いられる。選別対象データ１００３のうち選別処理により選別されなかったデータ（選別：Ｎｏ）は、選別対象データ１００３に残される。

本実施形態では、ステップＳ３０８のモデルの学習を繰り返すごとに、ステップＳ３０５で、ベースモデル訓練データ１００２の一部を選別対象データに移動する。仮に不確実性が低いデータがベースモデル訓練データ１００２に含まれていた場合は、ステップＳ３０５の処理でこのデータが選別対象データ１００３に移動されれば、選別処理により選別されず、訓練データ１００４から除外することが可能となる。従って、より効率的にモデルを学習することができる。

図９の説明に戻る。ステップＳ３０６〜Ｓ３０９は、第１の実施形態にかかる情報処理装置１００におけるステップＳ１０３〜Ｓ１０６と同様の処理なので、その説明を省略する。

ステップＳ３０８の後、学習部１０２−２は、選別したデータを用いた学習が終了（収束）したか否かを判定する（ステップＳ３１０）。この処理は、ステップＳ３０４と同様に、学習時に算出される誤差およびエラー率などを用いた判定処理である。

学習が終了していない場合（ステップＳ３１０：Ｎｏ）、学習部１０２−２は、ステップＳ３０８に戻り処理を繰り返す。学習が終了した場合（ステップＳ３１０：Ｙｅｓ）、学習部１０２−２は、ステップＳ３０５に戻り処理を繰り返す。

このように、第２の実施形態にかかる情報処理装置では、不確実性が低いデータを訓練データから除外する機能、および、学習の収束を判定する機能をさらに備えるため、モデルの学習をより効率的に実行することができる。

以上説明したとおり、第１から第２の実施形態によれば、不確実度を高精度に算出することができる。

次に、第１または第２の実施形態にかかる情報処理装置のハードウェア構成について図１１を用いて説明する。図１１は、第１または第２の実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

第１または第２の実施形態にかかる情報処理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１または第２の実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１または第２の実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００−２ 情報処理装置
１０１、１０１−２ 前処理部
１０２、１０２−２ 学習部
１０３ 出力制御部
１１０ 選別部
１１１ 分割部
１１２ 算出部
１１３ 統合部
１２１ 記憶部

Claims (7)

1. データを入力して処理結果を出力する処理の対象とする入力データを、複数の部分データに分割する分割部と、
   複数の前記部分データごとに前記処理を実行し、前記処理の不確実性を示す複数の不確実度を算出する算出部と、
   複数の前記不確実度を統合し、前記入力データの不確実度として出力する統合部と、
   を備える情報処理装置。
2. 前記統合部は、検証用データに対する前記処理の状態を示す状態情報に基づいて、複数の統合方法のうちいずれかの統合方法を決定し、決定した統合方法により、複数の前記不確実度を統合する、
   請求項１に記載の情報処理装置。
3. 複数の前記統合方法は、複数の前記不確実度の平均値または中央値を算出する方法、複数の前記不確実度のうち一部の前記不確実度の平均値または中央値を算出する方法、および、複数の前記不確実度の重み付け加算値を算出する方法、を含む、
   請求項２に記載の情報処理装置。
4. 複数の前記不確実度のうち一部の前記不確実度は、複数の前記不確実度のうち値が予め定められた範囲に含まれる前記不確実度である、
   請求項３に記載の情報処理装置。
5. 前記統合部により出力された不確実度が示す不確実性が閾値以上である複数の入力データを訓練データとして用いて、前記処理を実行するための機械学習モデルを学習する学習部をさらに備える、
   請求項１に記載の情報処理装置。
6. データを入力して処理結果を出力する処理の対象とする入力データを、複数の部分データに分割する分割ステップと、
   複数の前記部分データごとに前記処理を実行し、前記処理の不確実性を示す複数の不確実度を算出する算出ステップと、
   複数の前記不確実度を統合し、前記入力データの不確実度として出力する統合ステップと、
   を含む情報処理方法。
7. コンピュータに、
   データを入力して処理結果を出力する処理の対象とする入力データを、複数の部分データに分割する分割ステップと、
   複数の前記部分データごとに前記処理を実行し、前記処理の不確実性を示す複数の不確実度を算出する算出ステップと、
   複数の前記不確実度を統合し、前記入力データの不確実度として出力する統合ステップと、
   を実行させるためのプログラム。

Images