JP2022175851A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】認識タスクを行う機械学習モデルについて、特定の事例についての認識精度の改善を効率的に行う。【解決手段】複数の階層からなる階層的構造を有し、入力されたデータ中の認識対象の認識に用いる機械学習モデルの学習を行う。入力データと、入力データについての機械学習モデルからの出力の正解を示すデータと、を取得する。入力データの特定のドメインについての機械学習モデルからの出力の正解を示すデータと、入力データに対する機械学習モデルの中間層のうち少なくとも１つの出力との誤差に基づいて、機械学習モデルの学習を行う。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

ＣＮＮを用いたパターン認識（画像分類、物体検出、又は意味的領域分割など）のタスクでは、最終的な認識の精度評価のための評価用データセット（評価データ）と、現在の学習経過での認識精度評価のための検証用データセット（検証データ）と、を用意する。またこのタスクでは、それぞれのタスクごとに適切な評価指標が設定される。そして、それらのデータのセット全体、又はフォーカスすべき分類（サブセット）ごとに、設定された評価指標を用いて認識の精度評価を行い、ＣＮＮの性能を評価する。

特許文献１では、追加学習を行った場合に識別精度が向上する対象物とそれ以外の対象物を定量的に評価してユーザの目的に合致した識別器を得る技術が開示されている。また、特許文献２では、教師あり画像分類器の分類精度を向上させるために、認識精度の悪かった検証用画像に類似する画像を、教師無し画像分類器によって抽出する技術が開示されている。

特開２０１９－１０６１１９号公報 特開２０１９－１０９９２４号公報

Ｊｏｎａｔｈａｎ Ｌｏｎｇ，Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ，Ｔｒｅｖｏｒ Ｄａｒｒｅｌｌ，"Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ"，ＣＶＰＲ２０１５，［online］，平成２６年１１月１４日，［令和３年４月１日検索］，インターネット Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ， Ｔｈｏｍａｓ Ｂｒｏｘ，"Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"，ＭＩＣＣＡＩ ２０１５，［online］，平成２７年５月１８日，［令和３年４月１日検索］，インターネット Ｈｅｎｇｓｈｕａｎｇ Ｚｈａｏ， Ｊｉａｎｐｉｎｇ Ｓｈｉ， Ｘｉａｏｊｕａｎ Ｑｉ， Ｘｉａｏｇａｎｇ Ｗａｎｇ， Ｊｉａｙａ Ｊｉａ，"Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ"，ＣＶＰＲ２０１７，［online］，平成２８年１２月４日，［令和３年４月１日検索］，インターネット Ｂａｒｒｅｔ Ｚｏｐｈ，Ｑｕｏｃ Ｖ． Ｌｅ，"Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ ｗｉｔｈ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ"，ＩＣＬＲ２０１７，［online］，平成２８年１１月５日，［令和３年４月１日検索］，インターネット

しかしながら、上述のＣＮＮにおいては、評価データ又は検証データからのマクロな認識精度が十分であっても、少数の特定事例については認識精度が不足する場合がある。特許文献１に記載の技術では、改善すべき事例を抽出し、それを直接的に改善するような追加学習を行わないため、その追加学習によってユーザの目的に合致したモデルが得られるかは不明である。また特許文献２に記載の技術では、画像全体の特徴量の類似度に基づいて類似画像を抽出するため、画像中の局所領域が問題となる場合には、追加学習を行っても認識精度改善に結びつきにくい。

本発明は、認識タスクを行う機械学習モデルについて、特定の事例についての認識精度の改善を効率的に行うことを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、複数の階層からなる階層的構造を有し、入力されたデータ中の認識対象の認識に用いる機械学習モデルの学習を行う情報処理装置であって、入力データと、前記入力データについての前記機械学習モデルからの出力の正解を示すデータと、を取得する取得手段と、前記入力データの特定のドメインについての前記機械学習モデルからの出力の正解を示すデータと、前記入力データに対する前記機械学習モデルの中間層のうち少なくとも１つの出力との誤差に基づいて、前記機械学習モデルの学習を行う学習手段と、を備えることを特徴とする。

認識タスクを行う機械学習モデルについて、特定の事例についての認識精度の改善を効率的に行うことができる。

実施形態１に係る入力画像、ＧＴ、及び画像認識処理の一例を説明するための図。 実施形態１に係るＣＮＮの学習機構の一例を説明するための図。 実施形態１に係る認識装置の機能構成の一例を示す図、及び、学習装置の機能構成の一例を示す図。 実施形態１に係る認識装置による処理の一例を示すフローチャート（ａ）と、学習処理による処理の一例を示すフローチャート（ｂ）～（ｄ）。 実施形態１に係る特定ドメインモデルの応答と、ＧＴと、特定ドメインＧＴとの一例を示す図。 実施形態１に係る検証画像及び推論結果の一例を示す図と、推論結果からの特定のドメインの抽出例を説明するための図。 実施形態２に係る学習装置の機能構成の一例を示す図。 実施形態２に係る各特定ドメインモデルの応答と、対応するＧＴと、特定ドメインＧＴとの一例を示す図と、複数チャネルを用いた処理を説明するための図。 実施形態３に係る学習装置の機能構成の一例を示す図。 実施形態３に係る割り当て処理の一例を示す図。 実施形態３に係る強化学習の一例を説明するための図。 実施形態４に係るコンピュータのハードウェア構成を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
一実施形態に係る情報処理装置としての認識装置及び学習装置は、機械学習モデルを利用して、入力されたデータ中の認識対象を認識する。本実施形態においては、画像を入力データとする、畳み込みニューラルネットワーク（ＣＮＮ）を用いた意味的領域分割による画像認識処理が行われる。ここでは、学習装置によって機械学習モデルの学習が行われ、その学習結果を用いて認識装置による認識処理が行われるが、認識装置と学習装置とは同体の装置において実装されてもよく、別体の装置として実装されてもよい。

図１は、認識装置が行う画像認識処理を説明するための模式図である。図１（ａ）に示される入力画像１０１は、本実施形態に係る認識装置に入力される画像データの一例である。ここでは、入力画像１０１はＲＧＢ画像であるものとするが、例えば、ＣＭＹＫ形式など、画像認識処理が行えるのであれば特にその色空間などの形式は限定されない。

また、本実施形態に係る認識装置及び学習装置が行う認識処理においては、画像内の被写体が、植物（Ｐｌａｎｔ）、空（Ｓｋｙ）、又はその他（Ｏｔｈｅｒ）のいずれかのカテゴリに分類される。ここで、入力画像１０１には、前景中央部に花（Ｆｌｏｗｅｒ）（Ｐｌａｎｔに分類される）、背景に空（Ｓｋｙに分類される）と地面（Ｇｒｏｕｎｄ）（Ｏｔｈｅｒに分類される）とが配置されている。これらは一例であり、認識装置及び学習装置によって異なるカテゴリへの分類がなされてもよく、入力画像１０１及び後述する正解（ＧＴ）１０２において配置される被写体も異なるものが用いられてもよい。

図１（ｂ）に示されるＧＴ１０２は、入力画像１０１に対応する正解（ＧＴ：Ｇｒｏｕｎｄ Ｔｒｕｔｈ）の一例である。上述したように、本実施形態においては、花はＰｌａｎｔのカテゴリに、空はＳｋｙのカテゴリに、地面はＯｔｈｅｒのカテゴリに対応させるものとする。また図１（ｂ）に示されるように、ＧＴ１０２において、各カテゴリの対象物体が存在する領域に、そのカテゴリに対応するラべルが付与されるものとする。ラベルは、各領域に付与されるカテゴリを示す情報であり、各図においては分類の結果付与される（又は正解データに付与されている）ラベルが色分け（網目模様）によって示されている。本実施形態においては、意味的領域分割として、入力画像中の領域をＧＴ１０２のように特定のカテゴリごとに部分領域に分割する画像認識タスクが行われる。

図１（ｃ）は、本実施形態に係る認識装置が備えるＣＮＮ１０３による入出力の一例を示している。以下、本実施形態に係るＣＮＮ１０３の計算機構について説明を行う。非特許文献１及び２には、意味的領域分割を行うニューラルネットワークの事例が記載されている。

ＣＮＮ１０３は、畳み込み、活性化、プーリング、及び正規化などを行う層で構成されるモジュールが複数個連結された階層的構造を有しており、入力画像１０１を入力として、画像内のカテゴリ分類の結果である推論結果１０７を出力する。ＣＮＮ１０３は、非特許文献１又は２に示されるように、高次層の中間特徴を出力サイズに合わせてアップサンプリングして低次から高次層の中間特徴のサイズを合わせ、１×１畳み込みを利用することにより、推論結果１０７を出力することができる。ここでは、ＣＮＮ１０３は特徴抽出層１０４を有している。

中間層１０５は、ＣＮＮ１０３における中間層の一例である。本実施形態に係る情報処理装置としての認識装置は、中間層１０５の任意のチャネルに対して活性化層を追加する。また、一方で、この活性化層の出力に対するＧＴとなる特定ドメインＧＴ（詳細は後述）を取得する。次いで、認識装置は、活性化層の出力とＧＴとのロスを算出し、中間層１０５の出力が特定ドメインＧＴに応じたものになるよう、ＣＮＮの学習を行うことができる。ここでは、認識の精度について不満足である改善すべき事例を示す検証データ（要改善事例と呼ぶ）がユーザによって選択され、この事例に対して中間層１０５の１チャネルの出力が応答するように学習がなされるものとする。この学習処理については図４を参照して後述する。要改善事例は、後述する検証記憶部３１０２に格納されている検証データを用いた検証結果に基づいてユーザによって選択される、ユーザが不満足であるとする検証結果を示す検証データである。検証データとは、現在の学習の経過の検証、すなわち認識精度の評価のために予め用意されるデータ群であり、入力用の画像データとこれに対する認識処理の正解を示すデータとを含んでいる。中間層１０５は、アップサンプリングを経て入力と同じ解像度で複数のチャネルを有するものとするが、解像度が入力画像と異なっていてもよい。

出力層１０６は、１×１畳み込みと活性化層によって推論結果１０７を出力する。ここでは、推論結果１０７は、入力画像１０１と高さ及び幅が等しく、それぞれＰｌａｎｔ、Ｓｋｙ、Ｏｔｈｅｒカテゴリの尤度に対応する正規化された３チャネルを有するものとする。すなわち、この３チャネルにおいては、同位置のＰｌａｎｔ、Ｓｋｙ、Ｏｔｈｅｒカテゴリの尤度の和が１．０となり、それぞれの値が［０，１］における実数値であるものとする。出力層１０６の最終活性化層ではソフトマックス関数が用いられてもよい。また、ＣＮＮ１０３の活性化層には、ＣＮＮのネットワーク構成において通常用いられる任意の活性化層が利用可能であり、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ、ランプ関数）、又はＬｅａｋｙ ＲｅＬＵなどが用いられてもよい。

図２は、本実施形態における情報処理装置としての学習装置における学習機構について説明するための模式図である。入力画像２０１は入力画像１０１と同様の画像であり、ＣＮＮ２０３へと入力される。ＣＮＮ２０３はＣＮＮ１０３と同様の構成を持つＣＮＮであり、特徴抽出層２０４、中間層２０５、出力層２０６を備える。

出力２０２は、ＣＮＮ２０３の出力結果の一例であり、図１における推論結果１０７と同様に入力画像２０１に対するカテゴリ分類の結果である。ＧＴ２１１は、図１のＧＴ１０２と同様に入力画像に対応する正解データである。出力２１０は、中間層２０５のうちの、１チャネル分（１カテゴリ分）の応答に関する、所定の活性化層を介した中間層の出力の一例である。出力２１０は、要改善事例に応答するように学習されたチャネルの出力であり、ＧＴ２１２は、認識精度について改善すべき領域についてのＧＴである。学習装置は、出力２０２と出力２１０とについて、正解データ（それぞれＧＴ２１１及びＧＴ２１２）とのロス２１３を計算する。ここでは、ロス２１３はクロスエントロピーを用いて算出される。

学習時の一回の更新処理では、ロス関数により計算されたロスに基づいて誤差逆伝播が行われ、各層の重み及びバイアスの更新値が計算され更新される。この例においては、中間層２０５のうちの１チャネル分の応答に対してＧＴ２１２を取得しロスの計算を行うことにより、その中間層１チャネル分の学習を行っている。この学習処理は１チャネル分には限らず、中間層１０５の複数チャネルに対して対応するＧＴが用意され学習が行われてもよい。ここで、学習に用いられる中間層２０５のチャネルは、中間層２０５の有する全チャネルから選択される。ここで選択されるチャネルは、学習用に予め用意されていてもよく、全チャネルから無作為に選択されてもよく、最終的な出力２１０に対するチャネルごとの寄与度などに基づいて選択されてもよい（この例については実施形態２を参照して後述する）。

図３（ａ）は、本実施形態に係る情報処理装置としての認識装置の機能構成の一例を示すブロック図である。認識装置３０００は、上述のＣＮＮ１０３のランタイム時の処理を行い、そのために画像取得部３００１、領域認識部３００２、及び辞書記憶部３００３を有する。各ブロックの機能については、図４のフローチャートにおいて説明する。

図３（ｂ）は、本実施形態に係る情報処理装置としての学習装置の機能構成の一例を示すブロック図である。学習装置３１００は図２に示される学習機構における処理を行う。学習装置３１００は、各データを格納する記憶部として、学習記憶部３１０１、検証記憶部３１０２、推論結果記憶部３１０３、及びモデル記憶部３１０４を備える。また学習装置３１００は、辞書記憶部３１０５、領域認識部３１０６、ロス計算部３１０７、及び更新部３１０８を備えるＮＮ学習部３２００を有する。さらに学習装置３１００は、サンプリング部３１０９とモデル作成部３１１０とを備え、要改善事例に応じて、認識結果を改善することが求められるドメインの領域を入力データから抽出するためのモデルである特定ドメインモデルを作成する。

図４は、本実施形態に係る認識装置３０００及び学習装置３１００が行う処理の一例を示すフローチャートである。図４（ａ）は、上述のＣＮＮ１０３のランタイム時に認識装置３０００が実行する処理の一例を示している。Ｓ４００１で辞書記憶部３００３は、領域認識部３００２が用いる辞書を設定する。ここで、辞書とは、ＣＮＮの各層で用いられる重み及びバイアスなどのパラメータを示すものとして以下の説明を行う。すなわち、Ｓ４００１では、領域認識部３００２が用いる畳み込みニューラルネットワークの各層の重み及びバイアスがロードされる。

Ｓ４００２で画像取得部３００１は、認識処理を行う画像（すなわち、入力画像１００１）を取得する。画像取得部３００１は、入力画像１００１を、ＣＮＮ１０３の入力サイズに合うようにリサイズし、さらに必要に応じて各ピクセルの前処理を行う。例えば画像取得部３００１は、各ピクセルの前処理として、入力画像のピクセルそれぞれのＲＧＢチャネルから、予め取得したある画像セットの平均ＲＧＢ値を減算する処理を行ってもよく、環境に応じて異なる任意の処理を行ってもよい。以下、このような前処理によって変換された画像データも入力画像と呼ぶものとして説明を行う。

Ｓ４００３で領域認識部３００２は、複数の階層からなる階層的構造を有する機械学習モデルを利用して、入力データ中の認識対象を認識する。本実施形態において、領域認識部３００２は、入力画像の各ピクセルのカテゴリの認識を行う。すなわち、Ｓ４００３の処理はＣＮＮ１０３による順伝播の処理であり、特徴抽出層１０４及び中間層１０５による応答が出力される。上述したように、ＣＮＮ１０３は、入力データに対する機械学習モデルの中間層のうち少なくとも１つの出力が、特定のドメインについて抽出された学習用の入力データに対する認識の正解データを用いて最適化されるように学習されている。本実施形態では、中間層１０５の１チャネルの出力が要改善事例に応答するように学習されている。要改善事例を用いた学習については図４（ｃ）を参照して後述する。領域認識部３００２は、１×１畳み込み層と活性化層とで構成される出力層１０６によって、意味的領域分割の推論結果（ここでは、推論結果１０７）を算出する。この推論結果は前述のように、入力画像と同じサイズ（高さ及び幅）で、カテゴリ数分のチャネルを持つテンソルであり、各要素は［０，１］に正規化された実数値である。以上が、ランタイム時の処理である。

次に、学習時の処理について、図４（ｂ）のフローチャートを参照して説明する。図４（ｂ）のＳ４１０１～Ｓ４１０４における処理は、改善すべき事例がないと判断されるまで学習装置３１００において繰り返されるループ処理である。

Ｓ４１０１でＮＮ学習部３２００は、ＣＮＮ２０３の学習を行う。Ｓ４１０１における処理は、図４（ｃ）を参照して詳細に説明を行う。

図４（ｃ）は、Ｓ４１０１で行うＣＮＮの学習処理の詳細な内容の一例を示すフローチャートであり、Ｓ４１０５～Ｓ４１１０の処理を含んでいる。Ｓ４１０５で辞書記憶部３１０５は、ＣＮＮ２０３の辞書の初期値を含む、学習に関するハイパーパラメータの初期値の設定を行う。ここで設定されるパラメータは、例えばミニバッチサイズ、学習係数、又は確率的勾配降下法のソルバーのパラメータなど、一般的なＣＮＮにおいて用いられるパラメータであり、その設定処理に関する詳細な説明は省略する。

また、図４（ｂ）のループ処理における２回目以降のＳ４１０１でのＳ４１０５では、前回のループでのＳ４１０５で設定したパラメータの一部又は全部を引き継いでもよい。この場合、ＣＮＮの各層の重み及びバイアスについては初期値の設定を行わず、辞書記憶部３１０５に格納されている、前回の学習結果である重み及びバイアスを読み出して用いる。

Ｓ４１０６～Ｓ４１１１は、ロスが十分に収束するまで行われる、学習のイテレーション（反復）処理である。ここでは、一般的な学習処理と同様に、算出されるロスの値が所定の値以下になるまで反復処理が行われるものとする。

Ｓ４１０６で画像取得部３００１は、入力データと、入力データについての分類の正解を示すデータと、を取得する。例えば、画像取得部３００１は、学習用の画像とそれに対応するＧＴ（ラベル）とを、ミニバッチサイズ分取得する。ここでは、学習記憶部３１０１に学習用の画像とそれに対応するＧＴとが格納されており、画像取得部３００１はこれを読み出して取得する。また画像取得部３００１は、各画像に関して、ランダム切り出し若しくは色変換などの水増し処理、又は正規化などの前処理を実行してもよい。

Ｓ４１０７でロス計算部３１０７は、入力データの特定のドメインについての分類の正解を示すデータである、特定ドメインＧＴを作成する。

ここで、ロス計算部３１０７は、入力データから特定のドメインの領域を抽出することができる。この際に、ロス計算部３１０７は、特定のドメインの領域を抽出するモデルである特定ドメインモデルを用いることができる。特定ドメインモデルとは、要改善事例に基づいて後述のＳ４１０４で作成される、特定のドメインを有する領域を抽出するモデルであり、作成処理の詳細な説明は図６を参照して後述する。ここで、特定のドメインは、入力データ中の、例えば特定の色を有する部分、特定の空間周波数を有する部分、又は特定の分類（カテゴリ）の被写体の部分であり、所定の特徴量を有する領域であってもよい。本実施形態においては、特定のドメインとして特定の色を有する部分が用いられるものとして説明を行う。

また、ロス計算部３１０７は、特定のドメインの領域における、入力データについての分類の正解を示すデータ（ＧＴ）から、入力データの特定のドメインについての分類の正解を示すデータ（特定ドメインＧＴ）を作成することができる。

ここで、図５を参照して、特定ドメインＧＴの作成について説明する。図５は、特定ドメインＧＴについて説明するための模式図である。応答５０１は、Ｓ４１０６で取得した画像に対する、ＨＳＶ色空間で作成された特定ドメインモデルの応答である。図５（ａ）の例において、入力画像に対して特定ドメインモデルに応じた特定の色相及び彩度を有する領域が、網目模様の領域に対応する。ＰｌａｎｔＧＴ５０２は、画像のＰｌａｎｔ領域に対応する正解データである。また、図５（ｃ）に示す特定ドメインＧＴ５０３は、応答５０１とＰｌａｎｔＧＴ５０２とをピクセルの要素ごとにかけ合わせることで得られる２次元配列である。このように、特定ドメインＧＴ５０３は、特定のドメインの領域について、Ｐｌａｎｔ領域である領域を示すＧＴである。このように、ロス計算部３１０７は、特定のドメインの領域（例えばＰｌａｎｔ領域）における、入力データの各要素が特定の分類に属するか否かを示す正解データ（例えばＰｌａｎｔＧＴ）から、特定ドメインＧＴを作成することができる。

なお本実施形態においては、応答５０１、ＰｌａｎｔＧＴ５０２、及び特定ドメインＧＴ５０３の要素はそれぞれ［０，１］の実数値に正規化されているとして説明を行う。こうして得られた特定ドメインＧＴ５０３が、ＣＮＮ２０３の中間層２０５のうちの１チャネルの応答に対応するＧＴとして用いられる。

Ｓ４１０８で領域認識部３１０６は、ＣＮＮ２０３の順伝播処理により、ミニバッチ内の画像のカテゴリの認識を行う。この処理はＳ４００３における処理と同様に行われるため、重複する説明は省略する。

Ｓ４１０９でロス計算部３１０７は、ＣＮＮ２０３の学習の対象である順伝播の出力とそれに対応するＧＴとから、予め定まっているロス関数に基づいてロスを算出する。ロス計算部３１０７は、順伝播の出力として、中間層２０５の１チャネルの出力２１０（以降、適宜「応答」と呼ぶ）と、最終的なネットワークの出力２０２とを用いる。出力２１０に対応するＧＴは特定ドメインＧＴ５０３であり、出力２０２に対応するＧＴは各カテゴリのＧＴ１０２である。出力２０２は、Ｐｌａｎｔ、Ｓｋｙ、Ｏｔｈｅｒに対応する３チャネルの出力であり、これに対応する各カテゴリのＧＴも３チャネルのデータである。特定ドメインＧＴ５０３のチャネル数は、出力２１０と同じ１チャネルである。本実施形態において、ロス計算部３１０７は、これらの出力とＧＴとのペアから、特定のドメインＧＴ及び各カテゴリのＧＴそれぞれについて、クロスエントロピーロスを算出し、算出した２つのクロスエントロピーロスを適当な重みづけとともに足し合わせる。特定ドメインＧＴの重みづけを強くすることにより要改善事例の改善率を大きくすることができるが、この重みはユーザが任意に設定できるものとする。

このように、ロス計算部３１０７は、入力データの特定のドメインについての分類の正解を示すデータ（特定ドメインＧＴ）と、入力データに対する機械学習モデルの中間層のうち少なくとも１つの出力（出力２１０）との誤差（ロス）を評価することができる。これに加えて、ロス計算部３１０７は、入力データについての分類の正解を示すデータ（ＧＴ）と、入力データに対する機械学習モデルの出力（出力２０２）の出力との誤差（ロス）を評価することができる。後述する更新部３１０８は、これらの双方の誤差に基づいて、機械学習モデルの学習を行うことができる。

Ｓ４１１０で更新部３１０８は、ＣＮＮのパラメータの更新を行う。本実施形態においては、更新部３１０８は、Ｓ４１０９で算出された全体のロスに対して、誤差逆伝播によりＣＮＮの各層の重み及びバイアスの更新量を計算し、それぞれ更新を行う。更新した重み及びバイアスの値は、辞書記憶部３１０５に格納される。

Ｓ４１１１で更新部３１０８は、Ｓ４１０９で算出したロスが十分に収束したか否かを判定する。ここでは、判定に用いられる閾値が予め所望に設定され、ロスがこの閾値以下であるか否かが判定されるものとする。ロスが十分に収束したと判定された場合はループ処理が終了してステップＳ４１０２へと進み、そうでない場合は処理がステップＳ４１０５へと戻る。

なお、Ｓ４１１１で判定されるループの終了タイミングは、ロスの値が所定の閾値以下になったときには限定されない。例えば上述の反復処理は、予め定められた学習データのエポック数若しくは所定のイテレーション数の反復を終えた場合に、又は所定の時間が経過した場合に終了し、Ｓ４１０２の検証処理へと移行してもよい。

このような図４（ｃ）に示される処理によれば、特定ドメインＧＴを含むＧＴに基づいてＣＮＮの各層のパラメータが更新される。

次いでその更新されたＣＮＮを用いて、Ｓ４１０２の検証処理が行われる。Ｓ４１０２でＮＮ学習部３２００は、機械学習モデルを利用して、検証用の入力データ中の認識対象を認識する。ここで、ＮＮ学習部３２００は、検証記憶部３１０２に格納された検証データを用いて、Ｓ４１０１で学習を行ったＣＮＮモデルの精度を評価し、その評価結果を推論結果記憶部３１０３に格納する。ＣＮＮモデルの精度の評価は、学習時に用いたクロスエントロピーロスを用いて行われてもよく、Ｐｉｘｅｌ Ａｃｃｕｒａｃｙなどの別の公知の指標を用いて行われてもよい。ここでは、推論結果記憶部３１０３は、ネットワークの最終出力であるＰｌａｎｔ、Ｓｋｙ、Ｏｔｈｅｒの３カテゴリの推論結果とそれに対応するＧＴとを格納する。さらに、推論結果記憶部３１０３は、その他の中間層の出力など、結果の分析に有用なものを適宜格納してもよい。

Ｓ４１０３でサンプリング部３１０９は、検証データの中にユーザによって選択された要改善事例が存在するか否かを判定する。要改善事例が存在しない場合には処理が終了し、要改善事例が存在する場合には処理はＳ４１０４へと進む。

具体的には、サンプリング部３１０９は、推論結果記憶部３１０３に格納されている、検証データに対する推論結果を、表示部（不図示）を介してユーザに提示することができる。サンプリング部３１０９は、検証データに含まれる画像データ又は正解データをユーザに提示してもよい。この場合、ユーザは、推論結果が不満足である検証データを、要改善事例として、入力部（不図示）を介して選択することができる。

Ｓ４１０４でモデル作成部３１１０は、検証用の入力データのうち認識結果を改善することが求められる特定のドメインを示す情報（例えば特定ドメインモデル）を取得する、指定取得動作を行う。こうして取得された特定のドメインを示す情報に従って、ＮＮ学習部３２００は、上記のように機械学習モデルに対する追加学習を行うことができる。

以下では、モデル作成部３１１０が要改善事例から特定ドメインモデルを作成する場合について説明する。図６は、特定ドメインモデルの作成処理について説明するための模式図である。本実施形態では、特定ドメインモデルを作成する際に、Ｐｌａｎｔ、Ｓｋｙ、Ｏｔｈｅｒカテゴリの内、Ｐｌａｎｔに着目する場合について説明する。

まず、モデル作成部３１１０は、選択された要改善事例についての画像データのうち、改善が必要な領域のデータを取得することができる。モデル作成部３１１０は、このデータをサンプリング部３１０９から取得することができる。図６（ａ）に示される検証画像６０１は、検証データに含まれる入力画像の１つである。図６（ｂ）に示される推論結果６０２は、学習済みのＣＮＮを用いた検証画像６０１からの推論結果であり、ここではＰｌａｎｔカテゴリについての推論結果を示す。また、領域６０３は、認識結果の正解（ＧＴ）がＰｌａｎｔであるにもかかわらず推論結果の出力（スコア）が低い領域を示し、このような領域を要改善領域と呼ぶものとする。図６（ｃ）に示されるマスク６０４は、要改善領域（領域６０３）のピクセルをサンプリングするためのマスクであり、マスク６０４によって領域６０５のピクセルがサンプリングされる。ここでは、ユーザによって検証画像６０１上にマスク部分を指定する入力が行われ、指定された領域上の被写体部分がサンプリングされる。

このように、サンプリング部３１０９は、検証用の入力データのうち特定のドメインに属する領域を示す情報（マスク）を取得することができる。そして、サンプリング部３１０９は、検証画像をＲＧＢ画像からＨＳＶ画像に変換し、マスク上のＨＳＶの値を取得する。ユーザは、要改善事例を複数指定してもよく、サンプリング部３１０９は、要改善事例が複数存在する場合には、それぞれについてＨＳＶの値の取得処理を行うことができる。

モデル作成部３１１０は、入力データのうち特定のドメインに属する領域における特徴量から、特定のドメインの領域を抽出するモデルを作成することができる。この例では、モデル作成部３１１０は、こうして取得したＨＳＶの値に基づいて特定ドメインモデルを作成する。本実施形態においては、モデル作成部３１１０は、要改善領域のＨＳＶを３変量正規分布でモデル化するものとする。作成された特定ドメインモデルは、モデル記憶部３１０４に格納される。

なお、ロス計算部３１０７は、入力データの複数のドメインのそれぞれについての、分類の正解を示すデータ（特定ドメインＧＴ）を用いて、中間層のうち少なくとも１つの出力との誤差を評価してもよい。このために、モデル作成部３１１０は、要改善領域の性質に従って、複数のモデルを作成してもよい。例えば、モデル作成部３１１０は、同一カテゴリの２以上の要改善領域が、それぞれ異なる特性を有している場合に、それぞれの特性に応じて異なる特定ドメインモデルを作成してもよい。この特性（性質）は検出に影響を及ぼす性質であれば任意に設定することができ、例えばＰｌａｎｔカテゴリの領域において、夕日の環境光下の芝生、及び逆光の樹木に要改善領域がある場合、それぞれの類型に当てはまる要改善領域を収集することができる。そして、それぞれの類型に当てはまる要改善領域の特徴に基づいて、それぞれの類型（ドメイン）についてのモデル（例えばＨＳＶの３変量正規分布モデル）が作成されてもよい。この例では、それぞれのモデルを、「夕日芝」と「逆光樹木」と呼ぶものとする。またモデル作成部３１１０は、このような複数のモデルに対して、その重要度に基づいた重みを設定し、統合して１つの混合モデルとしてもよい。以下、「混合モデル」とはそのような複数のモデルを統合したモデルのことを指し、これも本明細書の特定ドメインモデルに含まれる。

混合モデルに対しても、ロス計算部３１０７はＳ４１０７と同様の処理によって特定ドメインＧＴを作成可能である。この場合、ロス計算部３１０７は、入力データから第１及び第２のドメインの領域を抽出することができる。そして、ロス計算部３１０７は、第１のドメインの領域における入力データについての分類の正解を示すデータと、第２のドメインの領域における入力データについての分類の正解を示すデータと、の組み合わせを、特定ドメインＧＴとして作成することができる。例えば、上述の「夕日芝」と「逆光樹木」との混合モデルについて、それぞれ統合の重みをｗ１、ｗ２とした場合に、ロス計算部３１０７は以下の式（１）を用いて混合モデルの特定ドメインＧＴ_ｄを算出可能である。
ＧＴ_ｄ＝ＧＴ×（ｗ１×（「夕日芝」の応答）＋ｗ２×（「逆光樹木」の応答）） 式（１）

ここで、ＧＴとはＰｌａｎｔの元々のＧＴの値であり、「夕日芝」／「逆光樹木」の応答とは、ＨＳＶ変換した学習用の画像に対する「夕日芝」／「逆光樹木」モデルそれぞれの応答である。モデルの応答は、ＨＳＶ変換した画像をｈｓｖとして、下記の式（２）のようにガウス変換を利用して算出することができる。
ｒｅｓ＝ｅｘｐ（－（１／２）（ｈｓｖ－μ）^ＴΣ^－１（ｈｓｖ－μ）） 式（２）

ここで、ｒｅｓはモデルの応答であり、μはモデルの平均、Σはモデルの分散共分散行列である。算出された混合モデルＧＴ_ｄはモデル記憶部３１０４に格納される。

Ｓ４１０４で特定ドメインモデルを作成した後、作成した特定ドメインモデルを用いて再度Ｓ４１０１の処理が行われる。２回目以降のＳ４１０４における更新処理で、モデル作成部３１１０は、特定ドメインモデルを更新してもよいし、要改善事例についての改善が不十分であるとする場合には更新を行わず同じ特定ドメインモデルを使うことにしてもよい。モデル作成部３１１０は、新たに抽出した要改善事例がある場合には、新たな類型についての要改善領域（例えば、日陰の花に対応する領域）及び対応する新たなモデルを作成してもよい。この場合、更新部３１０８は、そのモデルを追加した（統合した）混合モデルを利用してＳ４１０４の更新処理を行うことができる。

このような構成によれば、特定の事例に関して認識精度が不満足であるとされた場合にも、ＣＮＮの中間層でその事例に類似する特徴を持つ対象領域を明示的に学習させ、認識精度の改善を行うことができる。

なお、上記のように、サンプリング部３１０９は検証用の入力データに対する認識結果を提示し、モデル作成部３１１０は検証用の入力データのうち認識結果を改善することが求められる特定のドメインを示す情報を取得することができる。このような構成によれば、特定のドメインについて抽出された学習用の入力データに対する認識の正解データを用いて、機械学習モデルを最適化するように学習を行うことができる。したがって、特定の事例に関して認識精度が不満足であるとされた場合に、この事例に類似する特徴を持つ対象領域を機械学習モデルに明示的に学習させることができるため、認識精度が改善することが期待される。したがって、特定のドメインについて抽出された学習用の入力データに対する認識の正解データを用いて学習を行うこの構成は、中間層における学習（例えば特定ドメインＧＴと中間層の出力との誤差に基づく学習）に限られず、様々な学習方法に適用可能である。

本実施形態においては特定ドメインモデルをＨＳＶの３変数で作成した。この処理により特に改善が期待できるのは、特定の色における認識精度である。画像データにおける色は、被写体の色、光源の色、その他被写体の表面特性及びホワイトバランスなどに応じて変化する。そして例えば、夕日を光源とした芝生の認識精度が悪い等、特定の色における認識精度の改善を行いたい場合に、このようなＨＳＶによる学習が特に効果的である。しかしながら、ＨＳＶ形式で各処理を行う必要は特になく、例えばＨＳの２変数で、又は異なる色空間を用いて処理を行うなど、所望の形式で本実施形態に係る処理が行われてもよい。また本実施形態においては、特定ドメインモデルは多変量正規分布でモデル化されるものとして説明を行ったが、例えばＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）、混合正規分布、又はＮＮなどを用いてモデル化されてもよい。

本実施形態に係る学習装置３１００は、ＣＮＮの中間層の出力のうち、特定ドメインＧＴによる学習が行われたチャネルの出力を画像として出力することができる。例えば、最終的な推論結果における要改善事例に対応する領域の認識精度が悪い場合に、要改善事例について学習を行っている１チャネルの出力を画像として出力し、正しく応答しているか否かをユーザが確認することが可能であってもよい。ここで応答が正しくない場合には、学習が不十分であると考えられる。また、ここで応答が正しい場合には、その中間層より低次のネットワークは正しく学習されており、そのチャネルとは別のチャネル又は高次のネットワークに改善が必要であると考えられる。このように、中間層の学習の結果を可視化することにより、学習の状態の確認を行い、最終的な推論結果の理解の手がかりを提供することができる。

［応用例１］
なお、本実施形態に係る学習装置３１００は、改善が必要な正事例（以下、単に正事例）の中の特定のドメインでＧＴを作り、ＣＮＮの中間層の出力について学習を行ったが、改善が必要な負事例（以下、単に負事例）についても同様に学習を行うことが可能である。ここで、正事例とは、検出対象が存在するにも関わらずＣＮＮ２０３によってはその対象が検出できない事例であり、負事例とは、ＣＮＮ２０３によって検出対象を誤検出してしまった事例であるものとする。例えば、ＧＴがＳｋｙ又はＯｔｈｅｒである領域について、Ｐｌａｎｔと誤った検出処理を行ってしまった場合に、その誤検出を抑制するように中間層の出力の学習を行うことができる。このように、特定のドメインに属する領域は、認識対象が存在するが誤って認識されなかった領域と、認識対象が存在しないが誤って認識された領域と、の少なくとも一方でありうる。

以下、このような負事例に関する要改善事例を改善する方法について、図４（ｂ）のＳ４１０４を参照しながら説明を行う。そのほかの基本的な処理については図４と同様に行われるため、重複する説明は省略する。

Ｓ４１０４では、モデル作成部３１１０が要改善事例から特定ドメインモデルを作成する。この例では要改善事例として負事例が抽出されている。すなわち、ユーザによって検証データから負事例が選択されており、負事例の誤検出が行われた領域のピクセルがサンプリングされる。このサンプリング処理は、図６（ｃ）に示される領域６０５に対するものと同様に行われる。ここでは、ＧＴがＰｌａｎｔではなくＰｌａｎｔと誤検出されている領域、又はＧＴがＳｋｙではなくＳｋｙと誤検出されている領域のうち認識精度に改善が必要とされた領域のピクセルがサンプリングされる。

ここで、ＰｌａｎｔをＧＴとして、２つの特定ドメインモデル「負事例類型１」と「負事例類型２」とが作成されたものとして次の説明を行う。このＰｌａｎｔの負事例の特定ドメインＧＴ（￢ＧＴ_ｄ）は、以下の式（３）に従って算出することができる。
￢ＧＴ_ｄ＝￢ＧＴ×（ｗ３×（「負事例類型１」の応答）＋ｗ４×（「負事例類型２」の応答）） 式（３）

ここで、ｗ３、ｗ４はそれぞれ負事例類型１と負事例類型２とに設定された重みづけであり、￢ＧＴはＰｌａｎｔの負事例ＧＴである。特定ドメインモデルの算出はＳ４１０７の処理と同様に行われる。このようにして算出された特定ドメインモデルを用いてＳ４１０９のロス計算処理を行うことで、中間層の１チャネルの出力について負事例に関する学習を行うことができる。

［応用例２］
本実施形態においては、検証データについて学習が行われているＣＮＮモデルに関して、認識精度に改善が必要な事例を追加学習により学習する処理が行われた。しかしながら、本実施形態における特定ドメインモデルを用いた学習は、追加学習には限られない。例えば、高精度の認識が求められる事例を示す画像データが予めユーザによって設定されていてもよく、モデル作成部３１１０によって、その事例内の要高精度領域（要改善領域と同様にサンプリングされる）から特定ドメインモデルが作成されてもよい。このように、特定のドメインは、高精度で認識することが求められる事例であってもよい。そして、特定ドメインモデルを用いて、最初の学習を行うことも可能である。

図４（ｄ）は、上述のような要高精度領域について特定ドメインモデルを作成し、ＣＮＮの学習を行う処理の一例を示すフローチャートである。このＣＮＮを用いたランタイム時の処理及び機能構成は基本的に変わらないため、重複する説明は省略する。

図４（ｄ）に示される学習処理は、特定ドメインモデルを作成する処理であるＳ４１０４がＳ４１０１の直前に行われることを除き、図４（ｂ）に行われる処理と同様に行われる。すなわち、最初に要高精度事例に基づいて特定ドメインモデルを作成した後に処理がＳ４１０１へと進む。次いで、Ｓ４１０３において要改善事例が存在すると判定された場合には、処理がＳ４１０４へと戻ってから再度Ｓ４１０１の処理を行う。

このような処理によれば、中間層の出力についての要高精度事例を学習の最初に設定し、その事例の分類精度を向上させるようにＣＮＮの学習を行うことが可能となる。

［応用例３］
また、本実施形態においては意味的領域分割による画像認識処理が行われるものとして説明を行っているが、画像認識処理の種類はこれには限定されない。例えば、本実施形態に係る学習装置３１００は、意味的領域分割に代わり、公知の画像分類技術又は物体検出技術を用いて、それぞれ適切な評価指標を設定して画像認識の精度評価を行い、同様に要改善事例（要高精度事例）による学習を行うことができる。物体検出技術を用いる場合には、最終的な推論結果１０７のマップの出力の後に、全結合層による座標の回帰、又はＮｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎなどの後処理が行われる。この場合であっても、中間層の所定のチャネルで検証データから選択される要改善事例に基づいて特定のドメインに関する追加学習を行う処理は同様に行うことが可能である。したがって、異なる認識タスクを用いても、特定の事例に関して認識精度が不満足であるとされた場合に、ＣＮＮの中間層の出力で要改善事例についての明示的な学習を行い、認識精度の改善を行うことができる。

［実施形態２］
実施形態１では、光源の色などの影響によって特定の色における認識精度が低くなっているとユーザが判断した要改善事例について、その特定の色を示す領域について応答するチャネルを１チャネル作成して学習を行うことにより分類精度の改善を行った。一方で、本実施形態においては、中間層の複数チャネルを用いて要改善事例の学習を行うことにより、それらのチャネルの出力が複数のカテゴリについて応答するように学習される。以下、要改善事例が色とそれ以外の要素とで類型化できる場合が想定され、中間層の複数チャネルで要改善事例中の複数のカテゴリに応答するように学習が行われるものとする。

実施形態１に係るモデル作成部３１１０は、画像のＨＳＶの値に基づいて、「夕日芝」又は「逆光樹木」など、特定の色を有することによって認識精度が低下する要改善事例を想定して特定ドメインモデルの作成を行った。本実施形態に係るモデル作成部７００４（後述）は、特定のドメインとして、色（ＨＳＶ）、空間周波数などの画像特性、又は分類される領域カテゴリなどの、入力データ中の要素に基づいて特定ドメインモデルを作成する。この処理の詳細については図８を参照して後述する。

本実施形態に係るＣＮＮが行う画像認識処理は、基本的に図１（ｃ）に示されるものと同様のネットワーク構成を用いて行われる。また、本実施形態に係るＣＮＮの学習機構は基本的に図２に示されるものと同様である。これらに関して実施形態１と重複する説明は省略する。

図７は、本実施形態に係る情報処理装置としての学習装置７０００の機能構成の一例を示すブロック図である。本実施形態に係る情報処理装置としての認識装置３０００は実施形態１の図３（ａ）に示されるものと同様の構成を有し、ランタイム時には図４（ａ）に示される処理を行う。学習装置７０００は、領域認識部３１０６とロス計算部３１０７に代わって領域認識部７００１とロス計算部７００２を有するＮＮ学習部７１００、寄与度算出部７００３、及びモデル作成部７００４を備えることを除き学習装置３１００と同様の構成を有する。また、学習装置７０００の行う処理は基本的には図４（ｂ）及び図４（ｃ）に示されるものと同様であるが、以下ではこの処理と実施形態１における処理との差異について説明を行う。なお、本実施形態においては「花弁」、「茎」及び「空」の領域それぞれに対応する３つの特定ドメインモデルが作成され（Ｓ４１０４）、中間層の３チャネルにおいて各モデルに対応するドメインの学習を行う。なお、ここでは、実施形態１における花の領域が、「花弁」と「茎」とに分割され、そのそれぞれについて特定ドメインモデルが作成される（対応するＧＴはともにＰｌａｎｔである）ものとする。

Ｓ４１０１でＮＮ学習部７１００は、ＣＮＮの学習を行う。本実施形態においては、図４（ｃ）に示されるＣＮＮの学習処理のうち、Ｓ４１０７とＳ４１０９とを除く各処理は実施形態１と同様に行われる。

本実施形態に係るＳ４１０７でロス計算部３１０７は、格納している特定ドメインモデルとＧＴとを用いて、特定ドメインＧＴを作成する。ここで、ロス計算部３１０７は、３つの特定ドメインモデルに基づいて、それぞれ特定ドメインＧＴを作成する。図８は、本実施形態に係るＳ４１０７で作成される特定ドメインＧＴを説明するための模式図である。

モデル作成部７００４は、特定ドメインモデルを作成する。本実施形態に係る特定ドメインモデルは、入力画像に対して、例えば図８の応答８０１のような、特定の色、特定の空間周波数、及び特定のカテゴリを有する領域を表す応答を出力する。

応答８０１は、Ｓ４１０６で取得した画像に対する、「花弁」のカテゴリに対応する第１の特定ドメインモデルの応答である。図８（ａ）において、応答８０１の網目模様の領域は、入力画像中の特定のドメインに属する（例えば特定の色、周波数、又はカテゴリを有する）領域に対応し、ここでは「花弁」のカテゴリに属する領域に対応する。
ＰｌａｎｔＧＴ８０２は、画像のＰｌａｎｔ領域に対応する正解データである。特定ドメインＧＴ８０３は、応答８０１とＰｌａｎｔＧＴ８０２とをピクセルの要素ごとにかけ合わせることで得られる２次元配列である。

また、応答８０４は、Ｓ４１０６で取得した画像に対する、「茎」のカテゴリに対応する第２の特定ドメインモデルの応答である。特定ドメインＧＴ８０５は、応答８０４とＰｌａｎｔＧＴ８０２とをピクセルの要素ごとにかけ合わせることで得られる２次元配列である。すなわち、特定ドメインＧＴ８０３及び８０５は、Ｐｌａｎｔに関する要改善領域を学習するためのＧＴである。

また、応答８０６は、Ｓ４１０６で取得した画像に対する、「空」のカテゴリに対応する第３の特定ドメインモデルの応答である。ＳｋｙＧＴ８０７は、画像のＳｋｙ領域に対応する正解データである。特定ドメインＧＴ８０８は、応答８０６とＳｋｙＧＴ８０７とをピクセルの要素ごとにかけ合わせることで得られる２次元配列である。すなわち、特定ドメインＧＴ８０８は、Ｓｋｙに関する要改善領域を学習するためのＧＴである。本実施形態においては、図８に示される各応答、ＧＴ、及び特定ドメインＧＴの要素はそれぞれ［０，１］の実数値で表される。

本実施形態に係るＳ４１０９でロス計算部７００２は、実施形態１のロス計算部３１０７と同様の処理により、ＣＮＮ２０３の学習の対象である順伝播の出力とそれに対応するＧＴとから、予め定まっているロス関数に基づいてロスを算出する。ロス計算部７００２は、順伝播の出力として、中間層２０５の出力２１０（ここでは、花弁、茎、及び空に対応する３チャネル）と、最終的なネットワークの出力２０２（３チャネル）とを用いる。出力２０２に対応するＧＴは特定ドメインＧＴ（８０３、８０５、及び８０８の３チャネル）であり、出力２１０に対応するＧＴは各カテゴリのＧＴ（図１（ｂ）のＰｌａｎｔ、Ｓｋｙ、及びＯｔｈｅｒの３チャネル）である。ロス計算部７００２は、実施形態１のロス計算部３１０７と同様に、これらの出力とＧＴとのペアから、それぞれクロスエントロピーロスを算出し、算出した２つのクロスエントロピーロスを適当な重みづけとともに足し合わせる。

本実施形態に係るＳ４１０２でＮＮ学習部７１００は、実施形態１と同様にＳ４１０１で学習を行ったＣＮＮモデルの精度を評価する。また、ここで寄与度算出部７００３は、中間層のチャネルごとに最終出力への寄与度を算出し評価する。

本実施形態においては上述の通り、中間層の複数チャネルを用いて要改善事例の学習を行うことにより、それらのチャネルの出力が複数のカテゴリについて応答するように学習される。ここでは、寄与度算出部７００３は、中間層のチャネルごとに、機械学習モデルの最終出力への寄与度を評価する。そして、寄与度算出部７００３は、寄与度に基づいて、中間層の複数のチャネルから機械学習モデルの学習に用いられるチャネルを選択する。この例では、寄与度の低い順に所定個数（以下の例では３）のチャネルが、要改善事例の学習に用いるチャネルとして選択される。

以下、寄与度算出部７００３が寄与度を算出する方法の例について説明を行う。寄与度算出部７００３は、例えば、順伝播の過程で中間層のチャネル１つを強制的にゼロにした場合の最終的な出力２０２を算出し、ゼロにしていない通常の出力２０２と比較することにより、そのチャネルの寄与度の大きさの評価を行うことができる。すなわち、寄与度算出部７００３は、ある中間層チャネルをゼロにした場合とゼロにしない場合との、最終出力の応答（スコア）の変化量が大きいほど、その中間層チャネルの寄与度が大きいと評価する。寄与度算出部７００３は、上述のスコアの変化量を、ピクセルごとの値の差分の絶対値和など、適当な尺度を用いて評価することができる。以下、チャネルの寄与度は、そのチャネルをゼロにした場合としない場合との変化量を、使用する検証データ全てに渡って算出及び累積し、その累積値に応じて決定されるものとする。

ここで、寄与度算出部７００３は、中間層のチャネルから、最終出力への寄与度の低いチャネルを選択する。寄与度算出部７００３は、例えば中間層の各チャネルについて、全検証データを用いて最終出力への寄与度を算出し、寄与度の小さいチャネルから順に所望の数のチャネルの番号を、寄与度の低いチャネルとして取得することができる。また、寄与度算出部７００３は、全検証データは用いず、検証データのサブセットである要改善事例に限定してスコアの変化量の累積値を算出して寄与度の算出処理を行い、同様に寄与度の低い順から所望数のチャネルを寄与度が低いものとして選択してもよい。さらに寄与度算出部７００３は、全検証データを用いて算出した寄与度と、要改善事例に限定して算出した寄与度と、の両方を用いて、寄与度の低いチャネルを選択することができる（例えば、どちらにおいても寄与度が低いとされるものを選択する）。ここでは、寄与度の低いものから順番に３チャネルが選択される。なお、寄与度算出部７００３の行うチャネルの選択処理は、図４（ｂ）に示されるループ処理の初回にだけ実行されればよい。

なお、寄与度の評価は、そのチャネルによる最終出力への影響度が測れるのであれば特に上述の方法には限定されない。例えば、寄与度算出部７００３は、検証データを入力した際の中間層のチャネルごとの出力を、全検証データにわたって累積し、その累積値に応じて、そのチャネルの寄与度の評価を行ってもよい。ここでは、例えば上述の累積値が低いほど寄与度が低いものとし、累積値が低い順から所望数のチャネルが寄与度の低いものとして選択される。

本実施形態に係るＳ４１０４でモデル作成部７００４は、実施形態１と同様に設定される要改善領域に基づいて、特定ドメインモデルを複数作成する。ここでは、モデル作成部７００４は、図８の応答８０１、８０４、及び８０６を出力する、それぞれ「花弁」、「茎」、及び「空」に対応する３つの特定ドメインモデルを作成する。本実施形態においては、上述したように画像特性としてＨＳＶ色空間上の値、空間周波数、及び領域カテゴリが用いられる。ここでは、モデル作成部７００４は、要改善領域の、Ｈの値及びＳの値、空間周波数に関して高周波の値及び低周波の値、並びに領域カテゴリに関して花弁の尤度、茎の尤度、及び空の尤度の計７次元に基づいてモデルを作成する。

図８（ｉ）は、要改善事例からピクセルをサンプリングする処理を説明するための模式図である。モデル作成部７００４は、検証画像８０９から、図８（ｉ）に示されるような、Ｈ、Ｓ、高周波、低周波、花弁、茎、空の７チャネルの画像（マップ）を作成する。ここでは、要改善領域のピクセルをサンプリングするためのマスク８１０～８１２が設定され、マスクによって指定された領域上のピクセルがそれぞれサンプリングされる。マスク処理については、各カテゴリに対して実施形態１と同様に行われる。このうち、ＨとＳの値はＲＧＢ画像（検証画像８０９）をＨＳＶ変換することによって算出される。高周波、及び低周波（Ｈｉｇｈ－ｆｒｅｑ．，Ｌｏｗ－ｆｒｅｑ．）は、例えば輝度画像を８×８ブロックで離散コサイン変換し、６４個の基底を高周波と低周波とで３２個ずつに２分し、それぞれ３２枚のマップを累積することによって作成されるマップである。ここで作成されたマップのサイズが検証画像８０９と異なる場合、検証画像８０９と同じサイズへとリサイズされてもよい。特定のカテゴリ（花弁、茎、及び空）のマップ（Ｆｌｏｗｅｒ、Ｇｌａｓｓ、及びＳｋｙ）は、予めＧＴとして、検証データから手動で作成されるものとするが、特にこのようには限定されない。例えば、非特許文献３に記載の手法を用いることにより、詳細な領域カテゴリを有する大規模なＣＮＮによる意味的領域分割の推論結果を利用して、各カテゴリのマップが用意されてもよい。

なお、ＣＮＮの学習時の処理であるＳ４１０７においても、学習画像は特定ドメインモデルと同様に７チャネルに変換されてから特定ドメインモデルに入力され、特定ドメインモデルに対する応答が取得される。

本実施形態においては、モデル作成部７００４は、上述のようにして７チャネルのマップを作成するものとするが、各チャネルの要素は上述のようには限定されず、またチャネル数も７には限定されない。また、本実施形態で用いられる特定ドメインモデルは複数存在するがその一部またはすべてが混合モデルであってもよい。

このような処理によれば、複数のカテゴリの改善が必要な事例であっても、ＣＮＮの中間層の複数チャネルを用いて要改善事例の学習を行うことが可能となる。また、特定のドメインとして、特定の色だけではなく空間周波数及びカテゴリも用いることにより、実施形態１よりも詳細に要改善領域をモデル化し、より特殊な要改善事例に対する改善が可能となる。

［実施形態３］
実施形態２では、検証データ中の要改善事例を複数類型化し、複数の類型ごとに特定ドメインモデルを作成することにより、複数のカテゴリの要改善事例について改善を実現した。単一のカテゴリの要改善事例の特定ドメインモデルを混合する操作、又は単一のカテゴリを分割して特定ドメインモデルを作成する操作は、人間の直感又は経験に基づいて行うことも難しくない。一方で、改善すべき事例が多岐にわたる場合、又はカテゴリ数が多い場合には、上述の混合、分割操作を直感又は経験に基づくユーザ操作によって行うことは困難となりやすい。例えば、ある特定ドメインモデルに対して、他のどのモデルと混合させるのか、どのＧＴが正解として対応するのか、又はどのチャネルに割り当てられるのかなどについては、適切な選択を行うことが難しくなることが多い。

このような観点から、本実施形態に係る学習装置は、まず、ＣＮＮの中間層の出力に応じて、実施形態１と同様の処理によって、単一のカテゴリについて特定ドメインモデルを作成する。次いで学習装置は、検証データの分類精度が最大となるように、作成した特定ドメインモデルに対して、他のどのモデルと混合させるのか、どのＧＴが正解として対応するのか、又は中間層のどのチャネルに割り当てられるのかについて、自動探索を行う。以下、探索されるこれらの対応関係を、まとめて特定ドメインモデルの割り当てと呼ぶものとする。

本実施形態に係る学習装置が備えるＣＮＮの推論時及び学習時の基本的処理は、実施形態１における処理と同様である。すなわち、本実施形態においても図１（ｃ）及び図２に示される処理が同様に行われるため、重複する説明は省略する。

図９は、本実施形態に係る情報処理装置としての学習装置９０００の機能構成の一例を示すブロック図である。認識装置３０００は実施形態１の図３（ａ）に示されるものと同様の構成を有し、ランタイム時には図４（ａ）に示される処理を行う。学習装置９０００は、ロス計算部３１０７に代わってロス計算部９００１を有するＮＮ学習部９１００を、モデル作成部３１１０に代わってモデル作成部９００２を備え、さらに最適化部９００３を新たに備えることを除き学習装置３１００と同様の構成を有する。

図１０は、学習装置９０００が行う学習処理の一例を示すフローチャートである。また、Ｓ４１０１における処理は基本的に実施形態１の図４（ｃ）に示されるものと同一であるが、図４（ｃ）の処理との差異についても以下において説明を行う。

Ｓ４１０２及びＳ４１０３の処理は実施形態１と同様に行われる。Ｓ１０００１でモデル作成部９００２は、要改善事例から特定ドメインモデルを複数作成する。特定ドメインモデルを作成する処理は実施形態１のＳ４１０４と同様に行われるが、ここでは混合モデルの作成は行われず、単一のカテゴリに対応する特定ドメインモデルが複数作成されるものとする。なお、本実施形態においては、Ｓ４００１からＳ１０００２にわたるループ処理が繰り返し行われるが、Ｓ１０００１の処理は初回のみ行われ、二回目以降のループ処理では省略されるものとする。また、作成された特定ドメインモデルが（例えば、Ｐｌａｎｔ領域に対応するモデルを「花弁」と「茎」とに分割するように）複数の特定ドメインモデルに分割され、後続する処理に用いられてもよい。

Ｓ１０００２で最適化部９００３は、機械学習モデルの中間層のうち少なくとも１つと、特定のドメインと特定の分類とのうちの少なくとも一方と、の組み合わせを決定することができる。ここで、特定の分類（例えばＰｌａｎｔ）は、入力データの各要素が特定の分類に属するか否かを示す正解データ（例えばＰｌａｎｔＧＴ）から、入力データの特定のドメインについての分類の正解を示すデータ（特定ドメインＧＴ）を作成するために参照される。本実施形態においては、最適化部９００３は、特定ドメインモデルに対して、どの特定ドメインモデルと混合するか、どのＧＴが正解として対応するのか、又は中間層のどのチャネルに割り当てられるのかについて、自動探索を行う。

本実施形態に係る最適化部９００３は、強化学習による自動探索を行い、要改善事例を含む検証データに対して認識精度が高い、その検証データによる特定ドメインモデルの割り当てを、検証データに対する精度を報酬として用いて探索することができる。最適化部９００３は、例えばＣＮＮ又はＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）の最適なネットワーク構造を強化学習の枠組みにより自動探索する方法を開示する非特許文献４の方法に従って、自動探索を行うことができる。ここでは、データの入出力を行うコントローラとして、ネットワークの構造を決定するＲＮＮ（Ｒｅｃｃｕｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられている。本実施形態において、ＲＮＮのコントローラは、中間層のチャネルごとの特定ドメインモデルの混合重みと、特定ドメインＧＴ作成のために乗算するＧＴと、を出力することができる。

本実施形態では、ＲＮＮのコントローラが、検証用の入力データに対する認識精度と、検証用の入力データのうち特定のドメインに対する認識精度と、の少なくとも一方に対する精度が最大化されるように、強化学習によって機械学習モデルの学習を行う。ここでは例えば、強化学習の報酬として、検証データ全体に対する精度と、検証データのサブセットである要改善事例に対する精度と、の２つの精度の重みづけ和を用いた、以下の式（４）が使用される。
Ｒ＝ｗ_１×Ａｃｃ^Ａ＋ｗ_２×Ａｃｃ^Ｓ 式（４）

ここで、Ｒは強化学習による自動探索で用いる報酬であり、Ａｃｃ^Ａ、Ａｃｃ^Ｓはそれぞれ検証データ全体に対する精度及び要改善事例に対する精度であり、ｗ_１とｗ_２はそのそれぞれの重みである。これらの重みは事前に任意の値が設定される。

図１１は、ＲＮＮのコントローラの出力を説明するための図である。図１１の例では、単一のカテゴリに対応する特定ドメインモデルがＭｏｄｅｌ１、Ｍｏｄｅｌ２、Ｍｏｄｅｌ３、及びＭｏｄｅｌ４の４つ存在している。ここでは、中間層の各チャネルに対して、各特定ドメインモデルの混合重みと、特定ドメインＧＴ作成のために乗算するＧＴと、を出力することによって、特定ドメインモデルの割り当てを決定する。

処理１１０１～１１０４は、中間層のチャネルＮにおける、Ｍｏｄｅｌ１～Ｍｏｄｅｌ４それぞれの混合重みを出力する処理である。処理１１０５は、チャネルＮにおいて乗算するＧＴのインデックスを出力する処理である。この例では、インデックス＝１がＰｌａｎｔを、インデックス＝２がＳｋｙを、インデックス＝３がＯｔｈｅｒを示し、インデックス＝０はどのＧＴとも乗算しないことを示す。範囲１１０６に含まれる処理の出力はチャネルＮに関する出力であり、チャネルＮ－１に関する出力はそれ以前に、チャネルＮ＋１に関する出力はそれ以降に纏められている。ここで、出力される混合重みが全て０となるチャネルは、教師データを用いた学習をしない通常のＣＮＮの中間層のチャネルと同様に機能するものとする。

図１１に示すような出力を有するＲＮＮコントローラを、式（４）で示した報酬によって更新することにより、検証データ全体に対して分類精度がよく、かつ要改善事例についての分類精度も高い、最適な特定ドメインモデルの割り当てを探索する。この処理は、図１０（ａ）のループ処理でＳ１０００２ごとに行われる。ここで更新された特定ドメインモデルの割り当てによって、次回のループでのＳ４１０１でＣＮＮの学習処理が行われる。すなわち、ロス計算部９００１は、上記の割り当てに従って、特定ドメインＧＴと中間層のうち少なくとも１つの出力との誤差を評価することができる。

このような処理によれば、検証データへの分類精度を最大化するよう、作成した特定ドメインモデルをどのように割り当てるかを、強化学習を用いて探索することができる。したがって、ＧＴのチャネル数が多い場合、又は要改善事例の類型が多い場合など、ユーザ操作による特定ドメインモデルの割り当てが難しい場合であっても、認識精度の改善を行うことができる。

［実施形態４］
上述の実施形態においては、例えば図３等に示される各処理部は、専用のハードウェアによって実現されてもよい。或いは、認識装置（例えば３０００）及び学習装置（例えば３１００）が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

図１２はコンピュータの基本構成を示す図である。図１２においてプロセッサ１２０１は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１２０２は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１２０３は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１２０３が格納している、各部の機能を実現するプログラムが、メモリ１２０２へと読み出される。そして、プロセッサ１２０１が、メモリ１２０２上のプログラムに従って動作することにより、各部の機能が実現される。

図１２において、入力インタフェース１２０４は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１２０５は外部の装置へと情報を出力するためのインタフェースである。バス１２０６は、上述の各部を接続し、データのやりとりを可能とする。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

３０００：認識装置、３００１：画像取得部、３００２：領域認識部、３００３：辞書記憶部、３１００：学習装置、３１０１：学習記憶部、３１０２：検証記憶部、３１０３：推論結果記憶部、３１０４：モデル記憶部、３１０５：辞書記憶部、３１０６：領域認識部、３１０７：ロス計算部、３１０８：更新部、３１０９：サンプリング部、３１１０：モデル作成部

Claims (20)

1. 複数の階層からなる階層的構造を有し、入力されたデータ中の認識対象の認識に用いる機械学習モデルの学習を行う情報処理装置であって、
   入力データと、前記入力データについての前記機械学習モデルからの出力の正解を示すデータと、を取得する取得手段と、
   前記入力データの特定のドメインについての前記機械学習モデルからの出力の正解を示すデータと、前記入力データに対する前記機械学習モデルの中間層のうち少なくとも１つの出力との誤差に基づいて、前記機械学習モデルの学習を行う学習手段と、
   を備えることを特徴とする、情報処理装置。
2. 前記入力データから前記特定のドメインの領域を抽出する抽出手段をさらに備えることを特徴とする、請求項１に記載の情報処理装置。
3. 前記特定のドメインの領域における前記入力データについての前記機械学習モデルからの出力の正解を示すデータから、前記入力データの特定のドメインについての前記正解を示すデータを作成する第１の作成手段をさらに備えることを特徴とする、請求項２に記載の情報処理装置。
4. 前記第１の作成手段は、前記特定のドメインの領域における、前記入力データの各要素が特定の分類に属するか否かを示す正解データから、前記入力データの特定のドメインについての前記正解を示すデータを作成することを特徴とする、請求項３に記載の情報処理装置。
5. 前記抽出手段は、前記入力データから第１及び第２のドメインの領域を抽出し、
   前記入力データの特定のドメインについての前記正解を示すデータは、前記第１のドメインの領域における前記入力データについての前記機械学習モデルからの出力の正解を示すデータと、前記第２のドメインの領域における前記入力データについての前記機械学習モデルからの出力の正解を示すデータと、の組み合わせであることを特徴とする、請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記機械学習モデルを利用して、検証用の入力データ中の認識対象を認識する認識手段と、
   前記検証用の入力データのうち認識結果を改善することが求められる前記特定のドメインを示す情報を取得する指定取得手段と、
   をさらに備え、
   前記学習手段は、前記特定のドメインを示す情報に従って前記機械学習モデルに対する追加学習を行うことを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記指定取得手段は、前記検証用の入力データのうち前記特定のドメインに属する領域を示す情報を取得することを特徴とする、請求項６に記載の情報処理装置。
8. 前記入力データのうち前記特定のドメインに属する領域における特徴量から、前記特定のドメインの領域を抽出するモデルを作成する第２の作成手段をさらに備えることを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記特定のドメインに属する領域は、前記認識対象が存在するが誤って認識されなかった領域と、前記認識対象が存在しないが誤って認識された領域と、の少なくとも一方であることを特徴とする、請求項７又は８に記載の情報処理装置。
10. 前記中間層のチャネルごとに、前記機械学習モデルの最終出力への寄与度を評価する第１の評価手段と、
    前記寄与度に基づいて、前記中間層の複数のチャネルから前記学習手段による機械学習モデルの学習に用いられるチャネルを選択する選択手段と、
    をさらに備えることを特徴とする、請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記学習手段は、検証用の入力データに対する認識精度と、前記検証用の入力データのうち特定のドメインに対する認識精度と、の少なくとも一方に対する精度が最大化されるように、強化学習によって前記機械学習モデルの学習を行うことを特徴とする、請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記学習手段は、
    前記機械学習モデルの中間層のうち少なくとも１つと、
    前記特定のドメインと特定の分類とのうちの少なくとも一方と、
    の組み合わせを決定し、
    前記特定の分類は、前記入力データの各要素が前記特定の分類に属するか否かを示す正解データから、前記入力データの特定のドメインについての前記正解を示すデータを作成するために参照される
    ことを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
13. 入力データを取得する取得手段と、
    複数の階層からなる階層的構造を有する機械学習モデルを利用して、前記入力データ中の認識対象を認識する認識手段と、を備え、
    前記機械学習モデルは、入力データに対する前記機械学習モデルの中間層のうち少なくとも１つの出力が、特定のドメインについて抽出された、学習用の入力データに対する前記機械学習モデルからの出力の正解を示すデータを用いて最適化されるように学習されていることを特徴とする、情報処理装置。
14. 前記特定のドメインは、特定の色を有する部分、特定の空間周波数を有する部分、又は特定の分類の被写体の部分であることを特徴とする、請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記特定のドメインは、高精度で認識することが求められる事例であることを特徴とする、請求項１から１４のいずれか１項に記載の情報処理装置。
16. 前記機械学習モデルは、入力データ中の部分領域のカテゴリを分類する、入力データ中に存在する認識対象を検出する、又は入力データを分類することを特徴とする、請求項１から１５のいずれか１項に記載の情報処理装置。
17. 複数の階層からなる階層的構造を有し、入力されたデータ中の認識対象の認識に用いる機械学習モデルの学習を行う情報処理装置であって、
    複数の階層からなる階層的構造を有する機械学習モデルを利用して、入力データ中の認識対象を認識する認識手段と、
    検証用の入力データに対する前記認識手段による認識結果を提示する提示手段と、
    前記検証用の入力データのうち認識結果を改善することが求められる特定のドメインを示す情報を取得する取得手段と、
    前記特定のドメインについて抽出された学習用の入力データに対する前記機械学習モデルからの出力の正解を示すデータを用いて、前記機械学習モデルを最適化するように学習を行う学習手段と、
    を備えることを特徴とする、情報処理装置。
18. 複数の階層からなる階層的構造を有し、入力されたデータ中の認識対象の認識に用いる機械学習モデルの学習を行う情報処理装置が行う情報処理方法であって、
    入力データと、前記入力データについての前記機械学習モデルからの出力の正解を示すデータと、を取得する工程と、
    前記入力データの特定のドメインについての前記機械学習モデルからの出力の正解を示すデータと、前記入力データに対する前記機械学習モデルの中間層のうち少なくとも１つの出力との誤差に基づいて、前記機械学習モデルの学習を行う工程と、
    を含むことを特徴とする、情報処理方法。
19. 情報処理装置が行う情報処理方法であって、
    入力データを取得する工程と、
    複数の階層からなる階層的構造を有する機械学習モデルを利用して、前記入力データ中の認識対象を認識する工程と、を含み、
    前記機械学習モデルは、入力データに対する前記機械学習モデルの中間層のうち少なくとも１つの出力が、特定のドメインについて抽出された、学習用の入力データに対する前記機械学習モデルからの出力の正解を示すデータを用いて最適化されるように学習されていることを特徴とする、情報処理方法。
20. コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images