JP2021051589A5 - - Google Patents

Description

次に、ＤＮＮを用いて分類タスクを行うニューラルネットワーク処理装置の機能構成例について、図１のブロック図を用いて説明する。学習データ群１１０は、学習画像と、該学習画像に含まれるオブジェクトが属するクラスを表す文字列である正解クラスラベルと、のペアを複数含むデータセットであり、分類タスクのためのデータセットである。初期ＤＮＮモデル１２０は、予め学習データ群１１０を用いて学習されたＤＮＮモデルである。分類タスクを行う初期ＤＮＮモデル１２０の一例を図７（ａ）に示す。図７（ａ）に示す初期ＤＮＮモデル１２０は、９６画素×９６画素のＲＧＢ画像（Ｒプレーン、Ｇブレーン、Ｂプレーンの３プレーンを有する）を入力とし、２つの畳み込み層と３つの全結合層を通して３つのクラスのいずれかに分類するＤＮＮモデルである。最後の畳み込み層から出力される９２１６×１のテンソル（１次元ベクトル）が初期ＤＮＮモデル１２０におけるＣＮＮ特徴量となる。なお、本実施形態に適用可能なＤＮＮの構造はこのような構造に限らず、他の構造を採用しても良い。探索部１１００は、初期ＤＮＮモデル１２０で誤分類（誤分類ｂ）された学習データを探索する。更新部１２００は、探索部１１００による探索結果に基づき、困難事例を検出する困難事例検出タスクを実施可能なネットワーク構造を初期ＤＮＮモデル１２０に追加した新しい構造のＤＮＮモデルを生成する。学習処理部１３００は、更新部１２００によって更新された新しいネットワーク構造を有するＤＮＮモデルの学習処理を行う。

互いの間のＣＮＮ特徴量類似度が閾値以上となる学習データ群を構成するそれぞれの学習データの正解クラスラベルが互いに異なる場合、現状のＣＮＮ特徴量でこれらの学習データを分離することはできず、これは上記の誤分類ａに属する誤分類パターンとなる。

物体領域検出タスクを行う初期ＤＮＮモデル１２０の一例を図９（ａ）に示す。図９（ａ）に示す初期ＤＮＮモデル１２０は、９６画素×９６画素のＲＧＢ画像（Ｒプレーン、Ｇブレーン、Ｂプレーンの３プレーンを有する）を入力とし、２つの畳み込み層（Ｃｏｎｖ１、Ｃｏｎｖ２）と２つの逆畳み込み層（Ｄｅｃｏｎｖ１、Ｄｅｃｏｎｖ２）を通して９６画素×９６画素の１ｃｈの推定マップを出力するニューラルネットワークモデルである。なお、本実施形態に適用可能なＤＮＮの構造はこのような構造に限らず、他の構造を採用しても良い。

図９（ａ）に示す構造を有する初期ＤＮＮモデル１２０を更新部１２００によって更新した更新後の初期ＤＮＮモデル１２０（更新ＤＮＮモデル）の構造の一例を図９（ｂ）に示す。ここで示すのは分類困難な領域の種類が１パターン、すなわち分類困難ラベルが１種類の時の構造である。便宜上、初期ＤＮＮモデル１２０の２つの畳み込み層をそれぞれＣｏｎｖ１層、Ｃｏｎｖ２層、２つの逆畳み込み層をＤｅｃｏｎｖ１層、Ｄｅｃｏｎｖ２層と称する。Ｃｏｎｖ１層は９６画素×９６画素のＲＧＢ画像（Ｒプレーン、Ｇブレーン、Ｂプレーンの３プレーンを有する）を入力とし、４８×４８×３２ｃｈの３次元テンソルを出力する。Ｃｏｎｖ２層はＣｏｎｖ１層の出力を入力として２４×２４×６４ｃｈの３次元テンソルを出力する。Ｄｅｃｏｎｖ１層はＣｏｎｖ２層の出力を入力として４８×４８×３２ｃｈの３次元テンソルを出力し、Ｄｅｃｏｎｖ２層はＤｅｃｏｎｖ１層の出力を入力として９６×９６×１ｃｈの推定検出マップを出力する。ステップＳ２０２における困難事例探索処理に用いたＣＮＮ特徴量としてＣｏｎｖ２層の出力である２４×２４×６４ｃｈの３次元テンソルを用いたとき、ステップＳ２０３のネットワーク構造更新処理によって初期ＤＮＮモデル１２０のネットワーク構造にＤｅｃｏｎｖ１’層、Ｄｅｃｏｎｖ２’層が追加される。Ｄｅｃｏｎｖ１’層はＣｏｎｖ２層の出力である２４×２４×６４ｃｈの３次元テンソルを入力として４８×４８×３２ｃｈの３次元テンソルを出力する。Ｄｅｃｏｎｖ２’層はＤｅｃｏｎｖ１’層の出力を入力として「未検出事例を検出した推定マップ」もしくは「誤検出事例を検出した推定マップ」を出力する。更にステップＳ２０３では、Ｄｅｃｏｎｖ１層の出力である３次元テンソルとＤｅｃｏｎｖ１’層の出力である３次元テンソルを加算する構造が初期ＤＮＮモデル１２０のネットワーク構造に追加される。なお、追加する１つ以上の層の構成はこれに限定するものではなく、任意の構造を追加することが可能である。

Claims (11)

1. 学習データ群を用いて学習した階層型ニューラルネットワークにおいて誤った結果を出力する学習データを困難事例データに設定する設定手段と、
   前記困難事例データを検出する層を前記階層型ニューラルネットワークに追加した更新階層型ニューラルネットワークを生成する更新手段と、
   前記学習データ群を用いて前記更新階層型ニューラルネットワークの学習処理を行う学習手段と
   を備えることを特徴とする情報処理装置。
2. 前記設定手段は、
   前記階層型ニューラルネットワークにおいて誤った結果を出力する学習データについて該階層型ニューラルネットワークの中間層から得られる特徴量を取得し、該取得した特徴量間の類似度に基づいて前記設定を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、
   前記階層型ニューラルネットワークにおいて誤った結果を出力する学習データのうち、前記類似度が閾値以上となる学習データを困難事例データに設定することを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、
   前記階層型ニューラルネットワークにおいて正解を出力する学習データについて該階層型ニューラルネットワークの中間層から得られる特徴量を取得し、該学習データのうち、前記困難事例データの特徴量との類似度が閾値以上となる特徴量の学習データを困難事例データに設定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記学習手段は、前記学習処理では、前記層における損失に基づいて、前記層および該層以降の層における重み係数を更新することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記設定手段は前記困難事例データをユーザに提示することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 更に、
   前記学習データ群に新たな学習画像を追加する追加手段を備え、
   前記設定手段は、前記新たな学習画像のうち前記階層型ニューラルネットワークにおいて誤った結果を出力する学習データを困難事例データに設定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記誤った結果は、オブジェクトの誤分類であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記誤った結果は、オブジェクトの未検出もしくは誤検出であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の設定手段が、学習データ群を用いて学習した階層型ニューラルネットワークにおいて誤った結果を出力する学習データを困難事例データに設定する設定工程と、
    前記情報処理装置の更新手段が、前記困難事例データを検出する層を前記階層型ニューラルネットワークに追加した更新階層型ニューラルネットワークを生成する更新工程と、
    前記情報処理装置の学習手段が、前記学習データ群を用いて前記更新階層型ニューラルネットワークの学習処理を行う学習工程と
    を備えることを特徴とする情報処理方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。