JP2021018677A - 情報処理システム、ニューラルネットワーク構造の生成方法および情報処理プログラム - Google Patents

Abstract

【課題】性能がよいニューラルネットワークの構造をより効率的に探索可能とする。【解決手段】実施形態にかかる情報処理システムは、変形部を備える。変形部は、第１ニューラルネットワークに含まれる層の演算を、ノードと、ノードに接続されるエッジと、を含むグラフで表した第１グラフ表現を変形し、１以上の第２グラフ表現を得る。【選択図】図２

Description

本発明の実施形態は、情報処理システム、ニューラルネットワーク構造の生成方法および情報処理プログラムに関する。

畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）は画像処理の問題において現在最もよく使われる方法である。その性能の高さゆえ応用範囲は幅広いが、推論時における計算コストおよびファイル容量の問題からスマートフォンなどの計算リソースが少ないデバイスでの利用が限られてきた。このため、より軽量な構造で、より計算コストが小さいニューラルネットワークモデルを探索する技術の研究が盛んに行われている。

Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861(2017) Biamonte, Jacob, and Ville Bergholm. "Tensor networks in a nutshell." arXiv preprint arXiv:1708.00006 (2017). Bridgeman, Jacob C., and Christopher T. Chubb. "Hand-waving and interpretive dance: an introductory course on tensor networks." Journal of Physics A: Mathematical and Theoretical 50.22 (2017): 223001.

発明が解決しようとする課題は、性能がよいニューラルネットワークの構造をより効率的に探索可能とすることにある。

実施形態にかかる情報処理システムは、変形部を備える。変形部は、第１ニューラルネットワークに含まれる層の演算を、ノードと、ノードに接続されるエッジと、を含むグラフで表した第１グラフ表現を変形し、１以上の第２グラフ表現を得る。

図１は、情報処理システムのハードウェアブロック図である。 図２は、情報処理システムの機能構成の一例を示す機能ブロック図である。 図３は、演算の式とグラフ表現との対応の例を示す図である。 図４は、演算の式とグラフ表現との対応の例を示す図である。 図５は、演算の式とグラフ表現との対応の例を示す図である。 図６は、畳み込み層の構造をテンソルネットワークによるグラフ表現を用いて表した例を示す図である。 図７は、３次元の畳み込み層を表すグラフ表現の例を示す図である。 図８は、探索処理の全体の流れの一例を示すフローチャートである。 図９は、本実施形態による探索結果の一例を示す図である。 図１０は、本実施形態による探索結果の一例を示す図である。 図１１は、本実施形態による探索結果の一例を示す図である。 図１２は、本実施形態による探索結果の一例を示す図である。

以下、図面を参照しながら実施形態について詳細に説明する。以下では、主にＣＮＮの構造、特にＣＮＮの畳み込み層の構造を探索する場合を例に説明するが、適用可能なモデルはＣＮＮに限られるものではない。ＣＮＮ以外のニューラルネットワークについて、より性能のよい構造を探索する場合にも適用できる。また、畳み込み層以外のニューラルネットワークの層の構造の探索に利用することができる。例えば、全結合層の構造を探索する場合にも適用できる。

本実施形態では、これまでヒューリスティックに行われているＣＮＮの構造（アーキテクチャ）の軽量化を統一的に表現可能な記述方法を用いる。具体的には、テンソルネットワークと呼ばれるテンソルのグラフ表現を拡張し、ＣＮＮにおける線形演算および要素ごとの非線形演算の組み合わせを表現可能にする。そして本実施形態では、上記記述方法を用いて、より効率的にＣＮＮの構造を探索可能とする。具体的には、グラフとして表現した構造に対して、グラフの枝刈りなどの変形を行うことにより、新たな構造を探索する。

拡張したグラフ表現は、ニューラルネットワークに含まれる層の演算を、ノードと、１以上のノードに接続されるエッジと、を含むグラフで表した表現である。本実施形態のグラフ表現は、ハイパーエッジを含みうる。ハイパーエッジは、１つのノードに対して２以上のノードを接続するエッジである。グラフの変形は、ノードの２以上の新たなノードへの分割、２以上のノードの１つのノードへの統合、新たなエッジの追加、および、エッジの削除の少なくとも１つを含む。グラフ表現および変形処理の詳細は後述する。

本実施形態の記述方法によれば、畳み込み演算の空間方向への分解、畳み込みチャネルのグループ化、および、演算の順番に関して、考えられうるすべての組み合わせを表現でき、網羅的な探索が行える。そのため、まだ見つかっていない最適な構造を見つけられる可能性がある。さらに、本実施形態の探索方法は、畳み込みの次元に依存しないため、現在あまり行われていない３次元以上の畳み込みを含むＣＮＮに対しても、より性能のよい構造を探索可能となる。

図１は、情報処理システム１００のハードウェアブロック図である。情報処理システム１００は、一例として、図１に示すような一般のコンピュータ（情報処理システム）と同様のハードウェア構成により実現される。情報処理システム１００は、図１に示すような１つのコンピュータにより実現されてもよいし、協働して動作する複数のコンピュータにより実現されてもよい。

情報処理システム１００は、メモリ２０４と、１または複数のハードウェアプロセッサ２０６と、記憶装置２０８と、操作装置２１０と、表示装置２１２と、通信装置２１４とを備える。各部は、バスにより接続される。

メモリ２０４は、例えば、ＲＯＭ２２２と、ＲＡＭ２２４とを含む。ＲＯＭ２２２は、情報処理システム１００の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ２２４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ２２４は、１または複数のハードウェアプロセッサ２０６の作業領域として機能する。

１または複数のハードウェアプロセッサ２０６は、メモリ２０４（ＲＯＭ２２２およびＲＡＭ２２４）にバスを介して接続される。１または複数のハードウェアプロセッサ２０６は、例えば、１または複数のＣＰＵ（Central Processing Unit）であってもよいし、１または複数のＧＰＵ（Graphics Processing Unit）であってもよい。また、１または複数のハードウェアプロセッサ２０６は、ニューラルネットワークを実現するための専用の処理回路を含む半導体装置等であってもよい。

１または複数のハードウェアプロセッサ２０６は、ＲＡＭ２２４の所定領域を作業領域としてＲＯＭ２２２または記憶装置２０８に予め記憶された各種プログラムとの協働により各種処理を実行し、情報処理システム１００を構成する各部の動作を統括的に制御する。また、１または複数のハードウェアプロセッサ２０６は、ＲＯＭ２２２または記憶装置２０８に予め記憶されたプログラムとの協働により、操作装置２１０、表示装置２１２、および、通信装置２１４等を制御する。

記憶装置２０８は、フラッシュメモリ等の半導体による記憶媒体、あるいは、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置２０８は、情報処理システム１００の制御に用いられるプログラムおよび各種設定情報等を記憶する。

操作装置２１０は、マウスおよびキーボード等の入力デバイスである。操作装置２１０は、ユーザから操作入力された情報を受け付け、受け付けた情報を１または複数のハードウェアプロセッサ２０６に出力する。

表示装置２１２は、情報をユーザに表示する。表示装置２１２は、１または複数のハードウェアプロセッサ２０６から情報等を受け取り、受け取った情報を表示する。なお、通信装置２１４または記憶装置２０８等に情報を出力する場合、情報処理システム１００は、表示装置２１２を備えなくてもよい。

通信装置２１４は、外部の機器と通信して、ネットワーク等を介して情報を送受信する。

本実施形態の情報処理システム１００で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、本実施形態の情報処理システム１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理システム１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の情報処理システム１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態にかかる情報処理システム１００で実行されるプログラムは、コンピュータを後述する情報処理システム１００の各部として機能させうる。このコンピュータは、ハードウェアプロセッサ２０６がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

次に、情報処理システム１００の機能構成について説明する。図２は、情報処理システム１００の機能構成の一例を示す機能ブロック図である。図２に示すように、情報処理システム１００は、選択部１０１と、変形部１０２と、学習部１０３と、評価部１０４と、出力制御部１０５と、記憶部１２１と、を備えている。

選択部１０１は、処理対象とするデータを選択する。例えば選択部１０１は、探索の元になるニューラルネットワーク（第１ニューラルネットワーク）に基づいて、変形の対象とする層を選択する。

変形部１０２は、選択された層の演算を表すグラフ表現（第１グラフ表現）を、１以上のグラフ表現（第２グラフ表現）に変形する。後述するように、ニューラルネットワークの構造の探索は、例えば、強化学習、進化的アルゴリズム、特に遺伝的アルゴリズムに従い実行することができる。変形部１０２は、例えば、遺伝的アルゴリズムにより出力される、より性能のよい構造のニューラルネットワークを新たな探索の元になるニューラルネットワークとして、グラフ表現の変形処理（変異）を繰り返し実行する。

学習部１０３は、ニューラルネットワークを訓練する。例えば学習部１０３は、変形により得られたグラフ表現に対応する演算を含む１以上のニューラルネットワーク（第２ニューラルネットワーク）に対して、予め準備された訓練データを用いて訓練を実行する。学習部１０３は、どのようなアルゴリズムを訓練に用いてもよいが、例えば誤差逆伝播法を用いて訓練を行うことができる。

評価部１０４は、訓練されたニューラルネットワークの性能を評価する。性能はどのような評価基準で評価してもよい。評価基準は、例えば、訓練されたニューラルネットワークによる予測精度（推論の精度）、推論時の計算量（計算コスト）、および、訓練されたニューラルネットワークに関する情報の記憶に必要な記憶容量などである。評価部１０４は、ニューラルネットワークの使用目的等に応じて評価基準を変更してもよい。例えば、リアルタイム処理に使用するニューラルネットワークについては、評価部１０４は、計算量がより小さいニューラルネットワークの評価値が高くなるような評価基準を用いてもよい。

出力制御部１０５は、情報処理システム１００による各種処理で扱われる各種データの出力を制御する。例えば出力制御部１０５は、遺伝的アルゴリズムに従い、探索の元になるニューラルネットワーク（第１ニューラルネットワーク）および変形（変異）により得られる１以上のニューラルネットワーク（第２ニューラルネットワーク）のうち、評価部１０４により評価された性能が他のニューラルネットワークより高いニューラルネットワークを出力する。

記憶部１２１は、情報処理システム１００で用いられる各種情報を記憶する。例えば記憶部１２１は、ニューラルネットワークのパラメータ（重み係数、バイアスなど）、および、ニューラルネットワークを訓練するための訓練データを記憶する。記憶部１２１は、例えば図１の記憶装置２０８により実現される。

上記各部（選択部１０１、変形部１０２、学習部１０３、評価部１０４、および、出力制御部１０５）は、例えば、１または複数のハードウェアプロセッサ２０６により実現される。例えば上記各部は、１または複数のＣＰＵにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのハードウェアプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

次に、ニューラルネットワークの構造の記述方法の詳細について説明する。まず、ＣＮＮの構造の概要について説明する。ＣＮＮは、畳み込み層（Convolutional Layer）と呼ばれるニューラルネットワーク層を含むニューラルネットワークモデルである。畳み込み層は、例えば、画像を変換する処理に対応する。例えば入力画像を高さＨ、幅Ｗ、および、チャネル数Ｃ（Ｈ、Ｗ、Ｃは自然数）の３次元配列Ｘとする。畳み込み層は、この３次元配列Ｘを受け取り、高さＨ’、幅Ｗ’、および、チャネル数Ｃ’（Ｈ’、Ｗ’、Ｃ’は自然数）である変換された画像Ｙを返す関数とみなせる。具体的には、畳み込み層は、以下の（１）式に示す線形演算（畳み込み演算）を行う。Ｋは、Ｉ×Ｊ×Ｃ×Ｃ’（Ｉ、Ｊは自然数）のサイズをもつ４次元配列であり、カーネルと呼ばれるパラメータである。
Ｙ_{ｈ’ｗ’ｃ’}＝Σ_ｉｊｃ Ｋ_{ｉｊｃｃ’}Ｘ_{ｈ’−ｉ，ｗ’−ｉ，ｃ} ・・・（１）

従来のテンソル分解を用いた方法は、具体的な構造が与えられた条件下でのＫの分解を考える。例えば、ＣＰ分解と呼ばれる、以下の（２）式に示すようなＫの分解を用いる方法が提案されている。ｔ_ｒ、ｕ_ｒ、ｖ_ｒ、ｗ_ｒは、それぞれ次元がＩ，Ｊ，Ｃ，Ｃ’のベクトルを表し、記号「○」は外積を表す。
Ｋ＝Σ_ｒ ｔ_ｒ○ｕ_ｒ○ｖ_ｒ○ｗ_ｒ ・・・（２）

また、タッカー分解（Tucker-2 decomposition）と呼ばれる方法は、例えば以下の（３）式で表される分解を用いる。ｇはＩ×Ｊ×Ａ×Ｂ（Ａ、Ｂは自然数）のサイズをもつパラメータ（４次元配列）、ｕはＣ×Ａのサイズをもつパラメータ（２次元配列）、ｖはＣ’×Ｂのサイズをもつパラメータ（２次元配列）である。ＡおよびＢは、ハイパーパラメータである。

テンソル分解の種類は、（２）式および（３）式以外にも多数存在する。一般的に学習するデータおよびタスクに応じて最適なテンソル分解は変化すると考えられる。しかし、従来は多数存在するテンソル分解のうちのごく一部しか探索できていなかった。

本実施形態では、限られたテンソル分解のみでなく、より一般的なテンソル分解をもとに畳み込み層を探索し、設計することが可能な枠組みを実現する。本実施形態では、まず、テンソル分解が持つ構造をテンソルネットワークで表現する。これにより様々なテンソル分解の形を統一的に表現できる。

（１）式の畳み込み演算、および、（２）式、（３）式のカーネルの分解は、多数のインデックスを用いる複数のテンソルの積和として与えられる。インデックスは、例えば以下の２つのクラスに分けられる。
（ＣＬ１）出力に接続されるインデックス（ｈ’、ｗ’、ｃ’など）
（ＣＬ２）和の演算に用いられるインデックス（ｉ、ｊ、ｃ、α、βなど）

畳み込みおよびカーネルの分解は、これらのインデックスがどのように相互作用するか、および、これらのインデックスがテンソル変数にどのように分布されるかによって特定される。例えばタッカー分解は、空間情報ｇ、入力チャネル情報ｕ、および、出力チャネル情報ｖを、インデックス（ｉ、ｊ）、ｃ’、および、ｃにそれぞれ分解する。さらに、それらは以下の２ステップの接続により結合される。
（ＣＮ１）αを介する、入力チャネル情報ｕと空間情報ｇとの間の接続
（ＣＮ２）βを介する、出力チャネル情報ｖと空間情報ｇとの間の接続

ここで、和の演算のために用いられるインデックスは、入力チャネル情報ｕを出力チャネル情報ｖに引き渡す経路（パス）であると解釈することができる。このような観点から、ハイパーグラフを用いれば、インデックスの相互作用を明確に表せるという考えが導かれる。

テンソル分解が持つ構造をテンソルネットワークで表現するための基本的な概念は、テンソルを、テンソルが有するインデックスによってのみ区別することである。テンソルは、テンソルネットワークのノード（頂点）であると考える。

例えば、カーネルＫの分解を考える。出力インデックスＯ＝（ｉ、ｊ、ｃ、ｃ’）をカーネルＫの形状のインデックス、内部インデックスＩ＝（ｒ_１、ｒ_２、・・・）を和の演算のために用いられるインデックス、内部次元Ｒ＝（Ｒ_１、Ｒ_２、・・・）∈Ｒ^｜Ｉ｜をＩの次元とする。Ｍ個（Ｍは自然数）のテンソルが分解され、各テンソルは複数のインデックスの集合により表されると仮定する。Ｖ＝｛ｖ_１、・・・、ｖ_Ｍ ｜ ｖ_ｍ∈２^Ｏ∪Ｉ｝は、テンソルの集合を表す。２^Ａは、集合Ａのべき集合を表す。

ここで、各テンソルはそれらのインデックスにより特定される。すなわち、Ｕ＝（ｕ_ａｂｃ）ａ∈［Ａ］、ｂ∈［Ｂ］、ｃ∈［Ｃ］は、｛ａ、ｂ、ｃ｝と等価である。与えられたＶに対して、各内部インデックスｒ∈Ｉは、ハイパーエッジｅ_ｒ＝｛ｖ｜ｒ∈ｖ ｆｏｒ ｖ∈Ｖ｝を表す。ε＝｛ｅ_ｎ｜ｎ∈Ｏ∪Ｉ｝は、ハイパーエッジの集合を表す。例えば、Ｉ＝｛α、β｝およびＶ＝｛｛ｉ、ｊ、α、β｝、｛ｃ、α｝、｛ｃ’、β｝｝と仮定すると、無指向の重み付けハイパーグラフ（Ｖ、ε、Ｒ）は、上記（３）式に示すタッカー分解と等価となる。

このような考え方は、畳み込みで用いられるインデックスのパターンを吸収するダミーテンソルを導入する畳み込み演算にも適用できる。式（１）では、空間インデックスｈ_ｉ’は、カーネルの垂直要素を表し、入力画像が畳み込みに連結される。Ｐ∈｛０、１｝^{Ｈ×Ｈ’×Ｉ}は、ｈ＝ｈ’の場合に各要素がｐ_ｈｈ’ｉ＝１と定義され、他の場合に各要素がｐ_ｈｈ’ｉ＝０と定義される２値のテンソルであるものとする。

同様に、Ｑ∈｛０、１｝^{Ｗ×Ｗ’×Ｉ}は、Ｐに対応する水平方向のテンソルであるものとする。インデックス集合は、Ｏ＝｛ｈ‘、ｗ’、ｃ’｝およびＩ＝｛ｈ、ｗ、ｉ、ｊ、ｃ｝とし、次元Ｒ＝（Ｈ、Ｗ、Ｉ、Ｊ、Ｃ）とする。ノードＶ＝｛｛ｈ、ｗ、ｃ｝、｛ｉ、ｊ、ｃ、ｃ’｝、｛ｈ、ｈ’、ｉ｝、｛ｗ、ｗ’、ｊ｝、および、ハイパーエッジεは、畳み込み演算である上記の（１）式を表す。テンソル｛ｈ、ｈ’、ｉ｝はＰによって定められ、テンソル｛ｗ、ｗ’、ｊ｝はＱによって定められることが保証される。

以下に、演算の式と、演算の式を視覚化したグラフ表現との対応について説明する。図３〜図５は、演算の式とグラフ表現との対応の例を示す図である。各図内の円は、テンソルに対応するノードを表す。円に接続される線は、テンソルに関連づけられるインデックスに対応するエッジを表す。一方のみにテンソルが接続されるエッジは、例えば出力インデックスである。両端がそれぞれテンソルに接続されるエッジは、内部インデックスとして和の演算に用いられる。図３は、このような関係を示す図の例である。

内部インデックスの和を取って除去（elimination）する処理は、縮約(contraction)と呼ばれる。３以上のノードに接続されるエッジであるハイパーエッジは、黒い点によって記述される。図４は、ハイパーエッジを含むグラフ表現と式との関係の例を示す。

記号「＊」を含む円は、それぞれ垂直または水平の畳み込みを含むダミーテンソルＰまたはＱを表す。図５は、ダミーテンソルを含むグラフ表現と式との関係の例を示す。

なお、図３〜図５のような表現は、アインシュタインの縮約記法（Einstein notation）と同様の表現であると解釈することができる。

図６は、ＣＮＮに含まれる様々な畳み込み層の構造を、本実施形態のテンソルネットワークによるグラフ表現を用いて表した例を示す図である。図６内のＸおよびＴは、それぞれ入力（上記例では３次元配列Ｘ）およびカーネル（上記例ではカーネルＫ）に相当する。

図６の（１）〜（８）は、それぞれ以下のような畳み込み層に相当する。
（１）標準の畳み込み層（Standard）
（２）平坦化を含む畳み込み層(Flattened)
（３）層方向の畳み込みを１×１の畳み込みを組み合わせた畳み込み層（Depthwise Separable）
（４）ボトルネックモジュールを含む畳み込み層（Bottleneck）：タッカー分解と同様の表現となる（Tucker-2）
（５）サイズの大きいフィルタを、複数のサイズの小さいフィルタで置き換えた畳み込み層（Factoring）
（６）ＣＰ分解に相当する畳み込み層（CP）
（７）入力および出力チャネル数に対する内部チャネル数の関係が上記（４）：Bottleneckと逆となっている畳み込み層（Inverted Bottleneck）
（８）低ランク近似を含む畳み込み層（Low-rank Filter）

図６は、２次元の畳み込み層を表すグラフ表現の例であるが、本実施形態のグラフ表現は、３次元以上の畳み込み層に対しても適用できる。図７は、３次元の畳み込み層を表すグラフ表現の例を示す図である。図７は、デプスの情報をさらに含む入力Ｘを処理する畳み込み層のグラフ表現の例である。ｄおよびｄ’は、デプスを表すための入力インデックスおよび出力インデックスである。ｋは、フィルタデプスを表すためのインデックスである。出力インデックスＯにｄ’を追加し、内部インデックスＩにｄおよびｋを追加することにより、３次元畳み込み層のグラフ表現が得られる。図７の（３）は、３次元畳み込みを２次元畳み込みと１次元畳み込みとに分解した畳み込み層（（２＋１）Ｄ）に相当する。

本実施形態では、上記のように表されたグラフ表現を用いて、新しい畳み込み層を探索する。以下に、畳み込み層の探索処理について説明する。図８は、探索処理の全体の流れの一例を示すフローチャートである。図８は、遺伝的アルゴリズムを適用した探索処理の例を示す。探索処理では、少なくとも畳み込み層が上記のようなグラフ表現で表されたニューラルネットワークが対象とされる。

まず、選択部１０１は、初期個体とする畳み込み層を設定（選択）する（ステップＳ１０１）。例えば選択部１０１は、探索の元になるニューラルネットワークに含まれる畳み込み層のうち、予め定められた個数（例えば１０個）の畳み込み層を初期個体として設定する。

初期個体の設定方法はこれに限られるものではなく、どのような方法であってもよい。例えば選択部１０１は、ニューラルネットワークに含まれる１以上の畳み込み層を選択し、選択した畳み込み層と、選択した畳み込み層を変形した１以上の畳み込み層とを、初期個体として設定してもよい。選択部１０１は、ランダムに生成した畳み込み層を、初期個体の一部または全部として設定してもよい。

次に、変形部１０２は、設定された個体のうち、例えばランダムに選択された一部の個体（例えば１０個の個体から選択された３個の個体）を変形する（ステップＳ１０２）。例えば変形部１０２は、選択された個体のグラフ表現を、以下の変形処理のうち１つ以上に従い変形する。
・１つノードを２以上のノードへ分割する
・２以上のノードの１つのノードへ統合する
・エッジを追加する
・エッジを削除する

これらの変形は、線形演算の変形であると解釈することができる。変形は線形演算に限られず、非線形演算を追加する変形であってもよい。すなわち変形部１０２は、グラフ表現に非線形演算を追加するような変形を行ってもよい。非線形演算の追加は、例えば、線形演算の結果に対する非線形関数（シグモイド関数、ステップ関数、ReLU関数など）の適用である。

なお、変形によっても有効な個体が得られない場合がある。例えば、自己ループに相当するハイパーエッジを追加した個体は、変形前の個体と同等の演算を行う、表現が冗長となった個体となる場合がある。このように冗長なグラフ表現が得られるような変形は除外するように構成してもよい。

変形部１０２は、変形させた個体のグラフ表現に対応する演算を含むニューラルネットワークを構築する（ステップＳ１０３）。変形部１０２は、例えば、上記の図３〜図５に示すような対応関係に従い、グラフ表現を演算へ変換すること、および、変換した演算を含むようなニューラルネットワークを構築することができる。３個の個体を変形させた場合は、変形部１０２は、３個の個体それぞれに対応する３個の新たなニューラルネットワークを構築する。

学習部１０３は、構築されたニューラルネットワークを訓練する（ステップＳ１０４）。ステップＳ１０２〜ステップＳ１０７のループ処理の初回では、学習部１０３は、初期個体に対応するニューラルネットワーク（例えば１０個）と、新たに構築したニューラルネットワーク（例えば３個）とを含む、すべて（例えば１３個）のニューラルネットワークに対し、訓練を実行する。初回以外で、変形されていないニューラルネットワークについては、学習部１０３は、再度の訓練を省略してもよい。

評価部１０４は、訓練されたニューラルネットワークの性能を測定する（ステップＳ１０５）。例えば評価部１０４は、予測精度、推論時の計算量、および、情報の記憶に必要な記憶容量などの一部または全部を評価基準として、ニューラルネットワークの性能を評価する。ループ処理の初回以外などで、既に性能を評価済みのニューラルネットワークについては、評価部１０４は、再度の評価を省略してもよい。

選択部１０１は、すべてのニューラルネットワークのうち、性能が他のニューラルネットワークより高い、予め定められた個数（例えば１０個）のニューラルネットワークに対応する個体を選択する（ステップＳ１０６）。

選択部１０１は、探索を終了するか否かを判定する（ステップＳ１０７）。探索終了と判定する条件はどのような条件であってもよい。例えば選択部１０１は、ユーザにより終了が指定された場合に探索を終了すると判定してもよい。選択部１０１は、予め定められた閾値以上の性能のニューラルネットワークが得られた場合に探索を終了すると判定してもよい。

探索を終了しない場合（ステップＳ１０７：Ｎｏ）、選択部１０１は、ステップＳ１０６で選択された個体に対して、ステップＳ１０２以降の処理を繰り返し実行する。探索を終了する場合（ステップＳ１０７：Ｙｅｓ）、探索処理が終了する。

このような探索処理により、より優良な個体、すなわち既存の畳み込み層よりも性能のよい畳み込み層を、より効率的に発見することが可能となる。グラフ表現に基づいた変形により探索を行うため、ＣＮＮの構造を網羅的に探索することができる。また、ＣＮＮの構造を統一的に表現できる記述方法を用いているため、探索の結果に基づく知識（使用目的に応じた最適な構造など）の蓄積が可能となる。

図９〜図１２は、本実施形態による探索結果の一例を示す図である。図９〜図１２は、予測精度（Test Accuracy）と計算量とのトレードオフの関係を示す図である。計算量は、空間計算量に相当するパラメータ数（Number of Parameters）と、時間計算量に相当するTotal FLOPS（Floating-point Operations Per Second）とを含む。

各図の小さいドットは、変形により得られた畳み込み層に対応する。他の記号（○、△、＋、×、◇）は、以下の畳み込み層のいずれかに対応する。
Standard：標準の畳み込み層（Standard）
Flattend：平坦化を含む畳み込み層(Flattened)
Dep.sep.：層方向の畳み込みを１×１の畳み込みを組み合わせた畳み込み層（Depthwise Separable）
Bottleneck：ボトルネックモジュールを含む畳み込み層（Bottleneck）
CP：ＣＰ分解に相当する畳み込み層（CP）
2p1：３次元畳み込みを２次元畳み込みと１次元畳み込みとに分解した畳み込み層（（２＋１）Ｄ）
Factoring:サイズの大きいフィルタを、複数のサイズの小さいフィルタで置き換えた畳み込み層（Factoring）

図９は、２次元の畳み込み層の探索結果を示す。図１０は、３次元の畳み込み層の探索結果を示す。図１１および図１２は、非線形演算を含む畳み込み層の探索結果を示す。具体的には、図１１は、LeNet-5と呼ばれるＣＮＮに基づき畳み込み層を探索した結果を示す。図１２は、ResNet-50と呼ばれるＣＮＮに基づき畳み込み層を探索した結果を示す。いずれの図も、本実施形態により、多数の異なるパターンの畳み込み層が探索されることを示している。

以上のように、本実施形態によれば、性能がよいニューラルネットワークの構造をより効率的に探索可能とすることが可能となる。

本明細書において、“ａ，ｂおよびｃの少なくとも１つ（一方）”または“ａ，ｂまたはｃの少なくとも１つ（一方）”の表現は、ａ，ｂ，ｃ，ａ−ｂ，ａ−ｃ，ｂ−ｃ，ａ−ｂ−ｃのいずれかの組み合わせを含む。また、ａ−ａ，ａ−ｂ−ｂ，ａ−ａ−ｂ−ｂ−ｃ−ｃなどのいずれかの要素の複数のインスタンスとの組み合わせをカバーする。さらに、ａ−ｂ−ｃ−ｄを有するなどａ，ｂおよび／またはｃ以外の他の要素を加えることをカバーする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 情報処理システム
１０１ 選択部
１０２ 変形部
１０３ 学習部
１０４ 評価部
１０５ 出力制御部
１２１ 記憶部
２０４ メモリ
２０６ ハードウェアプロセッサ
２０８ 記憶装置
２１０ 操作装置
２１２ 表示装置
２１４ 通信装置
２２２ ＲＯＭ
２２４ ＲＡＭ

Claims (11)

1. 第１ニューラルネットワークに含まれる層の演算を、ノードと、前記ノードに接続されるエッジと、を含むグラフで表した第１グラフ表現を変形させた、１以上の第２グラフ表現を得る変形部、
   を備える情報処理システム。
2. １以上の前記第２グラフ表現に対応する演算を含む１以上の第２ニューラルネットワークに対して訓練データを用いた訓練を実行する学習部をさらに備える、
   請求項１に記載の情報処理システム。
3. 訓練された第２ニューラルネットワークの性能を評価する評価部をさらに備える、
   請求項２に記載の情報処理システム。
4. 前記第１グラフ表現および前記第２グラフ表現は、テンソルの演算を前記ノードおよび前記エッジを含むグラフで表現したテンソルネットワークである、
   請求項１に記載の情報処理システム。
5. 前記エッジは、１つのノードに対して２以上のノードを接続するハイパーエッジを含む、
   請求項４に記載の情報処理システム。
6. 前記第２グラフ表現は、前記第１グラフ表現に含まれる前記ノードの２以上の新たなノードへの分割、前記第１グラフ表現に含まれる２以上の前記ノードの１つのノードへの統合、前記第１グラフ表現への新たなエッジの追加、および、前記第１グラフ表現に含まれる前記エッジの削除、の少なくとも１つにより得られる、
   請求項１に記載の情報処理システム。
7. 前記第２グラフ表現は、前記第１グラフ表現への非線形演算の追加により得られる、
   請求項１に記載の情報処理システム。
8. 前記変形部は、１以上の前記第２グラフ表現に対応する演算を含む１以上のニューラルネットワークを新たな第１ニューラルネットワークとして、前記第１グラフ表現を１以上の前記第２グラフ表現に変形する処理を繰り返す、
   請求項１に記載の情報処理システム。
9. 前記第１ニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）である、
   請求項１に記載の情報処理システム。
10. 第１ニューラルネットワークに含まれる層の演算を、ノードと、前記ノードに接続されるエッジと、を含むグラフで表した第１グラフ表現を変形させた、１以上の第２グラフ表現を得る変形ステップ、
    を含む、ニューラルネットワーク構造の生成方法。
11. コンピュータに、
    第１ニューラルネットワークに含まれる層の演算を、ノードと、前記ノードに接続されるエッジと、を含むグラフで表した第１グラフ表現を変形させた、１以上の第２グラフ表現を得る変形ステップ、
    を実行させるための情報処理プログラム。

Images