JP2023159945A - 情報処理装置、情報処理方法、情報処理プログラム、ソフトウェア作成装置、ソフトウェア作成方法、及びソフトウェア作成プログラム - Google Patents

Abstract

【課題】ニューラルネットワーク処理の処理時間を短縮する。【解決手段】情報処理装置は、プロセッサとメモリとを有する。プロセッサは、複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、を含むニューラルネットワーク処理を実行する。プロセッサは、活性化関数処理を、畳み込み処理のループ処理内で実行する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム、ソフトウェア作成装置、ソフトウェア作成方法、及びソフトウェア作成プログラムに関する。

人間の脳の神経細胞の構造を模したニューラルネットワークを用いて情報処理を行うニューラルネットワーク処理装置の第１の従来例として、特許文献１に記載されたものがある。このニューラルネットワーク処理装置は、複数の入力データと複数の重みデータの間の積和演算を行い複数の中間データを生成する畳み込み処理と、複数の中間データを入力として予め定められた関数を計算し複数の出力データを生成する活性化関数処理を実行するレイヤを複数組み合わせて画像等の認識を行う。また、この従来例にはＧＰＵ（Graphics Processing Unit）と呼ばれる多数の演算器を内蔵した回路を使用して畳み込み処理を高速に実行することが記載されている。

また、ニューラルネットワーク処理装置の第２の従来例として、特許文献２に記載されたものがある。このニューラルネットワーク処理装置は、行列演算部と活性化関数演算部を有する専用の推論演算部を設けることで高速に処理を行うことを可能としている。

特開２０１９－８７０７２号公報 特開２０２０－１１２９０１号公報

ニューラルネットワーク処理装置は、例えば自動車の自動運転装置でカメラで撮影した周囲の画像の認識処理を行うなど、演算リソースの限られた環境で使用する用途が増加している。また、自動車の自動運転装置などでは周囲の広い範囲に対する認識処理が必要なうえ、認識結果の誤りが事故に直結する可能性があるため、高い認識精度が求められる。その様な背景から、ニューラルネットワーク処理は複雑な構成となってきていおり、かつ、多数の画像に対する認識処理を行う必要があるため、演算量が膨大となる。限られた演算リソースで膨大な演算量の処理を行うと処理時間が期待されるものより多くなり、必要な処理性能が得られないという問題がある。

上記第１の従来例はＧＰＵを用いて処理時間を短縮しているが、汎用のハードウェア上のソフトウェアの処理では処理時間短縮の効果は限定的であり、必要な処理性能を達成できないケースが多い。上記第２の従来技術は専用の推論演算部を設けていることから、ＧＰＵを使用するより処理時間を短縮できる可能性があるが、専用の推論演算部を開発するためには膨大な開発コストがかかるため、出荷数量の少ない装置に適用するのは困難である。従って、汎用のハードウェア上のソフトウェアでニューラルネットワーク処理を行う場合の処理時間を短縮したいというニーズがある。

本発明はこの様な状況に対応するため、ニューラルネットワーク処理の処理時間を短縮することを目的とする。

上述した課題を解決するため、本発明の情報処理装置は、プロセッサとメモリとを有する情報処理装置であって、前記プロセッサは、複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、を含むニューラルネットワーク処理を実行し、前記活性化関数処理を、前記畳み込み処理のループ処理内で実行することを特徴とする。

本発明によれば、中間データの容量が削減されるため、中間データをプロセッシングユニットの内部に格納することが可能となり、プロセッシングユニットと外部メモリとの間のデータ転送が削減されるため、ニューラルネットワーク処理の処理時間を短縮することができる。

実施形態１に係るニューラルネットワーク処理装置の構成を示す図である。 ニューラルネットワーク処理の構成を示す図である。 第１の従来技術に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。 第１の従来技術に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。 実施形態１に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。 実施形態１に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。 第２の従来技術に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。 第２の従来技術に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。 実施形態２に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。 実施形態２に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。 実施形態３に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。 実施形態３に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。 実施形態４に係る積和演算処理を行うアルゴリズムのバリエーションと対応するパラメータの例を示す図である。 実施形態４に係る活性化関数処理を行うアルゴリズムのバリエーションと対応するパラメータの例を示す図である。 実施形態４に係るニューラルネットワーク処理の各レイヤに対する積和演算処理と活性化関数処理のパラメータの組み合わせの例を示す図である。 実施形態４に係るパラメータの組み合わせの中から重複を除いたパラメータの組み合わせを選択した結果を示す図である。 実施形態４に係るソフトウェア作成処理を実行するコンピュータのハードウェア例を示す図。 実施形態４に係るソフトウェア作成処理を示すフローチャートである。

以下、図面を参照して本願開示に係る実施形態を説明する。以下の実施形態は、図面も含め本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でもよい。

以下の実施形態において、プログラムによって実行される処理を説明する場合がある。サーバやクライアントといった計算機は、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理ステップを行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードでもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）、量子コンピュータ等である。

プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアでもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

以下の実施形態において、「ＹＹＹ（処理）部」、「ＹＹＹステップ」、及び「ＹＹＹ手順」は、装置（またはシステム）、方法、及びプログラムの異なるカテゴリのそれぞれ対応する構成要素である。例えば“ＹＹＹステップ”を実行するプロセッサ又はコンピュータは、“ＹＹＹ処理部”に対応する。また、プロセッサ又はコンピュータに実行させた“ＹＹＹ手順”は、“ＹＹＹステップ”に対応する。

以下の実施形態において、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

以下の実施形態においては、「ソフトウェア」は、プログラム及びライブラリなどのその他のファイルを含むコンポーネントであっても、プログラムそのものであってもよい。

［実施形態１］
（実施形態１に係る情報処理装置１０の構成）
図１は、実施形態１に係る情報処理装置１０の構成を示す図である。情報処理装置１０は、マイクロプロセッサ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３，１５、及びＧＰＵ１４を含んで構成される。

マイクロプロセッサ１１は、ＣＰＵ１１ａ、及びインタフェース回路１１ｂ１，１１ｂ２，１１ｂ３，１１ｂ４，１１ｂ５を含んで構成される。

ＲＯＭ１２は、インタフェース回路１１ｂ１を介してマイクロプロセッサ１１と接続される。ＲＡＭ１３は、インタフェース回路１１ｂ２を介してマイクロプロセッサ１１と接続される。ＧＰＵ１４は、ＲＡＭ１５と接続される。また、ＧＰＵ１４は、インタフェース回路１１ｂ３を介してマイクロプロセッサ１１と接続される。

カメラ１１１ａ，１１１ｂは、インタフェース回路１１ｂ４を介してマイクロプロセッサ１１と接続される。ディスプレイ装置１１２は、インタフェース回路１１ｂ５を介してマイクロプロセッサ１１と接続される。

情報処理装置１０は、カメラ１１１ａ，１１１ｂから画像データを入力し、ニューラルネットワーク処理による認識を行った後、認識結果をディスプレイ装置１１２に表示する。認識結果は、スピーカから音声出力されても良い。なお、本実施形態では画像認識を行う例を示すが、画像認識に限定されず、音声認識などの他のニューラルネットワーク処理全般に適用が可能である。

カメラ１１１ａ，１１１ｂは、それぞれ異なる方向の画像を撮影する。これによって、認識したい領域の全ての画像を取り込んで認識処理を行うことが可能となる。また、カメラ１１１ａ，１１１ｂとして画素数が多く撮影範囲の広いカメラを使用しても良い。これによって、認識したい領域が広い場合でも少ないカメラの台数で全ての領域をカバーすることが可能となる。この場合、１つのカメラで撮影した画像を複数の領域に分割して別々に認識処理を行っても良い。これによって、空などの認識が不要な領域を除外して必要な領域のみに認識処理を行うことが可能となる。

マイクロプロセッサ１１は、ＣＰＵ１１ａ、及びインタフェース回路１１ｂ１，１１ｂ２，１１ｂ３，１１ｂ４，１１ｂ５を１つのチップに集積したＬＳＩ（Large Scale Integration）である。この構成は一例であり、ＲＯＭ１２、ＲＡＭ１３、ＧＰＵ１４、及びＲＡＭ１５の一部又は全部をマイクロプロセッサ１１内に内蔵しても良い。

ＣＰＵ１１ａは、インタフェース回路１１ｂ１を経由してＲＯＭ１２に格納されているソフトウェアを読み込んで実行する。なお、ＲＯＭ１２は、ＲＡＭ１３に比べると読書きの速度が低速である場合が多いため、起動時にＲＯＭ１２からＲＡＭ１３にソフトウェアをコピーし、その後はＲＡＭ１３からソフトウェアを読み込む様にしても良い。ＣＰＵ１１ａは、ＲＯＭ１２、又はＲＡＭ１３から読み込んだソフトウェアに従い、以下の一連の処理を行う。

先ずＣＰＵ１１ａは、インタフェース回路１１ｂ４を経由してカメラ１１１ａ，１１１ｂから画像データを取得し、インタフェース回路１１ｂ２を経由してＲＡＭ１３に格納する。次にＣＰＵ１１ａは、インタフェース回路１１ｂ２を経由してＲＡＭ１３に格納されている画像データを読み出し、インタフェース回路１１ｂ３を経由してＧＰＵ１４に転送する。

次にＣＰＵ１１ａは、インタフェース回路１１ｂ１経由してＲＯＭ１２、もしくはインタフェース回路１１ｂ２を経由してＲＡＭ１３に格納されているソフトウェアを読み出し、インタフェース回路１１ｂ３を経由してＧＰＵ１４に転送する。そしてＣＰＵ１１ａは、ＧＰＵ１４に対してソフトウェアによる演算開始を指示する。

次にＣＰＵ１１ａは、インタフェース回路１１ｂ３を経由してＧＰＵ１４から演算終了の通知を受け取ると、インタフェース回路１１ｂ３を経由してＧＰＵ１４から演算結果を取得し、インタフェース回路１１ｂ２を経由してＲＡＭ１３に格納する。

次にＣＰＵ１１ａは、インタフェース回路１１ｂ２を経由してＲＡＭ１３からＧＰＵ１４の演算結果を読み込み、所定の処理を行ったうえでインタフェース回路１１ｂ５を経由してディスプレイ装置１１２に表示する。

ＧＰＵ１４は、インタフェース回路１１ｂ３を経由してＣＰＵ１１ａから画像データを受け取ると、ＲＡＭ１５に格納する。また、ＧＰＵ１４は、インタフェース回路１１ｂ３を経由してＣＰＵ１１ａからソフトウェアを受け取ると、そのソフトウェアを実行し、演算結果をＲＡＭ１５に格納する。

また、ＧＰＵ１４は、インタフェース回路１１ｂ３を経由してＣＰＵ１１ａから演算結果の読み出し要求を受け取ると、ＲＡＭ１５から演算結果を読み出してインタフェース回路１１ｂ３を経由してＣＰＵ１１ａに出力する。

（ニューラルネットワーク処理）
図２は、ニューラルネットワーク処理の構成を示す図である。なお、図２は単一の入力画像に対する認識処理を記載したものであり、複数の画像に対して認識処理を行う場合には入力画像毎に図２の処理を実行する。その際、処理の内容は全ての画像に対して同一の構成であっても良いし、認識処理の目的に合わせて画像毎に異なる構成であっても良い。

図２に示すニューラルネットワーク処理は、Ｎ層のレイヤ（Layer）ｉ（レイヤ１（Layer１）、レイヤ２（Layer２）、・・・、レイヤＮ（LayerＮ））から構成される。レイヤ１は入力画像（Input Image）を入力し、処理結果をレイヤ２に出力する。レイヤ（ｉ＋１）（ｉ＝１，２，・・・，Ｎ－２）は、１つ前のレイヤｉからデータを受け取り、処理結果をレイヤ（ｉ＋２）に出力する。レイヤＮは、１つ前のレイヤ（Ｎ－１）からデータを受け取り、処理結果を、入力画像の認識結果として出力する。

Ｎ個の各レイヤｉは、畳み込み処理（Convolution）と活性化関数処理（Activation Function）からなる。畳み込み処理と活性化関数処理の詳細は後述する。

（比較例である第１の従来技術に係るニューラルネットワーク処理のレイヤ処理）
ここで、実施形態１の比較例である第１の従来技術に係るニューラルネットワーク処理ついて説明する。図３は、第１の従来技術に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。第１の従来技術のニューラルネットワーク処理を実行するハードウェアは、実施形態１の情報処理装置１０と同様である。

ＣＰＵ１１ａは、図３に示す第ｎ層（ｎ＝１，２，・・・，Ｎ）のレイヤ処理（layer_n()）を実行する際、７～２０行目の畳み込み処理（convolution_n()）、及び、２２～３２行目の活性化関数処理（activation_n()）を起動する。畳み込み処理（convolution_n()）では、入力データ（ｉｎ［］）と重みデータ（ｋ［］）の間の積和演算を行い、中間データ（ｄ［］）が生成される。活性化関数処理（activation_n()）では、中間データ（ｄ［］）を入力として、予め定められた所定の関数（ｆ()）の値を計算し出力データ（ｏｕｔ［］）が生成される。

convolution_n()及びactivation_n()はＧＰＵ１４で実行される。これに限らず、convolution_n()及びactivation_n()はＣＰＵ１１ａで実行されてもよい。

convolution_n()及びactivation_n()の引数“Ｈ”は、画像の縦方向の画素数を示す。図３の９～１９行目の変数ｈに関するループ処理は、画像の縦方向の座標ごとの処理を示す。また、引数“Ｗ”は、画像の横方向の画素数を示す。図３の１０～１８行目の変数“ｗ”に関するループ処理は画像の横方法の座標ごとの処理を示す。

また、引数“ＣＯ”は、出力データの各画素の属性情報の種類数を示す。図３の１１～１７行目の変数“ｃｏ”に関するループ処理は、出力データの単一画素の属性情報の種類毎の処理を示す。引数“ＣＯ”の値は、数十～数百となる場合が多い。

また、引数“ＣＩ”は、入力データの各画素の属性情報の種類数を示す。図３の１３～１６行目の変数“ｃｉ”に関するループ処理は、入力データの単一画素の属性情報の種類毎の処理を示す。引数“ＣＩ”の値は、入力画像を入力データとするレイヤ１では３（Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色に相当）となるのが一般的である。レイヤ１以外では１つ前のレイヤの出力を入力とするため、数十～数百となる場合が多い。

また、引数“ｋ”は、処理対象のレイヤｎの重みデータである。

図４は、第１の従来技術に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。図４に示すように、畳み込み処理（convolution_n()）では、入力データ（ｉｎ［］）と重みデータ（ｋ［］）をメモリから読み出し、中間データｄ［］をメモリに書き込む。

メモリには、プロセッシングユニット（本実施形態ではＧＰＵ１４）に内蔵されたキャッシュメモリとプロセッシングユニットの外部に接続された外部メモリ（本実施形態ではＲＡＭ１５）がある。例えば画像の認識処理などを行う場合には、入力データ（ｉｎ［］）や中間データ（ｄ［］）は容量が大きいため、キャッシュメモリには格納することができず、外部メモリへのアクセスが発生する。

本願発明者は、プロセッシングユニットと外部メモリとの間のデータ転送は、キャッシュメモリに比べると時間がかかり、外部メモリとの間のデータ転送の処理時間が演算処理そのものに比して無視できない量となっていることを見出した。活性化関数処理（activation_n()）も同様であり、プロセッシングユニットと外部メモリとの間のデータ転送の処理時間が演算処理そのものに比して無視できない量となっていた。

すなわち、第１の従来技術では、畳み込み処理（convolution_n()）の入力データ（ｉｎ［］）の読み出し、中間データ（ｄ［］）の書き込み、活性化関数処理（activation_n()）の中間データ（ｄ［］）の読み出し、及び、出力データ（ｏｕｔ［］）の書き込みで、ＧＰＵ１４とＲＡＭ１５との間のデータ転送が発生し、ＧＰＵ１４といった汎用のハードウェア上のソフトウェアで行うニューラルネットワーク処理のボトルネックとなっていることが見い出された。

（実施形態１に係るニューラルネットワーク処理のレイヤ処理）
図５は、実施形態１に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。ＣＰＵ１１ａは、図５に示すレイヤ処理（layer_n()）を実行する際、図３と比較して、畳み込み処理と活性化関数処理を融合した処理（convact_n()）を起動するのみである。

図５に示すように、１０～１６行目の変数“ｃｏ”に関するループ処理の中で、１２～１４行目の変数“ｃｉ”に関するループ処理を終了する毎に、中間データ（ｄ）に対して１５行目の活性化関数処理を実施して出力データ（ｏｕｔ［］）が生成される。

図６は、実施形態１に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。図５に示した実施形態１に係るニューラルネットワーク処理のアルゴリズムは、図３に示した第１の従来技術のアルゴリズムとは異なり、中間データが配列ではない一次元の変数ｄに格納されているため、ＧＰＵ１４の内部（例えばキャッシュメモリ）に保持することが可能となり、ＲＡＭ１５との間のデータ転送が不要となる。このため、ＧＰＵ１４とＲＡＭ１５との間のデータ転送量が削減され、処理時間を短縮することができる。

［実施形態２］
（比較例である第２の従来技術に係るニューラルネットワーク処理のレイヤ処理）
先ず、実施形態２の比較例である第２の従来技術に係るニューラルネットワーク処理ついて説明する。図７は、第２の従来技術に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。図３の第１の従来技術に係るアルゴリズムでは、畳み込み処理は積和演算のみで構成されている。一方、図７の第２の従来技術に係るアルゴリズムでは、図７の１３～３８行目の畳み込み処理に２８～３８行目のバイアス値加算処理が追加されている。バイアス値加算処理は、Ｎ層のレイヤからなるニューラルネットワークの各層毎のバイアス値を積和演算の演算結果に加算する処理である。これによって、認識結果が向上するケースがあることが知られている。

図８は、第２の従来技術に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。図４と比較して、バイアス加算の入力データ（ｂ［］、ｄ１［］）のＲＡＭ１５からの読み出し、及び、バイアス加算の演算結果（ｄ２［］）のＲＡＭ１５への書き込みの処理が追加されていることから、ＧＰＵ１４とＲＡＭ１５との間のデータ転送の処理時間が増加する。

（実施形態２に係るニューラルネットワーク処理のレイヤ処理）
図９は、実施形態２に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。本実施形態では、図７の積和演算（図７の１３～２６行目のmultiadd_n()）、バイアス加算（図７の２８～３８行目のBiasadd_n()）、活性化関数処理（図７の４０～５０行目のactivation_n()）を１つのループ処理（図９の８～１９行目）で実行する。

図９に示すように、１０～１７行目の変数“ｃｏ”に関するループ処理の中で、１２～１４行目の変数“ｃｉ”に関するループ処理を終了する毎に、１５行目のように中間データ（ｄ１）にバイアス値（ｂ［］）を加算して中間データ（ｄ２）が計算される。そして、１６行目のように、中間データ（ｄ２）に対して１５行目の活性化関数処理を実施して出力データ（ｏｕｔ［］）が生成される。

図１０は、実施形態２に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。図９に示した実施形態２に係るニューラルネットワーク処理のアルゴリズムは、図７に示した第２の従来技術のアルゴリズムとは異なり、２種類の中間データが配列ではない一次元の変数ｄ１，ｄ２にそれぞれ格納されている。このため、中間データｄ１，ｄ２をＧＰＵ１４の内部（例えばキャッシュメモリ）に保持することが可能となり、ＲＡＭ１５との間のデータ転送が不要となる。よって、ＧＰＵ１４とＲＡＭ１５との間のデータ転送量が削減され、処理時間を短縮することができる。

［実施形態３］
（実施形態３に係るニューラルネットワーク処理のレイヤ処理）
図１１は、実施形態３に係るニューラルネットワーク処理の１つのレイヤを処理するアルゴリズムを示す図である。実施形態３に係るニューラルネットワーク処理のアルゴリズムでは、図１１に示すように、図９の実施形態２のアルゴリズムとは異なり、積和演算のみ異なるループ処理（８～１９行目）で実行し、バイアス値加算処理と活性化関数処理を１つのループ処理（２４～３２行目）で実行する。

一般に積和演算は演算量が多く、ニューラルネットワーク処理全体に占める処理時間の比率が多いため、ＧＰＵメーカなどが提供する最適化したライブラリを使用して処理時間を短縮する場合が多い。図９の実施形態２のアルゴリズムの場合は、積和演算と同一のループ処理にバイアス値加算処理や活性化関数処理が組み込まれているため積和演算のライブラリを使用することができず、積和演算の処理時間がライブラリを使用する場合より長くなる可能性がある。一方、図１１の本実施形態のアルゴリズムの場合、積和演算の処理部分のみライブラリに置き換えることが可能となり、積和演算の処理時間増加を防止することができる。

図１２は、実施形態３に係るニューラルネットワーク処理のアルゴリズムの実行時の処理態様を示す図である。本実施形態に係るニューラルネットワーク処理は、図８の第２の従来技術と比較して、バイアス値加算処理（biasadd-n()）の処理結果（ｄ２）のメモリへの書き込みとメモリからの読み出しが不要となるため、ＧＰＵ１４とＲＡＭ１５との間のデータ転送量が削減され、処理時間を短縮することができる。また、本実施形態に係るニューラルネットワーク処理は、図１０の実施形態２と比較して、積和演算（multiadd-n()）の処理結果（ｄ１［］）のメモリへの書き込みと読み出しの処理が増えるため、ＧＰＵ１４とＲＡＭ１５との間のデータ転送量は増加し処理時間も増加する。しかし、積和演算（multiadd-n()）にライブラリを使用することが可能となり、積和演算の処理時間の増加を防止できるため、図１０の実施形態２と比較して、トータルの処理時間を削減できる可能性がある。

［実施形態４］
本願開示に係る実施形態では、畳み込み処理と活性化関数処理を１つのループ処理で実行する。このため、畳み込み処理と活性化関数処理にそれぞれ複数のバリエーションがあると、ニューラルネットワーク処理のソフトウェアの作成時に、両者のバリエーションの数の積に相当する数の処理を記述する必要があり、ソフトウェアの作成や動作確認に膨大な時間がかかる可能性がある。

畳み込み処理に関しては、その一部である積和演算処理のアルゴリズムに多数のバリエーションがあることが知られている。図１３は、実施形態４に係る積和演算処理を行うアルゴリズムのバリエーションと対応するパラメータの例を示す図である。

図１３における“INPUT FORM（入力形式）”は、入力データの並び順を示すもので、“ＣＨＷ”と“ＨＷＣ”の２通りがある。“ＣＨＷ”は、まず属性情報の種類の軸でデータを並べ、次に属性情報の種類の軸の値が同じデータ同士で画像の縦方向の軸でデータを並べ、最後に属性情報の種類の軸と画像の縦方向の軸の値が同じデータ同士で画像の横方向の軸でデータを並べる。

“ＨＷＣ”は、まず画像の縦方向の軸でデータを並べ、次に画像の縦方向の軸の値が同じデータ同士で画像の横方向の軸でデータを並べ、最後に画像の縦方向の軸と画像の横方法の軸の値が同じデータ同士で属性情報の種類の軸でデータを並べる。

なお、図３、図５、図７、図９、及び図１１に示したアルゴリズムは、入力形式が“ＨＷＣ”に対応したソフトウェアであり、入力形式が“ＣＨＷ”の場合には適用できない。

図１３における“WEIGHT FORM（重み形式）”は、重みデータの並べ順を示すもので、“ＣＨＷ”と“ＨＷＣ”の２通りがある。“ＣＨＷ”と“ＨＷＣ”の意味は、入力形式と同様である。図３、図５、図７、図９、及び図１１に示したアルゴリズムは、重み形式が“ＨＷＣ”に対応したソフトウェアであり、重み形式が“ＣＨＷ”の場合には適用できない。

図１３における“OUTPUT FORM（出力形式）”は、出力データの並べ順を示すもので、“ＣＨＷ”と“ＨＷＣ”の２通りがある。“ＣＨＷ”と“ＨＷＣ”の意味は、入力形式と同様である。図３、図５、図７、図９、及び図１１に示したアルゴリズムは、出力形式が“ＨＷＣ”に対応したソフトウェアであり、出力形式が“ＣＨＷ”の場合には適用できない。

図１３における“WEIGHT SIZE（重みサイズ）”は、出力データの各画素に影響を与える入力データの画素の範囲を示す。図３、図５、図７、図９、及び図１１に示したアルゴリズムでは、出力データの各画素は入力データのうちの縦方向と横方向の軸の値が同じ画素からのみ影響を受ける。これを図１３では“１ｘ１”と表記した。これ以外に、縦方向と横方向の軸の値が同じ画素に加えて上下１画素ずつ範囲を広げた３画素四方の入力データから影響を受ける計算方法もあり、これを図１３で“３ｘ３”と表記した。

図１３における“ＣＩ”は、入力データの各画素の属性情報の種類数であり、図３で説明した通り、レイヤ１では３、それ以外では数十～数百の値を取りうる。ここでは、スペースの都合で“３”と“３２”の２通りのみ記載した。

図１３における“ＣＯ”は、出力データの各画素の属性情報の種類数であり、図３で説明した通り、数十～数百の値を取りうる。ここでは、スペースの都合で“３２”の１通りのみ記載した。

図１３で積和演算処理を行うアルゴリズムのバリエーションの全てを網羅しているとは限らないが、それでも３２通りのバリエーションが存在する。

図１４は、実施形態４に係る活性化関数処理を行うアルゴリズムのバリエーションと対応するパラメータの例を示す図である。図１４には、それぞれの活性化関数の名称を記載し、関数の計算式は省略している。図１４でバリエーションの全てを網羅しているとは限らないが、それでも１０通りのバリエーションが存在する。

図１３に示す積和演算処理のバリエーションと、図１４に示す活性化関数処理のバリエーションを掛け合わせると３２０通りとなる。これは、畳み込み処理と活性化関数処理を１つのループ処理で実行するためには、３２０通りの処理を記述することが必要となることを意味する。このため、図１３のバリエーションを持つ積和演算処理及び図１４のバリエーションを持つ活性化関数処理を含むニューラルネットワーク処理のソフトウェアの作成や動作確認に膨大な時間がかかると考えられる。

この課題に対応するため、アプリケーションに依存して必要な組み合わせのみ処理を記述する方法が考えられる。以下にその開発フローを説明する。

図１５は、実施形態４に係るニューラルネットワーク処理の各レイヤに対する積和演算処理と活性化関数処理のパラメータの組の例を示す図である。複雑な認識処理を行う場合には、１００以上のレイヤを実行する場合も多いが、ここではスペースの都合でレイヤ数が３０の例を記載した。図１５からわかる通り、パラメータの組み合わせが同一のレイヤが複数存在する。

図１６は、実施形態４に係るパラメータの組み合わせの中から重複を除いたパラメータの組み合わせを選択した結果を示す図である。図１６に示すように、図１５のパラメータの組み合わせの中から重複を除いたパラメータの組み合わせを選択した結果として、パラメータの組み合わせは３種類に絞られることが確認できる。よって、畳み込み処理と活性化関数処理を１つのループ処理で実行する場合、３通りのソフトウェアを記述すれば良いことがわかる。

ＧＰＵメーカがライブラリを提供する場合、畳み込みと活性化関数のどの組み合わせをユーザが使用するかが不明のため、３２０通りの全てのバリエーションに対応する記述のソフトウェアを作成する必要がある。この様な膨大なバリエーションがボトルネックとなり、ライブラリの作成が困難となる可能性がある。一方、ユーザの立場で本願開示に係る実施形態を実施する場合、アプリケーションに依存して必要な組み合わせのみ処理を記述すれば良いため、図１６に従って例えば３通りのパラメータの組み合わせに絞ってソフトウェアを作成すれば良いので、ソフトウェアの記述作成に要する時間を大幅に短縮することが可能である。

（実施形態４に係るソフトウェア作成方法を実行するコンピュータ１００のハードウェア）
図１７は、実施形態４に係るソフトウェア作成方法を実行するコンピュータ１００の構成例を示すハードウェア図である。

コンピュータ１００は、バス等の内部通信線１０９を介して相互に接続されたＣＰＵをはじめとするプロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、ネットワークインタフェース１０４、入力装置１０５、及び出力装置１０６を備えるコンピュータである。

プロセッサ１０１は、コンピュータ１００全体の動作制御を司る。また主記憶装置１０２は、例えば揮発性の半導体メモリから構成され、プロセッサ１０１のワークメモリとして利用される。補助記憶装置１０３は、ハードディスク装置、ＳＳＤ（Solid State Drive）、またはフラッシュメモリ等の大容量の不揮発性の記憶装置から構成され、各種プログラムやデータを長期間保持するために利用される。

補助記憶装置１０３に格納されたソフトウェア作成プログラム１０３ａがコンピュータ１００の起動時や必要時に主記憶装置１０２にロードされ、主記憶装置１０２にロードされたソフトウェア作成プログラム１０３ａをプロセッサ１０１が実行することにより、ソフトウェア作成方法を実行するソフトウェア作成装置が実現される。

なお、ソフトウェア作成プログラム１０３ａは、非一時的記録媒体に記録され、媒体読み取り装置によって非一時的記録媒体から読み出されて、主記憶装置１０２にロードされてもよい。または、ソフトウェア作成プログラム１０３ａは、ネットワークを介して外部のコンピュータから取得されて、主記憶装置１０２にロードされてもよい。

ネットワークインタフェース１０４は、コンピュータ１００をシステム内の各ネットワークに接続する、あるいは他のコンピュータと通信するためのインタフェース装置である。ネットワークインタフェース１０４は、例えば、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等のＮＩＣ（Network Interface Card）から構成される。

入力装置１０５は、キーボードや、マウス等のポインティングデバイス等から構成され、ユーザがコンピュータ１００に各種指示や情報を入力するために利用される。出力装置１０６は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置や、スピーカ等の音声出力装置から構成され、必要時に必要な情報をユーザに提示するために利用される。

（実施形態４に係るソフトウェア作成処理）
図１８は、実施形態４に係るソフトウェア作成処理を示すフローチャートである。

先ずステップＳ１１では、コンピュータ１００は、対象のニューラルネットワークの複数のレイヤ処理のそれぞれについて畳み込み処理と活性化関数処理のパラメータの組み合わせのリストを作成する第１ステップを実行する。

次にステップＳ１２では、コンピュータ１００は、ステップＳ１１で作成したパラメータのリストの中から重複を除外したパラメータの組み合わせを選択する第２ステップを実行する。

次にステップＳ１３では、コンピュータ１００は、作成するソフトウェアが推論用か否かを判定する。コンピュータ１００は、作成するソフトウェアが推論処理用である場合（ステップＳ１３ＹＥＳ）にステップＳ１４へ処理を移し、学習処理用である場合（ステップＳ１３ＮＯ）にステップＳ１５へ処理を移す。

ステップＳ１４では、コンピュータ１００は、ステップＳ１３によって選択されたパラメータの組み合わせに対応する畳み込み処理と活性化関数処理に関して、活性化関数処理を、畳み込み処理のループ処理内で実行するプログラムを作成する第３ステップを実行する。

一方、ステップＳ１５では、コンピュータ１００は、ステップＳ１３によって選択されたパラメータの組み合わせに対応する畳み込み処理と活性化関数処理に関して、活性化関数処理を、畳み込み処理とは異なるループ処理内で実行するプログラムを作成する第４ステップを実行する。

なお、上記ステップＳ１１からＳ１５の一部または全てを人手で実行してもよい。

本実施形態によれば、ニューラルネットワーク処理のソフトウェアの作成時に、パラメータの組み合わせを絞ってソフトウェアを作成すれば良いので、ソフトウェアの作成及び動作テストに要する時間を大幅に短縮することが可能である。

（その他の実施形態）
なお、ソフトウェアの記述作成に要する時間を短縮するその他の実施形態として、ニューラルネットワーク処理が使用される用途に着目する観点もある。一般にニューラルネットワーク処理は、学習処理と推論処理という２種類の用途に用いられる。学習処理は、入力データとして既知のデータを入力し、出力データが期待される値に近付く様に重みデータの調整を行う。一方、推論処理は、入力データとして未知のデータを入力して出力データを認識結果として使用する。学習処理は通常は計算リソースの豊富なサーバで行われる場合が多く、かつ、処理時間の制約は緩い。従って、処理時間短縮の必要性は比較的少ない。

一方、推論処理は、例えば自動車などに搭載される機器で実行されるケースがあり、計算リソースが限定されているケースがある。また、自動運転などの様に認識結果を機器の制御に使用する場合には、タイムリーに機器を制御できる様にするため、処理時間の制約が比較的厳しい。従って、処理時間短縮の必要性が比較的高い。そこで、推論処理に使用するソフトウェアには本願開示に係る実施形態を適用して処理時間を短縮し、学習処理に使用するソフトウェアには本願開示に係る実施形態を適用せずに既存のソフトウェアを使用することで、ニーズを満たしつつソフトウェアの作成に要する時間を短縮することができる。

本願開示に係る実施形態では、推論の畳み込み演算のループの中で活性化処理を実行するソフトウェアの作成がユーザ負担となる場合がある一方、自動車などの車載装置といったエッジ端末での処理速度及び認識精度の両立という効果を奏する。本開示に係る実施形態では、実施形態４にて重複するパラメータの組み合わせを絞り込んで、作成するソフトウェアのアルゴリズムの数を減らすプログラム作成方法を提供することで、ソフトウェアの作成のユーザ負担を軽減することができる。

本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、または入れ替えることが可能である。

１０：情報処理装置、１００：コンピュータ

Claims (14)

1. プロセッサとメモリとを有する情報処理装置であって、
   前記プロセッサは、
   複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、
   前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、を含むニューラルネットワーク処理を実行し、
   前記活性化関数処理を、前記畳み込み処理のループ処理内で実行する
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記プロセッサは、
   前記ループ処理の中で、前記積和演算を行って前記複数の中間データのうちの１つの中間データを生成する都度、前記活性化関数処理を行って該１つの中間データを入力とする前記所定の関数の値を計算して前記複数の出力データのうちの１つの出力データを生成する
   ことを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記畳み込み処理は、前記積和演算の結果にバイアス値を加算するバイアス値加算処理を含み、
   前記バイアス値加算処理を、前記活性化関数処理と同一のループ処理内で実行する
   ことを特徴とする情報処理装置。
4. プロセッサとメモリとを有する情報処理装置であって、
   前記プロセッサは、
   複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、
   前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、を含むニューラルネットワーク処理を実行し、
   前記畳み込み処理は、前記積和演算の結果にバイアス値を加算するバイアス値加算処理を含み、
   前記プロセッサは、
   前記バイアス値加算処理を、前記活性化関数処理と同一のループ処理内で実行し、
   前記バイアス値加算処理及び前記活性化関数処理を、前記畳み込み処理とは異なるループ処理内で実行する
   ことを特徴とする情報処理装置。
5. 請求項１～４の何れか１項に記載の情報処理装置であって、
   前記複数の入力データは、複数の範囲に対応する複数の画像データであり、
   前記出力データは、前記複数の画像データに対する画像認識の処理結果である
   ことを特徴とする情報処理装置。
6. プロセッサとメモリとを有する情報処理装置が実行する情報処理方法であって、
   前記プロセッサが、複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理ステップと、
   前記プロセッサが、前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理ステップと、
   を含むニューラルネットワーク処理ステップを有し、
   前記プロセッサが、前記活性化関数処理ステップを、前記畳み込み処理ステップのループ処理内で実行する
   ことを特徴とする情報処理方法。
7. プロセッサとメモリとを有する情報処理装置が実行する情報処理方法であって、
   前記プロセッサが、複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理ステップと、
   前記プロセッサが、前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理ステップと、
   を含むニューラルネットワーク処理ステップを有し、
   前記畳み込み処理ステップは、前記プロセッサが、前記積和演算の結果にバイアス値を加算するバイアス値加算処理ステップを含み、
   前記プロセッサが、
   前記バイアス値加算処理ステップを、前記活性化関数処理ステップと同一のループ処理内で実行し、
   前記バイアス値加算処理ステップ及び前記活性化関数処理ステップを、前記畳み込み処理ステップとは異なるループ処理内で実行する
   ことを特徴とする情報処理方法。
8. プロセッサとメモリとを有するコンピュータに、
   複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理手順と、
   前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理手順と、
   を含むニューラルネットワーク処理手順を実行させ、
   前記活性化関数処理手順を、前記畳み込み処理手順のループ処理内で実行させる
   ことを特徴とする情報処理プログラム。
9. プロセッサとメモリとを有するコンピュータに、
   複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理手順と、
   前記複数の中間データを入力とする所定の関数の値を計算して複数の出力データを生成する活性化関数処理手順と、
   を含むニューラルネットワーク処理手順を実行させ、
   前記畳み込み処理手順は、前記積和演算の結果にバイアス値を加算するバイアス値加算処理手順を含み、
   前記プロセッサに、
   前記バイアス値加算処理手順を、前記活性化関数処理手順と同一のループ処理内で実行させ、
   前記バイアス値加算処理手順及び前記活性化関数処理手順を、前記畳み込み処理手順とは異なるループ処理内で実行させる
   ことを特徴とする情報処理プログラム。
10. 複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、前記複数の中間データを入力として所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、をそれぞれ含む複数のレイヤ処理を組み合わせて前記入力データの認識処理を行うニューラルネットワーク処理を情報処理装置に実行させるソフトウェアを作成するソフトウェア作成装置であって、
    各前記レイヤ処理の前記畳み込み処理と前記活性化関数処理のパラメータの組み合わせのリストを作成する第１処理部と、
    前記リストの中から重複を除外したパラメータの組み合わせを選択する第２処理部と、
    前記第２処理部によって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理のループ処理内で実行するソフトウェアを作成する第３処理部と
    を有することを特徴とするソフトウェア作成装置。
11. 請求項１０に記載のソフトウェア作成装置であって、
    前記第３処理部は、
    前記複数の入力データとして未知のデータを入力して前記複数の出力データを認識結果として使用する推論処理のソフトウェアの作成時には、前記第２処理部によって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理のループ処理内で実行するソフトウェアを作成し、
    前記複数の入力データとして既知のデータを入力し、前記複数の出力データが期待される値に近付く様に前記複数の重みデータの調整を行う学習処理のソフトウェアの作成時には、前記第２処理部によって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理とは異なるループ処理内で実行するソフトウェアを作成する
    ことを特徴とするソフトウェア作成装置。
12. プロセッサとメモリとを有するコンピュータが、複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、前記複数の中間データを入力として所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、をそれぞれ含む複数のレイヤ処理を組み合わせて前記入力データの認識処理を行うニューラルネットワーク処理を情報処理装置に実行させるソフトウェアを作成するソフトウェア作成方法であって、
    前記コンピュータが、各前記レイヤ処理の前記畳み込み処理と前記活性化関数処理のパラメータの組み合わせのリストを作成する第１ステップと、
    前記コンピュータが、前記リストの中から重複を除外したパラメータの組み合わせを選択する第２ステップと、
    前記コンピュータが、前記第２ステップによって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理のループ処理内で実行するソフトウェアを作成する第３ステップと
    を有することを特徴とするソフトウェア作成方法。
13. プロセッサとメモリとを有するコンピュータに、
    複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、前記複数の中間データを入力として所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、をそれぞれ含む複数のレイヤ処理を組み合わせて前記入力データの認識処理を行うニューラルネットワーク処理を情報処理装置に実行させるソフトウェアを作成させるためのソフトウェア作成プログラムであって、
    前記コンピュータに、
    各前記レイヤ処理の前記畳み込み処理と前記活性化関数処理のパラメータの組み合わせのリストを作成する第１手順と、
    前記リストの中から重複を除外したパラメータの組み合わせを選択する第２手順と、
    前記第２手順によって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理のループ処理内で実行するソフトウェアを作成する第３手順と
    を実行させることを特徴とするソフトウェア作成プログラム。
14. 複数の入力データと複数の重みデータの間の積和演算を行って複数の中間データを生成する畳み込み処理と、前記複数の中間データを入力として所定の関数の値を計算して複数の出力データを生成する活性化関数処理と、をそれぞれ含む複数のレイヤ処理を組み合わせて前記入力データの認識処理を行うニューラルネットワーク処理を情報処理装置に実行させるソフトウェアを作成するソフトウェア作成方法であって、
    各前記レイヤ処理の前記畳み込み処理と前記活性化関数処理のパラメータの組み合わせのリストを作成する第１ステップと、
    前記リストの中から重複を除外したパラメータの組み合わせを選択する第２ステップと、
    前記第２ステップによって選択された前記パラメータの組み合わせに対応する前記畳み込み処理と前記活性化関数処理に関して、該活性化関数処理を、該畳み込み処理のループ処理内で実行するソフトウェアを作成する第３ステップと
    を有することを特徴とするソフトウェア作成方法。
    

Images