JP2022134138A

JP2022134138A - データ処理装置、データ処理システムおよびデータ処理方法

Info

Publication number: JP2022134138A
Application number: JP2022099475A
Authority: JP
Inventors: 彰峯澤; Akira Minesawa; 和夫杉本; Kazuo Sugimoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-02-28
Filing date: 2022-06-21
Publication date: 2022-09-14
Anticipated expiration: 2039-02-28
Also published as: JP7313515B2

Abstract

【課題】ニューラルネットワークに関する情報を符号化する処理負荷を低減し、伝送されるデータサイズを削減するデータ処理装置、データ処理システム及びデータ処理方法を提供する。【解決手段】データ処理装置は、ニューラルネットワークを学習するデータ処理部１０と、ニューラルネットワークのモデルを識別するとともにニューラルネットワークのレイヤごとの構成を示すモデルヘッダ情報と、レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成する符号化部１１と、を備える。エッジの重み情報は、モデルのエッジの重みとヘッダ情報が参照する元のモデルのエッジの重みとの差分とする。【選択図】図３

Description

本開示は、ニューラルネットワークの構成に関する情報が符号化された符号化データを生成するデータ処理装置、データ処理システムおよびデータ処理方法に関する。

入力データの分類（識別）問題および回帰問題を解決する方法として機械学習がある。機械学習には、脳の神経回路（ニューロン）を模擬したニューラルネットワークという手法がある。ニューラルネットワーク（以下、ＮＮと記載する）では、ニューロンが相互に結合されたネットワークによって表現された確率モデル（識別モデル、生成モデル）によって、入力データの分類（識別）または回帰が行われる。

また、ＮＮは、大量のデータを用いた学習によってＮＮのパラメータを最適化することで、高性能化することができる。ただし、近年のＮＮは大規模化しており、ＮＮのデータサイズが大容量化の傾向にあり、ＮＮを用いたコンピュータの計算負荷も増加している。

例えば、非特許文献１には、ＮＮの構成を示す情報であるエッジの重みを、スカラ量子化した上で符号化する技術が記載されている。エッジの重みをスカラ量子化した上で符号化することで、エッジに関するデータのデータサイズが圧縮される。

ＶｉｎｃｅｎｔＶａｎｈｏｕｃｋｅ，ＡｎｄｒｅｗＳｅｎｉｏｒ，ＭａｒｋＺ．Ｍａｏ， " ＩｍｐｒｏｖｉｎｇｔｈｅｓｐｅｅｄｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓｏｎＣＰＵｓ "，Ｐｒｏｃ．ＤｅｅｐＬｅａｒｎｉｎｇａｎｄＵｎｓｕｐｅｒｖｉｓｅｄＦｅａｔｕｒｅＬｅａｒｎｉｎｇＮＩＰＳＷｏｒｋｓｈｏｐ，２０１１．

データ伝送ネットワークを介して、多数のクライアントがサーバと繋がったシステムにおいて、多数のクライアントのそれぞれが、サーバで学習されたＮＮを用いてデータ処理を行う場合、ＮＮのモデルとパラメータのデータサイズおよび適切な性能を示す値は、個々のクライアントの処理性能、記憶容量およびサーバとの間のデータ伝送ネットワークの伝送帯域によって異なる。このため、ＮＮのモデルおよびパラメータを、非特許文献１に記載された技術を用いて符号化しても、多数のクライアントのそれぞれに適したデータサイズに圧縮する必要があり、符号化の処理負荷が高くなるという課題があった。また、クライアントの数が膨大であると、個々のクライアントへ伝送されるデータが圧縮されても、全てのクライアントへ伝送するデータサイズは膨大になるという課題もある。

本開示は上記課題を解決するものであって、ＮＮに関する情報を符号化する処理負荷が低減され、伝送されるデータサイズを削減することができるデータ処理装置、データ処理システムおよびデータ処理方法を得ることを目的とする。

本開示に係るデータ処理装置は、ＮＮを学習するデータ処理部と、ＮＮのモデルを識別するモデルヘッダ情報と、ＮＮのレイヤを識別するとともに当該ＮＮのレイヤごとの構成を示すレイヤヘッダ情報と、レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成する符号化部と、を備え、エッジの重み情報は、当該モデルのエッジの重みとヘッダ情報が参照する元のモデルのエッジの重みとの差分とする。

本開示によれば、符号化部が、ＮＮのモデルを識別するモデルヘッダ情報と、ＮＮのレイヤを識別するとともに当該ＮＮのレイヤごとの構成を示すレイヤヘッダ情報と、レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成する。エッジの重み情報は、モデルのエッジの重みと、ヘッダ情報が参照する元のモデルのエッジの重みとの差分とする。符号化部は、ＮＮにおいて復号側で必要なレイヤに関する情報を符号化することができるので、ＮＮに関する情報を符号化する処理負荷が低減され、伝送されるデータサイズを削減することができる。

実施の形態１に係るデータ処理システムの構成を示すブロック図である。ＮＮの構成例を示す図である。実施の形態１に係るデータ処理装置（エンコーダ）の構成を示すブロック図である。実施の形態１に係るデータ処理装置（デコーダ）の構成を示すブロック図である。実施の形態１に係るデータ処理装置（エンコーダ）の動作を示すフローチャートである。実施の形態１に係るデータ処理装置（デコーダ）の動作を示すフローチャートである。実施の形態１における符号化データの例を示す図である。実施の形態１における符号化データの別の例を示す図である。実施の形態１における１次元データの畳み込み処理の例を示す図である。実施の形態１における２次元データの畳み込み処理の例を示す図である。ＮＮのｌ層目のレイヤにおけるノードごとのエッジの重み情報のマトリクスを示す図である。ＮＮのｌ層目のレイヤにおけるノードごとのエッジの重み情報の量子化ステップのマトリクスを示す図である。畳み込み層におけるエッジの重み情報のマトリクスを示す図である。畳み込み層におけるエッジの重み情報の量子化ステップのマトリクスを示す図である。図１５Ａは、実施の形態１に係るデータ処理装置の機能を実現するハードウェア構成を示すブロック図である。図１５Ｂは、実施の形態１に係るデータ処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。実施の形態２に係るデータ処理装置（エンコーダ）の構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係るデータ処理システムの構成を示すブロック図である。図１に示すデータ処理システムにおいて、サーバ１は、データ伝送ネットワーク２を介して、クライアント３－１，３－２，・・・，３－Ｎと繋がっている。Ｎは、２以上の自然数である。サーバ１は、大量のデータを用いた学習によってＮＮ（ニューラルネットワーク）のパラメータを最適化して、高性能なＮＮを生成するデータ処理装置であり、図１に示すデータ処理システムが備える第１のデータ処理装置である。

データ伝送ネットワーク２は、サーバ１とクライアント３－１，３－２，・・・，３－Ｎとの間でやり取りされるデータが伝送されるネットワークであり、インターネットまたはイントラネットである。例えば、データ伝送ネットワーク２には、ＮＮを生成するための情報が、サーバ１からクライアント３－１，３－２，・・・，３－Ｎへ送信される。

クライアント３－１，３－２，・・・，３－Ｎは、サーバ１によって学習されたＮＮを生成し、生成されたＮＮを用いたデータ処理を行う機器である。例えば、クライアント３－１，３－２，・・・，３－Ｎは、パーソナルコンピュータ（ＰＣ）、カメラ、またはロボットといった、通信機能およびデータ処理機能を有した機器である。クライアント３－１，３－２，・・・，３－Ｎのそれぞれは、図１に示すデータ処理システムが備える第２のデータ処理装置である。

図１に示すデータ処理システムにおいて、クライアント３－１，３－２，・・・，３－Ｎのそれぞれは、ＮＮのモデルおよびパラメータのデータサイズおよび適切な性能を示す値が異なる。このため、非特許文献１に記載された技術を用いてＮＮのモデルおよびパラメータを符号化しても、クライアント３－１，３－２，・・・，３－Ｎのそれぞれに適したデータサイズに圧縮する必要があり、符号化の処理負荷が高くなる。

そこで、実施の形態１に係るデータ処理システムでは、サーバ１が、ＮＮのモデルを識別するモデルヘッダ情報と、ＮＮのレイヤを識別するレイヤヘッダ情報と、レイヤ単位のエッジの重み情報とが符号化された符号化データを生成し、データ伝送ネットワーク２を介してクライアント３－１，３－２，・・・，３－Ｎに送信する。クライアント３－１，３－２，・・・，３－Ｎのそれぞれは、データ伝送ネットワーク２を介してサーバ１から伝送された符号化データのうち、必要なレイヤに関する情報のみを復号することが可能である。これにより、サーバ１における符号化の処理負荷が低減され、サーバ１からデータ伝送ネットワーク２へ伝送されるデータサイズを削減することができる。

ここで、ＮＮの構成について説明する。
図２は、ＮＮの構成例を示す図である。図２に示すように、入力データ（ｘ_１，ｘ_２，・・・，ｘ_Ｎ１）は、ＮＮが有するそれぞれの層で処理され、処理結果（ｙ_１，・・・，ｙ_ＮＬ）が出力される。Ｎ_ｌ（ｌ＝１，２，・・・，Ｌ）は、ｌ層目のレイヤのノード数を示しており、Ｌは、ＮＮのレイヤ数を示している。ＮＮは、図２に示すように、入力層、隠れ層および出力層を有しており、これらの層のそれぞれには、複数のノードがエッジで繋がれた構造になっている。複数のノードのそれぞれの出力値は、エッジによって繋がれた前の層のノードの出力値と、エッジの重み情報および層ごとに設定された活性化関数とから算出することができる。

ＮＮには、例えば、全結合層（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）だけでなく、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ）とプーリング層（Ｐｏｏｌｉｎｇｌａｙｅｒ）とを有する畳み込みＮＮ（ＣＮＮ；ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）がある。ＣＮＮでは、データのフィルタ処理を実現するネットワークなど、分類および回帰以外のデータ処理を実現するネットワークが生成可能である。

例えば、画像または音声を入力として、入力信号のノイズ除去または高品質化を実現する画像または音声のフィルタ処理、圧縮音声の高域が失われた音声の高域復元処理、一部の画像領域が欠損した画像の復元処理（ｉｎｐａｉｎｔｉｎｇ）、あるいは画像の超解像処理がＣＮＮで実現可能である。ＣＮＮでは、生成モデルによって生成されたデータであるか否かを判定する識別モデルを用いてデータの真贋を判定する、生成モデルと識別モデルを組み合わせたＮＮを構築することもできる。

近年では、生成モデルが、識別モデルによって真のデータでないと見破られるデータを生成しないように、識別モデルが、生成モデルによって生成されたデータを真のデータでないと見破れるように敵対的に学習された敵対的生成ネットワーク（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）という新しいＮＮも提案されている。このＮＮでは、高精度な生成モデルおよび識別モデルを生成することが可能である。

図３は、実施の形態１に係るデータ処理装置（エンコーダ）の構成を示すブロック図である。図３に示すデータ処理装置は、学習用データセットと評価用データセットを用いてＮＮを学習し、ＮＮの構成を示すモデル情報（以下、モデル情報と記載する）の符号化データを生成する第１のデータ処理装置であり、例えば、図１に示したサーバ１である。

図３に示すデータ処理装置は、データ処理部１０および符号化部１１を備える。データ処理部１０は、ＮＮを学習する第１のデータ処理部であり、学習部１０１、評価部１０２および制御部１０３を備える。符号化部１１は、学習部１０１によって学習されたＮＮのモデルを識別するモデルヘッダ情報、ＮＮのレイヤを識別するレイヤヘッダ情報、およびレイヤ単位のエッジの重み情報が符号化された符号化データを生成する。

学習部１０１は、学習用データセットを用いてＮＮの学習処理を実施し、学習したＮＮのモデル情報を生成する。モデル情報は、学習部１０１から評価部１０２に出力される。さらに、学習部１０１は、後述する制御部１０３によって制御された符号化用モデル情報を持ち、制御部１０３によって学習完了指示を受けた場合に符号化用モデル情報を符号化部１１に出力する。評価部１０２は、モデル情報を用いてＮＮを生成し、生成されたＮＮを用いて、評価用データセットから推論処理を実施する。推論処理の結果として得られた評価指標の値が評価結果であり、評価結果は、評価部１０２から、制御部１０３に出力される。評価指標は、評価部１０２に予め設定されており、例えば、推論精度または損失関数の出力値である。

制御部１０３は、評価部１０２によって評価結果として得られた評価値から、学習部１０１によって学習されたＮＮのモデルの更新の有無と、学習部１０１によるＮＮの学習の完了可否とを判定し、判定結果に応じて学習部１０１を制御する。例えば、制御部１０３は、評価値をモデル更新判定基準と比較して、この比較結果に基づいて当該モデル情報を符号化用モデル情報として更新するか否かを判定する。また、制御部１０３は、評価値を学習完了判定基準と比較して、この比較結果に基づいて学習部１０１によるＮＮの学習を完了するか否かを判定する。なお、これらの判定基準は、評価値の履歴から決定される。

図４は、実施の形態１に係るデータ処理装置（デコーダ）の構成を示すブロック図である。図４に示すデータ処理装置は、図３に示した符号化部１１によって生成された符号化データを復号してＮＮを生成し、生成されたＮＮを用いて１以上の評価用データを推論処理する第２のデータ処理装置であり、例えば、図１に示したクライアント３－１，３－２，・・・，３－Ｎである。

図４に示すデータ処理装置は、復号部２０１および推論部２０２を備えている。復号部２０１は、符号化部１１によって生成された符号化データから、モデル情報を復号する。例えば、復号部２０１は、図４に示すデータ処理装置において必要な情報のみを、符号化データから復号することができる。

推論部２０２は、復号部２０１によって復号されたモデル情報を用いてＮＮを生成し、生成されたＮＮを用いたデータ処理を実施する第２のデータ処理部である。例えば、データ処理は、ＮＮを用いた評価用データに対する推論処理である。推論部２０２は、ＮＮを用いて評価用データに対する推論処理を実施し、推論結果を出力する。

次に、実施の形態１に係るデータ処理システムの動作について説明する。
図５は、実施の形態１に係るデータ処理装置（エンコーダ）の動作を示すフローチャートであり、図３に示したデータ処理装置によるデータ処理方法を示している。
学習部１０１がＮＮを学習する（ステップＳＴ１）。例えば、学習部１０１は、学習用データセットを用いてＮＮの学習を実施し、この学習によって得られたモデル情報を評価部１０２に出力する。

モデル情報は、ＮＮのモデルの構成を示す情報であり、レイヤごとの構造を示すレイヤ構造情報と、レイヤに属する各エッジの重み情報とを含んで構成される。レイヤ構造情報には、レイヤ種別情報、レイヤ種別に関わる構成情報、およびエッジの重み以外でレイヤを構成するために必要な情報が含まれている。エッジの重み以外でレイヤを構成するために必要な情報には、例えば、活性化関数がある。レイヤ種別情報は、レイヤの種別を示す情報であり、レイヤ種別情報を参照することで、畳み込み層、プーリング層または全結合層といったレイヤの種別を識別することが可能である。

レイヤ種別に関わる構成情報は、レイヤ種別情報に対応する種別のレイヤの構成を示す情報である。例えば、レイヤ種別情報に対応するレイヤの種別が畳み込み層である場合、レイヤ種別に関わる構成情報には、畳み込みを行うフィルタ（カーネル）のデータサイズと形状（フィルタ係数の数を含む）、当該フィルタの数、畳み込み間隔（ストライド）、入力信号の境界に対するパディングの有無、および、パディング有りの場合はパディングの方法がある。また、レイヤ種別情報に対応するレイヤの種別がプーリング層である場合、レイヤ種別に関わる構成情報には、最大プーリングまたは平均プーリングといったプーリング方法、プーリング処理を行うカーネルの形状、プーリング間隔（ストライド）、入力信号の境界に対するパディングの有無、および、パディング有りの場合はパディングの方法がある。

各エッジの重みを示す情報には、全結合層のように各エッジで独立に重みが設定される場合がある。一方、畳み込み層のように、エッジの重みが畳み込みフィルタ（カーネル）単位で共通する、すなわち、一つのフィルタでエッジの重みが共通する場合もある。

評価部１０２がＮＮを評価する（ステップＳＴ２）。例えば、評価部１０２は、学習部１０１によって生成されたモデル情報を用いてＮＮを生成し、生成されたＮＮを用いて、評価用データセットから推論処理を実施する。評価結果は、評価部１０２から制御部１０３に出力される。評価結果は、例えば、推論精度または損失関数の出力値である。

次に、制御部１０３が、モデル情報を更新するか否かを判定する（ステップＳＴ３）。例えば、制御部１０３は、評価部１０２によって生成された評価値がモデル更新判定基準を満たさない場合、学習部１０１が持つ符号化用モデル情報を更新しないと判定し、評価値がモデル更新判定基準を満たす場合、上記符号化用モデル情報を更新すると判定する。

モデル更新判定基準の一例としては、評価値が損失関数の出力値である場合、学習開始時からの学習履歴における評価値の最小値よりも今回の学習による評価値が小さいこと、がある。他の一例としては、評価値が推論精度である場合、学習開始時からの学習履歴における評価値の最大値よりも今回の学習の評価値が大きいこと、がある。

また、学習履歴の切り替え単位も任意としてもよい。例えば、後述するモデルインデックスごとに学習履歴を持つとする。この場合、当該モデルが後述する参照モデルインデックスを持たない場合は学習履歴なしとして学習を開始する。すなわち、１回目のステップＳＴ３では、必ずモデル情報を更新することになる。一方、当該モデルが参照モデルインデックスを持つ場合は、当該参照モデルインデックスが指し示すモデルの学習履歴（履歴Ａ）を参照する。これによって、当該モデルの学習時に参照モデルインデックスが指し示すモデルより評価値が悪い（推論精度が低い、損失関数の値が大きい、など）モデルに更新されてしまうことを防ぐことが可能となる。このとき、当該モデルのモデルインデックスと参照モデルインデックスが同一である場合、当該モデルの学習を実施する度に参照モデルインデックスに対応する学習履歴（履歴Ａ）が更新されていくことになる。一方、当該モデルのモデルインデックスと参照モデルインデックスが異なる場合は、参照モデルインデックスに対応する学習履歴（履歴Ａ）を当該モデルのモデルインデックスの学習履歴（履歴Ｂ）の初期値としてコピーした上で、当該モデルの学習を実施する度に当該モデルの学習履歴（履歴Ｂ）が更新されていくことになる。

制御部１０３によってモデル情報を更新すると判定された場合（ステップＳＴ３；ＹＥＳ）、学習部１０１は、符号化用モデル情報を当該モデル情報に更新する（ステップＳＴ４）。例えば、制御部１０３は、モデル情報の更新があることを示すモデル更新指示情報を生成し、モデル更新指示情報を含んだ学習制御情報を学習部１０１に出力する。学習部１０１は、学習制御情報に含まれるモデル更新指示情報に従い、符号化用モデル情報を当該モデル情報に更新する。

一方、モデル情報を更新しないと判定した場合（ステップＳＴ３；ＮＯ）、制御部１０３は、モデル情報の更新がないことを示すモデル更新指示情報を生成し、モデル更新指示情報を含んだ学習制御情報を学習部１０１に出力する。学習部１０１は、学習制御情報に含まれるモデル更新指示情報に従って符号化用モデル情報を更新しない。

次に、制御部１０３は、評価値を学習完了判定基準と比較し、この比較結果に基づいて学習部１０１によるＮＮの学習を完了するか否かを判定する（ステップＳＴ５）。例えば、学習完了判定基準が評価部１０２によって生成された評価値が特定の値に達したか否かとする場合、制御部１０３は、評価部１０２によって生成された評価値が学習完了判定基準を満たした場合、学習部１０１によるＮＮの学習が完了したと判定し、評価値が学習完了判定基準を満たしていない場合、学習部１０１によるＮＮの学習が完了していないと判定する。あるいは、例えば、連続でＭ回（Ｍは１以上の予め定められた整数）、モデル情報の更新なし（ステップＳＴ３；ＮＯ）が選択されると、学習完了と判定するなどの、学習完了判定基準が直近の学習履歴に基づくものとする場合、制御部１０３は、学習履歴が学習完了判定基準を満たしていない場合、学習部１０１によるＮＮの学習が完了していないと判定する。

制御部１０３によってＮＮの学習が完了したと判定された場合（ステップＳＴ５；ＹＥＳ）、学習部１０１が符号化用モデル情報を符号化部１１に出力するとともに、ステップＳＴ６の処理に移行する。一方、制御部１０３によってＮＮの学習が完了していないと判定された場合（ステップＳＴ５；ＮＯ）、ステップＳＴ１の処理に戻る。

符号化部１１は、学習部１０１から入力された符号化用モデル情報を符号化する（ステップＳＴ６）。符号化部１１は、学習部１０１によって生成された符号化用モデル情報をＮＮのレイヤ単位で符号化し、ヘッダ情報とレイヤ単位の符号化データとから構成された符号化データを生成する。

図６は、実施の形態１に係るデータ処理装置（デコーダ）の動作を示すフローチャートであり、図４に示したデータ処理装置の動作を示している。
復号部２０１は、符号化部１１によって符号化された符号化データから、モデル情報を復号する（ステップＳＴ１１）。次に、推論部２０２は、復号部２０１によって復号されたモデル情報から、ＮＮを生成する（ステップＳＴ１２）。推論部２０２は、生成されたＮＮを用いて、評価用データに対する推論処理を実施し、推論結果を出力する（ステップＳＴ１３）。

次に、図５のステップＳＴ６における符号化部１１によるモデル情報の符号化について詳細に説明する。
符号化部１１によるモデル情報の符号化には、例えば（１）または（２）の符号化方法を用いることができる。
（１）モデル情報に含まれる各情報を構成するパラメータが、パラメータに定義されているビット精度で記述されたビット列そのものが、ヘッダ情報が存在する場合はヘッダ情報を含めて予め設定された順序で並べられたデータを符号化データとする。ビット精度は、例えば、ｉｎｔ型８ビットあるいはｆｌｏａｔ型３２ビットといった、パラメータに定義されているビット精度である。
（２）モデル情報に含まれる各情報を構成するパラメータが、パラメータごとに設定された可変長符号化方法によって符号化されたビット列そのものが、ヘッダ情報を含めて予め設定された順序で並べられたデータを符号化データとする。

図７は、実施の形態１における符号化データの例を示す図であり、上記（１）または（２）の符号化データは、図７に示す順序で並べてもよい。図７に示す符号化データは、データユニットと呼ぶデータの集まりから構成され、データユニットには、非レイヤデータユニットとレイヤデータユニットがある。レイヤデータユニットは、レイヤ単位の符号化データであるレイヤデータが格納されるデータユニットである。

レイヤデータユニットは、スタートコード、データユニットタイプ、レイヤ情報ヘッダおよび重みデータから構成される。レイヤ情報ヘッダは、ＮＮのレイヤを識別するレイヤヘッダ情報が符号化されたものである。重みデータは、レイヤ情報ヘッダが示すレイヤに属するエッジの重み情報が符号化されたものである。なお、図７に示す符号化データにおいて、各レイヤデータユニットの並び順は必ずしもＮＮの各層の並び順と同じでなくてもよく、任意である。これは、後述するレイヤインデックスによって、各レイヤデータユニットがＮＮのどの位置のレイヤであるかを識別可能であるからである。

非レイヤデータユニットは、レイヤデータ以外のデータが格納されるデータユニットである。例えば、非レイヤデータユニットには、スタートコード、データユニットタイプ、およびモデル情報ヘッダが格納されている。モデル情報ヘッダは、ＮＮのモデルを識別するモデルヘッダ情報が符号化されたものである。

スタートコードは、データユニットの先頭位置に格納され、データユニットの先頭位置を識別するためのコードである。クライアント３－１，３－２，・・・，３－Ｎ（以下、復号側と記載する）は、スタートコードを参照することにより、非レイヤデータユニットまたはレイヤデータユニットの先頭位置を特定することが可能である。例えば、スタートコードとして０ｘ０００００１が定義された場合、データユニットに格納されたスタートコード以外のデータは、０ｘ０００００１が発生しないように設定される。これにより、スタートコードからデータユニットの先頭位置を特定することができる。

０ｘ０００００１が発生しないように設定するためには、例えば、０ｘ００００００～０ｘ０００００３の符号化データにおける３バイト目に０３を挿入して０ｘ０００３００～０ｘ０００３０３とし、復号するときに、０ｘ０００００３を０ｘ００００と変換することにより、元に戻すことができる。なお、スタートコードは、一意に識別可能なビット列であれば、０ｘ０００００１以外のビット列をスタートコードとして定義してもよい。また、データユニットの先頭位置を識別可能な方法であれば、スタートコードを用いなくてもよい。例えば、データユニットの終端であることを識別可能なビット列をデータユニットの終端に付けてもよい。あるいは、非レイヤデータユニットの先頭のみスタートコードを付けることとし、モデル情報ヘッダの一部として、各レイヤデータユニットのデータサイズを符号化するようにしてもよい。このようにすることで、上記情報から各レイヤデータユニットの区切り位置を識別することが可能である。

データユニットタイプは、データユニットにおいてスタートコードの次に格納されて、データユニットの種類を識別するためのデータである。データユニットタイプは、データユニットの種類ごとに予め値が定義されている。復号側は、データユニットに格納されたデータユニットタイプを参照することで、データユニットが、非レイヤデータユニットであるのか、レイヤデータユニットであるのかを識別でき、さらに、どのような非レイヤデータユニットまたはレイヤデータユニットであるのかを識別することが可能である。

非レイヤデータユニットにおけるモデル情報ヘッダには、モデルインデックス、モデル内レイヤデータユニット数および符号化レイヤデータユニット数が含まれる。モデルインデックスは、ＮＮのモデルを識別するためのインデックスである。従って、基本的には個々のモデルにおいて互いに独立したインデックスを持つが、もし実施の形態１に係るデータ処理装置（デコーダ）が過去に受信したモデルと同一のモデルインデックスを持つモデルを新たに受信した場合、当該モデルインデックスを持つモデルが上書きされることになる。モデル内レイヤデータユニット数は、モデルインデックスで識別されるモデルを構成するレイヤデータユニットの数である。符号化レイヤデータユニット数は、符号化データの中に、実際に存在するレイヤデータユニットの数である。図７の例では、レイヤデータユニット（１）～（ｎ）が存在することから、符号化レイヤデータユニット数はｎである。なお、符号化レイヤデータユニット数は、必ず、モデル内レイヤデータユニット数以下になる。

レイヤデータユニットにおけるレイヤ情報ヘッダには、レイヤインデックスおよびレイヤ構造情報が含まれる。レイヤインデックスは、レイヤを識別するためのインデックスである。レイヤインデックスによってどの層のレイヤか識別できるように、レイヤインデックスの値の振り方は予め固定的に定義される。例えば、ＮＮの入力層をインデックス０、次の層をインデックス１というように、入力層に近い層から順にインデックスを振る、などである。レイヤ構造情報は、ＮＮのレイヤごとの構成を示す情報であり、前述したように、レイヤ種別情報、レイヤ種別に関わる構成情報、およびエッジの重み以外にレイヤを構成するために必要な情報を含んでいる。

なお、これまでレイヤ構造情報を含むレイヤ情報ヘッダを示したが、モデル情報ヘッダが、符号化データに含まれる全てのレイヤ構造情報と本レイヤ構造情報に対応するレイヤインデックスを含んでもよい。復号側は、モデル情報ヘッダを参照することで、各レイヤインデックスのレイヤの構成を特定することができる。
さらに、上記の場合は、モデル情報ヘッダを参照することで、各レイヤインデックスのレイヤの構成を特定することができるため、レイヤ情報ヘッダは、レイヤインデックスのみを持つようにしてもよい。このようにすることで、レイヤデータユニットのデータサイズが非レイヤデータユニットのデータサイズよりも大きい場合、各レイヤデータユニットのデータサイズを小さくすることができ、符号化データ内のデータユニットの最大データサイズを小さくすることができる。

レイヤデータユニットにおいて、レイヤ情報ヘッダの次に、レイヤ単位に符号化された重みデータが格納されている。重みデータは、非零フラグおよび非零重みデータを含んでいる。非零フラグは、エッジの重みの値が零か否かを示すフラグであり、対応するレイヤに属する全てのエッジの重みについての非零フラグが設定される。

非零重みデータは、重みデータにおいて非零フラグに続いて設定されるデータであり、非零フラグが非零（有意）を示す重みについて、その重みの値が設定されたものである。図７において、それぞれが非零の重みの値を示す重みデータ（１）～重みデータ（ｍ）が非零重みデータとして設定されている。非零の重みデータ数ｍは、対応するレイヤｌの全ての重みの数Ｍ_ｌ以下である。なお、重みの値が非零のエッジが疎であるレイヤに関する重みデータは、非零重みデータが少なく、ほぼ非零フラグのみとなるため、重みデータのデータサイズが大きく削減される。

図８は、実施の形態１における符号化データの別の例を示す図であり、上記（１）または（２）の符号化データは図８に示す順序で並べてもよい。図８に示す符号化データは、重みデータのデータ構成が図７と異なっており、非零重みデータには、対応するレイヤに属する全てのエッジの重みが上位ビットから順にビットプレーンごとにまとめて並べられている。さらに、レイヤ情報ヘッダには、エッジの重みを示す各ビットの先頭位置を示すビットプレーンデータ位置識別情報が設定されている。

例えば、エッジの重みに定義されたビット精度がＸであると、対応するレイヤに属する全てのエッジの重みは、ビット精度Ｘでそれぞれ記述される。符号化部１１は、これらの重みのビット列のうち、１ビット目の非零重みデータである、１ビット目の重みデータ（１），１ビット目の重みデータ（２），・・・，１ビット目の重みデータ（ｍ）を、１ビット目の各非零重みデータに設定する。この処理は、２ビット目の非零重みデータからＸビット目の非零重みデータまで繰り返される。なお、１ビット目の重みデータ（１），１ビット目の重みデータ（２），・・・，１ビット目の重みデータ（ｍ）は、１ビット目のビットプレーンを構成する非零の重みデータである。

復号側は、ビットプレーンデータ位置識別情報に基づいて、レイヤ単位の符号化データのうち、必要な符号化データを特定し、特定された符号化データを任意のビット精度で復号することができる。すなわち、復号側は、符号化データから必要な符号化データのみを選別でき、復号側の環境に応じたＮＮのモデル情報を復号することが可能である。なお、ビットプレーンデータ位置識別情報は、ビットプレーンデータ間の区切り位置を識別可能な情報であればよく、各ビットプレーンデータの先頭位置を示す情報であってもよいし、各ビットプレーンデータのデータサイズを示す情報であってもよい。

ＮＮの構成を示す全ての符号化データを復号側へ伝送するためには、データ伝送ネットワーク２の伝送帯域が十分でない場合、符号化部１１が、当該符号化データのうち、データ伝送ネットワーク２の伝送帯域に応じて伝送する非零重みデータを制限してもよい。
例えば、３２ビット精度で記述された重み情報のビット列のうち、上位８ビットの非零重みデータを伝送対象とする。復号側は、この非零重みデータの次に並ぶスタートコードから、符号化データにおいて、８ビット目の非零重みデータの後に次のレイヤに対応するレイヤデータユニットが並んでいることを認識できる。また、復号側は、重みデータにおける非零フラグを参照することで、値が零の重みを正しく復号することができる。

復号側で任意のビット精度で重みデータが復号されたときに、そのビット精度での推論精度を改善するため、符号化部１１は、各ビット精度で復号されたときの重みに加算するオフセットをレイヤ情報ヘッダに含めてもよい。例えば、符号化部１１は、ビット精度で記述された重みのビット列に対してレイヤ単位に一様なオフセットを加算し、最も高精度になるオフセットを求めて、求められたオフセットを、レイヤ情報ヘッダに含めて符号化する。

また、符号化部１１は、ＮＮが備える全てのレイヤにおけるエッジの重みのオフセットをモデル情報ヘッダに含めて符号化してもよい。さらに、符号化部１１は、オフセットを含むか否かを示すフラグをレイヤ情報ヘッダまたはモデル情報ヘッダに設定し、例えば、フラグが有効である場合のみ、オフセットを符号化データに含めてもよい。

符号化部１１は、エッジの重みの値と特定の値との差分を符号化対象としてもよい。
特定の値としては、例えば、符号化順が一つ前の重みが挙げられる。また、一つ上位のレイヤ（入力層に近いレイヤ）に属する、対応するエッジの重みを特定の値としてもよいし、更新前のモデルの対応するエッジの重みを特定の値としてもよい。

さらに、符号化部１１は、（Ａ）、（Ｂ）および（Ｃ）に示す機能を有する。
（Ａ）符号化部１１は、ベース符号化データとエンハンスメント符号化データとに分けて符号化するスケーラブル符号化機能を有する。
（Ｂ）符号化部１１は、基準のＮＮにおけるエッジの重みとの差分を符号化する機能を有する。
（Ｃ）符号化部１１は、基準のＮＮにおける部分的な情報（例えば、レイヤ単位の情報）のみを、ＮＮの更新用情報として符号化する機能を有する。

（Ａ）の例について説明する。
符号化部１１は、エッジの重みについて予め定義された量子化手法を用いて、エッジの重みを量子化し、量子化後の重みを符号化したデータをベース符号化データとし、量子化誤差を重みとみなして符号化したデータをエンハンスメント符号化データとする。ベース符号化データとされた重みは、量子化によって量子化前の重みよりもビット精度が低下するため、データサイズが削減される。復号側へ符号化データを伝送する伝送帯域が十分でない場合に、実施の形態１に係るデータ処理装置は、ベース符号化データのみを復号側に伝送する。一方、復号側へ符号化データを伝送する伝送帯域が十分な場合、実施の形態１に係るデータ処理装置は、ベース符号化データに加え、エンハンスメント符号化データも含めて復号側に伝送する。

エンハンスメント符号化データは２つ以上とすることができる。例えば、符号化部１１は、量子化誤差をさらに量子化したときの量子化値を、一つ目のエンハンスメント符号化データとし、その量子化誤差を２つ目のエンハンスメント符号化データとする。さらに、２つ目のエンハンスメント符号化データの量子化誤差をさらに量子化した量子化値とその量子化誤差とに分けて目的のエンハンスメント符号化データの数になるように符号化してもよい。このように、スケーラブル符号化を用いることで、データ伝送ネットワーク２の伝送帯域と伝送許容時間とに応じた符号化データの伝送が可能である。

なお、符号化部１１は、図８に示した非零重みデータの上位Ｍビットまでをベース符号化データとして符号化し、残りのビット列を１以上に分割して１以上のエンハンスメント符号化データとしてもよい。この場合、符号化部１１は、ベース符号化データとエンハンスメント符号化データのそれぞれで非零フラグを再び設定する。上位ビットのエンハンスメント符号化データにおいて０となった重みは、必ず０となる。

（Ｂ）の例について説明する。
符号化部１１は、学習部１０１による再学習前のＮＮのモデルが存在する場合、再学習後のＮＮのモデルにおけるエッジの重みと、再学習前のモデルにおける対応するエッジの重みとの差分を符号化してもよい。なお、再学習には、転移学習または追加学習がある。データ処理システムにおいて、高い頻度でＮＮの構成を更新するか、あるいは再学習ごとの学習データの分布の変化が小さい場合、エッジの重みの差分が小さいので、再学習後の符号化データのデータサイズが削減される。

また、符号化部１１は、モデルインデックスに加え、参照すべき更新前のモデルを識別するための参照モデルインデックスをモデル情報ヘッダに含めてもよい。（Ｂ）の例の場合、上記参照モデルインデックスから再学習前のモデルを識別することが可能となる。さらに、符号化部１１は、符号化データに参照元があるか否かを示すフラグを、モデル情報ヘッダに設定してもよい。符号化部１１は、このフラグがモデルの更新用の符号化データであることを示す場合にのみ、モデル情報ヘッダに参照モデルインデックスを設定する。

例えば、図１に示したデータ処理システムにおいて、クライアント間でＮＮの更新頻度が異なるか、互いに異なるモデルのＮＮを用いてデータ処理を実施する場合であっても、クライアントは、参照モデルインデックスを参照することで、どのモデルに対する更新用の符号化データであるのかを正しく識別することができる。参照モデルインデックスからクライアント側にないモデルの更新用の符号化データであることが識別された場合には、クライアントが、そのことをサーバ１に伝えることも可能である。

（Ｃ）の例について説明する。
学習部１０１は、再学習前のＮＮのモデルが存在する場合、例えばＦｉｎｅ－ｔｕｎｉｎｇを目的として、ＮＮの上位（入力層側）から１以上の任意のレイヤを固定し、一部のレイヤのみを再学習することがある。この場合、符号化部１１は、再学習によって更新されたレイヤの構成を示す情報のみを符号化する。これにより、ＮＮの更新において、復号側へ伝送される符号化データのデータサイズが削減される。なお、符号化データにおける符号化レイヤデータユニット数は、モデル内レイヤデータユニット数よりも少ない。復号側では、モデル情報ヘッダに含まれる参照モデルインデックスと、レイヤ情報ヘッダに含まれるレイヤインデックスとを参照することで、更新すべきレイヤを特定できる。

次に、学習部１０１、評価部１０２および推論部２０２によるデータ処理を説明する。
図９は、実施の形態１における１次元データの畳み込み処理の例を示す図であり、１次元データの畳み込み処理を行う畳み込み層を示している。１次元データには、例えば、音声データ、時系列データがある。図９に示す畳み込み層は、前層に９つのノード１０－１～１０－９、次層に３つのノード１１－１～１１－３を備えている。エッジ１２－１，１２－６，１２－１１には同じ重みが付与されており、エッジ１２－２，１２－７，１２－１２には同じ重みが付与されており、エッジ１２－３，１２－８，１２－１３には同じ重みが付与されており、エッジ１２－４，１２－９，１２－１４には同じ重みが付与されており、エッジ１２－５，１２－１０，１２－１５には同じ重みが付与されている。また、エッジ１２－１から１２－５までの重みは全て異なる値となる場合もあるし、複数の重みが同じ値となる場合もある。

前層の９つのノード１０－１～１０－９のうち、５つのノードが、上記の重みで次層の１つのノードに繋がっている。カーネルサイズＫは５であり、カーネルは、これらの重みの組み合わせによって規定される。例えば、図９に示すように、ノード１０－１は、エッジ１２－１を介してノード１１－１に繋がり、ノード１０－２は、エッジ１２－２を介してノード１１－１に繋がり、ノード１０－３は、エッジ１２－３を介してノード１１－１に繋がり、ノード１０－４は、エッジ１２－４を介してノード１１－１に繋がり、ノード１０－５は、エッジ１２－５を介してノード１１－１に繋がっている。カーネルは、エッジ１２－１～１２－５の重みの組み合わせによって規定される。

ノード１０－３は、エッジ１２－６を介してノード１１－２に繋がり、ノード１０－４は、エッジ１２－７を介してノード１１－２に繋がり、ノード１０－５は、エッジ１２－８を介してノード１１－２に繋がり、ノード１０－６は、エッジ１２－９を介してノード１１－２に繋がり、ノード１０－７は、エッジ１２－１０を介してノード１１－２に繋がっている。カーネルは、エッジ１２－６～１２－１０の重みの組み合わせによって規定される。

ノード１０－５は、エッジ１２－１１を介してノード１１－３に繋がり、ノード１０－６は、エッジ１２－１２を介してノード１１－３に繋がり、ノード１０－７は、エッジ１２－１３を介してノード１１－３に繋がり、ノード１０－８は、エッジ１２－１４を介してノード１１－３に繋がり、ノード１０－９は、エッジ１２－１５を介してノード１１－３に繋がっている。カーネルは、エッジ１２－１１～１２－１５の重みの組み合わせによって規定される。

学習部１０１、評価部１０２および推論部２０２は、ＣＮＮを用いた入力データの処理において、畳み込み層のエッジの重みの組み合わせを用いて、カーネルごとにステップ数の間隔（図９では、Ｓ＝２）で畳み込み演算を実施する。エッジの重みの組み合わせは、カーネルごとに学習によって決定される。なお、画像認識用途のＣＮＮでは、複数のカーネルを有する畳み込み層でＮＮが構成される場合が多い。

図１０は、実施の形態１における２次元データの畳み込み処理の例を示す図であり、画像データといった２次元データの畳み込み処理を示している。図１０に示す２次元データのうち、カーネル２０は、ｘ方向のサイズがＫ_ｘ、ｙ方向のサイズがＫ_ｙのブロック領域である。カーネルサイズＫは、Ｋ＝Ｋ_ｘ×Ｋ_ｙである。学習部１０１、評価部１０２または推論部２０２は、２次元データにおいて、ｘ方向ステップ数Ｓ_ｘの間隔およびｙ方向ステップ数Ｓ_ｙの間隔で、カーネル２０ごとのデータの畳み込み演算を実施する。ここで、ステップＳ_ｘ，Ｓ_ｙは１以上の整数である。

図１１は、ＮＮの全結合層であるｌ（ｌ＝１，２，・・・，Ｌ）層目のレイヤにおけるノードごとのエッジの重み情報のマトリクスを示す図である。図１２は、ＮＮの全結合層であるｌ（ｌ＝１，２，・・・，Ｌ）層目のレイヤにおけるノードごとのエッジの重み情報の量子化ステップのマトリクスを示す図である。

ＮＮにおいては、図１１に示すレイヤごとの重みｗ_ｉｊの組み合わせが、ネットワークを構成するデータとなる。このため、ディープニューラルネットワークのような多層のＮＮでは、一般的に数百Ｍｂｙｔｅ以上のデータ量となり、大きなメモリサイズも必要となる。ここで、ｉは、ノードインデックスであり、ｉ＝１，２，・・・，Ｎ_ｌである。ｊは、エッジインデックスであり、ｊ＝１，２，・・・，Ｎ_ｌ－１である。

そこで、実施の形態１に係るデータ処理装置では、エッジの重み情報のデータ量を削減するため、重み情報を量子化する。例えば、図１２に示すように、量子化ステップｑ_ｉｊは、エッジの重みｗ_ｉｊごとに設定される。量子化ステップは、複数のノードインデックスまたは複数のエッジインデックスであってもよいし、複数のノードインデックスとエッジインデックスとが共通化されてもよい。これにより、符号化すべき量子化情報が削減される。

図１３は、畳み込み層におけるエッジの重み情報のマトリクスを示す図である。図１４は、畳み込み層におけるエッジの重み情報の量子化ステップのマトリクスを示す図である。畳み込み層では、１つのカーネルに対するエッジの重みは、全てのノードで共通であり、ノード一つ当たりに結合するエッジ数、すなわちカーネルサイズＫを小さくしてカーネルを小領域にすることができる。図１３は、エッジの重みｗ_ｉ’ｊ’がカーネルごとに設定されたデータであり、図１４は、量子化ステップｑ_ｉ’ｊ’がカーネルごとに設定されたデータである。なお、ｉ’はカーネルインデックスであり、ｉ’＝１，２，・・・，Ｍ_ｌ（ｌ＝１，２，・・・，Ｌ）である。ｊ’はエッジインデックスであり、ｊ’＝１，２，・・・，Ｋ_ｌである。

量子化ステップは、複数のカーネルインデックス、複数のエッジインデックス、または複数のカーネルインデックスとエッジインデックスで共通化されてもよい。これにより、符号化すべき量子化情報が削減される。例えば、レイヤ内の全ての量子化ステップを共通化して、一つのレイヤで一つの量子化ステップとしてもよいし、モデル内の全ての量子化ステップを共通化して、一つのモデルで一つの量子化ステップとしてもよい。

次に、実施の形態１に係るデータ処理装置の機能を実現するハードウェア構成について説明する。実施の形態１に係るデータ処理装置における、データ処理部１０および符号化部１１の機能は、処理回路により実現される。すなわち、実施の形態１に係るデータ処理装置は、図５のステップＳＴ１からステップＳＴ６までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であってもよい。

図１５Ａは、実施の形態１に係るデータ処理装置の機能を実現するハードウェア構成を示すブロック図である。図１５Ａにおいて、処理回路３００は、図３に示したデータ処理装置として機能する専用の回路である。図１５Ｂは、実施の形態１に係るデータ処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１５Ｂにおいて、プロセッサ３０１およびメモリ３０２は、信号バスによって互いに接続されている。

上記処理回路が図１５Ａに示す専用のハードウェアである場合、処理回路３００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）またはこれらを組み合わせたものが該当する。なお、データ処理部１０および符号化部１１の機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が図１５Ｂに示すプロセッサである場合、データ処理部１０および符号化部１１の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて、メモリ３０２に記憶される。プロセッサ３０１は、メモリ３０２に記憶されたプログラムを読み出して実行することによって、データ処理部１０および符号化部１１の機能を実現する。すなわち、実施の形態１に係るデータ処理装置は、プロセッサ３０１によって実行されるときに、図５に示したステップＳＴ１からステップＳＴ６までの処理が結果的に実行されるプログラムを記憶するためのメモリ３０２を備える。これらのプログラムは、データ処理部１０および符号化部１１の手順または方法をコンピュータに実行させるものである。メモリ３０２は、コンピュータを、データ処理部１０および符号化部１１として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ３０２には、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

なお、データ処理部１０および符号化部１１の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、データ処理部１０については、専用のハードウェアとしての処理回路でその機能を実現し、符号化部１１については、プロセッサ３０１がメモリ３０２に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能のそれぞれを実現することができる。

なお、図３に示したデータ処理装置について説明したが、図４に示したデータ処理装置においても、同様である。例えば、図４に示したデータ処理装置は、図６のステップＳＴ１１からステップＳＴ１３までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

上記処理回路が図１５Ａに示す専用のハードウェアである場合、処理回路３００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらを組み合わせたものが該当する。なお、復号部２０１および推論部２０２の機能を、別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が図１５Ｂに示すプロセッサであると、復号部２０１および推論部２０２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて、メモリ３０２に記憶される。プロセッサ３０１は、メモリ３０２に記憶されたプログラムを読み出して実行することによって、復号部２０１および推論部２０２の機能を実現する。すなわち、図４に示したデータ処理装置は、プロセッサ３０１によって実行されるときに、図６に示すステップＳＴ１１からステップＳＴ１３までの処理が結果的に実行されるプログラムを記憶するためのメモリ３０２を備える。これらのプログラムは、復号部２０１および推論部２０２の手順または方法を、コンピュータに実行させるものである。メモリ３０２は、コンピュータを、復号部２０１および推論部２０２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

なお、復号部２０１および推論部２０２の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、復号部２０１については専用のハードウェアとしての処理回路でその機能を実現し、推論部２０２については、プロセッサ３０１がメモリ３０２に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。

以上のように、実施の形態１に係るデータ処理装置において、符号化部１１が、ＮＮの構成を示す情報を符号化し、ヘッダ情報とレイヤ単位の符号化データから構成された符号化データを生成する。復号側で必要なレイヤに関する情報のみを符号化することができるので、ＮＮの構成に関する情報を符号化する処理負荷が低減され、復号側へ伝送するデータサイズを削減することができる。

実施の形態１に係るデータ処理装置において、符号化部１１が、ＮＮのレイヤに属するエッジの重み情報を、上位ビットからビットプレーン単位で符号化する。これにより、復号側へ伝送する符号化データのデータサイズを削減することができる。

実施の形態１に係るデータ処理装置において、符号化部１１が、ヘッダ情報で指定された１以上のレイヤに関する情報を符号化する。これにより、復号側で必要なレイヤに関する情報のみが符号化され、復号側へ伝送する符号化データのデータサイズを削減することができる。

実施の形態１に係るデータ処理装置において、符号化部１１が、ヘッダ情報で指定されたレイヤに属するエッジの重みの値と特定の値との差分を符号化する。これにより、復号側へ伝送する符号化データのデータサイズを削減することができる。

実施の形態１に係るデータ処理装置において、符号化部１１が、エッジの重み情報を、ベース符号化データとエンハンスメント符号化データとに分けて符号化する。これにより、データ伝送ネットワーク２の伝送帯域と伝送許容時間に応じた符号化データの伝送を実現することができる。

実施の形態２．
図１６は、実施の形態２に係るデータ処理装置（エンコーダ）の構成を示すブロック図である。図１６に示すデータ処理装置は、学習用データセットと評価用データセットとを用いてＮＮを学習し、ＮＮのモデル情報の符号化データを生成する第１のデータ処理装置であり、例えば、図１に示したサーバ１である。図１６に示すデータ処理装置は、データ処理部１０Ａ、符号化部１１および復号部１２を備えている。

データ処理部１０Ａは、ＮＮを生成して学習するデータ処理部であって、学習部１０１Ａ、評価部１０２および制御部１０３を備える。符号化部１１は、学習部１０１Ａにより生成されたモデル情報を符号化し、ヘッダ情報とレイヤ単位の符号化データから構成された符号化データを生成する。復号部１２は、符号化部１１により生成された符号化データからモデル情報を復号する。また、復号部１２は復号済みのモデル情報を学習部１０１Ａに出力する。

学習部１０１Ａは、実施の形態１と同様に、学習用データセットを用いてＮＮの学習を実施し、学習されたＮＮの構成を示すモデル情報を生成する。また、学習部１０１Ａは、復号済みのモデル情報を用いてＮＮを生成し、学習用データセットを用いて、生成されたＮＮのパラメータを再学習する。

上記再学習の際、一部のエッジの重みを固定して再学習することで、符号化データのデータサイズを小さく保ったまま高精度化することが可能である。例えば、非零フラグが０の重みは０に固定した状態で再学習を実施することで、再学習前のエッジの重みに係る符号化データのデータサイズ以上となることを防ぎながら重みの最適化が可能となる。

以上のように、実施の形態２に係るデータ処理装置は、復号部１２を備え、データ処理部１０Ａが、復号部１２によって復号された情報を用いてＮＮを学習する。これにより、例えば、符号化歪みが発生する非可逆符号化を符号化部１１が行う場合であっても、実施の形態２に係るデータ処理装置は、符号化データの実際の復号結果に基づいてＮＮを生成して学習することができ、符号化データのデータサイズに対する制約を課した状況下で、符号化誤差の影響を最小限に抑えたＮＮの学習が可能である。

実施の形態３．
実施の形態３に係るデータ処理システムは、図１と同様の構成を有しており、サーバ１として図３に示したデータ処理装置を備え、クライアント３－１，３－２，・・・，３－Ｎとして図４に示したデータ処理装置を備える。実施の形態３に係るデータ処理システムにおいて、ＮＮの中間レイヤから出力されたデータは、下記の参考文献に記載された画像検索（ｒｅｔｒｉｅｖａｌ）またはマッチング（ｍａｔｃｈｉｎｇ）を一例とした、画像データおよび音声データに対するデータ処理の特徴量として用いられる。
（参考文献）ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１／ｍ３９２１９， “ＩｍｐｒｏｖｅｄｒｅｔｒｉｅｖａｌａｎｄｍａｔｃｈｉｎｇｗｉｔｈＣＮＮｆｅａｔｕｒｅｆｏｒＣＤＶＡ”，Ｃｈｅｎｇｄｕ，Ｃｈｉｎａ，Ｏｃｔ．２０１６．

例えば、画像検索、マッチングまたは物体追跡といった画像処理の画像特徴量として、ＮＮの中間レイヤの出力データを用いる場合、従来の上記画像処理で用いられていた画像特徴量であるＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、または、ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）に対する画像特徴量の置き換えあるいは追加が行われる。これにより、従来の画像特徴量を用いた画像処理と同じ処理手順で当該画像処理を実現できる。実施の形態３に係るデータ処理システムにおいて、符号化部１１は、画像特徴量を出力する中間レイヤまでのＮＮの構成を示すモデル情報を符号化する。

さらに、サーバ１として機能するデータ処理装置は、上記データ処理の特徴量を用いて画像検索等のデータ処理を行う。クライアントとして機能するデータ処理装置は、符号化データから中間レイヤまでのＮＮを生成し、生成されたＮＮの中間レイヤから出力されたデータを特徴量として用いて、画像検索などのデータ処理を実施する。

以上のように、実施の形態３に係るデータ処理システムにおいて、符号化部１１が、ＮＮの中間レイヤまでの構成を示すモデル情報を符号化する。これにより、量子化によるパラメータデータの圧縮率が高まるので、符号化前の重み情報のデータ量を削減することができる。クライアントは、復号部２０１によって復号されたモデル情報を用いて、ＮＮを生成し、生成されたＮＮの中間レイヤから出力されたデータを特徴量として用いたデータ処理を行う。

なお、本開示は上記実施の形態に限定されるものではなく、本開示の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

本開示に係るデータ処理装置は、ニューラルネットワークの構成に関する情報を符号化する処理負荷が低減され、復号側へ伝送するデータサイズを削減することができるので、例えば、画像認識技術への利用が可能である。

１サーバ、２データ伝送ネットワーク、３－１～３－Ｎクライアント、１０，１０Ａデータ処理部、１０－１～１０－９，１１－１～１１－３ノード、１１符号化部、１２復号部、１２－１～１２－１５エッジ、２０カーネル、１０１，１０１Ａ学習部、１０２評価部、１０３制御部、２０１復号部、２０２推論部、３００処理回路、３０１プロセッサ、３０２メモリ。

Claims

ニューラルネットワークを学習するデータ処理部と、
前記ニューラルネットワークのモデルを識別するモデルヘッダ情報と、前記ニューラルネットワークのレイヤを識別するとともに当該ニューラルネットワークのレイヤごとの構成を示すレイヤヘッダ情報と、前記レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成する符号化部と、を備え、
前記エッジの重み情報は、当該モデルのエッジの重みとヘッダ情報が参照する元のモデルのエッジの重みとの差分とする
ことを特徴とするデータ処理装置。
前記符号化部は、レイヤに属するエッジの重み情報を、エッジの重みの値が零か否かを示すフラグと、前記フラグがエッジの重みの値が非零を示す場合のエッジの重みとに分けて符号化する
ことを特徴とする請求項１に記載のデータ処理装置。
前記符号化部は、前記レイヤヘッダ情報によって識別される、１以上のレイヤに属するエッジの重み情報を符号化する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
前記符号化部は、エッジの重みの値と特定の値との差分を符号化する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
前記符号化部は、エッジの重み情報を、ベース符号化データとエンハンスメント符号化データとに分けて符号化する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
前記符号化部によって生成された符号化データを復号する復号部を備え、
前記データ処理部は、前記復号部によって復号された情報を用いて、前記ニューラルネットワークを学習する
ことを特徴とする請求項１または請求項２に記載のデータ処理装置。
ニューラルネットワークを学習する第１のデータ処理部と、
前記ニューラルネットワークのモデルを識別するモデルヘッダ情報と、前記ニューラルネットワークのレイヤを識別するとともに当該ニューラルネットワークのレイヤごとの構成を示すレイヤヘッダ情報と、前記レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成する符号化部と、
を有する第１のデータ処理装置と、
前記符号化部によって生成された符号化データから復号する復号部と、
前記復号部によって復号された情報を用いて、前記ニューラルネットワークを生成し、前記ニューラルネットワークを用いたデータ処理を行う第２のデータ処理部と、
を有する第２のデータ処理装置と、
を備え、
前記エッジの重み情報は、当該モデルのエッジの重みとヘッダ情報が参照する元のモデルのエッジの重みとの差分とする
ことを特徴とするデータ処理システム。
前記符号化部は、前記ニューラルネットワークの中間レイヤまでに関する情報を符号化し、
前記第２のデータ処理装置は、前記ニューラルネットワークの中間レイヤから出力されたデータを特徴量として用いたデータ処理を行う
ことを特徴とする請求項７に記載のデータ処理システム。
データ処理部が、ニューラルネットワークを学習するステップと、
符号化部が、前記ニューラルネットワークのモデルを識別するモデルヘッダ情報と、前記ニューラルネットワークのレイヤを識別するとともに当該ニューラルネットワークのレイヤごとの構成を示すレイヤヘッダ情報と、前記レイヤヘッダ情報によって識別されるレイヤに属する各エッジの重み情報とが符号化された符号化データを生成するステップと、を備え、
前記エッジの重み情報は、当該モデルのエッジの重みとヘッダ情報が参照する元のモデルのエッジの重みとの差分とする
ことを特徴とするデータ処理方法。