JP2020022145A - 符号化装置、復号装置、学習装置及びプログラム - Google Patents

Abstract

【課題】ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得る。【解決手段】符号化装置１ａは、ニューラルネットワークにより構成されるエンコーダネットワーク１１−１〜１１−４及びデコーダネットワーク１２−１〜１２−３、並びに減算部１０−１〜１０−３及び符号出力部１３を備える。第１〜３階層のオートエンコーダは、エンコーダネットワーク１１−１〜１１−３及びデコーダネットワーク１２−１〜１２−３によりそれぞれ構成される。第１〜３階層のオートエンコーダは、符号化対象信号または前階層の残差信号から第１〜３の階層符号及び第１〜３の部分復号信号を生成する。最終階層のエンコーダネットワーク１１−４は、第４の階層符号を生成する。符号出力部１３は、第１〜４の階層符号を統合化して符号を生成し、符号を復号装置２ａへ出力する。【選択図】図２

Description

本発明は、信号の符号化装置、復号装置、学習装置及びプログラムに関し、特に、階層符号化の機能を有するニューラルネットワークを用いる技術に関する。

従来、ニューラルネットワークを用いた情報圧縮を実現する技術として、オートエンコーダが知られている。オートエンコーダは、多層パーセプトロンの素子数を中間層において入力層及び出力層よりも少なくし、かつ入力層の素子数と出力層の素子数を一致させ、入力層に与えた学習データと出力層から出力されるデータとができるだけ一致するように、学習が行われる。これにより、中間層において情報圧縮結果を得ることができる。

この情報圧縮技術を用いた例として、エンコーダ及びデコーダをいずれも畳み込みニューラルネットワーク（ＣＮＮ）で構成し、エンコーダ出力において情報圧縮効果を得ることができる技術が開示されている（例えば、非特許文献１を参照）。

具体的には、エンコーダ及びデコーダは、エンコーダ出力のテンソルの要素数をエンコーダ入力のテンソルの要素数より少なくとり、デコーダ入力のテンソルの要素数をエンコーダ出力のテンソルの要素数と一致させるように構成される。さらに、エンコーダ入力のテンソルの要素数とデコーダ出力のテンソルの要素数を一致させるように構成される。そして、エンコーダ出力とデコーダ入力を接続しつつ、エンコーダ入力に学習データを与えたときのデコーダ出力が当該学習データとできるだけ一致するように学習が行われる。これにより、エンコーダ出力において情報圧縮効果を得ることができる。

一方、符号化装置及び復号装置において、階層符号化技術が知られている。階層符号化技術では、符号の一部を復号すると、低品質の信号を復元することができ、さらに、復号する符号を追加することにより、高品質の信号を復元することができる。

このような階層符号化技術を用いた例ではないが、階層的な処理を行う技術として、入力画像を帯域分割し、各帯域に対して別々のオートエンコーダを適用することにより、階層的に画像を符号化する技術が開示されている（例えば、特許文献１を参照）。

特開平２−２８０５８９号公報

George Toderici, et.al.，"Full Resolution Image Compression with Recurrent Neural Networks"，arXiv：1608.05148v1 ［cs.CV］18 Aug 2016.

オートエンコーダ単体による符号化技術、及び前述の非特許文献１の符号化技術は、復号信号の品質を調整するための手段を備えておらず、また、部分的な復号により品質を異にする信号を得るための階層符号化の機能を有していない。

階層符号化技術は、ある階層までに得られたある品質の信号と、入力信号との差分である残差信号をさらに符号化して次の階層の符号を得る。このとき、個々の階層で適用される符号化の方式は、いずれも同様の予め規定された処理手順（例えば、動画像の圧縮においては、動き予測、動き予測残差の直交変換、直交変換係数の量子化、及び量子化された係数のエントロピー符号化）に拠る。

本来、入力信号と残差信号とでは統計的な性質を異にするにもかかわらず、個々の階層での符号化処理が、予め規定された同様の処理手順で行われるため、符号化効率が低下してしまう。

前述の特許文献１の技術は、複数のオートエンコーダにより帯域別の符号化を行うことで、階層化を実現しているが、帯域分割の直交性が保証されない場合には、帯域間の成分の干渉がアーチファクトを生じさせる可能性がある。

また、オートエンコーダがロスレスでない場合には、低域成分の符号化において失われた情報をより高域成分の符号化において補完する処理を有しないため、高域成分まで用いて復号したとしても、低域で生じた符号化による劣化が依然残存する。低域成分における劣化は視覚的に感知しやすく、主観的な画質としての劣化が顕著となる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能な符号化装置、復号装置、学習装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の符号化装置は、符号化対象信号を入力して符号に変換し、当該符号を出力する符号化装置において、１以上の所定数の階層処理部と、ニューラルネットワークにより構成されるエンコーダネットワークを有する最終階層処理部と、符号出力部と、を備え、前記階層処理部が、ニューラルネットワークによりそれぞれ構成されるエンコーダネットワーク及びデコーダネットワークからなるオートエンコーダにおける前記エンコーダネットワーク及び前記デコーダネットワーク、並びに減算部を有し、前記階層処理部の前記エンコーダネットワークが、当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上である場合の当該階層よりも１つ前の前階層の前記減算部により出力された前階層の残差信号に対しエンコーダの処理を行い、当該階層の階層符号を生成し、前記階層処理部の前記デコーダネットワークが、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、前記階層処理部の前記減算部が、当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上である場合の前記前階層の前記残差信号と、前記デコーダネットワークにより生成された当該階層の前記部分復号信号との間の差分を演算し、当該階層の残差信号を生成し、前記最終階層処理部の前記エンコーダネットワークが、当該階層よりも１つ前の前記前階層の前記残差信号に対しエンコーダの処理を行い、最終階層の階層符号を生成し、前記符号出力部が、前記階層処理部の前記エンコーダネットワークにより生成された各階層の前記階層符号、及び前記最終階層処理部の前記エンコーダネットワークにより生成された前記最終階層の前記階層符号を統合化し、前記符号を生成して出力する、ことを特徴とする。

また、請求項２の符号化装置は、請求項１に記載の符号化装置において、前記階層処理部が、さらに量子化部及び逆量子化部を有し、前記最終階層処理部が、さらに量子化部を有し、前記階層処理部の前記量子化部が、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対し量子化の処理を行い、当該階層の量子化後の前記階層符号を生成し、前記階層処理部の前記逆量子化部が、前記量子化部により生成された当該階層の量子化後の前記階層符号に対し、前記量子化の処理に対応する逆量子化の処理を行い、当該階層の逆量子化後の前記階層符号を生成し、前記最終階層処理部の前記量子化部が、前記エンコーダネットワークにより生成された前記最終階層の前記階層符号に対しエンコーダの処理を行い、前記最終階層の量子化後の前記階層符号を生成し、前記符号出力部が、前記階層処理部の前記量子化部により生成された各階層の量子化後の前記階層符号、及び前記最終階層処理部の前記量子化部により生成された前記最終階層の量子化後の前記階層符号を統合化し、前記符号を生成して出力する、ことを特徴とする。

さらに、請求項３の復号装置は、符号を入力して復号信号に変換し、当該復号信号を出力する復号装置において、符号入力部と、ニューラルネットワークにより構成されるデコーダネットワークを有する第１階層処理部と、１以上の所定数の階層処理部と、を備え、前記符号入力部が、前記符号を入力し、当該符号から階層毎の階層符号を分離し、前記第１階層処理部の前記デコーダネットワークが、前記符号入力部により分離された第１階層の前記階層符号に対しデコーダの処理を行い、前記第１階層の部分復号信号を生成し、当該部分復号信号を前記第１階層の復号信号として出力し、前記階層処理部が、ニューラルネットワークにより構成されるデコーダネットワーク、及び、第２階層以上の階層の復号信号を生成して出力する加算部を有し、前記階層処理部の前記デコーダネットワークが、前記符号入力部により分離された第２階層以上の階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、前記階層処理部の前記加算部が、前記デコーダネットワークにより生成された当該階層の前記部分復号信号と、当該階層よりも１つ前の前階層の前記復号信号とを加算し、当該階層の前記復号信号を生成して出力する、ことを特徴とする。

また、請求項４の復号装置は、請求項３に記載の復号装置において、前記第１階層処理部及び前記階層処理部のそれぞれが、さらに逆量子化部を有し、前記第１階層処理部の前記逆量子化部が、前記符号入力部により分離された前記第１階層の前記階層符号に対し逆量子化の処理を行い、前記第１階層の逆量子化後の前記階層符号を生成し、前記第１階層処理部の前記デコーダネットワークが、前記逆量子化部により生成された前記第１階層の逆量子化後の前記階層符号に対しデコーダの処理を行い、前記第１階層の部分復号信号を生成し、当該部分復号信号を前記第１階層の前記復号信号として出力し、前記階層処理部の前記逆量子化部が、前記符号入力部により分離された第２階層以上の階層の前記階層符号に対し逆量子化の処理を行い、当該階層の逆量子化後の前記階層符号を生成し、前記階層処理部の前記デコーダネットワークが、前記逆量子化部により生成された当該階層の逆量子化後の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成する、ことを特徴とする。

さらに、請求項５の学習装置は、学習用信号を入力し、当該学習用信号に基づいてニューラルネットワークの結合重み係数を含むパラメータを生成して出力する学習装置において、２以上の所定数の階層処理部を備え、前記階層処理部が、ニューラルネットワークによりそれぞれ構成されるエンコーダネットワーク及びデコーダネットワークからなるオートエンコーダにおける前記エンコーダネットワーク及び前記デコーダネットワーク、並びに減算部を有し、順伝播処理時に、前記エンコーダネットワークが、当該階層処理部が第１階層である場合の前記学習用信号、または当該階層処理部が第２階層以上の階層である場合の当該階層よりも１つ前の前階層の前記減算部により出力された前階層の残差信号に対しエンコーダの処理を行い、当該階層の階層符号を生成し、前記デコーダネットワークが、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、前記減算部が、当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上の階層である場合の前記前階層の前記残差信号と、前記デコーダネットワークにより生成された当該階層の前記部分復号信号との間の差分を演算し、当該階層の残差信号を生成し、逆伝播処理時に、前記デコーダネットワークが、前記減算部から当該階層の前記残差信号を入力し、前記デコーダネットワーク及び前記エンコーダネットワークが、誤差逆伝播処理を行い、前記デコーダネットワーク及び前記エンコーダネットワークの前記パラメータをそれぞれ更新する、ことを特徴とする。

また、請求項６の学習装置は、請求項５に記載の学習装置において、前記階層処理部が、さらに量子化及び逆量子化部を備え、前記順伝播処理時に、前記量子化及び逆量子化部が、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対し量子化及び逆量子化の処理を行い、当該階層の量子化及び逆量子化処理後の前記階層符号を生成し、当該階層処理部の前記デコーダネットワークが、前記量子化及び逆量子化部により生成された当該階層の量子化及び逆量子化後の前記階層符号に対しデコーダの処理を行い、当該階層の前記部分復号信号を生成する、ことを特徴とする。

また、請求項７の学習装置は、請求項５または６に記載の学習装置において、さらに、制御部及びパラメータ出力部と、を備え、前記制御部が、順伝播処理及び逆伝播処理を行うための指示信号を全ての階層の前記階層処理部に出力する指示信号出力処理を行い、前記順伝播処理及び前記逆伝播処理が完了すると、所定の終了条件を満たすか否かを判定し、前記所定の終了条件を満たさないと判定した場合、前記指示信号出力処理を行い、前記所定の終了条件を満たすと判定した場合、出力指示信号を前記パラメータ出力部に出力し、前記階層処理部が、前記制御部から前記指示信号を入力すると、前記順伝播処理及び前記逆伝播処理を行い、前記パラメータを更新し、当該パラメータを前記パラメータ出力部に出力し、前記パラメータ出力部が、前記制御部から前記出力指示信号を入力すると、前記階層処理部から入力した前記パラメータを最適なパラメータとして確定し、当該パラメータを出力する、ことを特徴とする。

さらに、請求項８の符号化装置は、請求項１または２に記載の符号化装置において、前記エンコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてエンコーダの処理を行い、前記デコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてデコーダの処理を行う、ことを特徴とする。

さらに、請求項９の復号装置は、請求項３または４に記載の復号装置において、前記デコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてデコーダの処理を行う、ことを特徴とする。

さらに、請求項１０のプログラムは、コンピュータを、請求項１、２または８に記載の符号化装置として機能させることを特徴とする。

また、請求項１１のプログラムは、コンピュータを、請求項３、４または９に記載の復号装置として機能させることを特徴とする。

また、請求項１２のプログラムは、コンピュータを、請求項５から７までのいずれか一項に記載の学習装置として機能させることを特徴とする。

以上のように、本発明によれば、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

本発明の符号化装置によれば、ニューラルネットワークの高い非線形性と表現力により、単位出力符号あたりでの符号化対象信号の再現性を高めつつ、オートエンコーダの階層化構成によって品質スケーラブルな信号表現が可能となる。

また、本発明の復号装置によれば、符号化装置により符号化された符号に対し、品質スケーラブルな復号を実現できる。

また、本発明の学習装置によれば、符号化装置及び復号装置のそれぞれ内部に設定される最適なパラメータを、各装置が良好に動作するよう学習用信号に基づいて生成することができる。

実施例１，２の符号化装置、復号装置及び学習装置を含む全体構成を示す概略図である。 実施例１の符号化装置の構成例を示すブロック図である。 実施例１の符号化装置の処理例を示すフローチャートである。 エンコーダネットワークの構成例を示す図である。 ニューラルネットワークを構成する素子の動作例を示す図である。 デコーダネットワークの構成例を示す図である。 実施例１の復号装置の構成例を示すブロック図である。 実施例１の復号装置の処理例を示すフローチャートである。 実施例１の学習装置の構成例を示すブロック図である。 実施例１の学習装置の処理例を示すフローチャートである。 制御部の処理例を示すフローチャートである。 オートエンコーダ群の順伝播処理例を示すフローチャートである。 オートエンコーダ群の逆伝播処理例を示すフローチャートである。 実施例２の符号化装置の構成例を示すブロック図である。 実施例２の復号装置の構成例を示すブロック図である。 実施例２の学習装置の構成例を示すブロック図である。 量子化及び逆量子化部の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１は、実施例１，２の符号化装置、復号装置及び学習装置を含む全体構成を示す概略図である。

符号化装置１は、符号化対象信号を入力し、符号化対象信号を階層符号化して符号に変換し、符号を復号装置２へ出力する。復号装置２は、符号化装置１から符号を入力し、符号を階層復号して復号信号に変換し、例えば階層４の復号信号を出力する。

尚、復号装置２は、復号の進捗の度合いに応じて、精度の異なる複数の復号信号、例えば階層１，２，３，４の復号信号を出力するようにしてもよい。

学習装置３は、学習用信号を入力し、学習用信号に基づいて、符号化装置１及び復号装置２に用いる結合重み係数を含むパラメータを生成する。学習用信号は、符号化装置１が入力する符号化対象信号に対応した学習のための信号である。

符号化装置１及び復号装置２は、学習装置３により生成され送信されたパラメータを、例えばインターネットを介して受信するようにしてもよいし、ユーザの操作により、学習装置３により生成されたパラメータを入力するようにしてもよい。これにより、符号化装置１及び復号装置２において、パラメータが予め設定される。

尚、図１では、符号化装置１の出力と復号装置２の入力とが直結した構成となっているが、符号化装置１と復号装置２との間に、符号を伝送する伝送装置または符号を蓄積する蓄積装置を備えるように構成してもよい。

以下、本発明について実施例１，２を挙げて具体的に説明する。実施例１は、ニューラルネットワークにより構成されたエンコーダネットワーク及びデコーダネットワークを用いて、ニューラルネットワークによる階層符号化を実現する例である。実施例２は、実施例１において、さらに量子化の処理を行う例である。

〔実施例１〕
まず、実施例１について説明する。前述のとおり、実施例１は、ニューラルネットワークにより構成されたエンコーダネットワーク及びデコーダネットワークを用いて、ニューラルネットワークによる階層符号化を実現する例である。

（実施例１／符号化装置１）
実施例１の符号化装置１について説明する。図２は、実施例１の符号化装置１の構成例を示すブロック図であり、図３は、実施例１の符号化装置１の処理例を示すフローチャートである。

この符号化装置１ａは、３個の減算部１０−１〜１０−３（総称して減算部１０という。）、４個のエンコーダネットワーク１１−１〜１１−４（総称してエンコーダネットワーク１１という。）、３個のデコーダネットワーク１２−１〜１２−３（総称してデコーダネットワーク１２という。）、及び１個の符号出力部１３を備えている。

減算部１０−１、エンコーダネットワーク１１−１及びデコーダネットワーク１２−１により第１階層処理部が構成され、減算部１０−２、エンコーダネットワーク１１−２及びデコーダネットワーク１２−２により第２階層処理部が構成される。また、減算部１０−３、エンコーダネットワーク１１−３及びデコーダネットワーク１２−３により第３階層処理部が構成され、エンコーダネットワーク１１−４により第４階層処理部（最終階層処理部）が構成される。

エンコーダネットワーク１１−１及びデコーダネットワーク１２−１、エンコーダネットワーク１１−２及びデコーダネットワーク１２−２、並びにエンコーダネットワーク１１−３及びデコーダネットワーク１２−３により、それぞれオートエンコーダが構成される。

尚、符号化装置１ａは、図２の構成に限定されるものではなく、１個以上の所定数ｎ１の減算部１０、２個以上の所定数ｎ２のエンコーダネットワーク１１、１個以上の所定数ｎ３のデコーダネットワーク１２及び１個の符号出力部１３を備えていればよい。

ｎ１，ｎ３は１以上の整数であり、ｎ２は２以上の整数であり、ｎ１＝ｎ３、ｎ２＝ｎ３＋１の関係が成立する。つまり、減算部１０の数とデコーダネットワーク１２の数は同じであり、エンコーダネットワーク１１の数はデコーダネットワーク１２の数よりも１個多い。

（エンコーダネットワーク１１）
まず、エンコーダネットワーク１１について詳細に説明する。図４は、エンコーダネットワーク１１の構成例を示す図である。

エンコーダネットワーク１１は、ニューラルネットワークにより構成される。例えば、エンコーダネットワーク１１は、ニューラルネットワークとして多層パーセプトロンの構成をとることができる。

このとき、多層パーセプトロンの入力層の素子（図４の点線の丸印）の数よりも出力層の素子（図４の一点鎖線の丸印）の数を少なくすることで、エンコーダネットワーク１１において情報圧縮を実現するようにしてもよい。

例えば、多層パーセプトロンの入力層のＫ個の素子（Ｋは２以上の整数）のそれぞれに、符号化対象信号の１サンプルのビット列（Ｋビット）をビット毎に２値データとして与えるようにしてもよい。

また、多層パーセプトロンの入力層の素子の数よりも出力層の素子の数を少なくしなくてもよい。この場合、エンコーダネットワーク１１は、入力層の各素子に多値データ（例えば、３値以上の多値データ）を与え、出力層の素子から、入力層より少ない多値データ（例えば、２値データ）を出力するように構成することで、情報圧縮を実現する。

例えば、多層パーセプトロンの入力層のＮ個の素子（Ｎは２以上の整数）のそれぞれに、符号化対象信号のＭサンプル（Ｍは１以上の整数）のＬビットを、サンプル毎に２^L値の多値データとして与えるようにしてもよい。

このほか、エンコーダネットワーク１１は、入力層と出力層の各素子数、入力層への入力値の値数、及び出力層からの出力値の値数を組み合わせることにより、結果的に情報圧縮を実現するように構成してもよい。

図５は、ニューラルネットワークを構成する素子の動作例を示す図である。素子４０は、Ｎ個の入力データｘ₁〜ｘ_N（Ｎは１以上の整数）を入力し、１個の出力データｙを出力する。Ｎの値は、ニューラルネットワークを構成する複数の素子のそれぞれで異なってもよいし、同じであってもよい。

素子４０は、動作の前に、その動作を規定するパラメータとして結合重み係数ａ₁〜ａ_N、及び必要に応じてバイアス値ｂが設定されているものとする。また、素子４０は、必要に応じて活性化関数φを適用するように動作させてもよい。

例えば、素子４０は、以下の演算を行う。

活性化関数φとしては、以下の恒等写像を用いることができる。

また、以下の線形結合を用いることができる。

ただし、ｃは非零の実定数、ｄは実定数である。

さらに、活性化関数φとしては、以下の数式（４）〜（１２）に示す非線形関数を用いることもできる。以下の式（４）はランプ関数（または半波整流関数）（ＲｅＬＵ：Rectified Linear Unit）を示す。

以下の式（５）はシグモイド関数を示す。

以下の式（６）はステップ関数を示す。

以下の式（７）は絶対値関数を示す。

以下の式（８）はソフトプラス関数を示す。

以下の式（９）はソフトサイン関数を示す。

以下の式（１０）は切断冪関数を示す。

以下の式（１１）は冪関数を示す。

以下の式（１２）は動径基底関数を示す。

尚、多層パーセプトロンの入力層の各素子は、各入力データの値を単に分配するだけの機能（すなわち、恒等写像φ（ｚ）＝ｚ）かつバイアス値ｂ＝０としても構わない。また、素子４０に対し必要に応じて設定される活性化関数φは、素子毎に異なってもよいし、同じであってもよい。また、活性化関数φが設定されない素子が含まれても構わない。

（デコーダネットワーク１２）
図２に戻って、次に、デコーダネットワーク１２について詳細に説明する。図６は、デコーダネットワーク１２の構成例を示す図である。

デコーダネットワーク１２は、ニューラルネットワークによって構成される。例えば、デコーダネットワーク１２は、ニューラルネットワークとして多層パーセプトロンの構成をとることができる。

デコーダネットワーク１２の入力層の素子数は、エンコーダネットワーク１１の出力層の素子数と同じとする。また、デコーダネットワーク１２の出力層の素子数は、エンコーダネットワーク１１の入力層の素子数と同じとする。

（符号化装置１ａの構成及び処理）
図２及び図３に戻って、パラメータＥ１〜Ｅ４，Ｄ１〜Ｄ３は、後述する学習装置３ａにより生成された結合重み係数及びバイアス値であり、予め設定される。

符号化装置１ａが符号化対象信号を入力する（ステップＳ３０１）。エンコーダネットワーク１１−１は、符号化対象信号に対しパラメータＥ１に基づいてエンコーダの処理を行い、処理結果を第１の階層符号としてデコーダネットワーク１２−１及び符号出力部１３に出力する（ステップＳ３０２）。

デコーダネットワーク１２−１は、エンコーダネットワーク１１−１から第１の階層符号を入力する。そして、デコーダネットワーク１２−１は、第１の階層符号に対しパラメータＤ１に基づいてデコーダの処理を行い、処理結果を第１の部分復号信号として減算部１０−１に出力する（ステップＳ３０３）。

減算部１０−１は、符号化対象信号を入力すると共に、デコーダネットワーク１２−１から第１の部分復号信号を入力する。そして、減算部１０−１は、符号化対象信号と第１の部分復号信号との間の差分を演算し、演算結果を第１の残差信号としてエンコーダネットワーク１１−２及び減算部１０−２に出力する（ステップＳ３０４）。

エンコーダネットワーク１１−２は、減算部１０−１から第１の残差信号を入力し、第１の残差信号に対しパラメータＥ２に基づいてエンコーダの処理を行い、処理結果を第２の階層符号としてデコーダネットワーク１２−２及び符号出力部１３に出力する。

デコーダネットワーク１２−２は、エンコーダネットワーク１１−２から第２の階層符号を入力し、第２の階層符号に対しパラメータＤ２に基づいてデコーダの処理を行い、処理結果を第２の部分復号信号として減算部１０−２に出力する。

減算部１０−２は、減算部１０−１から第１の残差信号を入力すると共に、デコーダネットワーク１２−２から第２の部分復号信号を入力する。そして、減算部１０−２は、第１の残差信号と第２の部分復号信号との間の差分を演算し、演算結果を第２の残差信号としてエンコーダネットワーク１１−３及び減算部１０−３に出力する。

エンコーダネットワーク１１−３は、減算部１０−２から第２の残差信号を入力し、第２の残差信号に対しパラメータＥ３に基づいてエンコーダの処理を行い、処理結果を第３の階層符号としてデコーダネットワーク１２−３及び符号出力部１３に出力する。

デコーダネットワーク１２−３は、エンコーダネットワーク１１−３から第３の階層符号を入力し、第３の階層符号に対しパラメータＤ３に基づいてデコーダの処理を行い、処理結果を第３の部分復号信号として減算部１０−３に出力する。

減算部１０−３は、減算部１０−２から第２の残差信号を入力すると共に、デコーダネットワーク１２−３から第３の部分復号信号を入力する。そして、減算部１０−３は、第２の残差信号と第３の部分復号信号との間の差分を演算し、演算結果を第３の残差信号としてエンコーダネットワーク１１−４に出力する。

エンコーダネットワーク１１−４は、減算部１０−３から第３の残差信号を入力する。そして、エンコーダネットワーク１１−４は、第３の残差信号に対しパラメータＥ４に基づいてエンコーダの処理を行い、処理結果を第４の階層符号として符号出力部１３に出力する（ステップＳ３０５）。

符号出力部１３は、エンコーダネットワーク１１−１〜１１−４から第１〜４の階層符号をそれぞれ入力し、これらを統合化した符号を生成し（ステップＳ３０６）、符号を後述する復号装置２ａへ出力する（ステップＳ３０７）。

符号出力部１３は、例えば、第１の階層符号がＫ₁ビット、第２の階層符号がＫ₂ビット、第３の階層符号がＫ₃ビット、第４の階層符号がＫ₄ビットで構成される場合、第１〜４の階層符号を所定の順序で並べた（Ｋ₁＋Ｋ₂＋Ｋ₃＋Ｋ₄）ビットのビット列を符号として生成する。

また、符号出力部１３は、第１〜４の階層符号を統合化した上で、さらにエントロピー符号化を適用して符号を生成してもよい。

また、符号出力部１３は、第１〜４の階層符号のそれぞれにエントロピー符号化を適用し、当該エントロピー符号化の各結果を統合化して符号を生成してもよい。エントロピー符号化としては、例えばハフマン符号化、算術符号化、またはこれらに基づいて派生した符号化方式（例えば、CAVLC、CABAC）のように、シンボル（ここでは、第１〜４の階層符号）の生起確率に応じて適応的に割り振られる符号化方式を用いてもよい。また、例えばゴロム符号のように、シンボルの生起確率が所定のもの（ゴロム符号にあっては幾何分布）であるとみなすものを用いてもよい。

また、符号出力部１３は、第１〜４の階層符号をそれぞれ別々の伝送路を介して伝送し、または異なる伝送路符号化方式によりさらに符号化して伝送することを想定して、第１〜４の階層符号のそれぞれを別々の出力信号として出力してもよい。

また、符号出力部１３は、第１〜４の階層符号の一部ずつをまとめたビット列を２個以上４個未満で構成し、これらのビット列をそれぞれ出力してもよい。

以上のように、実施例１の符号化装置１ａによれば、エンコーダネットワーク１１−１及びデコーダネットワーク１２−１からなるオートエンコーダは、符号化対象信号から第１の階層符号及び第１の部分復号信号を生成し、減算部１０−１は、符号化対象信号と第１の部分復号信号との間の差分を演算し、第１の残差信号を生成する。

同様に、エンコーダネットワーク１１−２及びデコーダネットワーク１２−２からなるオートエンコーダは、第１の残差信号から第２の階層符号及び第２の部分復号信号を生成し、減算部１０−２は、第１の残差信号と第２の部分復号信号との間の差分を演算し、第２の残差信号を生成する。

同様に、エンコーダネットワーク１１−３及びデコーダネットワーク１２−３からなるオートエンコーダは、第２の残差信号から第３の階層符号及び第３の部分復号信号を生成し、減算部１０−３は、第２の残差信号と第３の部分復号信号との間の差分を演算し、第３の残差信号を生成する。エンコーダネットワーク１１−４は、第３の残差信号から第４の階層符号を生成する。

符号出力部１３は、第１〜４の階層符号を統合化して符号を生成し、符号を後述する復号装置２ａへ出力する。

これにより、符号化装置１ａは、オートエンコーダの階層化構成により階層符号化を実現することができる。そして、後述する復号装置２ａは、符号化装置１ａの階層符号化に対応する階層復号を行うことにより、階層に応じた復号信号を得ることができる。つまり、より低階層の符号で生じた符号化による劣化を、より高階層の符号により補完することで、品質スケーラブルな階層符号化を実現することができる。

また、ニューラルネットワークの高い非線形性と表現力により、単位出力符号あたりでの符号化対象信号の再現性を高めつつ、オートエンコーダの階層化構成によって品質スケーラブルな信号表現が可能となる。また、エンコーダネットワーク１１−１〜１１−４及びデコーダネットワーク１２−１〜１２−３を構成するニューラルネットワークは、非線形処理を含み、かつその規模を大きく取ることも可能であり、信号または残差信号を少ない情報量で効率的に記述することが可能である。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化（すなわち高画質の画像を得ることが可能な階層符号化）を実現し、階層に応じた画質の画像を得ることが可能となる。

（実施例１／復号装置２）
次に、実施例１の復号装置２について説明する。図７は、実施例１の復号装置２の構成例を示すブロック図であり、図８は、実施例１の復号装置２の処理例を示すフローチャートである。

この復号装置２ａは、１個の符号入力部２０、４個のデコーダネットワーク２１−１〜２１−４（総称してデコーダネットワーク２１という。）及び３個の加算部２２−１〜２２−３（総称して加算部２２という。）を備えている。

デコーダネットワーク２１−１により第１階層処理部が構成され、デコーダネットワーク２１−２及び加算部２２−１により第２階層処理部が構成される。また、デコーダネットワーク２１−３及び加算部２２−２により第３階層処理部が構成され、デコーダネットワーク２１−４及び加算部２２−３により第４階層処理部が構成される。

尚、復号装置２ａは、図７の構成に限定されるものではなく、２個以上の所定数ｎ４のデコーダネットワーク２１及び１個以上の所定数ｎ５の加算部２２を備えていればよい。

ｎ４は２以上の整数であり、ｎ５は１以上の整数であり、ｎ４＝ｎ５＋１の関係が成立する。つまり、デコーダネットワーク２１の数は、加算部２２よりも１個多い。図２に示した符号化装置１ａとの関係では、デコーダネットワーク２１の数とエンコーダネットワーク１１の数は同じであり、加算部２２の数と減算部１０の数は同じである。

パラメータＤ１〜Ｄ４は、後述する学習装置３ａにより生成された結合重み係数及びバイアス値であり、予め設定される。

符号入力部２０は、符号化装置１ａにより生成された符号を入力し（ステップＳ８０１）、符号から、図２に示した符号化装置１ａの符号出力部１３により統合化された第１〜４の階層符号を分離する（ステップＳ８０２）。そして、符号入力部２０は、第１〜４の階層符号をデコーダネットワーク２１−１〜２１−４にそれぞれ出力する。

尚、符号出力部１３においてエントロピー符号化を適用した場合には、符号入力部２０は、その逆変換であるエントロピー復号を行うものとする。また、符号出力部１３において伝送路符号化を適用した場合には、符号入力部２０は、その逆変換である伝送路復号を行うものとする。

デコーダネットワーク２１−１〜２１−３は、図２に示したデコーダネットワーク１２−１〜１２−３と同じニューラルネットワークにより構成されるものとし、設定されるパラメータＤ１〜Ｄ３も同じである。

デコーダネットワーク２１−１は、符号入力部２０から第１の階層符号を入力する。そして、第１の階層符号に対しパラメータＤ１に基づいてデコーダの処理を行い、処理結果を第１の部分復号信号（階層１の復号信号）として加算部２２−１に出力する（ステップＳ８０３）。

デコーダネットワーク２１−２は、符号入力部２０から第２の階層符号を入力する。そして、デコーダネットワーク２１−２は、第２の階層符号に対しパラメータＤ２に基づいてデコーダの処理を行い、処理結果を第２の部分復号信号として加算部２２−１に出力する（ステップＳ８０４）。

加算部２２−１は、デコーダネットワーク２１−１から階層１の復号信号を入力すると共に、デコーダネットワーク２１−２から第２の部分復号信号を入力する。そして、加算部２２−１は、階層１の復号信号に第２の部分復号信号を加算し、加算結果を階層２の復号信号として加算部２２−２に出力する（ステップＳ８０５）。

デコーダネットワーク２１−３は、符号入力部２０から第３の階層符号を入力し、第３の階層符号に対しパラメータＤ３に基づいてデコーダの処理を行い、処理結果を第３の部分復号信号として加算部２２−２に出力する。

加算部２２−２は、加算部２２−１から階層２の復号信号を入力すると共に、デコーダネットワーク２１−３から第３の部分復号信号を入力する。そして、加算部２２−２は、階層２の復号信号に第３の部分復号信号を加算し、加算結果を階層３の復号信号として加算部２２−３に出力する。

デコーダネットワーク２１−４は、符号入力部２０から第４の階層符号を入力し、第４の階層符号に対しパラメータＤ４に基づいてデコーダの処理を行い、処理結果を第４の部分復号信号として加算部２２−３に出力する。

加算部２２−３は、加算部２２−２から階層３の復号信号を入力すると共に、デコーダネットワーク２１−４から第４の部分復号信号を入力する。そして、加算部２２−３は、階層３の復号信号に第４の部分復号信号を加算し、加算結果を階層４の復号信号として出力する（ステップＳ８０６，Ｓ８０７）。

尚、復号装置２ａは、精度の異なる複数の階層１，２，３，４の復号信号を外部へ出力するようにしてもよい。また、復号装置２ａにより出力される階層１，２，３，４の復号信号は、パラメータＤ１〜Ｄ４が適切に設定されれば、階層数が多いほど、復号信号の品質が悪くなることはない。階層１，２，３，４の復号信号のうち階層４の復号信号の品質が最も良く、階層４，３，２，１の順に品質は低下する。

以上のように、実施例１の復号装置２ａによれば、符号入力部２０は、符号化装置１ａにより生成された符号を入力し、符号から第１〜４の階層符号を分離する。デコーダネットワーク２１−１は、第１の階層符号に対しパラメータＤ１に基づいてデコーダの処理を行い、第１の部分復号信号（階層１の復号信号）を生成する。同様に、デコーダネットワーク２１−２〜２１−４は、第２〜４の階層符号に対しパラメータＤ２〜Ｄ４に基づいて第２〜４の部分復号信号をそれぞれ生成する。

加算部２２−１は、階層１の復号信号に第２の部分復号信号を加算し、階層２の復号信号を生成する。同様に、加算部２２−２，２２−３は、階層２，３の復号信号に第３，４の部分復号信号をそれぞれ加算し、階層３，４の復号信号を生成する。

これにより、復号装置２ａは、符号化装置１ａの階層符号化に対応する階層復号を行い、階層に応じた復号信号を得ることができる。つまり、より低階層の符号で生じた符号化による劣化を、より高階層の符号により補完することで、品質スケーラブルな階層符号化を実現することができる。

また、デコーダネットワーク２１−１〜２１−４を構成するニューラルネットワークは、非線形処理を含み、かつその規模を大きく取ることも可能であり、信号を少ない情報量で効率的に記述することが可能である。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

（実施例１／学習装置３）
次に、実施例１の学習装置３について説明する。図９は、実施例１の学習装置３の構成例を示すブロック図であり、図１０は、実施例１の学習装置３の処理例を示すフローチャートである。この学習装置３ａは、制御部３０、オートエンコーダ群３６ａ及びパラメータ出力部３４を備えている。オートエンコーダ群３６ａは、エンコーダネットワーク３１−１〜３１−４、デコーダネットワーク３２−１〜３２−４及び減算部３３−１〜３３−４を備えている。

エンコーダネットワーク３１−１、デコーダネットワーク３２−１及び減算部３３−１により第１階層処理部が構成され、エンコーダネットワーク３１−２、デコーダネットワーク３２−２及び減算部３３−２により第２階層処理部が構成される。また、エンコーダネットワーク３１−３、デコーダネットワーク３２−３及び減算部３３−３により第３階層処理部が構成され、エンコーダネットワーク３１−４、デコーダネットワーク３２−４及び減算部３３−４により第４階層処理部が構成される。

エンコーダネットワーク３１−１及びデコーダネットワーク３２−１、エンコーダネットワーク３１−２及びデコーダネットワーク３２−２、エンコーダネットワーク３１−３及びデコーダネットワーク３２−３、並びにエンコーダネットワーク３１−４及びデコーダネットワーク３２−４により、それぞれオートエンコーダが構成される。

学習装置３ａは、学習用信号を入力して学習処理を行い、パラメータＤ１〜Ｄ４，Ｅ１〜Ｅ４を生成して出力する。エンコーダネットワーク３１−１〜３１−４及びデコーダネットワーク３２−１〜３２−４には、暫定的なパラメータ（初期パラメータ）が予め設定されている。学習装置３ａは、暫定的なパラメータを、例えば、乱数または擬似乱数によって設定してもよいし、予め定める数値の系列または定数を設定してもよい。

学習装置３ａは、学習用信号を入力すると（ステップＳ１００１）、制御部３０による指示に従い、オートエンコーダ群３６ａにて順伝播処理を行う。そして、学習装置３ａは、エンコーダネットワーク３１−１〜３１−４及びデコーダネットワーク３２−１〜３２−４のパラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４を学習するための暫定的な残差信号を生成する（ステップＳ１００２）。

学習装置３ａは、ステップＳ１００２の順伝播処理の後、オートエンコーダ群３６ａにて逆伝播処理を行い、暫定的な残差信号に基づいて、パラメータＥ１（ｒ−１）〜Ｅ４（ｒ−１），Ｄ１（ｒ−１）〜Ｄ４（ｒ−１）を更新する（ステップＳ１００３）。これにより、新たなパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）が生成される。

パラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）は、エンコーダネットワーク３１−１〜３１−４及びデコーダネットワーク３２−１〜３２−４において、ステップＳ１００２の順伝播処理及びステップＳ１００３の逆伝播処理をｒ回（ｒは０以上の整数）繰り返した後の値とする。尚、ｒ＝０のときのパラメータＥ１（０）〜Ｅ４（０），Ｄ１（０）〜Ｄ４（０）は、初期パラメータを意味するものとする。

学習装置３ａは、所定の終了条件を満たすか否かを判定し（ステップＳ１００４）、所定の条件を満たさないと判定した場合（ステップＳ１００４：Ｎ）、ステップＳ１００１へ移行する。これにより、所定の終了条件が満たされるまで、ステップＳ１００１〜Ｓ１００３の処理が繰り返される。所定の終了条件の詳細については後述する。

一方、学習装置３ａは、ステップＳ１００４において、所定の条件を満たすと判定した場合（ステップＳ１００４：Ｙ）、ステップＳ１００５へ移行する。学習装置３ａは、ステップＳ１００３における更新後のパラメータＤ１（ｒ）〜Ｄ４（ｒ），Ｅ１（ｒ）〜Ｅ４（ｒ）をパラメータＤ１〜Ｄ４，Ｅ１〜Ｅ４として出力する（ステップＳ１００５）。

このように、学習用信号の系列が入力される毎に、順伝播処理及び逆伝播処理が交互に各１回以上実行され、パラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４が出力される。

（制御部３０）
次に、制御部３０の処理について説明する。図１１は、制御部３０の処理例を示すフローチャートである。学習装置３ａによる学習処理が開始すると、制御部３０は、順方向指示信号をオートエンコーダ群３６ａに出力する（ステップＳ１１０１）。

これにより、オートエンコーダ群３６ａにて順伝播処理が行われ、パラメータＥ１（ｒ−１）〜Ｅ４（ｒ−１），Ｄ１（ｒ−１）〜Ｄ４（ｒ−１）を更新するための暫定的な残差信号が生成される。

制御部３０は、オートエンコーダ群３６ａによる順伝播処理が完了すると、逆方向指示信号をオートエンコーダ群３６ａに出力する（ステップＳ１１０２）。制御部３０は、順伝播処理の完了を、例えば、全ての減算部３３−１〜３３−４から暫定的な残差信号を入力することで判断する。

これにより、オートエンコーダ群３６ａにて逆伝播処理が行われ、暫定的な残差信号に基づいて、パラメータＥ１（ｒ−１）〜Ｅ４（ｒ−１），Ｄ１（ｒ−１）〜Ｄ４（ｒ−１）が更新される。オートエンコーダ群３６ａは、更新後のパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）をパラメータ出力部３４に出力する。

制御部３０は、オートエンコーダ群３６ａによる逆伝播処理が完了すると、所定の終了条件を満たすか否かを判定する（ステップＳ１１０３）。制御部３０は、逆伝播処理の完了を、例えば、オートエンコーダ群３６ａからパラメータＥ１（ｒ−１）〜Ｅ４（ｒ−１），Ｄ１（ｒ−１）〜Ｄ４（ｒ−１）が更新されたことを示す信号を入力することで判断する。

制御部３０は、ステップＳ１１０３において、終了条件を満たさないと判定した場合（ステップＳ１１０３：Ｎ）、ステップＳ１１０１へ移行する。これにより、所定の終了条件が満たされるまで、ステップＳ１１０１，Ｓ１１０２の指示信号出力処理が繰り返される。

一方、制御部３０は、ステップＳ１１０３において、所定の条件を満たすと判定した場合（ステップＳ１１０３：Ｙ）、出力指示信号をパラメータ出力部３４に出力する（ステップＳ１１０４）。

パラメータ出力部３４は、オートエンコーダ群３６ａからパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）を入力する。パラメータ出力部３４は、制御部３０から出力指示信号を入力すると、最新に入力したパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）を学習後の最適なパラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４として確定し、パラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４を出力する。

制御部３０が出力する順方向指示信号及び逆方向指示信号は、学習装置３ａが新たな学習用信号を入力する毎に、この順序で出力される。尚、１つの学習用信号を用いて複数の学習処理を行うようにしてもよい。この場合、順方向指示信号及び逆方向指示信号は、１つの学習用信号に対応して、この順序で２回以上の所定回数分出力される。

図１０のステップＳ１００４及び図１１のステップＳ１１０３における所定の終了条件とは、例えば、制御部３０が出力した順方向指示信号及び逆方向指示信号の対の数が所定数となった場合であってもよい。また、学習用信号を与える回数が所定数となった場合であってもよい。

また、所定の終了条件は、減算部３３−１〜３３−４により出力された暫定的な残差信号に基づいた評価値が所定値以下となった場合であってもよい。

具体的には、制御部３０は、減算部３３−１〜３３−４から暫定的な残差信号をそれぞれ入力し、これらの残差信号の絶対値の総和を算出し、総和が所定値以下の場合に、終了条件を満たすと判定してもよい。この場合、制御部３０は、これらの残差信号の絶対値の重み付き総和を算出し、重み付き総和が所定値以下の場合に、終了条件を満たすと判定してもよいし、総和及び重み付き総和の任意の組み合わせにより判定してもよい。

尚、制御部３０は、順方向指示信号をオートエンコーダ群３６ａに出力することで、オートエンコーダ群３６ａに、全ての階層の構成部を同時に動作させてもよい。また、制御部３０は、第１階層処理部用の順方向指示信号、第２階層処理部用の順方向指示信号、第３階層処理部用の順方向指示信号及び第４階層処理部用の順方向指示信号を、この順番に時間を空けて出力することで、オートエンコーダ群３６ａに、上流の階層から順番に動作させてもよい。

例えば、制御部３０は、第１階層用の順方向指示信号を出力した後、第１階層の順伝播処理が完了したときに、第２階層用の順方向指示信号を出力するようにしてもよい。つまり、制御部３０は、当該階層の順伝播処理が完了したときに、次の階層の順方向指示信号を出力する。

また、制御部３０は、逆方向指示信号をオートエンコーダ群３６ａに出力することで、オートエンコーダ群３６ａに、全ての階層の構成部を同時に動作させてもよい。また、制御部３０は、第１階層処理部用の逆方向指示信号、第２階層処理部用の逆方向指示信号、第３階層処理部用の逆方向指示信号及び第４階層処理部用の逆方向指示信号を、この順番に時間を空けて出力することで、オートエンコーダ群３６ａに、上流の階層から順番に動作させてもよい。

例えば、制御部３０は、第１階層用の逆方向指示信号を出力した後、第１階層の逆伝播処理が完了したときに、第２階層用の逆方向指示信号を出力するようにしてもよい。つまり、制御部３０は、当該階層の逆伝播処理が完了したときに、次の階層の逆方向指示信号を出力する。

（オートエンコーダ群３６ａの順伝播処理）
次に、オートエンコーダ群３６ａの順伝播処理について説明する。図１２は、オートエンコーダ群３６ａの順伝播処理例を示すフローチャートである。以下、ｒ回目（ｒは１以上の整数）の順伝播処理について説明する。

オートエンコーダ群３６ａは、制御部３０から順方向指示信号を入力したか否かを判定する（ステップＳ１２０１）。オートエンコーダ群３６ａは、ステップＳ１２０１において、順方向指示信号を入力していないと判定した場合（ステップＳ１２０１：Ｎ）、順方向指示信号を入力するまで待つ。

オートエンコーダ群３６ａは、ステップＳ１２０１において、順方向指示信号を入力したと判定した場合（ステップＳ１２０１：Ｙ）、学習用信号を入力し（ステップＳ１２０２）、以下の処理を行う。エンコーダネットワーク３１−１〜３１−４及びデコーダネットワーク３２−１〜３２−４は、順方向指示信号に従い、以下のように動作する。

エンコーダネットワーク３１−１〜３１−４は、図２に示したエンコーダネットワーク１１−１〜１１−４に対応し、デコーダネットワーク３２−１〜３２−３は、図２に示したデコーダネットワーク１２−１〜１２−３に対応する。また、デコーダネットワーク３２−１〜３２−４は、図７に示したデコーダネットワーク２１−１〜２１−４に対応する。

エンコーダネットワーク３１−１は、学習用信号に対しパラメータＥ１（ｒ−１）に基づいてエンコーダの処理を行い、処理結果を暫定的な第１の階層符号としてデコーダネットワーク３２−１に出力する（ステップＳ１２０３）。

デコーダネットワーク３２−１は、エンコーダネットワーク３１−１から暫定的な第１の階層符号を入力する。そして、デコーダネットワーク３２−１は、暫定的な第１の階層符号に対しパラメータＤ１（ｒ−１）に基づいてデコーダの処理を行い、処理結果を暫定的な第１の部分復号信号として減算部３３−１に出力する（ステップＳ１２０４）。

減算部３３−１は、学習用信号を入力すると共に、デコーダネットワーク３２−１から暫定的な第１の部分復号信号を入力する。そして、減算部３３−１は、学習用信号と暫定的な第１の部分復号信号との間の差分を演算し、演算結果を暫定的な第１の残差信号としてエンコーダネットワーク３１−２及びデコーダネットワーク３２−１に出力する（ステップＳ１２０５）。

エンコーダネットワーク３１−２は、減算部３３−１から暫定的な第１の残差信号を入力する。そして、エンコーダネットワーク３１−２は、暫定的な第１の残差信号に対しパラメータＥ２（ｒ−１）に基づいてエンコーダの処理を行い、処理結果を暫定的な第２の階層符号としてデコーダネットワーク３２−２に出力する。

デコーダネットワーク３２−２は、エンコーダネットワーク３１−２から暫定的な第２の階層符号を入力する。そして、デコーダネットワーク３２−２は、暫定的な第２の階層符号に対しパラメータＤ２（ｒ−１）に基づいてデコーダの処理を行い、処理結果を暫定的な第２の部分復号信号として減算部３３−２に出力する。

減算部３３−２は、減算部３３−１から暫定的な第１の残差信号を入力すると共に、デコーダネットワーク３２−２から暫定的な第２の部分復号信号を入力する。そして、減算部３３−２は、暫定的な第１の残差信号と暫定的な第２の部分復号信号との間の差分を演算し、演算結果を暫定的な第２の残差信号としてエンコーダネットワーク３１−３及びデコーダネットワーク３２−２に出力する。

エンコーダネットワーク３１−３は、減算部３３−２から暫定的な第２の残差信号を入力する。そして、エンコーダネットワーク３１−３は、暫定的な第２の残差信号に対しパラメータＥ３（ｒ−１）に基づいてエンコーダの処理を行い、処理結果を暫定的な第３の階層符号としてデコーダネットワーク３２−３に出力する。

デコーダネットワーク３２−３は、エンコーダネットワーク３１−３から暫定的な第３の階層符号を入力する。そして、デコーダネットワーク３２−３は、暫定的な第３の階層符号に対しパラメータＤ３（ｒ−１）に基づいてデコーダの処理を行い、処理結果を暫定的な第３の部分復号信号として減算部３３−３に出力する。

減算部３３−３は、減算部３３−２から暫定的な第２の残差信号を入力すると共に、デコーダネットワーク３２−３から暫定的な第３の部分復号信号を入力する。そして、減算部３３−３は、暫定的な第２の残差信号と暫定的な第３の部分復号信号との間の差分を演算し、演算結果を暫定的な第３の残差信号としてエンコーダネットワーク３１−４及びデコーダネットワーク３２−３に出力する。

エンコーダネットワーク３１−４は、減算部３３−３から暫定的な第３の残差信号を入力する。そして、エンコーダネットワーク３１−４は、暫定的な第３の残差信号に対しパラメータＥ４（ｒ−１）に基づいてエンコーダの処理を行い、処理結果を暫定的な第４の階層符号としてデコーダネットワーク３２−４に出力する。

デコーダネットワーク３２−４は、エンコーダネットワーク３１−４から暫定的な第４の階層符号を入力する。そして、デコーダネットワーク３２−４は、暫定的な第４の階層符号に対しパラメータＤ４（ｒ−１）に基づいてデコーダの処理を行い、処理結果を暫定的な第４の部分復号信号として減算部３３−４に出力する。

減算部３３−４は、減算部３３−３から暫定的な第３の残差信号を入力すると共に、デコーダネットワーク３２−４から暫定的な第４の部分復号信号を入力する。そして、減算部３３−４は、暫定的な第３の残差信号と暫定的な第４の部分復号信号との間の差分を演算し、演算結果を暫定的な第４の残差信号としてデコーダネットワーク３２−４に出力する（ステップＳ１２０６）。

このように、オートエンコーダ群３６ａの順伝播処理により、暫定的な第１〜４の残差信号が生成される。

（オートエンコーダ群３６ａの逆伝播処理）
次に、オートエンコーダ群３６ａの逆伝播処理について説明する。図１３は、オートエンコーダ群３６ａの逆伝播処理例を示すフローチャートである。以下、ｒ回目（ｒは１以上の整数）の逆伝播処理について説明する。

オートエンコーダ群３６ａは、制御部３０から逆方向指示信号を入力したか否かを判定する（ステップＳ１３０１）。オートエンコーダ群３６ａは、ステップＳ１３０１において、逆方向指示信号を入力していないと判定した場合（ステップＳ１３０１：Ｎ）、逆方向指示信号を入力するまで待つ。

オートエンコーダ群３６ａは、ステップＳ１３０１において、逆方向指示信号を入力したと判定した場合（ステップＳ１３０１：Ｙ）、以下のステップＳ１３０２〜Ｓ１３０４の処理を行う。エンコーダネットワーク３１−１〜３１−４及びデコーダネットワーク３２−１〜３２−４は、逆方向指示信号に従い、以下のように動作する。

デコーダネットワーク３２−１は、減算部３３−１から順伝播処理にて求めた暫定的な第１の残差信号を入力する（ステップＳ１３０２）。

デコーダネットワーク３２−１は、暫定的な第１の残差信号をニューラルネットワークにおける誤差逆伝播法の誤差値（の符号反転値）と見なして、誤差逆伝搬処理を行い、誤差逆伝播処理結果の残差信号をエンコーダネットワーク３１−１に出力する。

エンコーダネットワーク３１−１は、デコーダネットワーク３２−１から誤差逆伝播処理結果の残差信号を入力する。そして、エンコーダネットワーク３１−１は、デコーダネットワーク３２−１と同様に、当該残差信号をニューラルネットワークにおける誤差逆伝播法の誤差値（の符号反転値）と見なして、誤差逆伝搬処理を行う。

デコーダネットワーク３２−１及びエンコーダネットワーク３１−１は、パラメータＤ１（ｒ−１），Ｅ１（ｒ−１）を更新し、新たなパラメータＤ１（ｒ），Ｅ１（ｒ）を生成してパラメータ出力部３４に出力する（ステップＳ１３０３）。

デコーダネットワーク３２−２は、減算部３３−２から順伝播処理にて求めた暫定的な第２の残差信号を入力する。

デコーダネットワーク３２−２及びエンコーダネットワーク３１−２は、デコーダネットワーク３２−１及びエンコーダネットワーク３１−１と同様に、暫定的な第２の残差信号をニューラルネットワークにおける誤差逆伝播法の誤差値（の符号反転値）と見なして、誤差逆伝搬処理を行う。そして、デコーダネットワーク３２−２及びエンコーダネットワーク３１−２は、パラメータＤ２（ｒ−１），Ｅ２（ｒ−１）を更新し、新たなパラメータＤ２（ｒ），Ｅ２（ｒ）を生成してパラメータ出力部３４に出力する。

デコーダネットワーク３２−３は、減算部３３−３から順伝播処理にて求めた暫定的な第３の残差信号を入力する。

デコーダネットワーク３２−３及びエンコーダネットワーク３１−３は、デコーダネットワーク３２−１及びエンコーダネットワーク３１−１と同様に、暫定的な第３の残差信号をニューラルネットワークにおける誤差逆伝播法の誤差値（の符号反転値）と見なして、誤差逆伝搬処理を行う。そして、デコーダネットワーク３２−３及びエンコーダネットワーク３１−３は、パラメータＤ３（ｒ−１），Ｅ３（ｒ−１）を更新し、新たなパラメータＤ３（ｒ），Ｅ３（ｒ）を生成してパラメータ出力部３４に出力する。

デコーダネットワーク３２−４は、減算部３３−４から順伝播処理にて求めた暫定的な第４の残差信号を入力する。

デコーダネットワーク３２−４及びエンコーダネットワーク３１−４は、デコーダネットワーク３２−１及びエンコーダネットワーク３１−１と同様に、暫定的な第４の残差信号をニューラルネットワークにおける誤差逆伝播法の誤差値（の符号反転値）と見なして、誤差逆伝搬処理を行う。そして、デコーダネットワーク３２−４及びエンコーダネットワーク３１−４は、パラメータＤ４（ｒ−１），Ｅ４（ｒ−１）を更新し、新たなパラメータＤ４（ｒ），Ｅ４（ｒ）を生成してパラメータ出力部３４に出力する（ステップＳ１３０４）。

以上のように、実施例１の学習装置３ａによれば、制御部３０は、順方向指示信号をオートエンコーダ群３６ａに出力し、オートエンコーダ群３６ａは、順伝播処理を行い、暫定的な第１〜４の残差信号を生成する。制御部３０は、逆方向指示信号をオートエンコーダ群３６ａに出力し、オートエンコーダ群３６ａは、暫定的な第１〜４の残差信号に基づいて逆伝播処理を行い、パラメータＥ１（ｒ−１）〜Ｅ４（ｒ−１），Ｄ１（ｒ−１）〜Ｄ４（ｒ−１）を更新する。これにより、新たなパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）が生成される。

制御部３０は、順方向指示信号及び逆方向指示信号の出力を繰り返し、所定の終了条件を満たす場合、出力指示信号をパラメータ出力部３４に出力する。パラメータ出力部３４は、オートエンコーダ群３６ａから入力したパラメータＥ１（ｒ）〜Ｅ４（ｒ），Ｄ１（ｒ）〜Ｄ４（ｒ）を最適なパラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４として確定する。

これにより、符号化装置１ａ及び復号装置２ａのそれぞれ内部に設定されるべきパラメータは、各装置が良好に動作するよう学習用信号に基づいて生成することができる。そして、符号化装置１ａ及び復号装置２ａは、各階層の処理を、学習装置３ａにより確定されたパラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４を用いてニューラルネットワークにて実現するから、その挙動は最適なものとなる。

また、符号化装置１ａ及び復号装置２ａにおいて、より低階層の符号で生じた符号化による劣化を、より高階層の符号により補完することで、品質スケーラブルな階層符号化を実現することができる。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

〔実施例２〕
次に、実施例２について説明する。前述のとおり、実施例２は、実施例１において、さらに量子化の処理を行う例である。

（実施例２／符号化装置１）
実施例２の符号化装置１について説明する。図１４は、実施例２の符号化装置１の構成例を示すブロック図である。この符号化装置１ｂは、３個の減算部１０−１〜１０−３、４個のエンコーダネットワーク１１−１〜１１−４、３個のデコーダネットワーク１２−１〜１２−３及び１個の符号出力部１３に加え、４個の量子化部１４−１〜１４−４（総称して量子化部１４という。）及び３個の逆量子化部１５−１〜１５−３（総称して逆量子化部１５をいう。）を備えている。図１４において、Ｑは量子化の処理を示し、Ｑ^-1は逆量子化の処理を示す。

減算部１０−１、エンコーダネットワーク１１−１、デコーダネットワーク１２−１、量子化部１４−１及び逆量子化部１５−１により第１階層処理部が構成され、減算部１０−２、エンコーダネットワーク１１−２、デコーダネットワーク１２−２、量子化部１４−２及び逆量子化部１５−２により第２階層処理部が構成される。また、減算部１０−３、エンコーダネットワーク１１−３、デコーダネットワーク１２−３、量子化部１４−３及び逆量子化部１５−３により第３階層処理部が構成され、エンコーダネットワーク１１−４及び量子化部１４−４により最終階層処理部が構成される。

尚、符号化装置１ｂは、図１４の構成に限定されるものではなく、１個以上の所定数ｎ１の減算部１０、２個以上の所定数ｎ２のエンコーダネットワーク１１、１個以上の所定数ｎ３のデコーダネットワーク１２及び１個の符号出力部１３に加え、２個以上の所定数ｎ６の量子化部１４、及び１個以上の所定数ｎ７の逆量子化部１５を備えていればよい。

ｎ１，ｎ３，ｎ７は１以上の整数であり、ｎ２，ｎ６は２以上の整数である。ｎ１＝ｎ３＝ｎ７、ｎ２＝ｎ３＋１、ｎ６＝ｎ７＋１の関係が成立する。つまり、減算部１０、デコーダネットワーク１２及び逆量子化部１５の数は同じであり、エンコーダネットワーク１１は、デコーダネットワーク１２の数よりも１個多く、量子化部１４の数も、逆量子化部１５の数よりも１個多い。

図２に示した符号化装置１ａと図１４に示す符号化装置１ｂとを比較すると、両符号化装置１ａ，１ｂは、減算部１０−１〜１０−３、エンコーダネットワーク１１−１〜１１−４、デコーダネットワーク１２−１〜１２−３及び符号出力部１３を備えている点で共通する。一方、符号化装置１ｂは、符号化装置１ａの構成に加え、量子化部１４−１〜１４−４及び逆量子化部１５−１〜１５−３を備えている点で、符号化装置１ａと相違する。

エンコーダネットワーク１１−１、量子化部１４−１、逆量子化部１５−１及びデコーダネットワーク１２−１により、量子化部１４−１及び逆量子化部１５−１を含むオートエンコーダが構成される。また、エンコーダネットワーク１１−２、量子化部１４−２、逆量子化部１５−２及びデコーダネットワーク１２−２により、量子化部１４−２及び逆量子化部１５−２を含むオートエンコーダが構成される。さらに、エンコーダネットワーク１１−３、量子化部１４−３、逆量子化部１５−３及びデコーダネットワーク１２−３により、量子化部１４−３及び逆量子化部１５−３を含むオートエンコーダが構成される。

（量子化部１４）
量子化部１４は、入力した信号値を離散的な数値に変換する。例えば、入力した信号値がスカラー値である場合には、量子化部１４は、数直線を所定の規則で分割して各分割区間にそれぞれ唯一に割り振られた離散値（例えば整数値）を出力する。

また、入力した信号値がテンソル値（テンソルの概念には、スカラー、ベクトル及び行列が含まれる。以下同じ。）である場合には、量子化部１４は、入力した信号値の各成分をそれぞれ離散的な数値に変換し、変換後のテンソル値を出力してもよい。また、量子化部１４は、入力した信号値を、テンソル空間を所定の規則で分割した各領域に唯一に割り振られた離散的な数値に変換し、変換後のテンソル値を出力してもよい。これは、いわゆるベクトル量子化の処理である。

例えば、入力した信号値がスカラーの実数値ｐである場合に、量子化部１４は、以下の式の演算を行い、整数値ｑを出力する。

ここで、

は、ｚより大きくない最大の整数を表す（床関数）。また、Ｒは実定数（例えば、Ｒ＝０）、Ｑは正の実定数とする。Ｑの値を大きくするほど、量子化部１４において粗い量子化が行われ、情報の損失は大きくなるが、出力値ｑのエントロピーは大きくならない。

（逆量子化部１５）
逆量子化部１５は、量子化部１４に対応して、その逆変換を近似的に実行する。近似的とは、量子化誤差を含み得ることを意味する。例えば、量子化部１４が、数直線上の各分割区間（または、テンソル空間上の各領域）にそれぞれ唯一に離散的数値を割り振っておいた上で、入力値がそのいずれの区間（または領域）に属するかを判定して、当該区間（または領域）に割り振られた離散的数値を出力する場合を想定する。この場合、逆量子化部１５は、入力された離散的数値に対応する区間（または領域）の代表値（例えば、当該区間（または領域）の閉包の重心座標）を出力する。

例えば、量子化部１４が、前記式（１３）による量子化を実行する場合、逆量子化部１５は、入力値ｑに対して以下の式の演算を行い、実数値ｓを出力する。

（符号化装置１ｂの構成及び処理）
パラメータＥ１〜Ｅ４，Ｄ１〜Ｄ３は、後述する学習装置３ｂにより生成された結合重み係数及びバイアス値であり、予め設定される。

減算部１０−１〜１０−３、エンコーダネットワーク１１−１〜１１−４、デコーダネットワーク１２−１〜１２−３及び符号出力部１３は、図２に示した実施例１の符号化装置１ａと同様であるから、ここでは説明を省略する。

量子化部１４−１は、エンコーダネットワーク１１−１から第１の階層符号を入力し、第１の階層符号に対し量子化の処理を行い、量子化後の第１の階層符号を逆量子化部１５−１及び符号出力部１３に出力する。

逆量子化部１５−１は、量子化部１４−１から量子化後の第１の階層符号を入力し、量子化後の第１の階層符号に対し逆量子化の処理を行い、逆量子化後の第１の階層符号をデコーダネットワーク１２−１に出力する。

量子化部１４−２は、エンコーダネットワーク１１−２から第２の階層符号を入力し、第２の階層符号に対し量子化の処理を行い、量子化後の第２の階層符号を逆量子化部１５−２及び符号出力部１３に出力する。

逆量子化部１５−２は、量子化部１４−２から量子化後の第２の階層符号を入力し、量子化後の第２の階層符号に対し逆量子化の処理を行い、逆量子化後の第２の階層符号をデコーダネットワーク１２−２に出力する。

量子化部１４−３は、エンコーダネットワーク１１−３から第３の階層符号を入力し、第３の階層符号に対し量子化の処理を行い、量子化後の第３の階層符号を逆量子化部１５−３及び符号出力部１３に出力する。

逆量子化部１５−３は、量子化部１４−３から量子化後の第３の階層符号を入力し、量子化後の第３の階層符号に対し逆量子化の処理を行い、逆量子化後の第３の階層符号をデコーダネットワーク１２−３に出力する。

量子化部１４−４は、エンコーダネットワーク１１−４から第４の階層符号を入力し、第４の階層符号に対し量子化の処理を行い、量子化後の第４の階層符号を符号出力部１３に出力する。

尚、量子化部１４−１〜１４−４は、互いに異なる入出力関係を有するものを含んで動作してもよい（すなわち、異なるパラメータ（例えば、前記式（１３）におけるＱ及びＲ）により動作させるものを含んでもよい）。また、量子化部１４−１〜１４−４は、全て同一の入出力関係に基づいて動作してもよい。

以上のように、実施例２の符号化装置１ｂによれば、実施例１の符号化装置１ａのエンコーダネットワーク１１−１〜１１−３とデコーダネットワーク１２−１〜１２−３との間に、量子化部１４−１〜１４−３及び逆量子化部１５−１〜１５−３をそれぞれ備えるようにした。また、エンコーダネットワーク１１−４の後段に量子化部１４−４を備えるようにした。

量子化部１４−１〜１４−４は、第１〜４の階層符号に対し量子化の処理を行い、量子化後の第１〜４の階層符号を生成し、逆量子化部１５−１〜１５−３は、量子化後の第１〜３の階層符号に対し逆量子化の処理を行い、逆量子化後の第１〜３の階層符号を生成する。

これにより、実施例１の符号化装置１ａと同様の効果を奏し、符号化装置１ｂは、オートエンコーダの量子化を含む階層化構成により階層符号化を実現することができる。そして、後述する復号装置２ｂは、符号化装置１ｂの量子化及び階層符号化に対応する逆量子化及び階層復号を行うことにより、階層に応じた復号信号を得ることができる。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

（実施例２／復号装置２）
次に、実施例２の復号装置２について説明する。図１５は、実施例２の復号装置２の構成例を示すブロック図である。この復号装置２ｂは、１個の符号入力部２０、４個のデコーダネットワーク２１−１〜２１−４及び３個の加算部２２−１〜２２−３に加え、４個の逆量子化部２３−１〜２３−４（総称して逆量子化部２３という。）を備えている。図１５において、Ｑ^-1は逆量子化の処理を示す。

デコーダネットワーク２１−１及び逆量子化部２３−１により第１階層処理部が構成され、デコーダネットワーク２１−２、加算部２２−１及び逆量子化部２３−２により第２階層処理部が構成される。また、デコーダネットワーク２１−３、加算部２２−２及び逆量子化部２３−３により第３階層処理部が構成され、デコーダネットワーク２１−４、加算部２２−３及び逆量子化部２３−４により第４階層処理部が構成される。

尚、復号装置２ｂは、図１５の構成に限定されるものではなく、２個以上の所定数ｎ４のデコーダネットワーク２１及び１個以上の所定数ｎ５の加算部２２に加え、２個以上の所定数ｎ８の逆量子化部２３を備えていればよい。

ｎ４，ｎ８は２以上の整数であり、ｎ５は１以上の整数であり、ｎ４＝ｎ５＋１，ｎ８＝ｎ５＋１の関係が成立する。つまり、デコーダネットワーク２１及び逆量子化部２３の数は、加算部２２よりも１個多い。図１４に示した符号化装置１ｂとの関係では、デコーダネットワーク２１の数とエンコーダネットワーク１１の数は同じであり、加算部２２の数と減算部１０の数は同じであり、さらに、逆量子化部２３の数と量子化部１４の数は同じである。

図７に示した復号装置２ａと図１５に示す復号装置２ｂとを比較すると、両復号装置２ａ，２ｂは、符号入力部２０、デコーダネットワーク２１−１〜２１−４及び加算部２２−１〜２２−３を備えている点で共通する。一方、復号装置２ｂは、復号装置２ａの構成に加え、逆量子化部２３−１〜２３−４を備えている点で、復号装置２ａと相違する。

パラメータＤ１〜Ｄ４は、後述する学習装置３ｂにより生成された結合重み係数及びバイアス値であり、予め設定される。

符号入力部２０、デコーダネットワーク２１−１〜２１−４及び加算部２２−１〜２２−３は、図７に示した実施例１の復号装置２ａと同様であるから、ここでは説明を省略する。

逆量子化部２３−１は、符号入力部２０から第１の階層符号を入力する。そして、逆量子化部２３−１は、図１４に示した逆量子化部１５−１と同一の入出力関係に基づいて、第１の階層符号に対し逆量子化の処理を行い、逆量子化後の第１の階層符号をデコーダネットワーク２１−１に出力する。

逆量子化部２３−２は、符号入力部２０から第２の階層符号を入力する。そして、逆量子化部２３−２は、図１４に示した逆量子化部１５−２と同一の入出力関係に基づいて、第２の階層符号に対し逆量子化の処理を行い、逆量子化後の第２の階層符号をデコーダネットワーク２１−２に出力する。

逆量子化部２３−３は、符号入力部２０から第３の階層符号を入力する。そして、逆量子化部２３−３は、図１４に示した逆量子化部１５−３と同一の入出力関係に基づいて、第３の階層符号に対し逆量子化の処理を行い、逆量子化後の第３の階層符号をデコーダネットワーク２１−３に出力する。

逆量子化部２３−４は、符号入力部２０から第４の階層符号を入力する。そして、逆量子化部２３−４は、図１４に示した量子化部１４−４に対応する逆量子化部として、第４の階層符号に対し逆量子化の処理を行い、逆量子化後の第４の階層符号をデコーダネットワーク２１−４に出力する。

このように、図１４に示した逆量子化部１５−１及び図１５に示す逆量子化部２３−１は、同一の入出力関係に基づいて動作し、かつ、これらの動作は、図１４に示した量子化部１４−１に対応する逆量子化であるものとする。すなわち、逆量子化部１５−１，２３−１は、量子化部１４−１と共通のパラメータ（例えば、前記式（１３）及び前記式（１４）におけるＱ及びＲ）により処理を実行する。

また、図１４に示した逆量子化部１５−２及び図１５に示す逆量子化部２３−２は、同一の入出力関係に基づいて動作し、かつ、これらの動作は、図１４に示した量子化部１４−２に対応する逆量子化であるものとする。すなわち、逆量子化部１５−２，２３−２は、量子化部１４−２と共通のパラメータにより処理を実行する。

また、図１４に示した逆量子化部１５−３及び図１５に示す逆量子化部２３−３は、同一の入出力関係に基づいて動作し、かつ、これらの動作は、図１４に示した量子化部１４−３に対応する逆量子化であるものとする。すなわち、逆量子化部１５−３，２３−３は、量子化部１４−３と共通のパラメータにより処理を実行する。

また、図１５に示す逆量子化部２３−４の動作は、図１４に示した量子化部１４−４に対応する逆量子化であるものとする。すなわち、逆量子化部２３−４は、量子化部１４−４と共通のパラメータにより処理を実行する。

以上のように、実施例２の復号装置２ｂによれば、実施例１の復号装置２ａの符号入力部２０とデコーダネットワーク２１−１〜２１−４との間に、逆量子化部２３−１〜２３−４をそれぞれ備えるようにした。

逆量子化部２３−１〜２３−４は、第１〜４の階層符号に対し逆量子化の処理をそれぞれ行い、逆量子化後の第１〜４の階層符号を生成する。

これにより、実施例１の復号装置２ａと同様の効果を奏し、復号装置２ｂは、符号化装置１ｂの量子化及び階層符号化に対応する逆量子化及び階層復号を行い、階層に応じた復号信号を得ることができる。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

（実施例２／学習装置３）
次に、実施例２の学習装置３について説明する。図１６は、実施例２の学習装置３の構成例を示すブロック図である。この学習装置３ｂは、制御部３０、オートエンコーダ群３６ｂ及びパラメータ出力部３４を備えている。

図９に示した実施例１の学習装置３ａと実施例２の学習装置３ｂとを比較すると、両学習装置３ａ，３ｂは、制御部３０及びパラメータ出力部３４を備えている点で共通する。一方、学習装置３ｂは、学習装置３ａのオートエンコーダ群３６ａとは異なるオートエンコーダ群３６ｂを備えている点で学習装置３ａと相違する。

オートエンコーダ群３６ｂは、エンコーダネットワーク３１−１〜３１−４、デコーダネットワーク３２−１〜３２−４及び減算部３３−１〜３３−４に加え、量子化及び逆量子化部３５−１〜３５−４（総称して量子化及び逆量子化部３５という。）を備えている。図１６において、Ｓは量子化及び逆量子化の処理を示す。

エンコーダネットワーク３１−１、デコーダネットワーク３２−１、減算部３３−１及び量子化及び逆量子化部３５−１により第１階層処理部が構成され、エンコーダネットワーク３１−２、デコーダネットワーク３２−２、減算部３３−２及び量子化及び逆量子化部３５−２により第２階層処理部が構成される。また、エンコーダネットワーク３１−３、デコーダネットワーク３２−３、減算部３３−３及び量子化及び逆量子化部３５−３により第３階層処理部が構成され、エンコーダネットワーク３１−４、デコーダネットワーク３２−４、減算部３３−４及び量子化及び逆量子化部３５−４により第４階層処理部が構成される。

図９に示したオートエンコーダ群３６ａとこのオートエンコーダ群３６ｂとを比較すると、両オートエンコーダ群３６ａ，３６ｂは、エンコーダネットワーク３１−１〜３１−４、デコーダネットワーク３２−１〜３２−４及び減算部３３−１〜３３−４を備えている点で共通する。一方、オートエンコーダ群３６ｂは、オートエンコーダ群３６ａの構成に加え、さらに量子化及び逆量子化部３５−１〜３５−４を備えている点でオートエンコーダ群３６ａと相違する。

エンコーダネットワーク３１−１、量子化及び逆量子化部３５−１、及びデコーダネットワーク３２−１により、量子化及び逆量子化部３５−１を含むオートエンコーダが構成される。また、エンコーダネットワーク３１−２、量子化及び逆量子化部３５−２、及びデコーダネットワーク３２−２により、量子化及び逆量子化部３５−２を含むオートエンコーダが構成される。また、エンコーダネットワーク３１−３、量子化及び逆量子化部３５−３、及びデコーダネットワーク３２−３により、量子化及び逆量子化部３５−３を含むオートエンコーダが構成される。さらに、エンコーダネットワーク３１−４、量子化及び逆量子化部３５−４、及びデコーダネットワーク３２−４により、量子化及び逆量子化部３５−４を含むオートエンコーダが構成される。

図１６のとおり、量子化及び逆量子化部３５−１〜３５−４は、順伝播処理時に動作するように、エンコーダネットワーク３１−１〜３１−４とデコーダネットワーク３２−１〜３２−４との間にそれぞれ設けられている。量子化及び逆量子化部３５−１〜３５−４は、逆伝播処理時には動作しない。

学習装置３ｂは、図９に示した学習装置３ａと同様に、学習用信号を入力して学習処理を行い、パラメータＤ１〜Ｄ４，Ｅ１〜Ｅ４を生成して出力する。

制御部３０、パラメータ出力部３４、及びオートエンコーダ群３６ｂに備えたエンコーダネットワーク３１−１〜３１−４、デコーダネットワーク３２−１〜３２−４及び減算部３３−１〜３３−４は、図９に示した学習装置３ａと同様であるから、ここでは説明を省略する。

図１７は、量子化及び逆量子化部３５の構成例を示すブロック図である。この量子化及び逆量子化部３５は、量子化部３７及び逆量子化部３８を備えている。量子化部３７は、図１４に示した量子化部１４に相当し、逆量子化部３８は、図１４に示した逆量子化部１５及び図１５に示した逆量子化部２３に相当する。

量子化及び逆量子化部３５は、量子化部１４と逆量子化部１５，２３とをこの順序で縦続接続したときの変換と同一の変換を実行する。量子化及び逆量子化部３５は、量子化部１４と逆量子化部１５，２３とを縦続接続して実現してもよいし、縦続接続したときの合成関数を実行するように構成してもよい。

例えば、量子化部１４が前記式（１３）に従い、逆量子化部１５，２３が前記式（１４）に従って処理を実行する場合には、量子化及び逆量子化部３５は、入力値ｐに対して、以下の式にて演算し、出力値ｓを出力する。

図１６に戻って、量子化及び逆量子化部３５−１は、順伝播処理において、エンコーダネットワーク３１−１から暫定的な第１の階層符号を入力する。そして、量子化及び逆量子化部３５−１は、暫定的な第１の階層符号に対し量子化及び逆量子化の処理を行い、量子化及び逆量子化処理後の暫定的な第１の階層符号をデコーダネットワーク３２−１に出力する。

量子化及び逆量子化部３５−２は、順伝播処理において、エンコーダネットワーク３１−２から暫定的な第２の階層符号を入力する。そして、量子化及び逆量子化部３５−２は、暫定的な第２の階層符号に対し量子化及び逆量子化の処理を行い、量子化及び逆量子化処理後の暫定的な第２の階層符号をデコーダネットワーク３２−２に出力する。

量子化及び逆量子化部３５−３は、順伝播処理において、エンコーダネットワーク３１−３から暫定的な第３の階層符号を入力する。そして、量子化及び逆量子化部３５−３は、暫定的な第３の階層符号に対し量子化及び逆量子化の処理を行い、量子化及び逆量子化処理後の暫定的な第３の階層符号をデコーダネットワーク３２−３に出力する。

量子化及び逆量子化部３５−４は、順伝播処理において、エンコーダネットワーク３１−４から暫定的な第４の階層符号を入力する。そして、量子化及び逆量子化部３５−４は、暫定的な第４の階層符号に対し量子化及び逆量子化の処理を行い、量子化及び逆量子化処理後の暫定的な第４の階層符号をデコーダネットワーク３２−４に出力する。

このように、量子化及び逆量子化部３５−１は、量子化部１４−１及び逆量子化部１５−１，２３−１のこの順序による縦続接続と同一の入出力関係に基づいて動作する。すなわち、量子化及び逆量子化部３５−１は、量子化部１４−１等と共通のパラメータ（例えば、前記式（１３）及び前記式（１５）におけるＱ及びＲ）により処理を実行する。

また、量子化及び逆量子化部３５−２は、量子化部１４−２及び逆量子化部１５−２，２３−２のこの順序による縦続接続と同一の入出力関係に基づいて動作する。すなわち、量子化及び逆量子化部３５−２は、量子化部１４−２等と共通のパラメータにより処理を実行する。

また、量子化及び逆量子化部３５−３は、量子化部１４−３及び逆量子化部１５−３，２３−３のこの順序による縦続接続と同一の入出力関係に基づいて動作する。すなわち、量子化及び逆量子化部３５−３は、量子化部１４−３等と共通のパラメータにより処理を実行する。

また、量子化及び逆量子化部３５−４は、量子化部１４−４及び逆量子化部２３−４のこの順序による縦続接続と同一の入出力関係に基づいて動作する。すなわち、量子化及び逆量子化部３５−４は、量子化部１４−４等と共通のパラメータにより処理を実行する。

以上のように、実施例２の学習装置３ｂによれば、実施例１の学習装置３ａのエンコーダネットワーク３１−１〜３１−４とデコーダネットワーク３２−１〜３２−４との間に、量子化及び逆量子化部３５−１〜３５−４をそれぞれ備えるようにした。

量子化及び逆量子化部３５−１〜３５−４は、順伝播処理において、エンコーダネットワーク３１−１〜３１−４により生成された暫定的な第１〜４の階層符号に対し量子化及び逆量子化の処理を行い、量子化及び逆量子化後の暫定的な第１〜４の階層符号を生成してデコーダネットワーク３２−１〜３２−４に出力する。

これにより、実施例１の学習装置３ａと同様の効果を奏し、符号化装置１ｂ及び復号装置２ｂは、各階層の処理を、学習装置３ｂにより確定されたパラメータＥ１〜Ｅ４，Ｄ１〜Ｄ４を用いてニューラルネットワークにて実現するから、その挙動は最適なものとなる。

したがって、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得ることが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

尚、実施例１，２による符号化装置１ａ，１ｂ、復号装置２ａ，２ｂ及び学習装置３ａ，３ｂのハードウェア構成としては、通常のコンピュータを使用することができる。符号化装置１ａ，１ｂ、復号装置２ａ，２ｂ及び学習装置３ａ，３ｂは、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

符号化装置１ａに備えた減算部１０−１〜１０−３、エンコーダネットワーク１１−１〜１１−４、デコーダネットワーク１２−１〜１２−３及び符号出力部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、符号化装置１ｂに備えた減算部１０−１〜１０−３、エンコーダネットワーク１１−１〜１１−４、デコーダネットワーク１２−１〜１２−３、符号出力部１３、量子化部１４−１〜１４−４及び逆量子化部１５−１〜１５−３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

復号装置２ａに備えた符号入力部２０、デコーダネットワーク２１−１〜２１−４及び加算部２２−１〜２２−３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、復号装置２ｂに備えた符号入力部２０、逆量子化部２３−１〜２３−４、デコーダネットワーク２１−１〜２１−４及び加算部２２−１〜２２−３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

学習装置３ａに備えた制御部３０、オートエンコーダ群３６ａ及びパラメータ出力部３４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、学習装置３ｂに備えた制御部３０、オートエンコーダ群３６ｂ及びパラメータ出力部３４の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，１ａ，１ｂ 符号化装置
２，２ａ，２ｂ 復号装置
３，３ａ，３ｂ 学習装置
１０−１，１０−２，１０−３ 減算部
１１，１１−１，１１−２，１１−３，１１−４ エンコーダネットワーク
１２，１２−１，１２−２，１２−３ デコーダネットワーク
１３ 符号出力部
１４，１４−１，１４−２，１４−３，１４−４ 量子化部
１５，１５−１，１５−２，１５−３ 逆量子化部
２０ 符号入力部
２１−１，２１−２，２１−３，２１−４ デコーダネットワーク
２２−１，２２−２，２２−３ 加算部
２３−１，２３−２，２３−３，２３−４ 逆量子化部
３０ 制御部
３１−１，３１−２，３１−３，３１−４ エンコーダネットワーク
３２−１，３２−２，３２−３，３２−４ デコーダネットワーク
３３−１，３３−２，３３−３，３３−４ 減算部
３４ パラメータ出力部
３５−１，３５−２，３５−３，３５−４ 量子化及び逆量子化部
３６ａ，３６ｂ オートエンコーダ群
３７ 量子化部
３８ 逆量子化部
４０ 素子

Claims (12)

1. 符号化対象信号を入力して符号に変換し、当該符号を出力する符号化装置において、
   １以上の所定数の階層処理部と、ニューラルネットワークにより構成されるエンコーダネットワークを有する最終階層処理部と、符号出力部と、を備え、
   前記階層処理部は、
   ニューラルネットワークによりそれぞれ構成されるエンコーダネットワーク及びデコーダネットワークからなるオートエンコーダにおける前記エンコーダネットワーク及び前記デコーダネットワーク、並びに減算部を有し、
   前記階層処理部の前記エンコーダネットワークは、
   当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上である場合の当該階層よりも１つ前の前階層の前記減算部により出力された前階層の残差信号に対しエンコーダの処理を行い、当該階層の階層符号を生成し、
   前記階層処理部の前記デコーダネットワークは、
   前記エンコーダネットワークにより生成された当該階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、
   前記階層処理部の前記減算部は、
   当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上である場合の前記前階層の前記残差信号と、前記デコーダネットワークにより生成された当該階層の前記部分復号信号との間の差分を演算し、当該階層の残差信号を生成し、
   前記最終階層処理部の前記エンコーダネットワークは、
   当該階層よりも１つ前の前記前階層の前記残差信号に対しエンコーダの処理を行い、最終階層の階層符号を生成し、
   前記符号出力部は、
   前記階層処理部の前記エンコーダネットワークにより生成された各階層の前記階層符号、及び前記最終階層処理部の前記エンコーダネットワークにより生成された前記最終階層の前記階層符号を統合化し、前記符号を生成して出力する、ことを特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   前記階層処理部は、さらに量子化部及び逆量子化部を有し、
   前記最終階層処理部は、さらに量子化部を有し、
   前記階層処理部の前記量子化部は、
   前記エンコーダネットワークにより生成された当該階層の前記階層符号に対し量子化の処理を行い、当該階層の量子化後の前記階層符号を生成し、
   前記階層処理部の前記逆量子化部は、
   前記量子化部により生成された当該階層の量子化後の前記階層符号に対し、前記量子化の処理に対応する逆量子化の処理を行い、当該階層の逆量子化後の前記階層符号を生成し、
   前記最終階層処理部の前記量子化部は、
   前記エンコーダネットワークにより生成された前記最終階層の前記階層符号に対しエンコーダの処理を行い、前記最終階層の量子化後の前記階層符号を生成し、
   前記符号出力部は、
   前記階層処理部の前記量子化部により生成された各階層の量子化後の前記階層符号、及び前記最終階層処理部の前記量子化部により生成された前記最終階層の量子化後の前記階層符号を統合化し、前記符号を生成して出力する、ことを特徴とする符号化装置。
3. 符号を入力して復号信号に変換し、当該復号信号を出力する復号装置において、
   符号入力部と、ニューラルネットワークにより構成されるデコーダネットワークを有する第１階層処理部と、１以上の所定数の階層処理部と、を備え、
   前記符号入力部は、
   前記符号を入力し、当該符号から階層毎の階層符号を分離し、
   前記第１階層処理部の前記デコーダネットワークは、
   前記符号入力部により分離された第１階層の前記階層符号に対しデコーダの処理を行い、前記第１階層の部分復号信号を生成し、当該部分復号信号を前記第１階層の復号信号として出力し、
   前記階層処理部は、
   ニューラルネットワークにより構成されるデコーダネットワーク、及び、第２階層以上の階層の復号信号を生成して出力する加算部を有し、
   前記階層処理部の前記デコーダネットワークは、
   前記符号入力部により分離された第２階層以上の階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、
   前記階層処理部の前記加算部は、
   前記デコーダネットワークにより生成された当該階層の前記部分復号信号と、当該階層よりも１つ前の前階層の前記復号信号とを加算し、当該階層の前記復号信号を生成して出力する、ことを特徴とする復号装置。
4. 請求項３に記載の復号装置において、
   前記第１階層処理部及び前記階層処理部のそれぞれは、さらに逆量子化部を有し、
   前記第１階層処理部の前記逆量子化部は、
   前記符号入力部により分離された前記第１階層の前記階層符号に対し逆量子化の処理を行い、前記第１階層の逆量子化後の前記階層符号を生成し、
   前記第１階層処理部の前記デコーダネットワークは、
   前記逆量子化部により生成された前記第１階層の逆量子化後の前記階層符号に対しデコーダの処理を行い、前記第１階層の部分復号信号を生成し、当該部分復号信号を前記第１階層の前記復号信号として出力し、
   前記階層処理部の前記逆量子化部は、
   前記符号入力部により分離された第２階層以上の階層の前記階層符号に対し逆量子化の処理を行い、当該階層の逆量子化後の前記階層符号を生成し、
   前記階層処理部の前記デコーダネットワークは、
   前記逆量子化部により生成された当該階層の逆量子化後の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成する、ことを特徴とする復号装置。
5. 学習用信号を入力し、当該学習用信号に基づいてニューラルネットワークの結合重み係数を含むパラメータを生成して出力する学習装置において、
   ２以上の所定数の階層処理部を備え、
   前記階層処理部は、
   ニューラルネットワークによりそれぞれ構成されるエンコーダネットワーク及びデコーダネットワークからなるオートエンコーダにおける前記エンコーダネットワーク及び前記デコーダネットワーク、並びに減算部を有し、
   順伝播処理時に、
   前記エンコーダネットワークが、当該階層処理部が第１階層である場合の前記学習用信号、または当該階層処理部が第２階層以上の階層である場合の当該階層よりも１つ前の前階層の前記減算部により出力された前階層の残差信号に対しエンコーダの処理を行い、当該階層の階層符号を生成し、
   前記デコーダネットワークが、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対しデコーダの処理を行い、当該階層の部分復号信号を生成し、
   前記減算部が、当該階層処理部が第１階層である場合の前記符号化対象信号、または当該階層処理部が第２階層以上の階層である場合の前記前階層の前記残差信号と、前記デコーダネットワークにより生成された当該階層の前記部分復号信号との間の差分を演算し、当該階層の残差信号を生成し、
   逆伝播処理時に、
   前記デコーダネットワークが、前記減算部から当該階層の前記残差信号を入力し、
   前記デコーダネットワーク及び前記エンコーダネットワークが、誤差逆伝播処理を行い、前記デコーダネットワーク及び前記エンコーダネットワークの前記パラメータをそれぞれ更新する、ことを特徴とする学習装置。
6. 請求項５に記載の学習装置において、
   前記階層処理部は、さらに量子化及び逆量子化部を備え、
   前記順伝播処理時に、
   前記量子化及び逆量子化部が、前記エンコーダネットワークにより生成された当該階層の前記階層符号に対し量子化及び逆量子化の処理を行い、当該階層の量子化及び逆量子化処理後の前記階層符号を生成し、
   当該階層処理部の前記デコーダネットワークが、前記量子化及び逆量子化部により生成された当該階層の量子化及び逆量子化後の前記階層符号に対しデコーダの処理を行い、当該階層の前記部分復号信号を生成する、ことを特徴とする学習装置。
7. 請求項５または６に記載の学習装置において、
   さらに、制御部及びパラメータ出力部と、を備え、
   前記制御部は、
   順伝播処理及び逆伝播処理を行うための指示信号を全ての階層の前記階層処理部に出力する指示信号出力処理を行い、
   前記順伝播処理及び前記逆伝播処理が完了すると、所定の終了条件を満たすか否かを判定し、前記所定の終了条件を満たさないと判定した場合、前記指示信号出力処理を行い、前記所定の終了条件を満たすと判定した場合、出力指示信号を前記パラメータ出力部に出力し、
   前記階層処理部は、
   前記制御部から前記指示信号を入力すると、前記順伝播処理及び前記逆伝播処理を行い、前記パラメータを更新し、当該パラメータを前記パラメータ出力部に出力し、
   前記パラメータ出力部は、
   前記制御部から前記出力指示信号を入力すると、前記階層処理部から入力した前記パラメータを最適なパラメータとして確定し、当該パラメータを出力する、ことを特徴とする学習装置。
8. 請求項１または２に記載の符号化装置において、
   前記エンコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてエンコーダの処理を行い、
   前記デコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてデコーダの処理を行う、ことを特徴とする符号化装置。
9. 請求項３または４に記載の復号装置において、
   前記デコーダネットワークは、請求項５から７までのいずれか一項に記載の学習装置により出力された前記パラメータを用いてデコーダの処理を行う、ことを特徴とする復号装置。
10. コンピュータを、請求項１、２または８に記載の符号化装置として機能させるためのプログラム。
11. コンピュータを、請求項３、４または９に記載の復号装置として機能させるためのプログラム。
12. コンピュータを、請求項５から７までのいずれか一項に記載の学習装置として機能させるためのプログラム。

Images