JP2021072540A

JP2021072540A - 画像符号化装置、復号装置、伝送システム、及びその制御方法

Info

Publication number: JP2021072540A
Application number: JP2019197993A
Authority: JP
Inventors: 梶原　浩; Hiroshi Kajiwara; 浩梶原; 山崎　健史; Takeshi Yamazaki; 健史山崎; 美央松丸; Mio Matsumaru
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2021-05-06

Abstract

【課題】符号化の対象となる画像の特性を利用した効率的な符号化を実現する。【解決手段】画像符号化装置であって、ニューラルネットを利用して画像の符号化を行う符号化手段と、格納手段に格納された画像を用いて、前記符号化手段で利用するニューラルネットのネットワークパラメータ、および、復号に利用するニューラルネットのネットワークパラメータを学習する学習手段と、前記学習手段により得られたニューラルネットのネットワークパラメータに基づき、前記符号化手段で利用するニューラルネットを更新する更新手段と、前記学習手段により得られるニューラルネットのパラメータに基づき、復号に利用するニューラルネットのパラメータを符号化するパラメータ符号化手段と、前記符号化手段で得られた画像符号化データと、前記パラメータ符号化手段で生成されたネットワークパラメータ符号化データとを出力する出力手段とを有することを特徴とする。【選択図】図１

Description

本発明は画像の伝送に際し、伝送データ量を削減するための符号化、復号技術に関するものである。

従来、画像データのデータ量を圧縮するための符号化技術が知られている。これまでは、設計者が、効率的にデータを圧縮できるように、画像データの特性に合わせて個別に符号化および復号アルゴリズムを設計していた。近年、画像の符号化の一手法として、ニューラルネットを利用した手法が種々提案されている。このような手法によれば、テスト用の画像データセットを用いて学習することにより、自動的に符号化、復号アルゴリズムを構成することができる。非特許文献１はそのような手法のひとつであり、オートエンコーダと呼ばれる次元圧縮アルゴリズムを利用した符号化技術である。

ＺｈｅｎｇｘｕｅＣｈｅｎｇ，ＨｅｍｉｎｇＳｕｎ，ＭａｓａｒｕＴａｋｅｕｃｈｉａｎｄＪｉｒｏＫａｔｔｏ： "ＡＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＡｕｔｏＥｎｃｏｄｅｒ−ｂａｓｅｄＬｏｓｓｙＩｍａｇｅＣｏｍｐｒｅｓｓｉｏｎ，" ＰＣＳ２０１８，Ｊｕｎｅ．２０１８．

テスト用の画像データセットを用いた学習によって符号化、復号アルゴリズムを自動構築する機構を持った画像圧縮手法は、テストに使用した画像データセットと類似する特性を有する画像データの圧縮に対して所望の性能を得ることができる。しかしながら、テストで使用した画像データセットとは特性の異なる画像データを圧縮する場合には期待する性能を得られないことがある。

一般に、画像伝送システムにおいては、伝送対象として想定される様々な特性の画像に対して性能が得られるように設計される。一方で、例えば、特定の場所に取り付けられた監視カメラなど、伝送対象の画像データの特性に偏りがある場合もある。その結果、伝送する画像データの特性に偏りのある場合でもその特徴をデータ圧縮に有効活用することは困難であった。

そこで本発明では、伝送対象の画像の特性に合わせて符号化装置、復号装置を更新可能な画像伝送システムの実現を目的とする。

上記課題を解決するための本発明は、画像符号化装置であって、ニューラルネットを利用して画像の符号化を行う符号化手段と、学習用画像を格納する格納手段と、前記格納手段に格納される画像を用いて、前記符号化手段で利用するニューラルネットのネットワークパラメータ、および、復号に利用するニューラルネットのネットワークパラメータを学習する学習手段と、前記学習手段により得られたニューラルネットのネットワークパラメータに基づき、前記符号化手段で利用するニューラルネットを更新する更新手段と、前記学習手段により得られるニューラルネットのパラメータに基づき、復号に利用するニューラルネットのパラメータを符号化するパラメータ符号化手段と、前記符号化手段で得られた画像符号化データと、前記パラメータ符号化手段で生成されたネットワークパラメータ符号化データとを出力する出力手段とを有することを特徴とする。

本発明により、符号化の対象となる画像の特性を利用した効率的な符号化が可能となる。

第１の実施形態に係る画像伝送システムの構成を示すブロック図。第１の実施形態に係るネットワークパラメータ学習部１０５が備えるオートエンコーダの例を示す図。第１の実施形態に係る画像符号化部１０２が備える符号化ニューラルネットの例を示す図。第１の実施形態に係る符号化データ出力部１００から出力される符号化データの構成を示す図。第１の実施形態に係る画像復号部１０９が備える復号ニューラルネットの例を示す図。第１の実施形態に係る画像符号化装置１００の処理の流れを示す図。第１の実施形態に係る画像復号装置１０７の処理の流れを示す図。第１の実施形態の画像伝送システムで伝送される画像データと、符号化ニューラルネット、復号ニューラルネットのパラメータの関係を示す図。第２の実施形態に係る画像伝送システムの構成を示すブロック図。第２の実施形態に係る符号化データ格納部９０４に格納される符号化データの構造を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜第１の実施形態＞
第１の実施形態では、オートエンコーダと呼ばれる次元圧縮アルゴリズムを利用した画像伝送システムを例に説明する。オートエンコーダでは、入力層、中間層、出力層からなるニューラルネットワークであり、入力層と出力層に同じデータを用いた教師あり学習させることで構成されたモデルである。特に、中間層の少なくとも１層において、入力層よりも次元数を少なくしておくことで、次元圧縮された特徴表現が可能となる。以下の説明では、入力層から所望の次元数に圧縮される中間層までを前半部分、所望の次元数に圧縮される中間層から出力層までの後半部分とする。すなわち、画像の符号化・復号アルゴリズムとしてオートエンコーダを用いると、オートエンコーダにおける前半部分が符号化、後半部分が復号を実現することになる。

本システムではさらに、符号化により圧縮したデータを伝送することを想定している。オートエンコーダの前半部分のニューラルネットを用いて次元圧縮されたデータを送信側から伝送し、受信側にてオートエンコーダの後半部分のニューラルネットを用いて画像を復元する。さらに送信側では送信済画像データを蓄積しておき、所定のタイミングでオートエンコーダの学習を行ってネットワークを再構築する。再構築したオートエンコーダの前半部分のニューラルネットを以降の伝送画像の次元圧縮に用い、後半部分のニューラルネットの各種パラメータを受信側に伝送して画像の復元に用いることで、画像伝送システムを更新する。以下、本実施形態を具体的に説明する。

図１は、第１の実施形態に係る画像伝送システムの構成を示すブロック図である。図１に示すように、本実施形態の画像伝送システムは、画像符号化装置１００、画像復号装置１０７とそれらをつなぐ信号線１１２から構成される。画像符号化装置１００は、画像入力部１０１、画像符号化部１０２、符号化データ出力部１０３、学習用画像格納部１０４、ネットワークパラメータ学習部１０５、ネットワークパラメータ符号化部１０６を有する。一方、画像復号装置１０７は、符号化データ入力部１０８、画像復号部１０９、画像データ出力部１１０、ネットワークパラメータ復号部１１１を有する。なお、図１においては、「ネットワークパラメータ」は「ＮＷパラメータ」と省略して表記している。

まず、画像符号化装置１００を構成する各機能ブロックについて説明する。画像入力部１０１は、画像符号化装置１００で符号化対象とする画像データを外部装置（不図示）から受け取り、画像符号化部１０２に入力する。処理対象とする画像データは、水平／垂直方向画素数、一画素あたりの色成分数、一成分あたりのビット数など、様々な画像データを扱うことが可能である。ここでは説明を簡単にするため、各画素の輝度値を８ビットの非負の整数値で表現したモノクロ画像を表す画像データを処理対象として説明する。本実施形態においては、画像符号化部１０２に入力するために、各画素の画素値を０から１．０の実数に正規化し、後述する所定の単位毎に、画像符号化部１０２に入力する。

学習用画像格納部１０４は、画像入力部１０１から入力される画像データを複数枚記憶し、学習用画像群として保持する。

ネットワークパラメータ学習部１０５は学習用画像格納部１０４に保持されている学習用画像群を用いて、ネットワークパラメータ学習部１０５の内部に保持するニューラルネットワークのパラメータの学習を行う。ネットワークパラメータ学習部１０５は、内部に、オートエンコーダを備える。このオートエンコーダはＭ個のデータを入力として入力層が受け取り、中間層でＮ個（但し、Ｎ＜Ｍ）のデータに次元圧縮し、出力層では入力データ数Ｍと同数のデータを出力層が出力する。図２は、オートエンコーダの一例を示す。このオートエンコーダは入力層、中間層、出力層の３層からなる。データは図の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、同様に、中間層の各ノードは出力層のすべてのノードに接続されている。それぞれのノード間の接続には、重み係数が定められている。中間層、出力層の各ノードでは、直前の層から渡されるデータとそれぞれの接続に定められた重み係数との積の総和に、バイアス値を加えた値ｓが計算され、その値ｓを入力パラメータとする活性化関数ｆ（ｓ）により、各ノードの出力値が定められる。各接続に定められた重み係数、バイアス値の集合をネットワークパラメータと称する。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。

本実施形態では、このような３層構造のオートエンコーダを使うものとして説明するが、３層構造に限定されない。入力層で受け取ったデータの数以上の出力が出力層から得られ、中間層の少なくとも１つの層において入力層のノード数よりも少ないノード数の層を有していれば良く、４層以上で、中間層が複数の層からなるニューラルネットワークでもよい。また、本実施形態では、各層間は全結合としているが、これに限らず、畳み込みニューラルネットワークであっても構わない。以降、このようなオートエンコーダの前半部分、即ち、Ｍ個のデータを入力として受け取り、Ｎ個のデータに次元圧縮するまでを、ここでは符号化ニューラルネットと呼ぶ。また、同様に、後半部分、即ち、Ｎ個の次元圧縮されたデータから出力データを生成するまでの部分を復号ニューラルネットと呼ぶ。

ネットワークパラメータ学習部１０５は、学習用画像格納部１０４に格納されている画像データをニューラルネットワークへの入力データとし、入力データとの誤差が少ない出力データが得られるようにニューラルネットワークのパラメータの学習を行う。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用すれば良い。例えば、入力データと出力データの平均二乗誤差を目的関数とし、確率的勾配降下法などを用いて目的関数の最小化を行うなどすれば良い。学習は、所定の繰り返し回数を終了した場合、あるいは、目的関数の改善が収束したと判断される場合に終了する。学習が終了すると、学習により得られたニューラルネットワークのパラメータを画像符号化部１０２とネットワークパラメータ符号化部１０６へと出力する。画像符号化部１０２へは符号化ニューラルネットのパラメータを出力し、ネットワークパラメータ符号化部１０６へは復号ニューラルネットのパラメータを出力する。なお、画像データをニューラルネットワークの入力とする具体的方法としては、様々な方法が適用可能である。本実施形態では、画像データを画素数Ｍ個のタイルに分割し、タイルを入力データのひとつの処理単位として扱う。なお、入力に際し、必要に応じて、画像入力部１０１が画素値の変換を行うなどしても良い。

画像符号化部１０２は、画像入力部１０１から入力される画像データを符号化して画像符号化データを生成し、符号化データ出力部１０３へと出力する。

画像符号化部１０２は、内部に、入力データ数Ｍに対して出力データ数がＮ（但し、Ｎ＜Ｍとする）となるニューラルネットワークを備える。これは先に説明したネットワークパラメータ学習部１０５が内部に備えるオートエンコーダの前半部分、即ち、符号化ニューラルネットと同一の構成とする。図３は、符号化ニューラルネットの一例を示す図である。このニューラルネットワークは入力層と出力層の２層からなり、入力層においてＭ個のデータを受け取り、出力層からＮ個のデータを出力する。入力層の各ノードは出力層のすべてのノードに接続され、それぞれの接続に対して重み係数が定められている。ネットワークパラメータ学習部１０５の説明の際に述べたように、２層以上、より多くの層から構成されていても構わない。ネットワークパラメータ学習部１０５から符号化ニューラルネットのパラメータが出力される場合には、符号化ニューラルネットのパラメータを受け取り、内部に保持するニューラルネットのパラメータ値を更新する。これにより、ネットワークパラメータ学習部１０５における学習により構築されたオートエンコーダの符号化ニューラルネットと同じニューラルネットが画像符号化部１０２に構築されることになる。

画像入力部１０１から符号化対象画像を受け取ると、ネットワークパラメータ学習部１０５と同様の方法で、これをニューラルネットワークの入力として与える。入力層から出力層へ向けて順にノードの値が計算され、最終的に出力層からＮ個のデータを取り出す。Ｎ個のデータは、所定のビット精度で表現され、画像符号化データとして符号化データ出力部１０３へ出力される。

ネットワークパラメータ符号化部１０６はネットワークパラメータ学習部１０５における学習により決定されたネットワークパラメータのうち、復号ニューラルネットのパラメータを受け取って符号化する。これをネットワークパラメータ符号化データとして、符号化データ出力部１０３へと出力する。ネットワークパラメータの符号化は、必要とされる精度を落とさず、できるだけデータ量を減らせる手法であればどのような方法でも構わない。本実施形態では、単純に単精度浮動小数表現を用いて復号ニューラルネットのパラメータを固定長符号化するものとする。ただし、、可変長符号化を適用しても構わない。

符号化データ出力部１０３は、画像符号化装置１００の出力となる符号化データを形成し、信号線１１２を介して、画像復号装置１０７へと出力する。符号化データは、画像符号化部１０２から出力される画像符号化データ、ネットワークパラメータ符号化部１０６から出力されるネットワークパラメータ符号化データ、および、復号に必要な情報を含んだヘッダから成る。ただしネットワークパラメータ学習部１０５によるネットワークパラメータの更新が行われないタイミングでは、符号化データにはネットワークパラメータ符号化データは含まれない。図４は、符号化データ出力部１０３から出力される符号化データの構造の一例を示す図である。図４（ａ）はネットワークパラメータ符号化データを含まない場合、（ｂ）は含む場合の符号化データの構造を示している。識別情報４０１は、ネットワークパラメータ符号化データの有無を表す。識別情報４０１が「０」である場合にはネットワークパラメータ符号化データがないことを、また、「１」である場合にはネットワークパラメータ符号化データがあることを示している。説明のため、ヘッダとは別に識別情報を示したが、このような識別情報がヘッダの中に含まれていても構わない。

次に、画像復号装置１０７を構成する各機能ブロックについて説明する。符号化データ入力部１０８は信号線１１２を介して、外部装置（不図示）から符号化データを受け取り、符号化データの構造を解析して、符号化データに含まれる画像符号化データを画像復号部１０９へ出力する。また符号化データにネットワークパラメータ符号化データが含まれている場合には、ネットワークパラメータ符号化データをネットワークパラメータ復号部１１１へと出力する。

ネットワークパラメータ復号部１１１は符号化データ入力部１０８からネットワークパラメータ符号化データを受け取り、ネットワークパラメータ符号化データを復号して画像復号部１０９へと出力する。ここで復号されるネットワークパラメータ符号化データは、先に説明したネットワークパラメータ符号化部１０６で符号化されたネットワークパラメータである。すなわち、ネットワークパラメータ学習部１０５における学習により構築されたオートエンコーダの後半部分である復号ニューラルネットのパラメータである。

画像復号部１０９は、内部に、入力データ数Ｎに対して出力データ数がＭ（但し、Ｎ＜Ｍとする）となるニューラルネットワークを備える。これは先に説明したネットワークパラメータ学習部１０５が内部に備えるオートエンコーダの後半部分、即ち、復号ニューラルネットと同一の構成とする。図５は、復号ニューラルネットの一例を示す図である。本実施形態においてこのニューラルネットワークは入力層と出力層の２層からなり、入力層においてＮ個のデータを受け取り、出力層からＭ個のデータを出力する。入力層の各ノードは出力層のすべてのノードに接続され、それぞれの接続に対して重み係数が定められている。ネットワークパラメータ学習部１０５の説明の際に述べたように、２層以上、より多くの層から構成されていても構わない。

ネットワークパラメータ復号部１１１から復号ニューラルネットのパラメータが出力される場合には、復号ニューラルネットのパラメータを受け取り、内部に保持するニューラルネットのパラメータ値を更新する。これにより、ネットワークパラメータ学習部１０５における学習により構築されたオートエンコーダの復号ニューラルネットと同じニューラルネットが画像復号部１０９に構築されることになる。但し、ネットワークパラメータ符号化部におけるネットワークパラメータの符号化に際して、非可逆の符号化を適用した場合には完全に同一とはならない点に注意されたい。

符号化データ入力部１０８から渡される画像符号化データからＮ個のデータを取り出して内部に保持する復号ニューラルネットの入力として与える。入力層から出力層に向けて順にノードの値が計算され、最終的に出力層からＭ個のデータを出力する。画像データ出力部１１０は、復号によって得られたＭ個のデータは画像入力部１０１が画像符号化部１０２に画像データを入力した際と対になる逆の処理を実行し、出力する。本実施形態では前述のように、画像符号化部１０２が処理対象の画像における各画素について、０から２５５の画素値を０から１．０の実数に正規化して符号化ニューラルネットに入力した。そのため、画像データ出力部１１０は復号ニューラルネットから出力される値を２５５倍して０から２５５の画素値に戻してから外部装置（不図示）に出力する。

図６は、画像符号化装置１００の処理のフローチャートである。なお、以下の説明において記号「Ｓ」はステップを表す。

画像符号化装置１００の処理を開始する際には、まず、Ｓ６０１にて、画像符号化部１０２、ネットワークパラメータ学習部１０５の内部に有するニューラルネットのパラメータを初期設定する。画像符号化部１０２の符号化ニューラルネットは、この後、符号化対象の画像の符号化に用いるため、あらかじめ一般的な画像データを用いて学習したオートエンコーダの符号化ニューラルネットのパラメータを設定するなどすれば良い。

Ｓ６０２においてネットワークパラメータ学習部１０５は、学習を行うか否かを判定する。本実施形態では、学習用画像格納部１０４に、前回の学習では利用していない新たな画像データが一定数以上格納されたら学習を行うものとする。学習を行う場合（ｙｅｓの場合）はＳ６０３へ、行わない場合（ｎｏの場合）はＳ６０６へと処理を移す。

Ｓ６０３においてネットワークパラメータ学習部１０５は、学習用画像格納部１０４に格納される画像データを用いて、ネットワークパラメータ学習部１０５の内部に保持するオートエンコーダの学習を行う。オートエンコーダの学習が所定の終了条件を満たして終了すると、Ｓ６０４で、学習により得られたネットワークパラメータを画像符号化部１０２に送り、画像符号化部１０２の内部に保持する符号化ニューラルネットのネットワークパラメータを更新する。

Ｓ６０５においてネットワークパラメータ符号化部１０６は、ネットワークパラメータ学習部１０５の学習で得られた復号ニューラルネットのパラメータを符号化する。

Ｓ６０６において画像入力部１０１は、符号化対象となる画像データを装置外部から取得し、画像符号化部１０２の入力層に合わせて正規化処理をした上で、画像符号化部１０２に入力する。

Ｓ６０７において画像符号化部１０２は、符号化対象となる画像データを受け取り、画像符号化部１０２の内部に保持される符号化ニューラルネットの入力層に入力する。画像符号化部１０２は、次元圧縮されたデータを出力層から取得する。これを画像符号化データとして符号化データ出力部１０３へと出力する。

Ｓ６０８において符号化データ出力部１０３は、画像符号化データとネットワークパラメータ符号化データを合わせて画像符号化装置１００の出力となる符号化データを形成し、信号線１１２を介して装置外部へと出力する。

Ｓ６０９において符号化データ出力部１０３はすべての画像データの符号化が終了したか否かを判定し、まだ符号化対象の画像データがある場合（ｎｏの場合）にはＳ６０２へと処理を移し、ない場合（ｙｅｓの場合）には符号化装置１００の処理を終了する。

図７に画像復号装置１０７の処理のフローチャートである。画像復号装置１０７の処理を開始する際には、まず、Ｓ７０１において、画像復号部１０９の内部に有するニューラルネットのパラメータを初期設定する。画像復号部１０９の復号ニューラルネットは、画像符号化部１０２の符号化ニューラルネットと対になるものである。画像符号化部１０２の符号化ニューラルネットで次元圧縮されたデータから元の次元数のデータに戻す役割を果たす。あらかじめ一般的な画像データを用いて学習したオートエンコーダの符号化ニューラルネットのパラメータを画像符号化部１０２に、復号ニューラルネットのパラメータを画像復号部１０９に初期パラメータとして設定するなどすれば良い。

Ｓ７０２では、復号対象となる符号化データが信号線１１２を介して符号化データ入力部１０８に入力される。

符号化データ入力部では符号化データの構造を解析して、ネットワークパラメータ符号化データが含まれているか否かを判断する（Ｓ７０３）。ネットワークパラメータ符号化データが含まれている場合には処理をＳ７０４へと移し、含まれていない場合にはＳ７０６へと移す。

含まれている場合、Ｓ７０４において、ネットワークパラメータ復号部１１１がネットワークパラメータ符号化データを復号する。ここで復号されるネットワークパラメータ符号化データはネットワークパラメータ符号化部１０６において符号化された復号ニューラルネットのパラメータである。

Ｓ７０５において、ネットワークパラメータ復号部１１１により復号されたニューラルネットのパラメータが画像復号部１０９に送られ、画像復号部１０９は内部に有するニューラルネットのパラメータを更新する。

Ｓ７０６において画像復号部１０９は、画像符号化データを復号し、画像データを画像データ出力部１１０に送る。

Ｓ７０７において画像データ出力部１１０は、復号によって得られたデータに対して正規化の逆処理をして、タイル毎のデータを統合し、復号画像を示す画像データを出力する。

Ｓ７０８において画像データ出力部１１０は、復号した画像データが画像符号化装置１００から画像復号装置１０７へ伝送される最後の画像データか否かを判定する。最後の画像データでない場合（ｎｏの場合）にはＳ７０２へと処理を移し、最後の画像データであった場合（ｙｅｓの場合）には画像復号装置１０７での復号処理を終了する。

図８は、本実施形態の画像伝送システムで符号化伝送される画像データにどのようなニューラルネットが用いられて符号化、復号されるかを説明する図である。図８において、識別子Ｅ０、Ｅ１、Ｅ２、・・・は画像符号化部１０２に保持される符号化ニューラルネットのネットワークパラメータを識別するための識別子である。また、識別子Ｅ０は画像符号化装置１００の処理開始時に初期設定値として与えられるネットワークパラメータを表す。識別子Ｅ１はネットワークパラメータ学習部１０５の最初の学習によって得られる符号化ニューラルネットのネットワークパラメータを表し、識別子Ｅ２は２回目の学習によって得られるネットワークパラメータを表す。同様に、識別子Ｄ０、Ｄ１、Ｄ２，・・・は画像復号部１０９に保持される復号ニューラルネットのネットワークパラメータを識別するための識別子である。識別子Ｄ０は、画像復号装置１０７の処理開始時に初期設定値として与えられるネットワークパラメータを表す。識別子Ｄ１はネットワークパラメータ学習部１０５の最初の学習によって得られる復号ニューラルネットのネットワークパラメータを、識別子Ｄ２は２回目の学習によって得られるネットワークパラメータを表す。本実施形態では、画像をＫ枚符号化する毎にネットワークパラメータ学習部１０５による学習を行う。この場合、１枚目からＫ枚目までは識別子Ｅ０に対応するネットワークパラメータが設定された符号化ニューラルネットを用いて符号化が行われ、識別子Ｄ０に対応するネットワークパラメータが設定された復号ニューラルネットを用いて復号が行われる。１枚目からＫ枚目の画像を用いた学習によって識別子Ｅ１とＤ１それぞれに対応するネットワークパラメータが得られ、Ｋ＋１枚目の画像から２Ｋ枚目の画像までは識別子Ｅ１、Ｄ１それぞれのネットワークパラメータを用いて符号化、復号が行われる。同様に、Ｋ＋１枚目から２Ｋ枚目の画像を用いた学習によって識別子Ｅ２とＤ２のネットワークパラメータが得られ、２Ｋ＋１枚目の画像から３Ｋ枚目の画像までは識別子Ｅ２とＤ２のネットワークパラメータを用いて符号化、復号を行う。なお、学習用画像格納部１０４の容量に余裕がある場合には、伝送済の画像すべてを利用して学習するようにしても構わない。

以上、説明した通り、本実施形態の画像処理装置１００と画像復号装置１０７での画像伝送においては、所定の枚数の画像データ毎にオートエンコーダの学習が行われ、得られた符号化ニューラルネット、復号ニューラルネットを用いて符号化、復号が行われる。このため、伝送対象の画像データの特性が未知、あるいは、時間と共に変化する場合において、画像データの特性に合わせた符号化器、復号器を用いた効率的な符号化が可能となる。

なお、本実施形態では、画像の符号化を行う画像符号化装置１００と画像の復号を行う画像復号装置１０７の組み合わせにより、一方向に画像伝送を行うシステムについて説明したが、これに限らない。例えば、上述の画像符号化装置１００の機能と画像復号装置１０７の機能を備えた画像処理装置を構成し、このような画像処理装置間で双方向の画像伝送を行うシステムに適用しても構わない。

また、本実施形態では、説明簡略化のため、Ｍ個の入力データをＮ個に削減する単純な圧縮のみを示した。画像圧縮としての効果を高めるためには次元圧縮と量子化を組み合わせてデータ量を削減する仕組みを取り入れ、学習に際しても量子化を考慮した学習を行う必要がある。そのようなシステムにおいても適用可能であることは言うまでもない。

＜第２の実施形態＞
第２の実施形態では、学習用画像格納部１０４に新たな画像データが一定枚数以上格納されたら学習を行い、符号化ニューラルネット、復号ニューラルネットのネットワークパラメータを更新する例について説明した。復号ニューラルネットのネットワークパラメータを更新するためには、復号側に伝送する必要があるため、伝送コストに見合う効果が望まれる。そこで第２の実施形態として、学習後に効果があるか判定し、判定の結果、所定の改善効果が得られた場合にのみネットワークパラメータを更新する例について以下に説明する。

本実施形態に係る画像伝送システムの構成は、第１の実施形態で説明した図１のブロック図と同じである。各ブロックの動作についても基本的に第１の実施形態と同じであるが、ネットワークパラメータ学習部１０５の動作が異なる。動作が同じブロックについては説明を省略し、異なる部分のみ説明する。

本実施形態のネットワークパラメータ学習部１０５は、第１の実施形態で説明した構成に加え、学習効果の評価機能を備える。具体的には、前回の学習終了時点での目的関数の値Ｃｐを保持しておき、学習終了時点で、今回の学習の効果が大きかったか否かを判定する。なお、初回の学習の場合には、Ｃｐに十分大きな値を設定しておくなどとしておけば、ネットワークパラメータの更新が必ず行われる。

学習が終了すると、終了時点での目的関数の値Ｃｃを取得し、その変化量ΔＣ（＝Ｃｐ−Ｃｃ）を算出する。

変化量ΔＣが所定の閾値Ｔｈ以上（ΔＣ＞Ｔｈ）である場合、すなわち、学習による改善効果が大きい場合には、学習により得られたニューラルネットワークのパラメータを画像符号化部１０２とネットワークパラメータ符号化部１０６へと出力する。また、画像符号化部１０２へは符号化ニューラルネットのパラメータを出力し、ネットワークパラメータ符号化部１０６へは復号ニューラルネットのパラメータを出力する。この場合、ＣｐをＣｃで置き換え、次の学習における改善効果の評価に用いる。

一方、変化量ΔＣが所定の閾値Ｔｈ以下である場合（ΔＣ≦Ｔｈ）、すなわち、学習による改善効果が小さい場合には、ネットワークパラメータの出力を行わない。よって、ネットワークパラメータの更新、並びに、ネットワークパラメータの符号化は行われず、ネットワークパラメータの伝送も行われない。この場合、学習実施以降もこれまでのネットワークパラメータが継続して使用される。

以上、説明した通り、本実施の形態によれば、学習により期待する改善効果が得られた場合のみ、ネットワークパラメータの伝送、更新が行われるため、無駄な情報伝送を減らした効率的符号化が可能となる。

＜第３の実施形態＞
上述の第１、第２の実施形態では、伝送後、受信側で直ちに復号して画像を出力する場合を例に、説明したが、このような形態に限定されず、受信側で符号化データを保持しておき、復号要求を受けた時点で復号するような用途においても適用可能である。第３の実施形態として、伝送された符号化データを格納しておき、必要になった時点で復号処理を行う例について説明する。

図９は、本実施形態に係る伝送システムのブロック図を示している。図１に示した第１の実施形態と共通のブロックについては同じ番号を付し、説明を省略する。伝送側となる画像符号化装置１００は図１と同じであるため、内部のブロックを省略した。図９において画像復号装置９０１は、信号線９０２を介して、外部の装置とデータの授受をおこなう。さらに画像復号装置９０１は、符号化データ入力部９０３、符号化データ格納部９０４、ネットワークパラメータ復号部９０５、復号ネットワークパラメータ格納部９０６を有する。本実施形態の画像復号装置９０１の動作は大きく２つに分けられる。一つは、画像符号化装置１００からの符号化データを受け取る受信処理であり、もう一つは、装置外部からの要求を受けた場合に画像データを復号して出力する復号処理である。

まず、受信処理について説明する。第１の実施形態での説明と同様にして画像符号化装置１００から符号化データが出力される。符号化データ入力部９０３は信号線１１２を介して、外部装置から符号化データを受け取り、符号化データの構造を解析する。符号化データ入力部９０３は、符号化データにネットワークパラメータ符号化データが含まれる場合にはネットワークパラメータ符号化データをネットワークパラメータ復号部９０５へと出力する。さらにネットワークパラメータを除いた符号化データを符号化データ格納部９０４へと格納する。この際、符号化データ格納部９０４に格納する符号化データには、復号に必要となるネットワークパラメータの識別子を付与しておく。

図１０は、符号化データ格納部９０４に格納される符号化データの構造の一例を示している。識別子１００１は、符号化データ入力部９０３で付与されるネットワークパラメータの識別子である。図に示す通り、符号化データは復号に必要なヘッダ情報、ネットワークパラメータの識別子、画像符号化データを含む。

第１の実施形態において、図８を用いて説明した通り、伝送される画像データによって、符号化、復号に用いられるニューラルネットは異なる。そこで、復号要求があった際にどのネットワークパラメータを用いて復号すれば良いかがわかるように、識別子Ｄ０、Ｄ１、Ｄ２などネットワークパラメータを識別する情報を付与して格納する。符号化データ入力部９０３が新たなネットワークパラメータを受け取った場合には、それを識別するための識別子を発行して付与し、そうでない場合には最後に発番した識別子を付与すれば良い。識別子はネットワークパラメータ復号部９０５へも伝達される。

ネットワークパラメータ復号部９０５は符号化データ入力部９０３からネットワークパラメータ符号化データを受け取り、ネットワークパラメータを復号して識別子を付与して復号ネットワークパラメータ格納部９０６へと格納する。

以上で、画像符号化装置１００から伝送される符号化データの受信処理は終了する。次に、装置外部から復号要求を受けた場合の復号処理について説明する。

信号線９０２を介して、符号化データ格納部９０４に格納される画像符号化データのいずれかについて復号要求を受けると、画像復号部９０５は、復号を要求された符号化データを符号化データ格納部９０４から取り出し、復号処理を開始する。画像復号部９０５は第１の実施形態における画像復号部１０９と同様のニューラルネットワークを備える。画像復号部９０５は取得した画像符号化データに付与されているネットワークパラメータの識別子を確認する。識別子で指定されるネットワークパラメータを復号ニューラルネットワークパラメータ格納部９０６から取り出し、画像復号部９０５内部に有するニューラルネットのパラメータとして設定する。以下、画像復号部１０９と同様にして、画像データを復号し、画像データ出力部１１０へと出力する。

なお、本実施形態では画像復号装置でネットワークパラメータの識別子を発行して付与する構成としたが、画像符号化装置側で発行し、符号化データに含めて伝送する構成としても構わない。このような構成の場合、画像符号化装置、画像復号装置で、ネットワークパラメータを適宜選択して使用することが可能となる。

上述の通り、本実施形態では、識別する情報と画像符号化データをセットにして保持することにより、ニューラルネットワークのパラメータ更新による画像特徴に合わせた効率的符号化と、所望のタイミングによる復号を実現可能である。

＜その他の実施形態＞
上述の実施形態では、画像符号化装置と画像復号装置は、信号線を介してデータの授受を行う構成を例に説明したが、これにかぎらない。画像符号化装置および画像復号装置を、無線の通信により共通のサーバーと接続可能とし、サーバーを介した通信によりデータの出力、入力を行うようにすることもできる。

また本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００画像符号化装置
１０１画像入力部
１０２画像符号化部
１０３符号化データ出力部
１０４学習用画像格納部
１０５ネットワークパラメータ学習部
１０６ネットワークパラメータ符号化部
１０７画像復号装置
１０８符号化データ入力部
１０９画像復号部
１１０画像データ出力部
１１１ネットワークパラメータ復号部

Claims

ニューラルネットを利用して画像の符号化を行う符号化手段と、
学習用画像を格納する格納手段と、
前記格納手段に格納される画像を用いて、前記符号化手段で利用するニューラルネットのネットワークパラメータ、および、復号に利用するニューラルネットのネットワークパラメータを学習する学習手段と、
前記学習手段により得られたニューラルネットのネットワークパラメータに基づき、前記符号化手段で利用するニューラルネットを更新する更新手段と、
前記学習手段により得られるニューラルネットのパラメータに基づき、復号に利用するニューラルネットのパラメータを符号化するパラメータ符号化手段と、
前記符号化手段で得られた画像符号化データと、前記パラメータ符号化手段で生成されたネットワークパラメータ符号化データとを出力する出力手段と、を有することを特徴とする画像符号化装置。
更に、学習による改善効果の大きさを判定する判定手段を備え、
該判定手段による判定の結果、改善効果が大きいと判定された場合に、前記更新手段によるニューラルネットの更新、および、前記パラメータ符号化手段によるニューラルネットのパラメータの符号化を行うことを特徴とする請求項１に記載の画像符号化装置。
前記学習手段は、入力層、中間層、出力層から構成されるニューラルネットワークを有し、前記中間層における少なくとも１層のノード数は、前記入力層におけるノード数よりも少ないことを特徴とする請求項１または２に記載の画像符号化装置。
前記パラメータ符号化手段は、前記学習手段が有するニューラルネットワークのうち、前記入力層から、前記中間層のうち前記入力層と接続された層との間におけるパラメータは符号化せず。前記中間層のうちいずれかの層から前記出力層までのパラメータを、符号化することを特徴とする請求項３に記載の画像符号化装置。
符号化データを入力する入力手段と、
前記入力手段から入力される符号化データに含まれる画像符号化データを、ニューラルネットを利用して復号する復号手段と、
前記符号化データに含まれるネットワークパラメータ符号化データから、ニューラルネットのネットワークパラメータを復号するパラメータ復号手段と、
前記パラメータ復号手段により復号されるネットワークパラメータを用いて、前記復号手段で利用するニューラルネットを更新する更新手段と、
前記復号手段により復号される画像を出力する出力手段と、を有することを特徴とする画像復号装置。
更に、前記パラメータ復号手段により復号されるネットワークパラメータに識別情報を付与して、格納するパラメータ格納手段と、
前記入力手段から入力される画像符号化データを格納する格納手段を備え、
前記更新手段は、復号の対象となる画像符号化データを復号するために必要となるネットワークパラメータを前記パラメータ格納手段から取り出して、前記復号手段で利用するニューラルネットを更新することを特徴とする請求項５に記載の画像復号装置。
画像符を号化し、符号化したデータを伝送し、復号する伝送システムであって、
ニューラルネットを利用して画像の符号化を行う符号化手段と、
学習用画像を格納する格納手段と、
前記格納手段に格納される画像を用いて、前記符号化手段で利用するニューラルネットのネットワークパラメータ、および、復号に利用するニューラルネットのネットワークパラメータを学習する学習手段と、
前記学習手段により得られたニューラルネットのネットワークパラメータに基づき、前記符号化手段で利用するニューラルネットを更新する更新手段と、
前記学習手段により得られるニューラルネットのパラメータに基づき、復号に利用するニューラルネットのパラメータを符号化するパラメータ符号化手段と、
前記符号化手段で得られた画像符号化データと、前記パラメータ符号化手段で生成されたネットワークパラメータ符号化データとを符号化データとして出力する出力手段と、
前記出力手段から出力された符号化データのうち前記画像符号化データを、ニューラルネットを利用して復号する復号手段と、を有し、
前記復号手段は、前記画像符号化データを前記符号化手段が符号化した時に用いられたニューラルネットワークパラメータに対応するネットワークパラメータが設定されたニューラルネットワークを用いて、前記画像符号化データを復号することを特徴とする伝送システム。
さらに、前記出力手段から出力された符号化データに含まれるネットワークパラメータ符号化データから、ニューラルネットのネットワークパラメータを復号するパラメータ復号手段と、
前記パラメータ復号手段により復号されるネットワークパラメータを用いて、前記復号手段で利用するニューラルネットを更新する更新手段と、を有することを特徴とする請求項７に記載の伝送システム。
ニューラルネットワークを用いて画像を符号化する符号化方法であって、
前記ニューラルネットを利用して画像の符号化を行い、
学習用画像を用いて、前記ニューラルネットのネットワークパラメータ、および、復号に利用するニューラルネットのネットワークパラメータを学習し、
前記学習により得られたニューラルネットのネットワークパラメータに基づき、前記ニューラルネットを更新し、
前記学習により得られるニューラルネットのパラメータに基づき、復号に利用するニューラルネットのパラメータを符号化し、
前記符号化された画像符号化データと、前記パラメータ符号化手段で生成されたネットワークパラメータ符号化データとを出力することを特徴とする符号化方法。
符号化データを入力し、
前記入力される符号化データに含まれる画像符号化データを、ニューラルネットを利用し、
前記符号化データに含まれるネットワークパラメータ符号化データから、ニューラルネットのネットワークパラメータを復号し、
前記復号されるネットワークパラメータを用いて、前記ニューラルネットを更新し、
前記復号される画像を出力することを特徴とする画像復号方法。
画像を符号化し、符号化したデータを伝送し、復号する伝送方法であって、
符号化ニューラルネットを利用して画像を符号化し、
学習用画像を用いて、前記符号化ニューラルネットのネットワークパラメータ、および、復号に利用する復号ニューラルネットのネットワークパラメータを学習し、
前記学習されたニューラルネットのネットワークパラメータに基づき、前記符号化ニューラルネットを更新し、
前記学習されたニューラルネットのパラメータに基づき、復号ニューラルネットのパラメータを符号化し、
前記符号化された画像符号化データと、前記符号化されたネットワークパラメータ符号化データと符号化データとして出力し、
前記符号化データのうち前記画像符号化データを、前記画像符号化データを前記符号化手段が符号化した時に用いられたニューラルネットワークパラメータに対応するネットワークパラメータが設定されたニューラルネットワークを用いて復号することを特徴とする伝送システム。
コンピュータが読み込み実行することで、前記コンピュータに、請求項９乃至１１のいずれか一項に記載の方法を実行させるためのプログラム。