JP2007074306A

JP2007074306A - 補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2007074306A
Application number: JP2005258503A
Authority: JP
Inventors: Yoshihide Tonomura; 喜秀外村; Takayuki Nakachi; 孝之仲地
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-09-06
Filing date: 2005-09-06
Publication date: 2007-03-22

Abstract

【課題】国際標準アルゴリズム（JPEG2000）の機構を利用して補足画素を作成することによりＤＳＣシステムを構成し、高品質な動画像を提供することを可能にする。
【解決手段】本発明は、復号装置から入力された、復号された第１のデータ列を非線形処理により、該復号装置とは別の復号装置で復号された第２のデータ列情報を補足するための、画像の高域成分及び動き成分を有する補足画素を生成し、補足画素と第２のデータを合成して出力する。
【選択図】図１

Description

本発明は、補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、多視点画像の符号化、すなわち、互いを独立に符号化する必要のあるシステム、及び、ベストエフォート型のネットワークのための符号化、すなわちパケット誤り等が発生するインターネット通信システムにおける、補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体に関する。

近年、アナログ信号システムからディジタル信号システムへ移行しており、ディジタル画像の需要が増加している。しかし、ディジタル画像はそのままではデータ量が膨大になることから、画像を効率的に圧縮する符号化技術が重要なものになっており、国際標準アルゴリズムが広く用いられている。その一例として、ディジタルＴＶには、MPEG−２「”Information technology- Generic coding of movie pictures and associated audio information: Video,” ISO/IEC 1381802,May 1996」が用いられており、今後も、次世代ＤＶＤの規格には、H.264「Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification(IUT-T Rec. H.264- ISO/IEC 14496-10 AVC)” Joint Video Team of ISO/IEC MPEG&ITU-t,2003」が用いられることが決定している。

これらの画像圧縮アルゴリズムの具体的な圧縮アルゴリズムは、まず、エンコーダ側では動き補償（ＭＣ）が行われ、時間的な信号の冗長性が排除され、その後、離散コサイン変換（ＤＣＴ）等の周波数変換により空間的な信号の冗長性が排除された後に、エントロピー符号化が行われる。デコーダ側は真逆の処理を行うことにより復号される。つまり、インターフレームエンコーダ及びインターフレームデコーダにて圧縮・伸張が行われている。

また、これらの一連の圧縮・伸張操作は単一データに対して行われる。これは、単一データにて符号化する場合と、データを分割して符号化した場合の理論情報限界は変わらないという、式（１）〜（３）に示すSlepian-Wolf定理（J.D. Slepian and J.K. Wolf, “Noiseless coding of correlated information sources,” IEEE Trans. Inf. Theory, vol. IT-19, pp.471-480, Jul. 1973）に基づいている。

Ｒ_ｘ＋Ｒ_ｙ≧Ｈ（Ｘ，Ｙ）（１）
Ｒ_ｘ≧Ｈ（Ｘ│Ｙ）（２）
Ｒ_ｙ≧Ｈ（Ｙ│Ｘ）（３）
しかし、近年、図８に示すDistributed Source Coding（以下、ＤＳＣ）が注目されている。ＤＳＣは、情報源を分割し、別々に符号化を行うが、デコード時にはそれらを統合した形でデコードを行う画像符号化システムである。ＤＳＣの特徴として、従来エンコード側で行われていたＭＣ等の演算負荷が高い処理をデコード側に移行することによりエンコード側の処理を軽く構成できる。

また、従来、エンコード側にて行われていたＭＣ処理をデコーダ側で行うことにより、符号化効率の向上を図る機構を持つことができる特徴を持っている。これらの特徴を活かすアプリケーションとして、別々の箇所に取り付けられたカメラに対する符号化（多視点画像符号化）やＩＰネットワークのように損失が生じる通信路システム向けの符号化に応用が期待されている。

ＤＳＣの実際の構成方法は種々挙げられるが、例えば、図９に示すように、Wyner Zivフレームの符号化及び復号にターボ符号を用いた方法が提案されている。この手法は、エンコーダ側の処理を軽減でき、さらに、Ｋｅｙフレームからの補足画素を作成することにより符号化効率の向上を図っている（例えば、非特許文献１参照）。

しかし、ターボ符号器を用いた手法は、国際標準アルゴリズムに規定されておらず、ユーザがターボ符号器等を新たに用意する必要がある。また、補足画素が外れた場合に、パリティビットの再送等を行う必要があり、ネットワークを用いた大規模配信システムやリアルタイム性が必要とされるシステムでは用いることができない。

これに対し、ＭＰＥＧ−２を用いた方法が提案されている。図１０に示すようなＭＰＥＧ−２を用いた方法では、現在すでに作成されたＭＰＥＧ−２のチップ等を有効に活用でき、また、リードソロモン符号を用いることにより、フィードバック制御を無くしている（例えば、非特許文献１参照）。

しかし、補足画素を新たに作成する機構が必要となり、これについては既にチップ化等が完了しているＭＰＥＧ−２の機能を有効に利用していない。
B. Girod, A. Aaron, S. Rane and D. Rebollo-Monedero, "Distributed video coding," Proceedings of the IEEE, Special Issue on Video Coding and Delivery, vol. 93, no. 1, pp. 71-83, January 2005.

上記で述べたように、ＤＳＣは多視点映像符号化やＩＰネットワーク等のベストエフォート型の通信システムに対する符号化として効果が期待されている。しかし、ターボ符号器を用いた場合や、ＭＰＥＧ−２を用いた場合においても、補足画素の作成には現在の符号化アルゴリズムを利用する仕組みにはなっておらず、現在のシステムを大きく変更する必要が生じる。

本発明は、上記の点に鑑みなされたもので、国際標準アルゴリズム（JPEG2000）の機構を利用して補足画素を作成することによりＤＳＣシステムを構成し、高品質な動画像を提供することが可能な補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

本発明（請求項１）は、別々の符号化装置で符号化された複数のデータ列を復号するシステムにおいて、第１のデータ列の情報から第２のデータ列情報を補足するための補足画素生成装置であって、
復号装置から入力された、復号された第１のデータ列を非線形処理により、該復号装置とは別の復号装置で復号された第２のデータ列情報を補足するための、画像の高域成分及び動き成分を有する補足画素を生成する手段を有する。

図１は、本発明の原理構成図である。

本発明（請求項２）は、別々の符号化装置１００で符号化された複数のデータ列を復号する復号化システムであって、
複数の符号化装置で符号化されたデータ列をそれぞれ復号する複数の復号装置２００と、
復号装置２００により復号された第１のデータ列を非線形処理により、該第１のデータ列とは別に復号された第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成装置３００と、
補足画素生成装置３００から入力された補足画素が正しい補足であるかを判定する補足画素判定手段１７と、
補足画素判定手段１７において正しい補足画素であると判定された場合に、該補足画素と第２のデータ列とを合成し、出力する合成手段１８と、を有する再構成装置４００と、を有する。

また、本発明（請求項３）は、補足画素生成装置３００から入力された補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成し、再構成装置に出力する時間解像度拡大装置を、更に有する。

図２は、本発明の原理を説明するための図である。

本発明（請求項４）は、別々の符号化装置で符号化された複数のデータ列を復号する復号化方法であって、
符号化装置で符号化された複数のデータ列をそれぞれ復号する復号ステップ（ステップ１）と、
補足画素生成装置において、復号された複数のデータ列のうち第１のデータ列を非線形処理により、該第１のデータ列とは別の第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成ステップ（ステップ２）と、
再構成装置の補足画素判定手段において、補足画素生成ステップで生成された補足画素が正しい補足であるかを判定する補足画素判定ステップ（ステップ３）と、
再構成装置の合成手段において、補足画素判定ステップで正しい補足画素であると判定された場合に、該補足画素と第２のデータ列と合成し、出力する合成ステップ（ステップ４）と、を行う。

また、本発明（請求項５）は、時間解像度拡大装置において、補足画素生成装置から入力された補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成し、再構成装置に出力するステップを、更に行う。

また、本発明（請求項６）は、複数のデータ列を符号化する複数の符号化装置と、複数のデータ列を復号化する復号化装置とを有する画像符号化通信システムであって、
復号化装置は、
符号化装置で符号化された複数のデータ列をそれぞれ復号する複数の復号手段と、
復号手段により復号された複数のデータ列のうち第１のデータ列を非線形処理により、該第１のデータ列とは別の第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成手段と、
補足画素生成手段から入力された補足画素が正しい補足であるかを判定する補足画素判定手段と、
補足画素判定手段において正しい補足画素であると判定された場合に、第１のデータ列とは別に復号された第２のデータ列と合成し、出力する合成手段と、を有する。

また、本発明（請求項７）は、復号化装置において、
補足画素生成手段から入力された補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成する時間解像度拡大手段を、更に有する。

また、本発明（請求項８）は、符号化装置、復号化装置の各手段を、国際標準規格であるJPEG2000を用いて構成する。

本発明（請求項９）は、コンピュータを、請求項６乃至８記載の復号化装置として機能させる復号化プログラムである。

本発明（請求項１０）は、コンピュータを、請求項６乃至８記載の復号化装置として機能させる復号化プログラムを格納したコンピュータ読み取り可能な記録媒体である。

上記のように本発明によれば、JPEG2000の国際標準アルゴリズムを功名に利用したＤＳＣ構成が可能であり、デコーダ側にて予測等を行わないコンベンショナルなJPEG2000に比べて符号化効率が高くなり、画質の向上が期待できる。また、本システムの構造上、補足画素の高域成分が不足するデメリットがあるが、それを補う時間解像度の拡大処理を導入することにより、非線形処理にて高域成分の推定を実施することにより高域成分を持った動画像の時間解像度の拡張が可能である。JPEG2000など一般に市販されているデコードチップ等を利用して時間解像度の拡張ができるため、現在開発、運用されているシステムを大きく変更することなく、効率的にＤＳＣへの拡張が可能である。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるシステム構成を示す。

以下では、データ列として、Wyner-Ziv フレームと、Keyフレームを用いて説明する。

同図に示すシステムは、Wyner-Zivフレームを扱う圧縮装置（符号化装置）１００Ａ、伸張装置（復号装置）２００Ａ、Keyフレームを扱う圧縮装置（符号化装置）１００Ｂ、伸張装置（復号装置）２００Ｂ、補足画素生成装置３００、再構成装置４００から構成される。

圧縮装置１００Ａ，Ｂは圧縮手段１０，１１を有し、伸張装置２００Ａ，Ｂは伸張手段１２，１３を有し、補足画素生成装置３００は補足画素作成手段３１０を有し、再構成装置４００は再構成手段４１０を有する。

エンコーダ側の圧縮装置１００Ａ，Ｂ、デコード側の伸張装置２００Ａ，Ｂにおいては、Keyフレーム及びWyner-Zivフレーム共に、JPEG2000やMPEG-2といった国際標準規格に制定されている圧縮アルゴリズムを用いて、圧縮・伸張される。

Keyフレームは、伸張装置２００Ｂにおいて、その後出力されるパスとWyner-Zivフレームを補足する画素を作成するパスへと分けられ、出力されるパスは伸張装置２００ＢからそのままデコードされたKeyフレームとして出力される。

一方、Wyner-Zipフレームを補足する画素を作成するパスは、補足画素生成装置３００に入力されるが、補足画素生成装置３００では、圧縮・伸張されたKeyフレームからWyner-Zipフレームを補足する画素が生成される。この際、本発明では、補足画素生成装置３００の補足画素作成手段３１０において、圧縮・伸張に用いる国際標準規格を利用して、補足画素を導出する。導出された補足画素は、再構成装置４００に出力され、再構成装置４００の再構成手段４１０で圧縮装置１００Ａ、伸張装置２００Ａを経たWyner-Zipフレームと再構成される。

その後、デコードされたWyner-Zivフレームとして再構成装置４００から出力される。このようにして、本発明では高画質な画像の作成が可能になる。

なお、上記では、エンコーダ側を圧縮装置１００、デコーダ側を伸張装置２００、補足画素生成装置３００、再構成装置４００の各装置構成として示しているが、デコーダ側を１つのデコーダ装置として構成してもよい。

［第１の実施の形態］
本実施の形態では、エンコーダ側にて複数のデータ列（Keyフレーム及びWyner-Zivフレーム）を符号化し、デコーダ側では、複数のデータ列を受信し、KeyフレームからWyner-Zivフレームを補足する画素を生成する例を説明する。

図４は、本発明の第１の実施の形態におけるＤＳＣシステムの構成を示す。

同図において、図３と同一構成部分には同一符号を付す。

図４に示すＤＳＣシステムは、図３と同様に圧縮装置１００Ａ，Ｂ、伸張装置２００Ａ，Ｂ、補足画素生成装置３００、再構成装置４００から構成される。

圧縮装置１００Ａ，Ｂには、符号化部１０，１１がそれぞれ設けられ、伸張装置２００Ａ，Ｂには復号部１２，１３がそれぞれ設けられている。

補足画素生成装置３００は、アップサンプル部１４、フィルタ処理部１５、ダウンサンプル部１６を有し、補足画素として画像の動き成分を求める。

再構成装置４００は、補足画素判定部１７及び合成部１８を有する。

以下それぞれの構成要素について説明する。

まず、入力される情報源は、KeyフレームとWyner-Zivフレームとに分けられる。これらのデータ列は、圧縮装置１００Ａ，Ｂのそれぞれの符号化部１０，１１により一般的な圧縮アルゴリズムで符号化され、伸張装置２００Ａ，Ｂにそれぞれ出力される。

伸張装置２００Ａの復号部１２では、Wyner-Zipフレームを伸張し、再構成装置４００に出力する。伸張装置２００Ｂの復号部１３では、Keyフレームを伸張する。Keyフレームは伸張された後、２つのパスに送られ、１つのパスはデコードされたKeyフレームとして出力され、もう一方のパスは、Wyner-Zivフレームを補足する画素を作成するために、補足画素作成装置３００に送られる。

補足画素作成装置３００では、アップサンプル部１４により、時間軸方向にアップサンプルが行われ、時間解像度の拡大が行われる。次に、フィルタ処理部１５は、アップサンプル部１４にて発生した不必要なイメージング成分を除去する。最後に、ダウンサンプル部１６は、フレームを間引くことにより補足画素を作成し、再構成装置４００に出力する。

再構成装置４００は、補足画素判定部１７において、補足画素作成装置３００で生成された補足画素と圧縮装置１００Ａと伸張装置２００Ａで一般的な圧縮・伸張処理が行われた後の、Wyner-Zivフレームと比較することにより、補足画素として正しいか画素毎に判定する。なお、この判定方法として種々の方法が考えられるが、例えば、Wyner-Zivフレームと補足画素の相関を計算し、その相関により判定を行う等の方法がある。

補足画素判定部１７において、補足画素が適正であると判断された場合、合成部１８は、伸張装置２００Ａから出力されたWyner-Zipと当該補足画素を足し合わせる。

以上の処理により、Wyner-Zivフレームはインターフレームデコードを行ったものと等しい効果が得られ、圧縮効率の向上が期待される。

また、補足画素作成装置３００の処理は、JPEG2000のPart２を用いることにより容易に実現可能であり、圧縮装置１００Ａ，Ｂ、伸張装置２００Ａ，ＢにJPEG2000を用いた場合は、並び替え等の簡単な処理を除いてJPEG2000デコーダのみにて構成が可能である。

[第２の実施の形態]
図５は、本発明の第２の実施の形態におけるＤＳＣシステムの構成を示す。

同図では、エンコーダ側にて複数のデータ列（Keyフレーム及びWyner-Zivフレーム）を符号化し、デコーダ型では複数データ列を受信し、KeyフレームからWyner-Zivフレームを補足する画素を生成するシステムを示している。

同図において、図４と同一構成部分には同一符号を付し、その説明を省略する。

同図において、前述の第１の実施の形態と異なる点は、時間解像度拡大装置５００を設けた点である。第１の実施の形態では、時間解像度拡大装置５００がなかったために、補足画素生成装置３００にて作成される補足画素の作成アルゴリズムにより高域成分が不足していた。そのために、再構成装置４００から出力されるWyner-Zivフレームは時間周波数の高域成分が不足し、視覚的にボケた画像となる。そのため、本実施の形態では、時間解像度拡大装置５００を設けている。

時間解像度拡大装置５００は、時間解像度拡大部５１０を有し、画像のサブバンド間の相関を利用することと、非線形処理を施すことにより、補足画素の未知な高域成分を推測する。これにより、再構成装置４００で作成されるWyner-Zivフレームは時間周波数の高域成分がある、はっきりとした画像となる。なお、時間解像度拡大の処理方法としては、本発明の発明者によって提案されている、時間方向のハイパス信号（動き情報）を推測し、推測されたハイパス成分に基づいて時間解像度の拡大を行う方法がある。

なお、この時間解像度の拡大もJPEG2000のPart2を利用して実行できるため、並び替え等の簡単な処理を除いてJPEG2000デコーダのみにて構成が可能である。

［第３の実施の形態］
図６は、本発明の第３の実施の形態におけるＤＳＣシステムの構成を示す。

同図では、JPEG2000及びJPEG2000 Part2を用いた、エンコーダ側にて複数のデータ列（Keyフレーム及びWyner-Zivフレーム）を符号化し、デコーダ側では複数のデータ列を受信し、KeyフレームからWyner-Zivフレームを補足する画素を生成する機能を有するシステムを示している。

同図に示すシステムは、圧縮装置６００Ａ，Ｂ、伸張装置７００、再構成装置４００、伸張・時間解像度拡大装置８００、多入力高域成分推定装置９００、補足画素生成装置１０００から構成される。

圧縮装置６００Ａ，Ｂは、JPEG2000エンコード部３０，３１をそれぞれ有し、伸張装置７００はJPEG2000デコード部３２を有する。

伸張・時間解像度拡大装置８００は、JPEG2000 Part2対応デコード部３４を有する。

多入力高域成分推定装置９００は、多入力高域成分推定部３５を有する。

補足画素生成装置１０００は、JPEG2000 Part2対応デコード部３６を有する。

再構成装置４００は、前述の第１、第２の実施の形態と同様である。

上記の構成において、前述の第２の実施の形態と異なる箇所は、システムの大部分の処理をJPEG2000及びJPEG2000 Part２を利用して構成している点である。

上記の構成における動作を説明する。

圧縮装置６００Ａでは、JPEG2000エンコード部３０において、入力されたWyner-ZivフレームをJPEG2000データに符号化する。

圧縮装置６００Ｂでは、JPEG2000エンコード部３１において、入力されたKeyフレームをJPEG2000データに符号化する。

伸張装置７００では、JPEG2000デコード部３２において、圧縮装置６００Ａから出力された符号化されたJPEG2000データ（Wyner-Zivフレーム）を復号する。

その後、Keyフレームは、第１の実施の形態と同様に２つのパスに分けられ、１つはデコードされたKeyフレームとして出力される。もう一方のパスでは、Wyner-Zivフレームの補足画素を生成するために伸張・時間解像度拡大装置８００のJPEG2000 Part2対応デコード部３４において、JPEG2000データ（Ｋｅｙフレーム）を復号し、さらに、時間解像度の拡大が行われる。本実施の形態では、JPEG2000 Part2のマルチコンポーネント変換を用いることにより、復号及び、時間解像度の拡大が行われ、時間軸に対する最高周波数成分及び、その１レベル下の高周波成分を多入力高域成分推定装置９００に入力する。また、JPEG2000 Part2対応エンコード部３４は、低時間周波数成分を補足画素生成装置１０００に出力する。

多入力高域成分推定装置９００は、本発明の発明者により提案されている、時間軸方向のハイパス信号を推測する方法に含まれる非線形処理により、補足画素に必要な時間軸の高周波成分を推定する。

補足画素生成装置１０００は、JPEG2000 Part2対応デコード部３６において、推定された高周波数成分と、JPEG2000 Part2対応エンコード部３４から出力された低時間周波数成分を用いて補足画素を生成する。

その後、第１の実施の形態と同様に、再構成装置４００の補足画素判定部１７にて補足画素が正しいかが判定され、合成部１８において、伸張装置７００のJPEG2000デコード部３２から出力されたWyner-Zivフレームと当該補足画素を足し合わせたWyner-Zivフレームを出力する。

［第４の実施の形態］
図７は、本発明の第４の実施の形態におけるＤＳＣシステムの構成を示す。

同図では、前述の第３の実施の形態と同様に、JPEG2000及びJPEG2000 Part2を用いた、エンコーダ側にて複数のデータ列（Keyフレーム及びWyner-Zivフレーム）を符号化し、デコーダ側では複数のデータ列を受信し、KeyフレームからWyner-Zivフレームを補足する画素を生成する機能を有するシステムを示している。

同図に示すシステムは、圧縮装置６００Ａ，Ｂ、伸張装置７００、再構成装置４００、伸張・時間解像度拡大装置８００、多入力高域成分推定装置９００から構成される。

上記の構成において、前述の第３の実施の形態の図６の構成と異なる点は補足画素生成装置１０００が無いことである。

上記の構成における動作を説明する。

その後、Keyフレームは、２つのパスに分けられ、１つはデコードされたKeyフレームとして出力される。もう一方のパスでは、Wyner-Zivフレームの補足画素を生成するために伸張・時間解像度拡大装置８００のJPEG2000 Part2対応デコード部３４において、JPEG2000データ（Ｋｅｙフレーム）を復号し、さらに、時間解像度の拡大が行われる。本実施の形態では、JPEG2000 Part2のマルチコンポーネント変換を用いることにより、復号及び、時間解像度の拡大が行われ、時間軸に対する最高周波数成分及び、その１レベル下の高周波成分と、低時間周波数成分を多入力高域成分推定装置９００に入力する。

多入力高域成分推定装置９００は、本発明の発明者により提案されている、時間軸方向のハイパス信号を推測する方法に含まれる非線形処理により、補足画素に必要な時間軸の高周波成分を推定し、伸張・時間解像度拡大装置８００に出力する。

伸張・時間解像度拡大装置８００のJPEG2000 Part2対応デコード部３４は、多入力高域成分推定部３５で推定された高周波数成分と、低時間周波数成分を用いて補足画素を生成し、再構成装置４００の補足画素判定部１７に出力する。

なお、上記の実施の形態におけるデコード側の伸張装置、補足画素生成装置、再構成装置、時間解像度拡大装置、多入力高域成分推定装置等を１つの復号化装置とし、これらの各装置の手段を、復号化装置として利用されるコンピュータに実行させるプログラムとして構築することが可能である。

また、構築されたプログラムを、デコード側の装置として利用されるコンピュータにインストールして実行する、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、画像符号化通信システムに適用可能である。

本発明の原理構成図である。本発明の原理を説明するための図である。本発明の一実施の形態におけるシステム構成図である。本発明の第１の実施の形態におけるＤＳＣシステムの構成図である。本発明の第２の実施の形態におけるＤＳＣシステムの構成図である。本発明の第３の実施の形態におけるＤＳＣシステムの構成図である。本発明の第４の実施の形態におけるＤＳＣシステムの構成図である。 Distributed Source Codingの概念図である。ＤＳＣの例（Low-complexity video encoder and corresponding decoder）である。 MPEG-2を用いた例（Implementation of SLEP by combining hybrid video coding and RS codes across slices）である。

符号の説明

１０圧縮手段、符号化部
１１圧縮手段、符号化部
１２伸張手段、復号部
１３伸張手段、復号部
１４アップサンプル部
１５フィルタ処理部
１６ダウンサンプル部
１７補足画素判定部
１８合成部
３０，３１ JPEG2000エンコード部
３２，３３ JPEG2000デコード部
３４ JPEG2000 Part2対応デコード部
３５多入力高域成分推定部
３６ JPEG2000 Part2対応デコード部
１００符号化装置
２００復号装置
３００補足画素生成装置
３１０補足画素作成手段
４００再構成装置
４１０再構成手段
５００時間解像度拡大装置
５１０時間解像度拡大部
６００圧縮装置
７００伸張装置
８００伸張・時間解像度拡大装置
９００多入力高域成分推定装置
１０００補足画素生成装置

Claims

別々の符号化装置で符号化された複数のデータ列を復号するシステムにおいて、第１のデータ列の情報から第２のデータ列情報を補足するための補足画素生成装置であって、
復号装置から入力された、復号された前記第１のデータ列を非線形処理により、該復号装置とは別の復号装置で復号された前記第２のデータ列情報を補足するための、画像の高域成分及び動き成分を有する補足画素を生成する手段を有することを特徴とする補足画素生成装置。
別々の符号化装置で符号化された複数のデータ列を復号する復号化システムであって、
複数の前記符号化装置で符号化されたデータ列をそれぞれ復号する複数の復号装置と、
前記復号装置により復号された第１のデータ列を非線形処理により、該第１のデータ列とは別に復号された第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成装置と、
前記補足画素生成装置から入力された補足画素が正しい補足であるかを判定する補足画素判定手段と、
前記補足画素判定手段において正しい補足画素であると判定された場合に、該補足画素と前記第２のデータ列とを合成し、出力する合成手段と、を有する再構成装置と、
を有することを特徴とする復号化システム。
前記補足画素生成装置から入力された前記補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成し、前記再構成装置に出力する時間解像度拡大装置を、更に有する請求項２記載の復号化システム。
別々の符号化装置で符号化された複数のデータ列を復号する復号化方法であって、
前記符号化装置で符号化された複数のデータ列をそれぞれ復号する復号ステップと、
補足画素生成装置において、復号された複数のデータ列のうち第１のデータ列を非線形処理により、該第１のデータ列とは別の第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成ステップと、
再構成装置の補足画素判定手段において、前記補足画素生成ステップで生成された前記補足画素が正しい補足であるかを判定する補足画素判定ステップと、
前記再構成装置の合成手段において、前記補足画素判定ステップで正しい補足画素であると判定された場合に、該補足画素と前記第２のデータ列と合成し、出力する合成ステップと、を行うことを特徴とする復号化方法。
時間解像度拡大装置において、前記補足画素生成装置から入力された前記補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成し、前記再構成装置に出力するステップを、更に行う請求項４記載の復号化方法。
複数のデータ列を符号化する複数の符号化装置と、複数のデータ列を復号化する復号化装置とを有する画像符号化通信システムであって、
前記復号化装置は、
前記符号化装置で符号化された複数のデータ列をそれぞれ復号する複数の復号手段と、
前記復号手段により復号された複数のデータ列のうち第１のデータ列を非線形処理により、該第１のデータ列とは別の第２のデータ列を補足するための、少なくとも画像の動き成分を有する補足画素を生成する補足画素生成手段と、
前記補足画素生成手段から入力された前記補足画素が正しい補足であるかを判定する補足画素判定手段と、
前記補足画素判定手段において正しい補足画素であると判定された場合に、前記第１のデータ列とは別に復号された第２のデータ列と合成し、出力する合成手段と、を有することを特徴とする画像符号化通信システム。
前記復号化装置は、
前記補足画素生成手段から入力された前記補足画素について、画像のサブバンド間の相関を利用し、さらに、非線形処理を行うことにより該補足情報の未知な高域成分を生成する時間解像度拡大手段を、更に有する請求項６記載の画像符号化通信システム。
前記符号化装置、前記復号化装置の各手段を、国際標準規格であるJPEG2000を用いて構成する請求項６または、７記載の画像符号化通信システム。
コンピュータを、請求項６乃至８記載の復号化装置として機能させることを特徴とする復号化プログラム。
コンピュータを、請求項６乃至８記載の復号化装置として機能させる復号化プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。