JP2008270974A

JP2008270974A - 動画像符号化装置及び動画像復号化装置

Info

Publication number: JP2008270974A
Application number: JP2007108436A
Authority: JP
Inventors: Reiko Fujino; 玲子藤野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-04-17
Filing date: 2007-04-17
Publication date: 2008-11-06

Abstract

【課題】動画像符号化ストリームの生成者が意図した画質の動画像データを低コストで実現できるようにする。
【解決手段】フレーム内予測符号化手段と、ロスレス周波数変換手段と、エントロピ符号化手段とで可逆復号化手段を構成するとともに、エントロピ復号化手段と、ロスレス周波数逆変換手段と、画素再構成手段とで可逆復号化手段を構成し、参照フレームの符号化に伴う画質劣化を無くすことができるようにするとともに、データ量を削減できるようにする。
【選択図】図１

Description

本発明は動画像符号化装置及び動画像復号化装置に関し、特に、動画像データを符号化して記憶装置へ転送して記憶するとともに、前記記憶した符号化データを記憶装置から読み出し復号化するために用いて好適な技術に関する。

近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった、蓄積メディアへ動画像を記録したり、伝送路を介して動画像の伝送を行ったりすることが行われている。このような場合に、動画像を構成する各々のピクチャに圧縮符号化処理を施した符号化データは、データ量が大幅に削減される。ＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）は、このような動画圧縮符号化方式としてＨ．２６４/ＡＶＣという規格を策定している。

Ｈ．２６４の勧告によると、符号化の基本単位はスライスであり、１つのピクチャはＰ、Ｂ、Ｉ、ＳＰ、または、ＳＩと呼ばれる複数のスライスから構成されている。特に、Ｂスライスと呼ばれる双方向から予測して動き補償を行うスライスを用いる場合は、入力されるフレームの順序と符号化データ上のフレームの順序とが異なっている。そのため、並び替えのためにフレームメモリが必要となる。更に、Ｈ．２６４では表示順序で前方２枚、または後方２枚のピクチャを参照可能であるため、フレームメモリの容量は非常に大きくなる。

そのため、携帯電話やデジタルカメラなどコンシューマ向け製品においては、フレームメモリはシステムの主記憶に置かれることが多い。しかし、主記憶と動画像符号化装置の間をつなぐデータ伝送経路には、動画像符号化装置以外にも画像処理装置などの様々な装置が接続され、主記憶と通信している。

そのため、膨大なデータ量の書き込みや読み出しを行うために動画像符号化装置がデータ伝送経路を占有すると、符号化処理装置のデータ伝送による処理の遅延を招いてしまう問題が発生する。このため、フレームメモリの容量を削減する方法として、これまでに様々な技術が提案されている。

フレームメモリの容量を削減できる従来の動画像符号化装置、及び動画像復号化装置としては、例えば、特許文献１に開示された符号化動画像再生装置がある。まず、前記特許文献１に開示された符号化動画像再生装置について図面を用いて説明する。

図５は、従来の動画像復号化装置の一例を示すブロック図である。図５に示すように、この従来の動画像復号化装置は、可変長復号化器５０１、逆量子化器５０２、逆直交変換器（ＤＣＴ）５０３、加算器５０４、圧縮部５０５、フレームメモリ５０６、伸長部５０７、及び動き補償部５０８等から構成されている。

次に、図５を用いて従来の動画像復号化装置における処理の流れの一例を説明する。
可変長復号化器５０１は、入力される動画像符号化データに対して可変長復号化処理を施して、周波数係数を再構成して出力する。逆量子化器５０２は、可変長復号化器５０１から入力された周波数係数に対して逆量子化を施し、逆直交変換器５０３に出力する。逆直交変換器５０３は、入力されたデータがフレーム間圧縮されたデータである場合は、逆直交変換したデータを、加算器５０４に出力する。

一方、入力されたデータがフレーム間圧縮された画像データでない場合は、逆直交変換器５０３は、逆直交変換したデータを、復号した動画像データとして、外部及びフレームメモリ５０６に出力する。

そして、加算器５０４は、動き補償部５０８から入力される動き補償済みのフレームデータの予測値と、逆直交変換器５０３から入力される再構成された予測誤差とを加算し、その加算結果を、復号化した動画像データとして、外部及び圧縮部５０５に出力する。

フレームメモリ５０６は、逆直交変換器５０３から入力された画像データ、及び加算器５０４から入力された画像データを次のフレームの復号化処理に用いる参照フレームのデータとして記憶する。

動き補償部５０８は、可変長復号化器５０１から復号して入力される動きベクトルと、フレームメモリ５０６から入力される参照フレームの画像データを受け取り、動き補償を行い、加算器５０４に出力する。

次に、圧縮部５０５は、フレームメモリ５０６の記憶容量を削減するために、加算器５０４から入力される参照フレームの画像データ、及び逆直交変換器５０３から入力される参照フレームの画像データを圧縮する。

フレームメモリ５０６は、圧縮された参照フレームのデータを記憶保持する。伸長部５０７は、圧縮部５０５により圧縮されて、フレームメモリ５０６に記憶された参照フレームのデータを伸長して、動き補償部５０８へ出力する。

次に、前記圧縮部５０５の構成について、図６を用いて説明する。図６に示すように圧縮部５０５は、アダマール変換器６０１、量子化器６０２、エントロピ符号化器６０３から構成されている。

圧縮部５０５に入力された参照フレームのデータは、アダマール変換器６０１で直交変換され、量子化器６０２によって量子化される。更に、量子化された周波数係数はエントロピ符号化器６０３によって符号化され、フレーム符号化データが生成される。

次に、図７を用いて、前記伸長部５０７の構成について説明する。図７に示すように、伸長部５０７は、逆アダマール変換器７０１、逆量子化器７０２、エントロピ復号化器７０３から構成されている。

伸長部５０７に入力された参照フレームのフレーム符号化データは、エントロピ復号化器７０３によって周波数係数に復号され、逆量子化器７０２で逆量子化される。そして、逆アダマール変換器７０１で逆アダマール変換され、フレームデータが復元される。

特開平９−２４７６７３号公報特開２００４-０３８４５１号公報

しかしながら、従来の動画像符号化装置は参照画像の記憶に不可逆（ロッシー）の符号化方式を適用してデータ量の削減を図っていた。このため、フレームメモリ５０６に一旦記憶保持された参照フレームは、フレームメモリ５０６に書き込む以前のデータと比較すると誤差（ロス）が発生してしまっていた。前記のように、ロスが発生した参照フレームを用いて動き補償を行うと、動画像符号化ストリームの生成者が意図した画質の動画像データにならないという問題があった。
本発明は前述の問題点に鑑み、動画像符号化ストリームの生成者が意図した画質の動画像データを低コストで実現できるようにすることを目的とする。

本発明の動画像符号化装置は、入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化装置であって、前記参照画像を可逆符号化する可逆符号化手段と、前記可逆符号化手段により符号化されたデータを記憶する記憶手段と、前記記憶手段から読み出したデータを可逆復号する可逆復号化手段とを有し、前記可逆復号化手段により復号された画像データを前記予測符号化に用いる事を特徴とする。

本発明の動画像復号化装置は、入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化装置であって、前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化手段と、前記可逆符号化手段により符号化されたデータを記憶する記憶手段と、前記記憶手段から読み出したデータを可逆復号する可逆復号化手段とを有し、前記可逆復号化手段により復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とする。

本発明の動画像符号化方法は、入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化方法であって、前記参照画像を可逆符号化する可逆符号化工程と、前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とを有し、前記可逆復号化工程において復号された画像データを前記予測符号化に用いる事を特徴とする。

本発明の動画像復号化方法は、入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化方法であって、前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化工程と、前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とを有し、前記可逆復号化工程において復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とする。

本発明のプログラムは、入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化を行なう各工程をコンピュータに実行させるプログラムであって、前記参照画像を可逆符号化する可逆符号化工程と、前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とをコンピュータに実行させ、前記可逆復号化工程において復号された画像データを前記予測符号化に用いる事を特徴とする。
また、本発明のプログラムの他の特徴とするところは、入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化を行なう各工程をコンピュータに実行させるプログラムであって、前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化工程と、前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とをコンピュータに実行させ、前記可逆復号化工程において復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とするプログラム。

本発明によれば、動画像符号化装置及び動画像復号化装置において、フレーム間予測に用いる参照フレームを可逆符号化してフレームメモリに書き込むようにしたので、メモリバンド幅を縮小して処理の高速化を可能にすることができる。また、半導体集積回路への実装コストを抑制することが可能になる。
また、本発明の他の特徴によれば、参照フレームの圧縮に可逆符号化を用いているため、動画像符号化装置においてはデータを圧縮したことによる画質の劣化を無くすことができ、画質劣化のない動画像のストリームを生成することが可能になる。更に、動画像復号化装置においては、動画像のストリーム生成者の意図した画質で動画像を再生することが可能になる。

＜第１の実施形態＞
以下、本発明の好適な実施形態を詳細に説明する。
本発明に好適な第１の実施形態に関して、図面を参照して説明する。
図１は、本実施形態の動画像復号化装置の基本構成である。本実施形態の動画像復号化装置は、入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いて復号化を行ない、復号画像を生成する。
図１に示したように、本実施形態の動画像復号化装置は、可変長復号化器１０１、逆整数変換スケーリング器１０２、加算器１０３、可逆符号化部１０４を備えている。また、フレームメモリ１０５、可逆復号化部１０６、動き補償部１０７、フレーム内予測器１０８、予測値選択器１０９を備えている。

次に、前述のように構成された本実施形態の動画像復号化装置の動作を図９のフローチャートを参照しながら説明する。
処理が開始されると、ステップＳ９０１において、Ｈ．２６４などの符号化方式で符号化された動画像符号化データを可変長復号化器１０１に入力する。可変長復号化器１０１は、入力された動画像符号化データを周波数係数に復号して、これを逆整数変換スケーリング器１０２に出力する（ステップＳ９０２）。次に、逆整数変換スケーリング器１０２は、可変長復号化器１０１から入力された周波数係数に逆整数変換処理、及びスケーリング処理を施して、再構成された予測誤差を生成して加算器１０３に出力する（ステップＳ９０３）。

フレーム内予測器１０８は、復号対象データが属するフレーム内の復号化済みのデータを用いて予測を行い、第１の予測値を算出する。一方、動き補償部１０７は、復号化済みの参照フレームを用いて予測を行い、第２の予測値を算出する（ステップＳ９０４）。また、予測値選択器１０９は、前記フレーム内予測器１０８から入力された第１の予測値、もしくは前記動き補償部１０７から入力された第２の予測値のいずれか１つを選択して加算器１０３に出力する（ステップＳ９０５）。

加算器１０３は、前記逆整数変換スケーリング器１０２から入力された、再構成された予測誤差と、前記予測値選択器１０９から入力された予測値とを加算し、フレームデータを再構成する。なお、図１には記載されていないが、再構成されたフレームデータは外部メモリに転送されて記憶または表示される。

一方、再構成されたフレームデータは可逆符号化部１０４に入力される。可逆符号化部１０４は入力されたフレームデータに可逆の符号化を施してフレーム符号化データを生成し、これをフレームメモリ１０５へ出力する（ステップＳ９０６）。フレームメモリ１０５は、前記可逆符号化部１０４から入力されたフレーム符号化データを記憶保持する。

可逆復号化部１０６は、前記動き補償部１０７が必要とする参照フレームに相当するフレーム符号化データを前記フレームメモリ１０５から読み出す。更に、可逆復号化部１０６は、フレームメモリ１０５から読み出したフレーム符号化データに可逆の復号化を施して再構成し、動き補償部１０７に出力する（ステップＳ９０７）。

次に、ステップＳ９０８において、動画像データが入力されているか否かを判断して、処理を終了するか否かを判断する。この判断の結果、処理を続ける場合にはステップＳ９０１に戻って前述した処理を繰り返し行う。また、ステップＳ９０８の判断の結果、動画像符号化データが入力されない場合には処理を終了する。

以上のように処理することで、本実施形態の特徴の１つにフレームメモリ１０５に入力されるフレームデータを符号化しているので、フレームメモリ１０５と動画像復号装置間のメモリバンド幅を削減することができる。

図３は、可逆符号化部１０４の構成例を示すブロック図である。
可逆符号化部１０４は、フレーム内予測部３０１、減算器３０２、可逆直交変換部３０３、エントロピ符号化部３０４から構成されている。

このように構成された可逆符号化部１０４は、入力されたフレームデータを「Ｎ×Ｎ画素の矩形ブロック」（Ｎは２以上の整数）に分割し、「Ｎ×Ｎ画素の矩形ブロック」を単位として符号化する。フレーム内予測部３０１は、前記可逆符号化部１０４に入力されたフレームデータから予測値を算出する。

次に、減算器３０２に「Ｎ×Ｎ画素の矩形ブロック」の入力データから前記フレーム内予測部３０１から入力された予測値を減算し、予測誤差を算出する。すなわち、減算器３０２は予測誤差算出手段として機能する。この減算器３０２で算出された予測誤差は可逆直交変換部３０３に入力され、周波数係数に変換される。そして、変換された周波数係数はエントロピ符号化部３０４に与えられ、エントロピ符号化されてフレーム符号化データが生成され、エントロピ符号化部３０４からフレーム符号化データが出力される。

前記フレーム内予測部３０１は、「Ｎ×Ｎ画素」の矩形領域を予測単位とし、「Ｎ×Ｎ画素」に隣接する１つ以上の矩形領域の画素データを用いて予測値を算出する。なお、予測単位はＮ画素以下であれば、「２^L×２^L画素」（Ｌは１以上の整数）の矩形領域であっても構わない。このように、前記フレーム内予測部３０１によって、「Ｎ×Ｎ画素」の矩形領域間の冗長成分を排除することができる。また、前記矩形領域は符号化時のブロック分割領域と同じまたは整数倍の関係だと処理が容易になり良い。

さて、本実施形態では、前記可逆直交変換部３０３においては、図８に示すような、特許文献２で公開されている「アダマール変換処理方法及びその装置」における「４×４アダマール変換」を適用している。

図８に示すロスレスアダマール変換は、２つの４点アダマール変換器９０１及び９１１、２つの加算器９０５及び９１５、２つの切り捨て器９０７及び９１７、２つのデコーダ９０３及び９１３、バッファ９０９から構成されている。

さて次に、図８に示すロスレスアダマール変換手段における処理の手順を説明する。
４点アダマール変換器９０１は、ロスレスアダマール変換手段に入力されたデータを４点の垂直方向の１次元アダマール変換を行う。次に、加算器９０５と切り捨て器９０７によって前記４点アダマール変換器９０１から入力された係数に対して丸めを行う。そのため、デコーダ９０３は入力データの列番号から繰り上げビットを各行ごとに割り当てる。前記垂直方向のアダマール変換は４回繰り返され、算出された係数はバッファ９０９に記憶保持される。

次に、４点アダマール変換器９１１は、バッファ９０９から入力された係数を４点の水平方向の１次元アダマール変換を行う。次に、加算器９１５と切り捨て器９１７によって前記４点アダマール変換器９１１から入力された係数に対して丸めを行う。そのため、デコーダ９１３は入力データの行番号から繰り上げビットを各列ごとに割り当てる。前記水平方向のアダマール変換は４回繰り返される。前述したように、本実施形態の可逆直交変換は、アダマール変換と回転変換とを用いているが、アダマール変換だけでもよい。

さて、図８に示した「４×４アダマール変換」の演算式は（１）式のように表すことができる。

この式（１）において、「＋」と「−」の要素から成る１つ目（一番左）と５つ目（一番右）の行列は、いずれも丸め処理の内容をあらわす。ここでは丸め処理の内容を簡潔に「＋」と「−」で示しているが、ここで「＋」は切り上げ、「−」は切り捨てを意味する。

なお、本実施形態で言う切り上げ・切り捨てとは、絶対値表現ではなく２の補数表現上での切り上げ・切り捨て処理のことを言う。例えば、「−７．５」の補数表現は「１１１１１０００．１」となり、この小数部を切り上げると「１１１１１００１（−７）」となり、切り捨てると「１１１１１０００（−８）」となる。

左から２つ目と３つ目の行列間の演算をした後、係数１／２を掛けて、最初の行列で定義される丸め処理を行い、その後４つ目の行列との間で演算を行い、係数１／２を掛けた後、最後の行列の丸め処理を行う。非線形演算では演算の順序が変わると特性が変わるので、この場合、一番左の行列の丸め演算を先に行わないと、平均誤差が「０」にならない。なお、本実施形態では「４×４画素のロスレスアダマール変換」を用いたが、「Ｎ×Ｎ画素」以下であれば、「２^Mｘ２^M画素」のロスレスアダマール変換でも構わない。

更に、本実施形態では演算コストが低いロスレスアダマール変換を用いたが、直交変換と逆直交変換において演算ロスがなければ、ＤＣＴ変換、Wavelet変換などを用いても構わない。また、変換方式を画像の符号化時の方式と同じにする事で回路を兼用でき、更なる効果が得られる。

前記可逆符号化部１０４に入力されたフレームデータは、前記動画像復号化装置に入力される前に符号化時に整数変換及びスケーリングされ、高周波成分が抑圧された動画像符号化データになっている。そのため、可逆直交変換部３０３から出力される周波数係数は、低周波成分に情報が集約される。

さて、エントロピ符号化部３０４では『ITU-T H.２６４ Recommendation』記載のCAVLC(Context-based Adaptive VLC)を用いる。先に述べたように、高周波成分のランの連続が増える傾向にある。そのため、CAVLCのようなランレングス符号化を用いると符号化効率が向上する。これは、前記可逆直交変換部３０３から入力された周波数係数は低周波成分に情報が集約されるためである。

なお、本実施形態では、エントロピ符号化部３０４ではランレングス符号化を用いた。しかし、ハフマン符号化、ゴロム符号化、CABAC（Context-based Adaptive. Binary Arithmetic Coding）などのエントロピ符号化方式を用いても構わない。また、エントロピ符号化方式を画像の符号化時の方式と同じにする事で回路を兼用でき、更なる効果が得られる。

次に、可逆復号化部１０６における処理の手順に関して、図４を用いて説明する。
図４は、可逆復号化部１０６の構成例を示すブロック図である。可逆復号化部１０６は、フレーム内予測部４０１、加算器４０２、逆可逆直交変換部４０３、エントロピ復号化部４０４から構成されている。

可逆復号化部１０６は、入力されたフレーム符号化データをエントロピ復号化部４０４で周波数係数に復号化する。次に、逆可逆直交変換部４０３において、逆ロスレスアダマール変換を用いて周波数係数を予測誤差に変換する。そして、加算器４０２において、フレーム内予測部４０１で算出した予測値と前記逆可逆直交変換部４０３から入力された予測誤差とを加算し、フレームデータを再構成する。すなわち、可逆復号化部１０６は、フレーム内予測部４０１で算出した予測値と、前記逆可逆直交変換部４０３から入力された予測誤差とから画素を再構成する画素再構成手段として機能する。

エントロピ復号化部４０４では、『ITU-T H.２６４ Recommendation』記載のCAVLDを用いる。そのため、エントロピ復号化方法によるデータの喪失はない。また、逆可逆直交変換部４０３では、以下の（２）式に示す逆ロスレスアダマール変換を用いる。なお、以下の（２）式の演算方法はロスレスアダマール変換と同様の方法であるため、説明を省略する。

なお、フレーム内予測部４０１は、可逆符号化部１０４が備えるフレーム内予測部３０１と同様の手段であるため、詳細な説明を省略する。

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して、図面を参照して説明する。
図２は、第２の実施形態を示し、動画像符号化装置の基本構成例を示すブロック図である。なお、図２の動画像符号化装置は、入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化装置である。
図２に示したように、本実施形態の動画像符号化装置は減算器２１２、整数変換スケーリング器２１０、可変長符号化器２１１を備えている点が図１に示した動画像復号化装置と異なる。これらの構成に加えて、逆整数変換スケーリング器１０２、加算器１０３、可逆符号化部１０４、フレームメモリ１０５、可逆復号化部１０６、動き補償部１０７、フレーム内予測器１０８、予測値選択器１０９等を備えている。なお、本実施形態の動画像符号化装置では、動画像データをＨ．２６４などの規格に準じて動画像符号化データを生成する。

すなわち、整数変換（直交変換の１つ）及びスケーリング器（量子化器）を用いて符号化されたフレーム間符号化方式に於いて、局所復号化（ローカルデコード）による復号化済みの画像信号を参照フレームとする。前記参照フレームを可逆符号化して記憶装置に記憶保持する。また、前記符号化された参照フレームを前記記憶装置から読み出して可逆復号化を施し、１つ以上の参照フレームを用いて動き補償を行うようにしている。

次に、図２、及び図１０のフローチャートを参照しながら本実施形態の動画像符号化装置の動作を説明する。
処理が開始されると、まず、予測値選択器１０９において、参照フレーム内の符号化済み画素を用いて予測値とするか、フレーム内予測器１０８の予測値を用いるかを選択して予測値を算出して減算器２１２に出力する（ステップＳ１００１）。次に、減算器２１２において、入力されたフレ-ムの動画像データから、予測値選択器１０９により算出された予測値を減算し、予測誤差を算出し、整数変換スケーリング器２１０に出力する（ステップＳ１００２）。この時、フレーム内予測値を用いるイントラモードか、フレーム間予測値を用いるインターモードかの選択方法は、数ある既知の方法の何れかを用いれば良い。

整数変換スケーリング器２１０は、前記減算器２１２から入力された予測誤差を直交変換する。本実施形態においては直交変換として整数変換、及びスケーリングを行い、周波数係数を生成して可変長符号化器２１１に出力する（ステップＳ１００３）。可変長符号化器２１１は、前記整数変換スケーリング器２１０から入力された周波数係数をエントロピ符号化し、動画像符号化データを生成する（ステップＳ１００４）。

一方、局所復号化として逆整数変換スケーリング器１０２は、整数変換スケーリング器２１０から入力された周波数係数を逆整数変換、逆スケーリングを施し、予測誤差を再構成する（ステップＳ１００５）。前記予測誤差は加算器１０３で予測値と加算され、再構成フレームデータが生成される。前記再構成されたフレームデータは可逆符号化部１０４に入力される。

可逆符号化部１０４はフレームデータに可逆の符号化を施し、フレーム符号化データを生成してフレームメモリ１０５へ出力する（ステップＳ１００６）。フレームメモリ１０５は、前記可逆符号化部１０４から入力されたフレーム符号化データを記憶保持する。

可逆復号化部１０６は、前記動き補償部１０７が必要とする参照フレームに相当するフレーム符号化データを前記フレームメモリ１０５から読み出す。そして、可逆復号化部１０６は、フレームメモリ１０５から読み出したフレーム符号化データに可逆の復号化を施して再構成してフレームデータを生成して出力する（ステップＳ１００７）。前記可逆符号化部１０４と前記可逆復号化部１０６は、第１の実施形態と同様の処理を行うために説明を省略する。

次に、ステップＳ１００８において、動画像データが入力されているか否かを判断して、処理を終了するか否かを判断する。この判断の結果、処理を続ける場合にはステップＳ１００１に戻って前述した処理を繰り返し行う。また、ステップＳ１００８の判断の結果、動画像符号化データが入力されない場合には処理を終了する。

（本発明に係る他の実施の形態）
本実施形態ではフレーム処理について説明したが、フィールド処理でも同様である。また、整数変換及びスケーリング器はこれに限るものではなく、例えばDCT変換や量子化処理等、ロスレスやロッシー等、他の既知の符号化処理方法であっても同様の効果が得られるのは明らかである。また、直交変換方式を画像の符号化時の方式と同じにする事で回路を兼用でき、更なる効果が得られる。また、エントロピ符号化方式を画像の符号化時の方式と同じにする事で回路を兼用でき更なる効果が得られる。

前述した本発明の実施の形態における動画像符号化装置及び動画像復号化装置を構成する各手段、並びに動画像符号化方法及び動画像復号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されているシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図９及び図１０に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接供給する。あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の媒体を考慮することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う。そして、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

第１の実施形態を示し、動画像復号化装置の基本構成例を示すブロック図である。第２の実施形態を示し、動画像符号化装置の基本構成例を示すブロック図である。第１の実施形態における可逆符号化部の構成例を示すブロック図である。第１の実施形態における可逆復号化部の構成例を示すブロック図である。従来の動画像復号化装置の構成例を示すブロック図である。従来の動画像復号化装置におけるデータ圧縮部の構成例を示すブロック図である。従来の動画像復号化装置におけるデータ伸長部の構成例を示すブロック図である。ロスレスアダマール変換器の構成例を説明するブロック図である。第１の実施形態の動画像復号化装置の動作例を説明するフローチャートである。第２の実施形態の動画像符号化装置の動作を説明するフローチャートである。

符号の説明

１０１可変長復号化器
１０２逆整数変換スケーリング器
１０３加算器
１０４可逆符号化部
１０５フレームメモリ
１０６可逆復号化部
１０７動き補償部
１０８フレーム内予測器
１０９予測値選択器

Claims

入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化装置であって、
前記参照画像を可逆符号化する可逆符号化手段と、
前記可逆符号化手段により符号化されたデータを記憶する記憶手段と、
前記記憶手段から読み出したデータを可逆復号する可逆復号化手段とを有し、
前記可逆復号化手段により復号された画像データを前記予測符号化に用いる事を特徴とする動画像符号化装置。
前記予測符号化装置は直交変換手段を含み、
前記可逆符号化手段は前記直交変換手段を兼用することを特徴とする請求項１に記載の動画像符号化装置。
前記可逆符号化手段は前記直交変換手段を含み、前記直交変換手段は、アダマール変換を用いることを特徴とする請求項１または２に記載の動画像符号化装置。
前記予測符号化装置はエントロピ符号化手段を含み、
前記可逆符号化手段は前記エントロピ符号化手段を兼用することを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化装置。
入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化装置であって、
前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化手段と、
前記可逆符号化手段により符号化されたデータを記憶する記憶手段と、
前記記憶手段から読み出したデータを可逆復号する可逆復号化手段とを有し、
前記可逆復号化手段により復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とする動画像復号化装置。
前記予測復号化装置は逆直交変換手段を含み、
前記可逆復号化手段は前記逆直交変換手段を兼用することを特徴とする請求項５に記載の動画像復号化装置。
前記可逆復号化手段は前記逆直交変換手段を含み、前記逆直交変換手段は、アダマール変換を用いることを特徴とする請求項５または６に記載の動画像復号化装置。
前記予測復号化装置はエントロピ復号化手段を含み、
前記可逆復号化手段は前記エントロピ復号化手段を兼用することを特徴とする請求項５乃至７の何れか１項に記載の動画像復号化装置。
入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化方法であって、
前記参照画像を可逆符号化する可逆符号化工程と、
前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、
前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とを有し、
前記可逆復号化工程において復号された画像データを前記予測符号化に用いる事を特徴とする動画像符号化方法。
入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化方法であって、
前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化工程と、
前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、
前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とを有し、
前記可逆復号化工程において復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とする動画像復号化方法。
入力画像と参照画像との差分を予測符号化方式で符号化する予測符号化装置を用いた動画像符号化を行なう各工程をコンピュータに実行させるプログラムであって、
前記参照画像を可逆符号化する可逆符号化工程と、
前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、
前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とをコンピュータに実行させ、
前記可逆復号化工程において復号された画像データを前記予測符号化に用いる事を特徴とするプログラム。
入力画像と参照画像との差分を予測符号化する予測符号化方式で符号化されたデータを復号する予測復号化装置を用いた動画像復号化を行なう各工程をコンピュータに実行させるプログラムであって、
前記予測復号化装置により復号された復号画像を可逆符号化する可逆符号化工程と、
前記可逆符号化工程において符号化されたデータを記憶媒体に記憶する記憶工程と、
前記記憶媒体から読み出したデータを可逆復号する可逆復号化工程とをコンピュータに実行させ、
前記可逆復号化工程において復号された画像データを前記予測復号化装置の参照画像に用いる事を特徴とするプログラム。
請求項１１または１２に記載のプログラムを記憶した事を特徴とするコンピュータ読み取り可能な記憶媒体。