JP2009081781A - 動き補償装置及び動き補償方法 - Google Patents

Abstract

【課題】複数の符号化信号を復号化する復号化装置の動き補償において、マルチフレームメモリからの画素データの読出し画素数、及び、小数精度画素生成動き補償の演算量をも削減することで複数の符号化信号を同時に復号化できる動き補償装置を提供する。
【解決手段】復号化手段において、復号化の対象となる画面と、前記共有記憶手段に格納されている復号化済みの復号画像の中から参照可能な画面との間で、画像の動きを予測することよって復号画像を生成する動き補償手段と、前記動き補償手段に対して動き補償を実行するブロックのサイズを変更するモードを入力する動き補償モード入力手段と、動き補償モードによって、動き補償を行うブロックのサイズを変更する場合、動き補償を行う為に必要となるパラメータを補正する動き補償補正手段とを備える。
【選択図】図１

Description

本発明は、ピクチャ間で動き補償予測を行う動き補償装置および動き補償方法に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをデジタル化することにより、統一的にメディアを扱うことが可能になる。しかしながら、デジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。

その一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、例えば、ＩＴＵ‐Ｔ（国際電気通信連合電気通信標準化部門）のＨ．２６１、Ｈ．２６３や、ＩＳＯ／ＩＥＣ（国際標準化機構国際電気標準会議）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４など、また、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）により現在標準化が進められているＨ．２６４／ＭＰＥＧ−４ ＡＶＣがある。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことができるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを「動きベクトル」と呼ぶ。）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

図２は従来の動き補償装置の構成を示すブロック図である。図２に示す従来の画面間予測復号化装置は、画面間予測符号化装置で符号化された符号化信号Ｓｔｒを復号化して復号画像信号Ｖｏｕｔを出力する装置であり、加算部１０１、加算部１０２、解析復号化部１０３、予測画像生成部１０４、予測ベクトル生成部１０５、マルチフレームメモリ１１１、および、動きベクトルメモリ１１２を備えている。

解析復号化部１０３は、符号化信号Ｓｔｒを復号化し、差分画像ＤｉｆＰｅｌ、差分ベクトルＤｉｆＭＶ、動き補償のブロックパーティションタイプＢｌｋＴｙｐ、および参照ピクチャ番号ＲｅｆＮｕｍを出力する。加算部１０１は、予測ベクトル生成部１０５から出力される予測ベクトルＰｒｄＭＶと差分ベクトルＤｉｆＭＶを加算し、動きベクトルＭＶを復号する。

マルチフレームメモリ１１１は、参照ピクチャ番号ＲｅｆＮｕｍおよび動きベクトルＭＶで示される画素を動き補償参照画素ＦｒｍＰｅｌとして出力する。予測画像生成部１０４は、解析復号化部１０３で復号化されたブロックパーティションタイプＢｌｋＴｙｐに従って、マルチフレームメモリ１１１から出力された参照画素より小数画素精度の画素を生成し、予測画像ＰｒｄＰｅｌとして出力する。加算部１０２は、予測画像ＰｒｄＰｅｌに差分画像ＤｉｆＰｅｌを加算し、復号画像ＲｅｃＰｅｌとしてマルチフレームメモリ１１１へ再び記憶する。但し、マルチフレームメモリ１１１の容量を有効に利用するため、マルチフレームメモリ１１１に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ１１１に記憶する必要が無い画面の復号画像ＲｅｃＰｅｌはマルチフレームメモリ１１１に記憶されない。以上のようにして、復号画像信号Ｖｏｕｔ、すなわち復号画像ＲｅｃＰｅｌを符号化信号Ｓｔｒから正しく復号化することができる。

ところで、ＭＰＥＧ−４ ＡＶＣ規格では１／４画素までの単位で動き補償を行うことが許可されている（ＭＰＥＧ−４ Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅでは１／２画素まで）。この際、ＭＰＥＧ−４ ＡＶＣ規格ではその線形フィルタ画素補間の方法として６タップフィルタが採用されており、１／２精度画素を周辺の６画素から求めることが決められている。この６タップフィルタによる画素補間の方法について、図３を用いて説明する。

図３はＭＰＥＧ−４ ＡＶＣにおける輝度成分の画素補間方法を説明するための概略図である。画素Ｆ００、Ｆ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５、Ｆ１０、Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５、Ｆ２０、Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５、Ｆ３０、Ｆ３１、Ｆ３２、Ｆ３３、Ｆ３４、Ｆ３５、Ｆ４０、Ｆ４１、Ｆ４２、Ｆ４３、Ｆ４４、Ｆ４５、Ｆ５０、Ｆ５１、Ｆ５２、Ｆ５３、Ｆ５４、及びＦ５５は整数精度画素位置の画素であり、斜線をつけた四角形で表している。ここで、画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｐ、Ｑ、Ｒ、Ｓ、Ｔ、及びＵは、それぞれの位置及びその画素値を表している。

また、小数精度画素位置の画素に関しては、白抜きの四角で表している。画素ａａ、ｂｂ、ｂ、ｓ、ｇｇ、及びｈｈは水平方向に、ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ及びｆｆは垂直方向に６タップフィルタを行った中間計算画素値及びその位置を示している。

画素ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｊ、ｋ、ｎ、ｐ、ｑ及びｒは各小数精度画素位置における２回目の６タップフィルタと線形補間を行った画素値及びその位置を表している。

従って、整数精度画素の画素Ｇ、Ｈ、Ｍ及びＮで囲まれる小数精度画素位置の値を求めるには、周囲６×６の画素が必要である。

また、動き補償を行うブロック単位では、図４に示すように動き補償を行うブロックの画素が位置する領域４０１に対して、ＭＰＥＧ−４ ＡＶＣの輝度成分では６タップフィルタを用いるため、対象のブロックを上に２画素、下に３画素、左に２画素及び右に３画素分の水平垂直両方向に計５画素分広くした領域４０２の画素が必要となる。従って、図５の５０１〜５０７に示すような、ＭＰＥＧ−４ ＡＶＣで許されているブロックサイズである４×４、４×８、８×４、８×８、８×１６、１６×８及び１６×１６の各ブロックサイズに対して小数画素精度の動き補償を行う場合は、それぞれ９×９、９×１３、１３×９、１３×１３、１３×２１、２１×１３、２１×２１の画素領域が必要となる。

一方、色差成分に関しては、小数精度画素の周囲４つの整数精度画素から線形補間で生成するため、図４に示すように対象のブロックを下と右に１画素分広くした領域４１２の画素が必要となる。色差成分の場合の動き補償ブロックサイズは、図５の５１１〜５１７に示すように、２×２、２×４、４×２、４×４、４×８、８×４及び８×８であり、それぞれの参照画素領域は、３×３、３×５、５×３、５×４、５×９、９×５及び９×９である（例えば、非特許文献１参照）。
特開２００５−３５４６７３号公報 特開２００６−１４８６１５号公報 ISO/IEC 14496-10, International Standard: "Information technol ogy - Coding of audio - visual objects - Part 10 : Advanced video coding"(2004-10- 01)

ところで、上述の様に復号化処理にはマルチフレームメモリ１１１からの参照画素の読出しが必要であり、さらに入力される符号化データのピクチャ順序と復元されたフレーム順序とは異なる事があるため、復号画像ＲｅｃＰｅｌは表示タイミングまでマルチフレームメモリ１１１に一旦保持させる必要がある。これらの参照画素の読出し、復号画像ＲｅｃＰｅｌの格納及びその表示などのアクセスによりマルチフレームメモリ１１１へのバス占有率は一般的に極めて高くなっている。

そのため、復号化処理に必要なメモリ容量を低減するために、マルチフレームメモリを他の機能、例えばＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）等に用いるメモリとして利用しようとしても、バス占有率が高いことから兼用する事が困難となる。この様に、新たな符号化技術を導入する事による従来の符号化技術では起こり得なかった課題が発生する。

一方、近年テレビ放送技術のデジタル化によってＨＤ(High Definition)画質の放送サービスが開始、また次世代ＤＶＤ技術によるＨＤ画質のコンテンツも増えてきている。この様な中、例えばデジタルテレビ放送を受信し、これをディスプレイに表示させる際、複数のチャネルを選択させたり、または記録メディア等に記録されたコンテンツを再生する際、複数のコンテンツを選択する場合にユーザにとって選択の判断を容易にするためにサムネイル化して表示させるなどの機能が表示端末機器、再生端末機器に実装されている事が多く、また一部では、これら新たなサービスの中に、主画面の中に子画面を表示させる様なＰｉｎＰの表示が規格として定められているものもある。

この様に新しい画像符号化技術に対応する場合のみにおいても、従来符号化技術に対応する場合と比較して、マルチフレームメモリ１１１へのバス優先率が高くなる上、更にデジタル化された放送、コンテンツ等の新たなサービスに対応するには、前記バス占有率が最早従来の回路構成では許容可能な帯域を超える事が予想される。

この様な課題に対して、既に解決手段が提案されているものもある。例えば、マルチフレームメモリ１１１へのアクセス回数を低減する提案（特許文献１）としては、処理対象マクロブロックにおける各マクロブロックパーティションが必要とする動き補償の参照画素領域を包含する様な一つの参照画素領域を判定し、共通する全てのパーティションの参照画像を一度に転送することによりマルチフレームメモリ１１１へのアクセス回数を低減することが記載されている。例えば、図６（ａ）に示す様な８×８サイズのパーティションが参照している全てのピクチャが同一であり、かつ図６（ｂ）に示す様に各パーティションにおいて動き補償に必要となる画素を取得する領域が、相互に重なり合う部分が存在する場合には、図６（ｃ）に示す様な、全ての参照画像を包含する矩形の画素を一度の転送で実行する事で、マルチフレームメモリ１１１に対するアクセス回数を低減させている。

しかしながら、先に述べた様に、ＰｉｎＰやサムネイル表示を行う場合には、少なくとも２つ以上の符号化信号を復号する必要があり、先に示した解決手段では、マルチフレームメモリ１１１から取得した参照画像に対して動き補償を実行する際、特に小数精度の画素を予測、生成する場合において、その演算量を軽減する手段とは成り得ない。また、復号する符号化信号の数に比例して参照画像の転送量も再び大きくなるといった新たな課題が生じる。

この様なＰｉｎＰやサムネイル表示を行う場合に課題に対して、ＭＰＥＧ−２に代表される様な、従来の画像復号化技術に対しては、既に解決手段が提案されているものもある。例えば、特許文献２には、ＩピクチャはＤＣ係数のみをデコードし、Ｐピクチャ、およびＢピクチャは、動き補償の精度を８画素単位まで落とす事によって、動き補償の演算量を低減させることが記載されている。

しかしながら、先に述べた様に、ＭＰＥＧ−４ ＡＶＣの様な新たな符号化技術においては、従来の符号化技術とは異なり、動き補償予測を実行するブロックサイズを小さく選択する事も可能であり、動き補償の演算量を低減させたとしても、動き補償に必要となる参照画像の取得において、マルチフレームメモリからのデータ転送量を低減する事は出来ない。

即ち、ＭＰＥＧ−４ ＡＶＣに代表される新たな画像符号化技術においては、圧縮効率の向上を目的として、動き補償予測において選択可能な参照画像枚数やブロック形状の種類が増えており、また高次タップのフィルタ補間を用いるため、複数の符号化信号を復号する場合には、既に提案されている様な解決手段のみでは、参照画像のデータ転送量低減の課題や、内部バッファの容量削減、および動き補償予測の演算量の削減等、全てを解決する事が出来ない。

本発明は、このような課題に鑑みてなされたものであり、複数の符号化信号を復号する場合においても、効率的な動き補償動作を行う事によって、マルチフレームメモリからの画素データの読み出し画素数、及び、小数精度画素生成動き補償の演算量をも削減する事によって複数の符号化信号を同時に復号する事が可能な動き補償装置を提供することを目的とする。

上記課題を解決するために、本発明の動き補償装置は、動画像を構成するピクチャ間で動き補償を行う動き補償装置であって、符号化信号が入力される符号化信号入力端子と、復号化するモードを入力するモード入力端子と、前記符号化信号端子より入力された符号化信号を復号化する復号化手段と、前記復号化手段によって復号された対象ブロックサイズの情報を、前記モード入力端子より入力されたモードに従って補正し、併せて前記復号化手段によって復号された、動き補償を行う対象ブロックが参照するピクチャの参照情報と、既に動き補償を実行されたブロックが有する動きベクトル情報から予測される予測ベクトルとの差分情報と、を補正するブロックサイズに応じて補正する動き補償補正手段と、前記既に復号化済みのブロックが有する動きベクトル情報を格納する動きベクトルメモリと、動き補償を行う対象ブロックが有する動きベクトルを、前記動き補償補正手段により補正された動きベクトルの差分情報と加算する事によって生成するために、前記動きベクトルメモリから読み出された動きベクトル情報から予測情報を生成する動きベクトル予測手段と、前記動き補償補正手段によって補正されたブロックサイズと、前記動き補償補正手段によって補正された差分情報と、前記動きベクトル予測手段によって生成された予測情報とを加算する事によって動き補償の対象ブロックが有する動きベクトルを生成する動きベクトル生成手段と、複数の参照ピクチャを記憶するマルチフレームメモリと、前記動き補償補正手段によって補正されたブロックサイズと、動きベクトル生成手段によって生成された動きベクトルによって前記マルチフレームメモリから各ブロックの動き補償で必要とされる参照領域を含む転送領域を特定し前記マルチフレームメモリからの読み出し制御を行う共用メモリ制御手段と、前記参照ピクチャの画像データを記憶する参照画像メモリと、前記共用メモリ制御手段によって前記マルチフレームメモリから読み出された参照画像データを、前記参照画像メモリに格納し、更に前記参照画像メモリに格納された参照画像データを動き補償を行うために読み出す専用メモリ制御手段と、前記動きベクトル生成手段によって生成された動きベクトルに従って、前記参照画像メモリから参照画像データを読出し、動き補償を行う動き補償手段と、前記動き補償手段によって生成された予測画像データと、復号化手段によって復号化された差分画像とを加算する事によって、動画像を構成するピクチャを再構成する再構成手段と、前記再構成手段によって生成されたピクチャを、表示するための画像出力端子と、を備える。

尚、前記再構成手段によって生成されたピクチャは、後に動き補償が行われる対象ブロックが参照する可能性がある画像として、前記マルチフレームメモリに格納される。

この構成によれば、入力された符号化信号を復号した結果、小サイズの動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、滞りなく動画像を表示する事ができる。特に小さいサイズで動き補償を実行するために必要な参照画像データの転送、または全てのブロックの動き補償の実行を終えるまでの時間が、滞りなく動画像を表示するために割り当てられた時間を超過する場合に画像が乱れる事を防止する事ができる。

ここで、前記動き補償装置には、複数の符号化信号を時系列に分割して入力し、前記動き補償装置の内、前記マルチフレームメモリや前記動きベクトルメモリ等を共有する共有記憶手段と、それ以外の動き補償復号化手段の何れをも時間的に共有するようにしてもよい。

ここで、前記動き補償装置には、複数の符号化信号を複数の復号化回路に分割して入力し、前記動き補償装置の内、前記マルチフレームメモリや前記動きベクトルメモリ等を共有する共有記憶手段は共有しつつ、それ以外の動き補償復号化手段においては、各々入力される符号化信号に専有するようにしてもよい。

この構成によれば、複数の符号化信号が入力された際にも、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように何れかの符号化信号に対して、または何れの符号化信号に対しても、本来動き補償を行うブロックサイズより大きいサイズに補正して動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、画像が乱れる事を防止する事ができる。

ここで、前記動き補償装置には、複数の符号化信号を複数の復号化回路に分割して入力し、前記動き補償装置の内、前記マルチフレームメモリや前記動きベクトルメモリ等を共有する共有記憶手段は共有しつつ、それ以外の動き補償復号化手段においては、各々入力される符号化信号に専有させつつも、何れかの動画像については、ブロックサイズ補正せず小さいサイズで動き補償をそのまま実行するようにしてもよい。

この構成によれば、複数の符号化信号が入力された際、特に重要な動画像の符号化信号に対しては、本来のブロックサイズで動き補償を行い、また同時に、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように、その他の符号化信号に対して、本来動き補償を行うブロックサイズより大きいサイズに補正して動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、重要な動画像においては本来表示すべき画像を出力させつつ、その他の画像も含め、画像が乱れる事を防止する事ができる。

ここで、前記動き補償装置には、表示する画像のサイズに応じて本来動き補償を行うブロックサイズを補正するようにしてもよい。

この構成によれば、複数の動画を一つの画面に表示する場合に、何れかの画面が小さい場合には、小さく表示される方の符号化信号に対して、または何れの画面も本来表示する画面より小さい場合には、全ての符号化信号に対して、それぞれ本来動き補償を行うブロックサイズより大きいサイズで動き補償を行うので、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、画像が乱れる事を防止する事ができる。

ここで、前記動き補償装置には、前記共有記憶手段とのデータ転送量を観測し、その状況に応じて本来動き補償を行うブロックサイズを補正するようにしてもよい。

この構成によれば、入力された符号化信号を復号した結果、小さいサイズで動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、参照画像データの転送量が削減される事によって、滞りなく動画像を表示する事ができる。特に小さいサイズで動き補償を実行するために必要な参照画像データの転送を終えるまでの時間が、滞りなく動画像を表示するために割り当てられた時間を超過する場合に画像が乱れる事を防止する事ができる。

ここで、前記動き補償装置には、前記参照画像メモリにおけるデータ量を観測し、その状況に応じて本来動き補償を行うブロックサイズを補正するようにしてもよい。

この構成によれば、入力された符号化信号を復号した結果、小さいサイズで動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、動き補償に必要となる参照画像のデータ量が削減される事によって、乱れなく動画像を表示する事ができる。特に小さいサイズで動き補償を実行するために必要な参照画像データを全て格納するための容量が不足した場合、動き補償を実行する際に使用する参照画像が無い事によって画像が乱れる事を防止する事ができる。

本発明の動き補償装置、動き補償方法によれば、入力された符号化信号を復号した結果、小さいサイズで動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、滞りなく動画像を表示する事ができる。

特に、小さいサイズで動き補償を実行するために必要な参照画像データの転送、または全てのブロックの動き補償の実行を終えるまでの時間が、滞りなく動画像を表示するために割り当てられた時間を超過する場合に画像が乱れる事を防止する事ができる。

また、複数の符号化信号が入力された際にも、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように何れかの符号化信号に対して、または何れの符号化信号に対しても、本来動き補償を行うブロックサイズより大きいサイズに補正して動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、画像が乱れる事を防止する事ができる。

特に、重要な動画像の符号化信号に対しては、本来のブロックサイズで動き補償を行い、また同時に、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように、その他の符号化信号に対して、本来動き補償を行うブロックサイズより大きいサイズに補正して動き補償を実行するので、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、重要な動画像においては本来表示すべき画像を出力させつつ、その他の画像も含め、画像が乱れる事を防止する事ができる。

また、複数の動画を一つの画面に表示する場合に、何れかの画面が小さい場合には、小さく表示される方の符号化信号に対して、または何れの画面も本来表示する画面より小さい場合には、全ての符号化信号に対して、それぞれ本来動き補償を行うブロックサイズより大きいサイズで動き補償を行うので、滞りなく動画像を表示させるために割り当てられた処理時間内に、参照画像データの転送や動き補償の実行が終了するように、参照画像データの転送、または動き補償を実行する時間が短縮される事によって、画像が乱れる事を防止する事ができる。

また、入力された符号化信号を復号した結果、小さいサイズで動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、参照画像データの転送量が削減される事によって、滞りなく動画像を表示する事ができる。

特に、小さいサイズで動き補償を実行するために必要な参照画像データの転送を終えるまでの時間が、滞りなく動画像を表示するために割り当てられた時間を超過する場合に画像が乱れる事を防止する事ができる。

また、入力された符号化信号を復号した結果、小さいサイズで動き補償を実行しなければならない場合に本来動き補償を行うブロックサイズより大きいサイズで動き補償を実行するので、動き補償に必要となる参照画像のデータ量が削減される事によって、乱れなく動画像を表示する事ができる。

特に、小さいサイズで動き補償を実行するために必要な参照画像データを全て格納するための容量が不足した場合、動き補償を実行する際に使用する参照画像が無い事によって画像が乱れる事を防止する事ができる。

本発明を実施するための最良の形態について、以下、図を用いて説明する。

（実施の形態１）
実施の形態１における動き補償装置は、動き補償装置の外部で決定されたモードに従って、入力される符号化信号を解析復号化した動き補償のブロックサイズを補正する事により、動き補償の処理負荷と、動き補償を行う上で必要となる参照画像の転送量とを低減する事で安定した復号化処理と画像の表示を行う様に構成されている。

図１は、実施の形態１における動き補償装置の構成を示すブロック図である。図１の動き補償装置は、符号化された符号化信号Ｓｔｒを復号化し、復号画像信号Ｖｏｕｔを出力する装置であり、加算部１０１、加算部１０２、解析復号化部１０３、予測画像生成部１０４、予測ベクトル生成部１０５、参照画像メモリ１０６、専用メモリ制御部１０７、動き補償補正部１０８、マルチフレームメモリ１１１、動きベクトルメモリ１１２、および、共用メモリ制御部１１３を備えている。

解析復号化部１０３は、符号化信号Ｓｔｒの内容を解析し、復号に必要な情報に変換する。復号に必要な情報とは差分画像ＤｉｆＰｅｌ、差分ベクトルＤｉｆＭＶ、動き補償のブロックパーティションタイプＢｌｋＴｙｐ、および参照ピクチャ番号ＲｅｆＮｕｍである。この内、差分ベクトルＤｉｆＭＶ、動き補償のブロックパーティションタイプＢｌｋＴｙｐ、および参照ピクチャ番号ＲｅｆＮｕｍは、動き補償補正部１０８に出力される。差分画像ＤｉｆＰｅｌは、加算部１０２に出力される。

動き補償補正部１０８は、取得した差分ベクトルＤｉｆＭＶ、動き補償のブロックパーティションタイプＢｌｋＴｙｐ、および参照ピクチャ番号ＲｅｆＮｕｍを取得し、外部で決定されたモードに従って、補正が必要なものを補正する。

加算部１０１は、予測ベクトル生成部１０５から出力される予測ベクトルＰｒｄＭＶと動き補償補正部１０８から出力される差分ベクトルＤｉｆＭＶとを加算し、動きベクトルＭＶを復号する。復号した動きベクトルＭＶは、動きベクトルメモリ１１２、動き補償補正部１０８に出力される。

共用メモリ制御部１１３は、参照ピクチャ番号ＲｅｆＮｕｍおよび動きベクトルＭＶで示される画素を動き補償参照画素ＦｒｍＰｅｌとしてマルチフレームメモリ１１１から読み出し、参照画像メモリ１０６へ転送すると同時に専用メモリ制御部に対して転送データが有効である事を示すＦｒｍＶａｌを出力する。

予測画像生成部１０４は、動き補償補正部１０８によって補正されたブロックパーティションタイプＢｌｋＴｙｐに従って、マルチフレームメモリ１１１から参照画像メモリに転送された参照画素より小数画素精度の画素を生成し、予測画像画素ＰｒｄＰｅｌとして加算部１０２に出力する。この時、専用メモリ制御部１０７は、予測画像生成部１０４と連動して参照画像メモリ１０６より参照画像データＬｃｌＰｅｌを読み出すと同時に、予測画像生成部１０４に対してデータが有効である事を示すＬｃｌＶａｌ信号を出力する。

加算部１０２は、予測画像画素ＰｒｄＰｅｌに差分画像ＤｉｆＰｅｌを加算し、復号画像ＲｅｃＰｅｌを再構成して復号画像信号Ｖｏｕｔへ出力する。また、マルチフレームメモリ１１１に復号画像ＲｅｃＰｅｌを記憶する。但し、マルチフレームメモリ１１１の容量を有効に利用するため、マルチフレームメモリ１１１に記憶されている画面の領域は、不要な場合には開放され、またマルチフレームメモリ１１１に記憶する必要が無い画面の復号画像ＲｅｃＰｅｌはマルチフレームメモリ１１１に記憶されない。

以上のようにして、復号画像信号Ｖｏｕｔ、すなわち復号画像ＲｅｃＰｅｌを符号化信号Ｓｔｒから正しく復号化することができる。

図１９は、実施の形態１における動き補償補正部１０８の構成を示すブロック図である。図１９の動き補償補正部１０８は、外部で決定されたモードによって、ブロックパーティションタイプＢｌｋＴｙｐを変更し、変更したブロックサイズに従って、差分ベクトルＤｉｆＭＶおよび参照ピクチャ番号ＲｅｆＮｕｍを補正する装置であり、ブロック情報分離部１０８１、ブロック情報分離部１０８２、ブロック情報変更部１０８３、ブロック情報記憶部１０８４、および、ブロック情報補正部１０８５を備えている。

ブロック情報分離部１０８１は、解析復号化部１０３によって解析、復号化された復号化情報の内、動き補償に必要となるブロックパーティションタイプとそれ以外の情報とに分離する。

ブロック情報変更部１０８３は、入力されたモードＭｏｄ信号に従って、ブロック情報分離部１０８１によって分離されたブロックパーティションタイプの情報に対し、例えば図５に示す５０１、４１１以外のパーティションタイプの場合には、全て５０１、４１１のパーティションタイプに変更し、ブロックパーティションタイプＢｌｋＴｙｐとして出力する。

ブロック情報記憶部１０８４は、ブロック情報分離部１０８１によって分離されたブロックパーティションタイプ以外の情報を、全てのパーティション、もしくはパーティションインデックスが最も小さいブロック等、代表的なパーティションに対して記憶する。

ブロック情報補正部１０８５は、入力されたモードＭｏｄ信号に従って、本来動き補償に必要となる情報から、ブロック情報変更部１０８３によって変更されたブロックサイズに適した情報を、ブロック情報記憶部１０８４に格納された情報から選択、または生成する。

ブロック情報分離部１０８２は、ブロック情報補正部１０８５によって選択、または生成された動き補償に必要な情報を、参照ピクチャ番号ＲｅｆＮｕｍと、差分ベクトルＤｉｆＭＶとに分離し出力する。

図７は実施の形態１において動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図１に示す動き補償装置に対して複数の符号化信号Ｓｔｒ１、Ｓｔｒ２を切り換える切り換え回路ＳＷ１、動き補償モード信号の入力Ｍｏｄ、および、複数の復号画像信号Ｖｏｕｔ１、Ｖｏｕｔ２を切り換える切り換え回路ＳＷ２を備えている。

図７において、復号化回路１００は、図１において、加算部１０１、加算部１０２、解析復号化部１０３、予測画像生成部１０４、予測ベクトル生成部１０５、参照画像メモリ１０６、専用メモリ制御部１０７、および、動き補償補正部１０８によって構成される。共有記憶回路１１０は、マルチフレームメモリ１１１、動きベクトルメモリ１１２、および、共用メモリ制御部１１３によって構成される。

切り換え回路ＳＷ１は、符号化信号Ｓｔｒ１と符号化信号Ｓｔｒ２のいずれかを復号回路１００に対して入力するよう切り換える。切り換え回路ＳＷ１によって選択されたいずれか一方の符号化信号は、復号化回路１００によって復号化される。復号化回路１００によって復号化された画像は、切り換え回路ＳＷ１によって選択された符号化信号に対する復号画像信号を、切り換え回路ＳＷ２によって復号画像信号Ｖｏｕｔ１、または、復号画像信号Ｖｏｕｔ２のいずれかとして選択して出力される。この時、特に符号化信号Ｓｔｒ１、および、符号化信号Ｓｔｒ２が、切り換え回路ＳＷ１によって時系列的にある一定の割合で切り換えられる場合、即ち、複数の符号化信号に対して、復号化回路１００を時分割共有する場合に、いずれかの符号化信号に対して、またはいずれの符号化信号に対しても、動き補償サイズを補正するように動き補償モード信号の入力Ｍｏｄが復号化回路１００に対して入力される。

以上説明してきたように実施の形態１によれば、小さいサイズで動き補償を実行する場合に必要となる動き補償の処理時間や、動き補償に必要となる参照画像の転送が、滞りなく表示する為に割り当てられた処理時間内に終了しない場合に、大きいサイズで動き補償を実行する様な補正を行う事によって、滞りなく動画像を表示する事ができ、復号化装置の性能を保証する事が可能となる。

なお、上記では図７の符号化信号はＳｔｒ１とＳｔｒ２の２つに対して説明したが、入力される符号化信号は２つを超える数であってもよい。

また、動き補償モード信号の入力Ｍｏｄは、１つの符号化信号しか入力されていない場合、即ち取得した差分ベクトルＤｉｆＭＶ、動き補償のブロックパーティションタイプＢｌｋＴｙｐ、および参照ピクチャ番号ＲｅｆＮｕｍを、動き補償補正部１０８によって補正する必要がない場合、切り換え回路ＳＷ１がいずれか一方の入力に固定されていてもよい。

（実施の形態２）
図２０は実施の形態２における動き補償補正部の構成を示すブロック図である。本実施の形態における動き補償補正部は、図１９と比較して補正パターン記憶部１０８５、および、補正パターン選択部１０８７を備えている。この点以外は図２０と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

補正パターン記憶部１０８６には、動き補償を行うブロックパーティションタイプの変更パターンと、各々の変更パターンに対し、適切なブロック情報を選択、または生成する為の情報とが記憶されている。

補正パターン選択部１０８７は、動き補償装置外部で決定されたモードＭｏｄに従って、ブロックパーティションタイプの変更パターンを、補正パターン記憶部１０８６に格納されているパターンの中から選択する。ブロック情報変更部１０８３は、補正パターン選択部１０８７によって選択された補正パターンに従って、ブロック情報分離部１０８１によって分離されたブロックパーティションタイプの情報に対し、例えば図５に示す５０４、４１４より小さいパーティションタイプの場合には、全て５０４、４１４のパーティションタイプに変更し、ブロックパーティションタイプＢｌｋＴｙｐとして出力する。

ブロック情報記憶部１０８４は、ブロック情報分離部１０８１によって分離されたブロックパーティションタイプ以外の情報を、補正パターン選択部１０８７によって選択された補正パターンに従って、必要なパーティションに対して記憶する。ブロック情報補正部１０８５は、補正パターン選択部１０８７によって選択された補正パターンに従って、本来動き補償に必要となる情報から、ブロック情報変更部１０８３によって変更されたブロックサイズに適した情報を、ブロック情報記憶部１０８４に格納された情報から選択、または生成する。ブロック情報分離部１０８２は、ブロック情報補正部１０８５によって選択、または生成された動き補償に必要な情報を、参照ピクチャ番号ＲｅｆＮｕｍと、差分ベクトルＤｉｆＭＶとに分離し出力する。

以上説明してきたように実施の形態２における動き補償装置によれば、実施の形態１の効果に加え、動き補償を行うブロックサイズを補正する場合に、補正サイズを適応的に変更する事により、動き補償サイズを補正する事によって発生するブロック歪を抑制する事ができ、見かけ上の復号画像の画質を大きく劣化させる事なく、復号化装置の性能を保証する事が可能となる。

なお、上記図２０の動き補償補正部１０８において、補正パターン記憶部１０８６には、固定された補正パターンが記憶されていてもよい。または、補正パターン記憶部１０８には、書き換え可能な装置を適用し、必要に応じて外部から書き換えてもよい。

（実施の形態３）
図１６は実施の形態３における動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図７と比較して表示サイズ設定回路１２０を備えている。この点以外は図７と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

表示サイズ設定回路１２０には、例えば図１３に示すような複数の画像を表示する場合にそれぞれの画面表示サイズ（Ａ）および（Ｂ）が設定される。画面表示サイズ（Ａ）および（Ｂ）は、図１６における符号化信号Ｓｔｒ１、符号化信号Ｓｔｒ２の表示サイズに対応している。例えば、画面の表示設定が（ａ）の場合、画面（Ａ）の表示面積（画面（Ｂ）を除く画面（Ａ）が表示している面積、以下同じ）は画面（Ｂ）の表示面積より大きく、従って、この様な場合には画面（Ｂ）の符号化信号となるＳｔｒ２に対して動き補償サイズが補正されるように表示サイズ設定回路１２０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。逆に、画面の表示設定が（ｃ）の場合、画面（Ａ）の表示面積は画面（Ｂ）の表示面積より小さく、従って、この様な場合には画面（Ａ）の符号化信号となるＳｔｒ１に対して動き補償サイズが補正されるように表示サイズ設定回路１２０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。

また、画面の表示設定が（ｂ）の場合、画面（Ａ）の表示面積は画面（Ｂ）の表示面積とほぼ同じであり、従って、この様な場合には画面（Ａ）および（Ｂ）の符号化信号となるＳｔｒ１、Ｓｔｒ２に対して動き補償サイズが補正されるように表示サイズ設定回路１２０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。

以上説明してきたように実施の形態３における動き補償装置によれば、実施の形態１の効果に加え、複数の符号化信号を同一画面に表示する場合に、それぞれ表示される画面のサイズに応じて動き補償を行うブロックサイズを補正する事により、いずれの画面に対しても見かけ上の復号画像の画質を大きく劣化させる事なく、また、滞りなく動画像を表示する事ができ、復号化装置の性能を保証する事が可能となる。

（実施の形態４）
図１７は実施の形態４における動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図７と比較してデータ転送観測回路１３０を備えている。この点以外は図７と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

データ転送観測回路１３０は、共有記憶回路１１０と復号化回路１００とのデータ転送量を観測する。この中で特に符号化信号Ｓｔｒ１および符号化信号Ｓｔｒ２に対して動き補償を行う上でそれぞれ必要となる参照画像の転送量の割合が、図１４に示すように変化する。画面（Ａ）を表示する為に必要となる動き補償処理、および画面（Ｂ）を表示する為に必要となる動き補償処理は、図１７における符号化信号Ｓｔｒ１、符号化信号Ｓｔｒ２に対する動き補償処理に対応している。この時、例えば、図１４（ａ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像の転送量が画面（Ｂ）に対する動き補償に必要となる参照画像の転送量より多い場合、画面（Ａ）の符号化信号となるＳｔｒ１に対して動き補償サイズが補正されるようにデータ転送観測回路１３０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。逆に、図１４（ｃ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像の転送量が画面（Ｂ）に対する動き補償に必要となる参照画像の転送量より少ない場合、画面（Ｂ）の符号化信号となるＳｔｒ２に対して動き補償サイズが補正されるようにデータ転送観測回路１３０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。この様にしてデータ転送観測回路１３０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される事によって、いずれの符号化信号の動き補償処理に対しても、図１４（ｂ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像の転送量と画面（Ｂ）に対する動き補償に必要となる参照画像の転送量が均一となるように制御される。

以上説明してきたように実施の形態４における動き補償装置によれば、実施の形態１の効果に加え、複数の符号化信号を同時に復号化する場合に、それぞれの符号化信号に対して動き補償処理を行う上で必要となる参照画像データの転送量に応じて動き補償を行うブロックサイズを補正する事により、いずれか復号画像の画質を破綻させる事なく、また、滞りなく動画像を表示する事ができ、復号化装置の性能を保証する事が可能となる。

（実施の形態５）
図１８は実施の形態５における動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図７と比較して参照画像メモリ観測回路１４０を備えている。この点以外は図７と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

参照画像メモリ観測回路１４０は、復号化回路１００内に実装される動き補償を実行する上で必要となる参照画像データを格納する参照画像メモリの使用量を観測する。参照画像メモリでは、符号化信号Ｓｔｒ１および符号化信号Ｓｔｒ２に対して動き補償を行う上でそれぞれ必要となる参照画像の使用量の割合が、図１５に示すように変化する。画面（Ａ）を表示する為に必要となる動き補償処理、および画面（Ｂ）を表示する為に必要となる動き補償処理は、図１８における符号化信号Ｓｔｒ１、符号化信号Ｓｔｒ２に対する動き補償処理に対応している。この時、例えば、図１５（ａ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像メモリの使用量が画面（Ｂ）に対する動き補償に必要となる参照画像メモリの使用量より多い場合、画面（Ａ）の符号化信号となるＳｔｒ１に対して動き補償サイズが補正されるように参照画像メモリ観測回路１４０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。逆に、図１５（ｃ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像メモリの使用量が画面（Ｂ）に対する動き補償に必要となる参照画像メモリの使用量より少ない場合、画面（Ｂ）の符号化信号となるＳｔｒ２に対して動き補償サイズが補正されるように参照画像メモリ観測回路１４０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される。この様にして参照画像メモリ観測回路１４０から動き補償モード信号Ｍｏｄが復号化回路１００に対して入力される事によって、いずれの符号化信号の動き補償処理に対しても、図１５（ｂ）に示すように画面（Ａ）に対する動き補償に必要となる参照画像の転送量と画面（Ｂ）に対する動き補償に必要となる参照画像の転送量が均一となるように制御される。

以上説明してきたように実施の形態５における動き補償装置によれば、実施の形態１の効果に加え、複数の符号化信号を同時に復号化する場合に、それぞれの符号化信号に対して動き補償処理を行う上で必要となる参照画像メモリの使用量に応じて動き補償を行うブロックサイズを補正する事により、いずれか復号画像の画質を破綻させる事なく、また、滞りなく動画像を表示する事ができ、復号化装置の性能を保証する事が可能となる。

（実施の形態６）
図９は、実施の形態６における動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図７と比較して複数の復号化回路を備えている。ここでは、復号化回路（ａ）１０１ａと復号化回路（ｂ）１００ｂとの２つとする。また、入力される符号化信号Ｓｔｒ１は復号化回路（ａ）１００ａに入力され、一方、符号化信号Ｓｔｒ２は、復号化回路（ｂ）１００ｂに入力される。動き補償モード信号Ｍｏｄは、復号化回路（ａ）１００ａ、および、復号化回路（ｂ）１００ｂの両方に入力される。共有記憶回路１１０は、復号化回路（ａ）１００ａと復号化回路（ｂ）１００ｂによって共有される。この点以外は図７と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

図１１は、実施の形態６における動き補償装置の構成を示すブロック図である。同図の動き補償装置は、符号化された符号化信号Ｓｔｒ１および符号化信号Ｓｔｒ２を復号化し、復号画像信号Ｖｏｕｔ１および復号画像信号Ｖｏｕｔ２を出力する装置であり、加算部１０１ａ、１００ｂ、加算部１０２ａ、１００ｂ、解析復号化部１０３ａ、１０３ｂ、予測画像生成部１０４ａ、１０４ｂ、予測ベクトル生成部１０５ａ、１０５ｂ、参照画像メモリ１０６ａ、１０６ｂ、専用メモリ制御部１０７ａ、１０７ｂ、動き補償補正部１０８ａ、１０８ｂ、マルチフレームメモリ１１１、動きベクトルメモリ１１２、および、共用メモリ制御部１１３を備えている。

解析復号化部１０３ａ、および、解析復号化部１０３ｂは、符号化信号Ｓｔｒ１および符号化信号Ｓｔｒ２の内容を解析し、復号に必要な情報に変換する。必要な情報とは、差分画像ＤｉｆＰｅｌａ、ＤｉｆＰｅｌｂ、差分ベクトルＤｉｆＭＶａ、ＤｉｆＭＶｂ、動き補償のブロックパーティションタイプＢｌｋＴｙｐａ、ＢｌｋＴｙｐｂ、および参照ピクチャ番号ＲｅｆＮｕｍａ、ＲｅｆＮｕｍｂである。この内、差分ベクトルＤｉｆＭＶａ、ＤｉｆＭＶｂ、動き補償のブロックパーティションタイプＢｌｋＴｙｐａ、ＢｌｋＴｙｐｂ、および参照ピクチャ番号ＲｅｆＮｕｍａ、ＲｅｆＮｕｍｂは、動き補償補正部１０８ａ、１０８ｂにそれぞれ出力される。また、差分画像ＤｉｆＰｅｌａ、ＤｉｆＰｅｌｂは加算部１０１ａ、１０１ｂに出力される。

動き補償補正部１０８は、取得した差分ベクトルＤｉｆＭＶａ、ＤｉｆＭＶｂ、動き補償のブロックパーティションタイプＢｌｋＴｙｐａ、ＢｌｋＴｙｐｂ、および参照ピクチャ番号ＲｅｆＮｕｍａ、ＲｅｆＮｕｍｂを取得し、外部で決定されたモードに従って、補正が必要なものを補正する。

加算部１０１ａ、１０１ｂは、予測ベクトル生成部１０５ａ、１０５ｂから出力される予測ベクトルＰｒｄＭＶａ、ＰｒｄＭＶｂと動き補償補正部１０８ａ、１０８ｂから出力される差分ベクトルＤｉｆＭＶａ、ＤｉｆＭＶｂを加算し、動きベクトルＭＶａ、ＭＶｂを復号する。

共用メモリ制御部１１３は、参照ピクチャ番号ＲｅｆＮｕｍａまたはＲｅｆＮｕｍｂ、および、動きベクトルＭＶａまたはＭＶｂで示される画素を動き補償参照画素ＦｒｍＰｅｌａまたはＦｒｍＰｅｌｂとしてマルチフレームメモリ１１１から読み出し、参照画像メモリ１０６ａまたは１０６ｂへ転送すると同時に専用メモリ制御部１０７ａまたは１０７ｂに対して転送データが有効である事を示すＦｒｍＶａｌａまたはＦｒｍＶａｌｂを出力する。

予測画像生成部１０４ａ、１０４ｂは、動き補償補正部１０８ａ、１０８ｂによって補正されたブロックパーティションタイプＢｌｋＴｙｐａ、ＢｌｋＴｙｐｂに従って、マルチフレームメモリ１１１から参照画像メモリ１０６ａ、１０６ｂに転送された参照画素より小数画素精度の画素を生成し、予測画像画素ＰｒｄＰｅｌａ、ＰｒｄＰｅｌｂとして出力する。この時、専用メモリ制御部１０７ａ、１０７ｂは、予測画像生成部１０４ａ、１０４ｂと連動して参照画像メモリ１０６ａ、１０６ｂより局所参照画像データＬｃｌＰｅｌａ、ＬｃｌＰｅｌｂを読み出すと同時に、予測画像生成部１０４ａ、１０４ｂに対してデータが有効である事を示すＬｃｌＶａｌａ、ＬｃｌＶａｌｂ信号を出力する。

加算部１０２ａ、１０２ｂは、予測画像画素ＰｒｄＰｅｌａ、ＰｒｄＰｅｌｂに差分画像ＤｉｆＰｅｌａ、ＤｉｆＰｅｌｂを加算し、復号画像ＲｅｃＰｅｌａ、ＲｅｃＰｅｌｂを再構成して復号画像信号Ｖｏｕｔ１、Ｖｏｕｔ２へ出力すると同時にマルチフレームメモリ１１１へ再び記憶する。但し、マルチフレームメモリ１１１の容量を有効に利用するため、マルチフレームメモリ１１１に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ１１１に記憶する必要が無い画面の復号画像ＲｅｃＰｅｌａ、ＲｅｃＰｅｌｂはマルチフレームメモリ１１１に記憶されない。

以上のようにして、復号画像信号Ｖｏｕｔ１、Ｖｏｕｔ２、すなわち復号画像ＲｅｃＰｅｌａ、ＲｅｃＰｅｌｂを符号化信号Ｓｔｒ１、Ｓｔｒ２から正しく復号化することができる。

図１１は実施の形態６において動き補償装置に対する入力と出力の構成を示すブロック図である。本実施の形態における動き補償装置は、図１１に示す動き補償装置に対してして複数の符号化信号の入力Ｓｔｒ１、Ｓｔｒ２、動き補償モード信号の入力Ｍｏｄ、および、複数の復号画像信号の出力Ｖｏｕｔ１、Ｖｏｕｔ２を備えている。図１１において、復号化回路１００ａ、および、１００ｂは、図９において、加算部１０１ａ、１０１ｂ、加算部１０２ａ、１０２ｂ、解析復号化部１０３ａ、１０３ｂ、予測画像生成部１０４ａ、１０４ｂ、予測ベクトル生成部１０５ａ、１０５ｂ、参照画像メモリ１０６ａ、１０６ｂ、専用メモリ制御部１０７ａ、１０７ｂ、および、動き補償補正部１０８ａ、１０８ｂによって構成される。共有記憶回路１１０は、マルチフレームメモリ１１１、動きベクトルメモリ１１２、および、共用メモリ制御部１１３によって構成される。

符号化信号Ｓｔｒ１と符号化信号Ｓｔｒ２は、それぞれ復号回路１００ａと１００ｂとに対して個別に入力される。両方の符号化信号Ｓｔｒ１、Ｓｔｒ２は、復号回路１００ａ、および１００ｂによって復号化される。復号回路１００ａ、および、１００ｂによって復号化された画像は、それぞれの符号化信号に対する復号画像信号をＶｏｕｔ１、および、Ｖｏｕｔ２から出力される。この時、特に符号化信号Ｓｔｒ１、および、符号化信号Ｓｔｒ２が、同時刻に入力される場合、即ち、複数の符号化信号に対して、復号化回路１００ａと１００ｂが同時に動作する場合に、いずれかの符号化信号に対して、またはいずれの符号化信号に対しても、動き補償サイズを補正するように動き補償モード信号の入力Ｍｏｄが復号化回路１００ａ、および１００ｂに対して入力される。

以上説明してきたように実施の形態１によれば、小さいサイズで動き補償を実行する場合に必要となる動き補償の処理時間や、動き補償に必要となる参照画像の転送が、滞りなく表示する為に割り当てられた処理時間内に終了しない場合に、大きいサイズで動き補償を実行する様な補正を行う事によって、滞りなく動画像を表示する事ができ、復号化装置の性能を保証する事が可能となる。

なお、上記では図１１の符号化信号はＳｔｒ１とＳｔｒ２の２つに対して説明したが、入力される符号化信号はこれを超える数であってもよい。

また、動き補償モード信号の入力Ｍｏｄは、図１０に示すように、１つの復号化回路に対してのみ入力されていてもよい。この構成は、動き補償サイズを補正せずに、正しく優先的に復号化する必要がある符号化信号が入力されるような場合に適用され、復号化回路１０１ａには、図１２に示すように動き補償補正部は実装されない。

（実施の形態７）
実施の形態７における動き補償方法は、動き補償の処理を開始する前に決定されたモードに従って、入力される符号化信号を解析復号化した動き補償のブロックサイズを補正する事により、動き補償の処理量と、動き補償を行う上で必要となる参照画像のデータ量とを、低減する事で安定した復号化処理と画像の表示を行う様に構成されている。

図２１は、実施の形態７における動き補償方法を示すフローチャート図である。同図の動き補償方法は、符号化された符号化信号を解析し、ピクチャ間の相関関係を利用して符号化された画像を、動き補償処理によって再構成し、復号画像を生成する方法であり、符号化情報解析ステップ、動きベクトル算出ステップ、ブロックサイズ変更ステップ、パラメータ補正ステップ、参照画像取得ステップ、予測画像生成ステップ、および、復号画像再構成ステップを踏む。

符号化情報解析ステップでは、符号化信号の内容を解析し、復号に必要な情報に変換する。動きベクトル算出ステップでは、既に復号化されたブロックが有する動きベクトルか予測ベクトルを生成し、更に符号化情報解析ステップによって得られた差分ベクトル情報と加算することよって復号化対象となる各ブロックの動きベクトルを算出する。

符号化情報解析ステップによって得られた情報の内、動き補償のブロックパーティションタイプは、動き補償を処理を開始する前に決定されたモードに従ってブロックサイズ変更ステップにより変更される。同じく符号化情報解析ステップによって得られた情報の内、参照ピクチャ番号と、および動きベクトル算出ステップによって得られた動きベクトル情報は、動き補償を処理を開始する前に決定されたモードに従ってパラメータ補正ステップによりそれぞれ補正される。

参照画像取得ステップでは、パラメータ補正ステップによって補正された参照ピクチャ番号に該当する参照画像を既に復号化された画像から、同じくパラメータ補正ステップによって補正された動きベクトルが示す位置に該当する参照領域の画像を取得する。予測画像生成ステップでは、参照画像取得ステップによって取得した参照画像に対して、更に詳細な動き補償を行う為に、補正ステップによって補正された動きベクトルを用いての補間処理を行い、予測画像を生成する。

復号画像再構成ステップでは、予測画像生成ステップによって生成された予測画像情報と、符号化情報解析ステップによって得られた差分画像情報とを加算する事によって復号画像情報を再構成する。これら一連の処理はマクロブロック単位で実行され、動き補償が行われる。

図２２は、実施の形態７におけるブロックサイズ変更ステップの処理を示すフローチャート図である。ブロックサイズ変更ステップでは、まず動き補償の処理を開始する前に決定されたモードに従ってブロックサイズ変更の有無を判定する。判定の結果、ブロックサイズを変更する場合には、本来動き補償を行うブロックサイズより大きいブロックサイズで動き補償を実行するよう、符号化情報解析ステップによって得られた動き補償のブロックパーティションタイプを変更する。またこの時、ブロックパーティションタイプの変更に伴って影響を受けるパラメータの補正を行う為のフラグを有効にする。一方、判定の結果、ブロックサイズを変更しない場合には、本来のブロックサイズで動き補償を行う為、特に符号化情報解析ステップによって得られた動き補償のブロックパーティションタイプは変更せず、また、パラメータの補正を行う為のフラグを無効にする。

図２３は、実施の形態７におけるパラメータ補正ステップの処理を示すフローチャート図である。パラメータ補正ステップでは、ブロックサイズ変更ステップによって決定されたパラメータ補正フラグに従ってパラメータ補正の有無を判定する。判定の結果、パラメータを補正する場合には、ブロックサイズ変更ステップによって変更される前後のブロックパーティションタイプの関係によって、まず動きベクトルを補正し、続いて参照画像取得ステップにおいて必要となる参照ピクチャ番号を補正する。

図２４は、実施の形態７におけるブロックパーティション変更ステップの処理を示すフローチャート図である。ブロックパーティション変更ステップでは、復号化対象となるマクロブロック内にブロックパーティションタイプがマクロブロックサイズと同じである場合には、パーティションタイプは変更しない。一方、マクロブロックサイズより小さいブロックパーティションが存在する場合、即ちマクロブロック内に複数のブロックパーティションが存在する場合、これをマクロブロックサイズに変更しブロックパーティションが１となるように変更する。例えば、図５に示すブロック構成の場合、符号化対象となるマクロブロックのブロックパーティションタイプが、５０２、５０３、５０４、５０５、５０６、および、５０７の何れかが含まれるような場合には、全て５０１のブロックパーティションタイプに変更される。

図２５は、実施の形態７における動きベクトル補正ステップの処理を示すフローチャート図である。動きベクトル補正ステップでは、復号化対象となるマクロブロックのブロックパーティションタイプが変更され、複数のパーティションブロックが統合される場合、統合後のブロック単位で、統合されるブロックの最も左上に位置するブロックが有する動きベクトルを統合後のブロックの動きベクトルとして適用する。

図２６は、実施の形態７における参照ピクチャ番号補正ステップの処理を示すフローチャート図である。参照ピクチャ番号補正ステップでは、復号化対象となるマクロブロックのブロックパーティションタイプが変更され、複数のパーティションブロックが統合される場合、統合後のブロック単位で、統合されるブロックの最も左上に位置するブロックが有する参照ピクチャ番号を統合後のブロックの参照ピクチャ番号として適用する。

以上説明してきたように実施の形態７によれば、小さいサイズで動き補償を実行する場合に必要となる動き補償の処理量や、動き補償に必要となる参照画像のデータ量が、大きいサイズで動き補償を実行する様な補正を行う事によって削減され、処理負荷を軽減する事ができ、復号化方法の性能を保証する事が可能となる。

（実施の形態８）
図２７は実施の形態７におけるブロックパーティション変更ステップを示すローチャート図である。本実施の形態におけるブロックパーティション変更ステップは、図２４と比較してブロックパーティションの変更パターンが増えている。この点以外は図２４と同様であるので、以下同じ点は説明を省略して異なる点を中心に説明する。

ブロックパーティション変更ステップでは、復号化対象となるマクロブロック内にブロックパーティションタイプがマクロブロックサイズと同じである場合には、パーティションタイプは変更しない。一方、マクロブロックサイズより小さいパーティションが存在する場合、このパーティションがマクロブロックサイズの１／４サイズと同じか、それ以上である場合には、マクロブロックサイズに変更し、パーティションブロックが１となるように変更する。また一方、マクロブロックサイズより小さいパーティションが存在する場合、このパーティションがマクロブロックサイズの１／４サイズより小さい場合には、マクロブロックサイズの１／４サイズとなるようにブロックを統合し、ブロックパーティションが４以下となるように変更する。例えば、図５に示すブロック構成の場合、符号化対象となるマクロブロックのブロックパーティションタイプが、５０２、５０３、および、５０４の何れかが含まれるような場合には、５０１のブロックパーティションタイプに変更され、５０５、５０６、および、５０７の何れかが含まれるような場合には、５０４のブロックパーティションタイプに変更される。

以上説明してきたように実施の形態８によれば、小さいサイズで動き補償を実行する場合に必要となる動き補償の処理量や、動き補償に必要となる参照画像のデータ量が、大きいサイズで動き補償を実行する様な補正を行う事によって削減され、処理負荷を軽減する事ができ、加えて、特に小さいサイズで動き補償を実行する場合には、適度にその大きさを変更する事でブロックノイズを低減させつつ復号化方法の性能を保証する事が可能となる。

（実施の形態９）
図２８は実施の形態７における動きベクトル補正ステップの処理を示すフローチャート図である。本実施の形態における動きベクトル補正ステップは、図２５と比較して変更されたブロックパーティションタイプに対して適用される動きベクトルの算出方法が異なる。

動きベクトル補正ステップでは、復号化対象となるマクロブロックのブロックパーティションタイプが変更され、複数のパーティションブロックが統合される場合、統合後のブロック単位で、統合される全てのブロックが有する動きベクトルの平均値を統合後のブロックの動きベクトルとして適用する。

図２９は実施の形態７における参照ピクチャ番号補正ステップの処理を示すフローチャート図である。本実施の形態における参照ピクチャ番号補正ステップは、図２６と比較して変更されたブロックパーティションタイプに対して適用される参照ピクチャ番号の算出方法が異なる。

参照ピクチャ番号補正ステップでは、復号化対象となるマクロブロックのブロックパーティションタイプが変更され、複数のパーティションブロックが統合される場合、統合後のブロック単位で、統合される全てのブロックが有する参照ピクチャ番号の中間に位置する番号を統合後のブロックの参照ピクチャ番号として適用する。

以上説明してきたように実施の形態９によれば、小さいサイズで動き補償を実行する場合に必要となる動き補償の処理量や、動き補償に必要となる参照画像のデータ量が、大きいサイズで動き補償を実行する様な補正を行う事によって削減され、処理負荷を軽減する事ができ、加えて、特にマクロブロックサイズの１／４以下となるような小さいサイズで行う動き補償をマクロブロックサイズ大のブロックサイズに変更して動き補償を実行する場合にも、極端に予測が外れるような動き補償を防ぐ事でブロックノイズを低減させつつ復号化方法の性能を保証する事が可能となる。

なお、上記では図２８の動きベクトル補正ステップは統合される全てのブロックが有する動きベクトルの平均値を適用したが、平均した動きベクトルが示す方向に対して重みを課してもよい。

また、図２９の参照ピクチャ番号補正ステップは、動きベクトル補正ステップによって補正された動きベクトルによって、その動きベクトルが示す方向のブロックパーティションが有する参照ピクチャ番号を適用してもよい。

以上のように、本発明における符号化または復号化装置は、例えば携帯電話、ＤＶＤ装置、次世代ＤＶＤ（Ｂｌｕ−ｒａｙ、ＨＤＤＶＤ等）装置、およびデジタルＴＶ装置等で、画像を符号化して符号列を生成したり、生成された符号列を復号化したりするための装置として有用である。

実施の形態１における動き補償装置の構成を示すブロック図 従来例における動き補償装置の構成を示すブロック図 フィルタをかける整数精度画素の並びを示す説明図 フィルタをかける参照画像領域を示す説明図 フィルタをかけるブロックパーティションの種類を示す図 （ａ）全て８×８サイズである場合のブロックパーティションを示す図（ｂ）全ブロックパーティションが参照する任意形状の飽和領域を示す図（ｃ）全ブロックパーティションが参照する単矩形状の飽和領域を示す図 実施の形態１における動き補償装置への入出力構成を示すブロック図 従来例における動き補償装置への入出力構成を示すブロック図 実施の形態６における動き補償装置への入出力構成を示すブロック図 実施の形態６における動き補償装置への入出力構成を示すブロック図 実施の形態６における動き補償装置の構成を示すブロック図 実施の形態６における動き補償装置の構成を示すブロック図 実施の形態３における複数の符号化信号を復号化する場合のそれぞれの復号画像を画面に表示するサイズの割合を示す図 実施の形態４における複数の符号化信号を復号化する場合のそれぞれの参照画像を転送に必要なバンド幅の割合を示す図 実施の形態５における複数の符号化信号を復号化する場合のそれぞれの参照画像を参照画像メモリに格納する割合を示す図 実施の形態３における動き補償装置への入出力構成を示すブロック図 実施の形態４における動き補償装置への入出力構成を示すブロック図 実施の形態５における動き補償装置への入出力構成を示すブロック図 実施の形態１における動き補償補正部の構成を示すブロック図 実施の形態２における動き補償補正部の構成を示すブロック図 実施の形態７における動き補償方法の処理を示すフローチャート 実施の形態７におけるブロックサイズ変更ステップの処理を示すフローチャート 実施の形態７におけるパラメータ補正ステップの処理を示すフローチャート 実施の形態７におけるブロックパーティションタイプ変更ステップの処理を示すフローチャート 実施の形態７における動きベクトル補正ステップの処理を示すフローチャート 実施の形態７における参照ピクチャ番号補正ステップの処理を示すフローチャート 実施の形態８におけるブロックパーティションタイプ変更ステップの処理を示すフローチャート 実施の形態９における動きベクトル補正ステップの処理を示すフローチャート 実施の形態９における参照ピクチャ番号補正ステップの処理を示すフローチャート

符号の説明

１００，１００ａ，１００ｂ 復号化回路
１０１，１０１ａ，１０１ｂ 加算部
１０２，１０２ａ，１０２ｂ 加算部
１０３，１０３ａ，１０３ｂ 解析復号化部
１０４，１０４ａ，１０４ｂ 予測画像生成部
１０５，１０５ａ，１０５ｂ 予測ベクトル生成部
１０６，１０６ａ，１０６ｂ 参照画像メモリ
１０７，１０７ａ，１０７ｂ 専用メモリ制御部
１０８，１０８ａ，１０８ｂ 動き補償補正部
１０８１ ブロック情報分離部
１０８２ ブロック情報分離部
１０８３ ブロック情報変更部
１０８４ ブロック情報記憶部
１０８５ ブロック情報補正部
１０８６ 補正パターン記憶部
１０８７ 補正パターン選択部
１１０ 共有記憶回路
１１１ マルチフレームメモリ
１１２ 動きベクトルメモリ
１１３ 共用メモリ制御部
１２０ 表示サイズ設定回路
１３０ データ転送観測回路
１４０ 参照画像メモリ観測回路

Claims (24)

1. 復号化処理において、符号化された画像信号を入力する符号化信号入力手段と、
   前記符号化信号入力手段より入力された符号化信号を復号化する復号化手段と、
   前記復号化手段によって復号化された復号化データの内、復号画像データ、後に入力される符号化信号を復号化する時に参照されるデータを格納する共有記憶手段と、
   前記復号化手段によって復号化された復号化データの内、復号画像データを画面に表示させるための復号画像出力手段と、
   前記復号化手段において、復号化の対象となる画面と、前記共有記憶手段に格納されている復号化済みの復号画像の中から参照可能な画面との間で、画像の動きを予測することよって復号画像を生成する動き補償手段と、
   前記動き補償手段に対して動き補償を実行するブロックのサイズを変更するモードを入力する動き補償モード入力手段と、
   動き補償モードによって、動き補償を行うブロックのサイズを変更する場合、動き補償を行う為に必要となるパラメータを補正する動き補償補正手段と
   を備えることを特徴とする動き補償装置。
2. 前記動き補償補正手段は、本来復号化すべきブロックパーティションサイズよりも大きいサイズで動き補償を行うように動き補償を行う為に必要となるパラメータを補正する
   ことを特徴とする請求項１記載の動き補償装置。
3. 前記復号化手段は、複数の符号化信号の入力を切り換えながら復号化することによって回路を共有し、任意の符号化信号に対して、動き補償モードを有効にし、動き補償サイズを補正する
   ことを特徴とする請求項１記載の動き補償装置。
4. 前記復号化手段は、複数の符号化信号の入力に対して同時に復号化を行うために回路を専有し、任意の符号化信号に対して、動き補償モードを有効にし、動き補償サイズを補正する
   ことを特徴とする請求項１記載の動き補償装置。
5. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、各々表示される画像のサイズによって動き補償を行うブロックのサイズを補正する
   ことを特徴とする請求項１記載の動き補償装置。
6. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、各々表示される画像サイズの小さい方の動き補償処理に対して、動き補償モードを有効にし、動き補償サイズを補正する
   ことを特徴とする請求項５記載の動き補償装置。
7. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、各々表示される画像サイズの割合によって、それぞれの動補償処理に対して動き補償モードを入力し、入力される符号化信号毎に動き補償サイズを補正する
   ことを特徴とする請求項５記載の動き補償装置。
8. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、各々動き補償処理に必要となる参照画像の転送量の割合によって動き補償を行うブロックのサイズを補正する
   ことを特徴とする請求項１記載の動き補償装置。
9. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、動き補償処理に必要となる参照画像の転送量が、動き補償処理に割当てられている転送帯域の中で占める割合の大きい方の動き補償処理に対して、動き補償モードを有効にし、動き補償サイズを補正する
   ことを特徴とする請求項８記載の動き補償装置。
10. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、動き補償処理に必要となる参照画像の転送量が、動き補償処理に割当てられている転送帯域の中で占める割合が均一となる様に動き補償処理に対して動き補償モードを入力し、入力される符号化信号毎に動き補償サイズを補正する
    ことを特徴とする請求項８記載の動き補償装置。
11. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、各々動き補償処理に必要となる参照画像データを局所的に格納するメモリ使用量の割合によって動き補償を行うブロックのサイズを補正する
    ことを特徴とする請求項１記載の動き補償装置。
12. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、動き補償処理に必要となる参照画像データを局所的に格納するメモリ使用量が、実装される参照画像メモリ内で占める割合大きい方の動き補償処理に対して、動き補償モードを有効にし、動き補償サイズを補正する
    ことを特徴とする請求項１１記載の動き補償装置。
13. 前記動き補償モード入力手段は、複数の符号化信号の入力に対して復号化された画像を同時に出力する際、動き補償処理に必要となる参照画像データを局所的に格納するメモリ使用量が、実装される参照画像メモリ内で占める割合が均一となる様に動き補償処理に対して動き補償モードを入力し、入力される符号化信号毎に動き補償サイズを補正する
    ことを特徴とする請求項１２記載の動き補償装置。
14. 前記動き補償補正手段は、本来復号化すべきブロックパーティションサイズよりも大きいサイズで動き補償を行うように動き補償を行う為に必要となるパラメータを補正する際、これを一義的に補正する
    ことを特徴とする請求項２記載の動き補償装置。
15. 前記動き補償補正手段は、本来復号化すべきブロックパーティションサイズよりも大きいサイズで動き補償を行うように動き補償を行う為に必要となるパラメータを補正する際、複数の補正パターンから選択する
    ことを特徴とする請求項２記載の動き補償装置。
16. 前記動き補償補正手段は、本来復号化すべきブロックパーティションサイズよりも大きいサイズで動き補償を行うように動き補償を行う為に必要となるパタメータを書き換える事が可能である
    ことを特徴とする請求項１５記載の動き補償装置。
17. 復号化処理において、符号化された画像信号の入力から動き補償に必要となる情報を取得する符号化情報解析ステップと、
    前記符号化情報解析ステップによって得られたブロックパーティションサイズと、動きベクトルの差分情報と、既に復号化された動きベクトルから予測した動きベクトルの予測情報から、各ブロックパーティションの動き補償を行う為に必要となる動きベクトルを算出する動きベクトル算出ステップと、
    前記符号化情報解析ステップによって得られたブロックパーティション単位で、前記符号化情報解析ステップによって得られた参照情報と、前記動きベクトル算出ステップによって得られた動きベクトル情報から、既に復号化された復号画像の内、各ブロックパーティションの動き補償を行う為に必要となる参照画像を取得する参照画像取得ステップと、
    前記動きベクトル算出ステップによって算出された動きベクトルと、前記参照画像取得ステップによって取得された参照画像から、各ブロックパーティションの動き補償を行う為に必要な予測画像を生成する予測画像生成ステップと、
    前記符号化情報解析ステップによって得られたブロックパーティション単位で、前記符号化情報解析ステップによって得られた画像の差分情報から、動き補償による符合画像を再構成する復号画像再構成ステップと、
    動き補償を行うモードによって、前記符号化情報解析ステップによって得られたブロックパーティションのサイズを変更するブロックサイズ変更ステップと、
    前記ブロックサイズ変更ステップによって変更されたブロックパーティションに対して動き補償を行う為に必要となる動き補償パラメータ補正ステップと
    を含むことを特徴とする動き補償方法。
18. 前記ブロックサイズ変更ステップは、前記符号化情報解析ステップによって得られたブロックパーティションタイプがマクロブロックサイズよりも小さい場合に、全てマクロブロックサイズに変更する
    ことを特徴とする請求項１７記載の動き補償方法。
19. 前記ブロックサイズ変更ステップは、前記符号化情報解析ステップによって得られたブロックパーティションタイプがマクロブロックサイズよりも小さい場合に、各ブロックパーティションを２ブロックないし４ブロック有するサイズで、かつ縦横同一の画素数となるようなブロックサイズに変更する
    ことを特徴とする請求項１７記載の動き補償方法。
20. 前記ブロックサイズ変更ステップは、前記解析ステップによって得られたブロックパーティションタイプがマクロブロックサイズよりも小さく、更に輝度成分が８×８サイズ未満の場合にのみ、輝度成分が８×８サイズ未満のブロックを全て８×８サイズに変更する
    ことを特徴とする請求項１７記載の動き補償方法。
21. 前記動き補償パラメータ補正ステップは、ブロックサイズ変更ステップによって変更されたブロックの左上に位置する画素を含むブロックが有するパラメータを適用する
    ことを特徴とする請求項１７記載の動き補償方法。
22. 前記動き補償パラメータ補正ステップは、ブロックサイズ変更ステップによって変更される元の全てのブロックが有するパラメータの平均値を適用する
    ことを特徴とする請求項１７記載の動き補償方法。
23. 前記動き補償パラメータ補正ステップは、ブロックサイズ変更ステップによって変更される元のブロックが有する動きベクトルの方向によってブロックが有するパラメータを選択して適用する
    ことを特徴とする請求項１７記載の動き補償方法。
24. 前記動き補償パラメータ補正ステップは、ブロックサイズ変更ステップによって変更される元のブロックが有する動きベクトルの方向によって元の全てのブロックが有するパラメータの比重計算値を適用する
    ことを特徴とする請求項１７記載の動き補償方法。

Images