JP2009267919A - 動画像復号器 - Google Patents

Abstract

【課題】動画像データをデコードする処理を効率化する。
【解決手段】動画像データをデコードする動画像復号器であって、前記動画像データを構成する所定のフレームをデコードする場合、表示対象となる第１フィールドについてはデコードを行い、前記第１フィールドの復号画像を生成し、表示対象とならない第２フィールドについてはデコードを省略する動画像復号部を備える動画像復号器。
【選択図】図１

Description

本発明は、動画像復号器に関する。

動画像の圧縮・伸張に関する標準規格として、ＭＰＥＧが広く知られている。ＭＰＥＧには、ＭＰＥＧ１、ＭＰＥＧ２、Ｈ．２６４等の方式が存在する。

ＭＰＥＧは例えば、ディジタルハイビジョン放送でも利用されている。ディジタルハイビジョン放送では、１９２０画素×１０８０画素という高解像度の画像を取り扱うため、動画像データをデコードするのに膨大な処理量を要する。ディジタルハイビジョン放送では、インタレース画像が毎秒６０フィールド分送信される。

ディジタルハイビジョン放送は、携帯端末で受信されることも考えられる。この場合、携帯端末の画面サイズが問題となる。携帯端末の画面サイズは一般に小さいため、画像は縮小されて表示されることになる。そのため、携帯端末では、１９２０×１０８０のフルサイズ画像は不要であることが多く、９６０×５４０のハーフサイズ画像で十分なことが多いと考えられる。更には、毎秒６０枚もの画像は不要であることが多く、毎秒３０枚ほどの画像で十分なことが多いと考えられる。この場合、１９２０×１０８０の画像サイズでのデコード処理では、無駄な処理が多くなってしまう。

特許文献１には、動画像データのトップフィールド及びボトムフィールドを、垂直方向及び水平方向のサイズが半分に縮小されるようにデコードする画像復号装置及び画像復号方法が記載されている。
特許３９３７５９９号公報

本発明は、動画像データをデコードする処理を効率化することを課題とする。

本発明の実施形態は例えば、動画像データをデコードする動画像復号器であって、前記動画像データを構成する所定のフレームをデコードする場合、表示対象となる第１フィールドについてはデコードを行い、前記第１フィールドの復号画像を生成し、表示対象とならない第２フィールドについてはデコードを省略する動画像復号部を備える動画像復号器である。

本発明により、動画像データをデコードする処理を効率化することが可能になる。

本発明の実施例を、図面に基づいて説明する。

（第１実施例）
図１は、第１実施例の動画像復号器１０１の機能ブロック図である。図１の動画像復号器１０１は、ビットストリーム分解部１１１と、動画像復号部１１２とを備える。動画像復号部１１２には、エントロピー復号部２０１と、逆量子化部２０２と、逆離散コサイン変換部（ＩＤＣＴ部）２０３と、動き補償部２０４と、画像サイズ変換部２０５とが設けられている。図１の動画像復号器１０１はここでは、ＭＰＥＧ（詳細にはＭＰＥＧ２）に準拠した動画像復号処理を行うＬＳＩである。

動画像復号器１０１には、動画像データのビットストリームが入力される。ビットストリームには、動画像データに加えて、動きベクトルに関するデータ等が含まれる。

動画像データには、複数のフレームが含まれる。各フレームは、トップフィールド及びボトムフィールドにより構成される。これらのフィールドの一方が第１フィールドの例であり、これらのフィールドの他方が第２フィールドの例である。各フレームには、複数のマクロブロックが含まれる。これらのマクロブロックの構造は、フレーム構造でもフィールド構造でも構わない。本実施例では、上記動画像はカラー画像とし、上記動画像データには輝度フレームと色差フレームとが含まれるとする。本実施例では、各輝度フレームのマクロブロックのサイズは１６×１６とし、各色差フレームのマクロブロックのサイズは８×８とする。本段落の説明事項の詳細については、後述する。

ビットストリーム分解部１１１は、ビットストリームを分解し、ビットストリームから動画像データを抽出するブロックである。抽出された動画像データは、エントロピー復号部２０１に提供される。抽出された動きベクトルに関するデータは、動き補償部２０４に提供される。

動画像復号部１１２は、動画像データをデコードするブロックである。動画像データのデコードは、エントロピー復号部２０１、逆量子化部２０２、ＩＤＣＴ部２０３、動き補償部２０４、画像サイズ変換部２０５等により実行される。デコードされた動画像データは、表示デバイス等に出力される。

次に、エントロピー復号部２０１、逆量子化部２０２、ＩＤＣＴ部２０３、動き補償部２０４、画像サイズ変換部２０５について説明する。

エントロピー復号部２０１は、エントロピー復号を行うブロックである。エントロピー復号により、動画像データから、量子化されたＤＣＴ係数が算出される。

逆量子化部２０２は、逆量子化を行うブロックである。逆量子化により、量子化されたＤＣＴ係数から、ＤＣＴ係数が算出される。

ＩＤＣＴ部２０３は、ＩＤＣＴ（逆離散コサイン変換）を行うブロックである。ＩＤＣＴにより、ＤＣＴ係数から、差分画像又は復号画像が生成される。具体的には、Ｂピクチャ又はＰピクチャについては、差分画像が生成され、Ｉピクチャについては、復号画像が生成される。Ｂピクチャは、双方向予測による符号化が行われる画像である。Ｐピクチャは、前方向予測による符号化が行われる画像である。Ｉピクチャは、フレーム間符号化が行われない画像である。ＩＤＣＴ部２０３は、図１のように、フレーム構造用のＩＤＣＴ部２０３Ａと、フィールド構造用のＩＤＣＴ部２０３Ｂとを備える。

動き補償部２０４は、動き補償により予測画像を生成するブロックである。動き補償により、予測画像が生成され、その後の処理により、差分画像とこの予測画像から復号画像が生成される。より詳細には、動きベクトルによって、参照画像の位置が特定されて予測画像が生成され、差分画像と予測画像とを加算することにより、復号画像が生成される。動き補償部２０４は、図１のように、フレーム構造用の動き補償部２０４Ａと、フィールド構造用の動き補償部２０４Ｂとを備える。

画像サイズ変換部２０５は、画像サイズを変換するブロックである。画像サイズ変換部２０５は例えば、フルサイズのフレーム又はフィールドを、ハーフサイズのフレーム又はフィールドに変換する。画像サイズ変換部２０５の詳細については、後述する。

本実施例の動画像復号部１１２は、動画像データを構成する所定のフレームをデコードする場合、表示対象となる第１フィールドについてはデコードを行い、第１フィールドの復号画像を生成し、表示対象とならない第２フィールドについてはデコードを省略する。すなわち、本実施例の動画像復号部１１２は、所定のフレームをデコードする場合、第１フィールドの復号画像は生成するが、第２フィールドの復号画像は生成しない。

また、本実施例の動画像復号部１１２は、上記第１フィールドについては、水平方向のサイズが縮小されるようなデコードを行い、上記第１フィールドの復号画像として、水平方向のサイズが縮小された復号画像を生成する。本実施例では例えば、上記第１フィールドの水平方向のサイズが半分に縮小されるようなデコードを行う。これにより、水平方向のサイズが半分に縮小された復号画像が生成される。該復号画像の画像サイズは例えば、９６０×５４０である。

本実施例では、トップフィールドを第１フィールドとして取り扱い、ボトムフィールドを第２フィールドとして取り扱う。よって、本実施例では、上記所定のフレームのトップフィールドは表示対象となるが、上記所定のフレームのボトムフィールドは表示対象とはならない。本実施例では、ボトムフィールドを第１フィールドとし、トップフィールドを第２フィールドとしても構わない。

以下、上記所定のフレームと、Ｂピクチャ、Ｐピクチャ、Ｉピクチャとの関係について説明する。

本実施例では、Ｂピクチャは、上記所定のフレームに該当する。よって、動画像復号部１１２は、Ｂピクチャをデコードする場合、第１フィールドについてはデコードを行い、第２フィールドについてはデコードを省略する。

動画像復号部１１２は、Ｂピクチャについては、第１フィールドの差分画像と予測画像を生成し、第１フィールドの差分画像と予測画像から第１フィールドの復号画像を生成する。Ｂピクチャの予測画像を生成する際には、Ｐピクチャ及び／又はＩピクチャの復号画像が参照される。

また、本実施例では、Ｐピクチャ及びＩピクチャはそれぞれ、上記所定のフレームには該当しない。よって、動画像復号部１１２は、Ｐピクチャ又はＩピクチャをデコードする場合、第１フィールドと第２フィールドの両方についてデコードを行う。

動画像復号部１１２は、Ｐピクチャについては、第１及び第２フィールドの差分画像と予測画像を生成し、第１及び第２フィールドの差分画像と予測画像から第１及び第２フィールドの復号画像を生成する。当該差分画像、予測画像、及び復号画像の構造はそれぞれ、フレーム構造でもフィールド構造でもよい。Ｐピクチャの予測画像を生成する際には、Ｐピクチャ及び／又はＩピクチャの復号画像が参照される。

動画像復号部１１２は、Ｉピクチャについては、第１及び第２フィールドの復号画像を生成する。Ｉピクチャは、フレーム間符号化がなされないため、ＩＤＣＴにより復号画像に変換される。当該復号画像の構造は、フレーム構造でもフィールド構造でもよい。

以上のように、本実施例では、Ｂピクチャについては、第１フィールドのみを表示対象とすべく、第１フィールドのみをデコードする。これにより、Ｂピクチャの第１及び第２フィールドをデコードする場合に比べて、デコード処理の処理量が減り、デコード処理が効率化される。

本実施例では更に、Ｂピクチャの第１フィールドについては、水平方向のサイズが縮小されるようなデコードを行う。これにより、デコード処理の処理量が更に減り、デコード処理が更に効率化される。

本実施例では、上記動画像データの各フレームの画像サイズは、例えば１９２０×１０８０とする。本実施例では、第１フィールドのみのデコードにより、復号画像の垂直方向のサイズが半分に縮小され、第１フィールドの水平方向のサイズの縮小により、復号画像の水平方向のサイズが半分に縮小される。よって、本実施例では、Ｂピクチャの復号画像の画像サイズは、１フレームあたり９６０×５４０となる。

一方、本実施例では、Ｐピクチャ及びＩピクチャについては、これらが参照画像となり得ることを理由に、第１フィールドと第２フィールドの両方をデコードする。よって、本実施例では、Ｐピクチャ及びＩピクチャの復号画像の画像サイズは、（画像サイズ変換前において）１フレームあたり９６０×１０８０となる。

以上のように、本実施例では、Ｂピクチャの復号画像の画像サイズは、９６０×５４０に縮小される。一方、Ｐピクチャ及びＩピクチャの復号画像の画像サイズは、水平方向のサイズのみが半分に縮小された９６０×１０８０となる。しかしながら、Ｂピクチャ、Ｐピクチャ、及びＩピクチャの復号画像を共に動画像として表示するためには、Ｐピクチャ及びＩピクチャの復号画像の画像サイズについても、９６０×５４０に縮小する必要がある。そこで、本実施例の画像サイズ変換部２０５では、Ｐピクチャ及びＩピクチャの復号画像の画像サイズを、１フレームあたり９６０×１０８０から９６０×５４０に変換する。

本実施例では、動画像データが、毎秒６０フィールド分受信される場合、動画像データの復号画像は、毎秒３０枚、すなわち、３０フィールド分だけ送信されることになる。Ｂピクチャの各フレームを構成するフィールドが、第１及び第２フィールドから第１フィールドのみに半減するからである。例えば、Ｂピクチャが毎秒Ｎ_Bフィールド分受信される場合、Ｂピクチャの復号画像は毎秒Ｎ_B／２枚だけ送信される。この場合、Ｐピクチャ、Ｉピクチャがそれぞれ毎秒Ｎ_P、Ｎ_Iフィールド分受信されるとすると、Ｐピクチャ、Ｉピクチャの復号画像もそれぞれ毎秒Ｎ_P／２、Ｎ_I／２枚だけ送信される必要がある。そこで、本実施例の画像サイズ変換部２０５では、Ｐピクチャ及びＩピクチャの復号画像の画像サイズを変換する処理に加えて、Ｐピクチャ及びＩピクチャの復号画像の枚数を調整する処理を行う。

以下、Ｂピクチャのデコード処理の詳細について説明する。

Ｂピクチャの構造は、フレーム構造の場合とフィールド構造の場合とがある。また、Ｂピクチャの構造がフレーム構造の場合、ＤＣＴモードには、フレームＤＣＴモードとフィールドＤＣＴモードとがある。また、本実施例のＢピクチャは、輝度（Luma）フレームに相当するＢピクチャと、色差（Chroma）フレームに相当するＢピクチャとに分類される。以下、Ｂピクチャのデコード処理について、これらの観点による場合分けの下で説明する。

図２は、輝度フレーム、フレーム構造、フレームＤＣＴモードの場合のデコード処理について説明するための図である。

図２Ａは、輝度フレームを構成するフレーム構造のマクロブロックを表す。輝度フレームのマクロブロックのサイズは一般に、図２Ａのように、１６×１６である。図２Ａのマクロブロックは、逆量子化が終了しており、１６×１６のＤＣＴ係数で構成されているとする。領域Ｔは、トップフィールド（第１フィールド）の画素領域を表しており、領域Ｂは、ボトムフィールド（第２フィールド）の画素領域を表している。以下、トップフィールドの画素をトップ画素と呼び、ボトムフィールドの画素をボトム画素と呼ぶ。図２Ａのマクロブロックは、フレーム構造であるため、トップ画素とボトム画素とが１ライン毎にインタリーブされている。

図２Ｂは、ＩＤＣＴ（逆離散コサイン変換）を適用するマクロブロックを表す。フレームＤＣＴモードでは、図２Ａのマクロブロックがそのまま利用される。よって、図２Ｂには、図２Ａのマクロブロックと同じマクロブロックが示されている。

図２Ｂのマクロブロックは、４つのブロックに分割される。これらのブロックのサイズはそれぞれ、図２Ｃのように、８×８である。続いて、ＩＤＣＴ部２０３Ａにより、これらのブロックのＩＤＣＴが行われる。ここでは、４つのブロックのＩＤＣＴを行うべく、４回のＩＤＣＴが行われる。通常であれば、８×８のＩＤＣＴが行われるが、本実施例においては、各ブロックの水平方向のサイズを半分に縮小すべく、４×８のＩＤＣＴが行われる。よって、本実施例では、ＩＤＣＴにより、８×８のブロックが４×８のブロックに変換される。ＩＤＣＴにより生成される４つのブロックは、Ｂピクチャの差分画像に相当する。

図２Ｃの差分画像は、トップ画素とボトム画素とを含んでいる。しかしながら、本実施例では、Ｂピクチャについてはトップ画素のみが必要とされる。よって、本実施例では、図２Ｃの差分画像からトップ画素だけを取り出し、図２Ｄのような４×４の差分画像を生成する。これにより、４つの４×８差分画像（図２Ｃ）から４つの４×４差分画像（図２Ｄ）が生成される。

４つの４×４差分画像は、図２Ｅのように、１つの差分画像に統合される。図２Ｅの差分画像の画像サイズは、８×８である。こうして、マクロブロックから、トップフィールドの差分画像が生成される。

本実施例ではさらに、動き補償部２０４Ａにより、トップフィールドの予測画像が生成され、動画像復号部１１２内では、図２Ｅのようなトップフィールドの差分画像と、上記予測画像から、トップフィールドの復号画像が生成される。このように、本実施例では、トップフィールドのみを表示対象とすべく、トップフィールドのみがデコードされる。図２の処理では、ボトムフィールドについては、図２Ｄの段階で除去されてしまう。

図３は、輝度フレーム、フレーム構造、フィールドＤＣＴモードの場合のデコード処理について説明するための図である。

図３Ａは、輝度フレームを構成するフレーム構造のマクロブロックを表す。図２Ａと同様である。

図３Ｂは、ＩＤＣＴ（逆離散コサイン変換）を適用するマクロブロックを表す。フィールドＤＣＴモードでは、図３Ａのマクロブロックの画素が、図３Ｂのようにトップ画素とボトム画素とに分離され、図３ＢのマクロブロックがＩＤＣＴに利用される。

図３Ｂのマクロブロックは、４つのブロックに分割される。これらのブロックのサイズはそれぞれ、図３Ｃのように、８×８である。続いて、ＩＤＣＴ部２０３Ｂにより、これらのブロックのＩＤＣＴが行われる。ここでは、２つのブロックのＩＤＣＴを行うべく、２回のＩＤＣＴが行われる。本実施例では、Ｂピクチャについてはトップ画素のみが必要とされるため、トップ画素を含むブロックについてだけＩＤＣＴが行われる。また、本実施例においては、各ブロックの水平方向のサイズを半分に縮小すべく、４×８のＩＤＣＴが行われる。よって、本実施例では、ＩＤＣＴにより、８×８のブロックが４×８のブロックに変換される。ＩＤＣＴにより生成される２つのブロックは、Ｂピクチャの（トップフィールドの）差分画像に相当する。

これらの差分画像は、図３Ｄのように、１つの差分画像に統合される。図３Ｄの差分画像の画像サイズは、８×８である。こうして、マクロブロックから、トップフィールドの差分画像が生成される。

本実施例ではさらに、動き補償部２０４Ｂにより、トップフィールドの予測画像が生成され、動画像復号部１１２内では、図３Ｄのようなトップフィールドの差分画像と、上記予測画像から、トップフィールドの復号画像が生成される。このように、本実施例では、トップフィールドのみを表示対象とすべく、トップフィールドのみがデコードされる。図３の処理では、ボトムフィールドについては、図３Ｃの段階で除去されてしまう。

図４は、輝度フレーム、フィールド構造の場合のデコード処理について説明するための図である。

図４Ａは、輝度フレームを構成するフィールド構造のマクロブロックを表す。図４Ａのマクロブロックは、フィールド構造であるため、トップ画素とボトム画素とが元々分離されている。図４Ａのマクロブロックは、フレーム構造のマクロブロック２個分のトップ画素を含んでいる。

図４Ｂは、ＩＤＣＴ（逆離散コサイン変換）を適用するマクロブロックを表す。フィールド構造のマクロブロックのＩＤＣＴでは、図４Ａのようなマクロブロックがそのまま利用される。よって、図４Ｂには、図４Ａのマクロブロックと同じマクロブロックが示されている。

図４Ｂのマクロブロックは、４つのブロックに分割される。これらのブロックのサイズはそれぞれ、図４Ｃのように、８×８である。続いて、ＩＤＣＴ部２０３Ｂにより、これらのブロックのＩＤＣＴが行われる。ここでは、４つのブロックのＩＤＣＴを行うべく、４回のＩＤＣＴが行われる。本実施例においては、各ブロックの水平方向のサイズを半分に縮小すべく、４×８のＩＤＣＴが行われる。よって、本実施例では、ＩＤＣＴにより、８×８のブロックが４×８のブロックに変換される。ＩＤＣＴにより生成される４つのブロックは、Ｂピクチャの（トップフィールドの）差分画像に相当する。

これらの差分画像は、図４Ｄのように、１つの差分画像に統合される。図４Ｄの差分画像の画像サイズは、８×１６である。こうして、マクロブロックから、トップフィールドの差分画像が生成される。

本実施例ではさらに、動き補償部２０４Ｂにより、トップフィールドの予測画像が生成され、動画像復号部１１２内では、図４Ｄのようなトップフィールドの差分画像と、上記予測画像から、トップフィールドの復号画像が生成される。このように、本実施例では、トップフィールドのみを表示対象とすべく、トップフィールドのみがデコードされる。図４の処理では、ボトムフィールドについては、図４Ａでマクロブロックを選ぶ段階で除去されてしまう。

図５は、色差フレーム、フレーム構造、フレームＤＣＴモードの場合のデコード処理について説明するための図である。

図５Ａは、色差フレームを構成するフレーム構造のマクロブロックを表す。色差フレームのマクロブロックのサイズは一般に、図５Ａのように、８×８である。

続いて、図５Ｂのように、ＩＤＣＴ部２０３Ａにより、マクロブロックのＩＤＣＴが行われる。本実施例においては、マクロブロックの水平方向のサイズを半分に縮小すべく、４×８のＩＤＣＴが行われる。よって、本実施例では、ＩＤＣＴにより、８×８のマクロブロックが４×８のマクロブロックに変換される。ＩＤＣＴにより生成されるマクロブロックは、Ｂピクチャの差分画像に相当する。

図５Ｂの差分画像は、トップ画素とボトム画素とを含んでいる。しかしながら、本実施例では、Ｂピクチャについてはトップ画素のみが必要とされる。よって、本実施例では、図５Ｂの差分画像からトップ画素だけを取り出し、図５Ｃのような４×４の差分画像を生成する。こうして、マクロブロックから、トップフィールドの差分画像が生成される。

本実施例ではさらに、動き補償部２０４Ａにより、トップフィールドの予測画像が生成され、動画像復号部１１２内では、図５Ｃのようなトップフィールドの差分画像と、上記予測画像から、トップフィールドの復号画像が生成される。このように、本実施例では、トップフィールドのみを表示対象とすべく、トップフィールドのみがデコードされる。図５の処理では、ボトムフィールドについては、図５Ｃの段階で除去されてしまう。

図６は、色差フレーム、フィールド構造の場合のデコード処理について説明するための図である。

図６Ａは、色差フレームを構成するフィールド構造のマクロブロックを表す。図６Ａのマクロブロックは、フィールド構造であるため、トップ画素とボトム画素とが元々分離されている。図６Ａのマクロブロックは、フレーム構造のマクロブロック２個分のトップ画素を含んでいる。

続いて、図６Ｂのように、ＩＤＣＴ部２０３Ｂにより、マクロブロックのＩＤＣＴが行われる。本実施例においては、マクロブロックの水平方向のサイズを半分に縮小すべく、４×８のＩＤＣＴが行われる。よって、本実施例では、ＩＤＣＴにより、８×８のマクロブロックが４×８のマクロブロックに変換される。ＩＤＣＴにより生成されるマクロブロックは、Ｂピクチャの（トップフィールドの）差分画像に相当する。図６Ｂの差分画像の画像サイズは、４×８である。こうして、マクロブロックから、トップフィールドの差分画像が生成される。

本実施例ではさらに、動き補償部２０４Ｂにより、トップフィールドの予測画像が生成され、動画像復号部１１２内では、図６Ｂのようなトップフィールドの差分画像と、上記予測画像から、トップフィールドの復号画像が生成される。このように、本実施例では、トップフィールドのみを表示対象とすべく、トップフィールドのみがデコードされる。図６の処理では、ボトムフィールドについては、図６Ａでマクロブロックを選ぶ段階で除去されてしまう。

以下、第２実施例の動画像復号器１０１について説明する。第１実施例では、Ｂピクチャのみが上記所定のフレームに該当するのに対し、第２実施例では、Ｂピクチャ、Ｐピクチャ、Ｉピクチャがいずれも上記所定のフレームに該当する。第２実施例は第１実施例の変形例であり、第２実施例については第１実施例との相違点を中心に説明する。

（第２実施例）
図７は、第２実施例の動画像復号器１０１の機能ブロック図である。図７の動画像復号器１０１は、ビットストリーム分解部１１１と、動画像復号部１１２とを備える。動画像復号部１１２には、エントロピー復号部２０１と、逆量子化部２０２と、逆離散コサイン変換部（ＩＤＣＴ部）２０３と、動き補償部２０４と、動きベクトル補正部２１１とが設けられている。図７の動画像復号器１０１は、画像サイズ変換部２０５を備えていない点と、動きベクトル補正部２１１を備えている点で、図１の動画像復号器１０１と異なっている。

動きベクトル補正部２１１は、動きベクトルの補正を行うブロックである。動きベクトル補正部２１１は、動きベクトルに関するデータを、ビットストリーム分解部１１１から受け取り、必要に応じて補正し、動き補償部２１１に提供する。動きベクトル補正部２１１は、図７のように、フレーム構造用の動きベクトル補正部２１１Ａと、フィールド構造用の動きベクトル補正部２１１Ｂとを備える。動きベクトル補正部２１１の詳細については、後述する。

本実施例の動画像復号部１１２は、動画像データを構成する所定のフレームをデコードする場合、表示対象となる第１フィールドについてはデコードを行い、第１フィールドの復号画像を生成し、表示対象とならない第２フィールドについてはデコードを省略する。第１実施例と同様である。

また、本実施例の動画像復号部１１２は、上記第１フィールドについては、水平方向のサイズが縮小されるようなデコードを行い、上記第１フィールドの復号画像として、水平方向のサイズが縮小された復号画像を生成する。第１実施例と同様である。

以下、上記所定のフレームと、Ｂピクチャ、Ｐピクチャ、Ｉピクチャとの関係について説明する。

本実施例では、ＢピクチャとＰピクチャとＩピクチャは、いずれも上記所定のフレームに該当する。よって、動画像復号部１１２は、Ｂピクチャ、Ｐピクチャ、又はＩピクチャをデコードする場合、第１フィールドについてはデコードを行い、第２フィールドについてはデコードを省略する。

動画像復号部１１２は、Ｂピクチャについては、第１フィールドの差分画像を生成し、第１フィールドの差分画像から第１フィールドの復号画像を生成する。Ｂピクチャの差分画像から復号画像を生成する際には、Ｐピクチャ及び／又はＩピクチャの復号画像が参照される。

また、動画像復号部１１２は、Ｐピクチャについても、第１フィールドの差分画像を生成し、第１フィールドの差分画像から第１フィールドの復号画像を生成する。Ｐピクチャの差分画像から復号画像を生成する際には、Ｐピクチャ及び／又はＩピクチャの復号画像が参照される。

また、動画像復号部１１２は、Ｉピクチャについては、第１フィールドの復号画像を生成する。Ｉピクチャは、フレーム間符号化がなされないため、ＩＤＣＴにより復号画像に変換される。

以上のように、本実施例では、Ｂピクチャ、Ｐピクチャ、及びＩピクチャのいずれについても、第１フィールドのみを表示対象とすべく、第１フィールドのみをデコードする。これにより、これらのピクチャの第１及び第２フィールドをデコードする場合に比べて、デコード処理の処理量が減り、デコード処理が効率化される。

本実施例では更に、これらのピクチャの第１フィールドについては、水平方向のサイズが縮小されるようなデコードを行う。これにより、デコード処理の処理量が更に減り、デコード処理が更に効率化される。

第２実施例では、Ｐピクチャ及びＩピクチャをも上記所定のフレームとするため、第１実施例よりも更にデコード処理が効率化される。ただし、第２実施例では、これらのピクチャが参照画像となり得るにもかかわらず、これらのピクチャを上記所定のフレームとしているため、動き補償の際、動きベクトルの補正や画素の補間が必要となり得る。動きベクトルの補正や画素の補間の詳細については、後述する。

動画像復号部１１２は、Ｂピクチャ又はＰピクチャについては、第１フィールドの予測画像が得られる場合には、第１フィールドの差分画像と予測画像を生成し、第１フィールドの差分画像と予測画像から第１フィールドの復号画像を生成する。一方、第１フィールドの予測画像が得られない場合には、第１フィールドの差分画像を生成すると共に、第１フィールドの予測画像の代わりとなる代替的な予測画像を、上記動画像データの第１フィールドを利用して導出し、第１フィールドの差分画像と代替的な予測画像から第１フィールドの復号画像を生成する。代替的な予測画像の導出は、後述のように、動きベクトルの補正や画素の補間を利用して行われる。

Ｂピクチャ、Ｐピクチャ、及びＩピクチャの差分画像生成処理は、図２から図６に示す方法で実行可能である。なお、Ｉピクチャに関しては、予測画像から復号画像を生成する処理は不要である。

以下、動き補償の詳細について説明する。

動き補償には、フレーム予測、フィールド予測、デュアルプライム予測等の方式が存在する。フレーム予測による動き補償は一般に、動きの少ない動画像に適している。フィールド予測による動き補償は一般に、動きの多い動画像に適している。また、Ｂピクチャ、Ｐピクチャ、Ｉピクチャの構造はそれぞれ、フレーム構造の場合とフィールド構造の場合とがある。以下、動き補償について、これらの観点による場合分けの下で説明する。

図８は、フレーム構造、フレーム予測の場合の動き補償について説明するための模式図である。

フレーム予測の場合、トップフィールドとボトムフィールドは、インタレースしてフレームとして取り扱う。図８Ａにおいて、記号Ｔ（円形）は、トップフィールドのラインを模式的に表しており、記号Ｂ（四角形）は、ボトムフィールドのラインを模式的に表している。図８Ａでは、記号Ｔと記号Ｂが近接して描かれている。これは、トップフィールドとボトムフィールドがインタレースされていることを模式的に表している。

図８Ａには、フレームＸとフレームＹが示されている。フレームＸとフレームＹは、同じ動画像データのフレーム同士であり、フレームＹがフレームＸを参照する関係にある。図８Ａに示すＭＶは、参照関係を規定する動きベクトルを表す。このような参照関係は、本実施例においては、ＢピクチャやＰピクチャの予測画像から復号画像を生成する際に利用される。当該予測画像は、図８Ａでは、フレームＹのトップフィールドに相当する。

図８Ａでは、フレームＹのトップフィールドの画素位置が、フレームＸのトップフィールドの画素位置を参照している。図８Ａでは更に、フレームＹのボトムフィールドの画素位置が、フレームＸのボトムフィールドの画素位置を参照している。本実施例の予測画像から復号画像を生成する際には、前者の参照関係が利用される。

一方、図８Ｂでは、フレームＹのトップフィールドの画素位置が、フレームＸのボトムフィールドの画素位置を参照している。この場合、本実施例では、フレームＸのボトムフィールドが存在しないことが問題となる。本実施例では、Ｐピクチャ及びＢピクチャのボトムフィールドのデコードを省略するからである。

このような問題は、フレームＹのトップフィールドの画素が、フレームＸのトップフィールドの復号画像に存在しない画素を参照している場合に問題となる。当該問題が生じる場合の具体例を、図８Ｃに基づいて説明する。図８Ｃは、フレームＸのトップフィールドの復号画像を表す。

上記問題は第１に、フレームＹのトップフィールドの画素が、フレームＸのボトムフィールドの画素を参照している場合に生じる（Ｐ₁）。上記問題は第２に、フレームＹのトップフィールドの画素が、フレームＸのトップフィールドの画素を参照している場合において、フレームＸのトップフィールドの復号画像に存在しない画素を参照している場合に生じる（Ｐ₂）。上記問題は第３に、フレームＹのトップフィールドの画素が、ハーフ精度の位置の画素を参照している場合に生じる（Ｐ₃）。

このような場合、動画像復号部１１２は、上記画素の画素値を、フレームＸのトップフィールドの復号画像に存在する画素の画素値を利用した補間処理により算出する。この補間処理により、上記画素の画素値を補間した予測画像、即ち、本来の予測画像の代わりとなる代替的な予測画像が導出される。これにより、上記のような問題が生じた場合にも、予測画像（代替的な予測画像）から復号画像を生成することが可能になる。上記補間処理の例を、図８Ｄに示す。

図８Ｄの画素Ａの画素値ａは、画素Ｂ₁〜Ｂ₄の画素値ｂ₁〜ｂ₄を利用して算出することができる。画素Ｂ₁〜Ｂ₄は、フレームＸのトップフィールドの復号画像に存在する画素である。まず、画素Ｂ₁〜Ｂ₄の画素値ｂ₁〜ｂ₄を利用して、画素Ｃ₁〜Ｃ₃の画素値ｃ₁〜ｃ₃を算出する。画素値ｃ₁〜ｃ₃は、式（１）〜（３）のように与えられる。次に、画素Ｂ₁の画素値ｂ₁と画素Ｃ₁〜Ｃ₃の画素値ｃ₁〜ｃ₃を利用して、画素Ａの画素値ａを算出する。画素値ａは、式（４）のように与えられる。
ｃ₁＝（ｂ₁＋ｂ₂＋１）＞＞１ ：（１）
ｃ₂＝（ｂ₁＋ｂ₃＋１）＞＞１ ：（２）
ｃ₃＝（ｂ₁＋ｂ₂＋ｂ₃＋ｂ₄＋２）＞＞２ ：（３）
ａ＝（ｂ₁＋ｃ₁＋ｃ₂＋ｃ₃＋２）＞＞２ ：（４）

画素Ａの画素値ａは、式（１）〜（３）を式（４）に代入することにより、式（５）のように算出される。このように、画素Ａの画素値ａは、画素Ｂ₁〜Ｂ₄の画素値ｂ₁〜ｂ₄を利用した補間処理により算出可能である。
ａ＝（９ｂ₁＋３ｂ₂＋３ｂ₃＋ｂ₄＋８）＞＞４ ：（５）

なお、図８Ｅの状況において、画素Ｍの画素値ｍは、画素Ｎ₁〜Ｎ₄の画素値ｎ₁〜ｎ₄により、式（６）のように与えられる。ただし、dx及びdyはそれぞれ０、１、２、３、４のいずれかの値である。
ｍ＝（(4-dx)(4-dy)ｎ₁＋dx(4-dy)ｎ₂＋(4-dx)dyｎ₃＋dxdyｎ₄＋８）＞＞４ ：（５）

なお、本実施例では、Ｐピクチャ及びＩピクチャもハーフサイズ画像にデコードされるため、参照画像は常にハーフサイズ画像である。よって、本実施例では、動きベクトルもハーフサイズに縮小する。動きベクトルを（ＭＶｘ，ＭＶｙ）とする場合、動きベクトル補正部２１１は、当該動きベクトルを（ＭＶｘ／２，ＭＶｙ／２）に補正する。ＭＰＥＧ２では、動きベクトルはハーフ画素精度であるため、補正後の動きベクトルはクオーター画素精度となる。

図９は、フレーム構造、フィールド予測の場合の動き補償について説明するための模式図である。

フィールド予測の場合、トップフィールドとボトムフィールドは、インタレースせずに個別に取り扱う。図９Ａでは、記号Ｔと記号Ｂが離して描かれている。これは、トップフィールドとボトムフィールドがインタレースされていないことを模式的に表している。

図９Ａには、フレームＸとフレームＹが示されている。フレームＸとフレームＹは、同じ動画像データのフレーム同士であり、フレームＹのトップフィールド及びボトムフィールドがフレームＸのトップフィールド及びボトムフィールドを参照する関係にある。図９Ａに示すＭＶ１及びＭＶ２は、参照関係を規定する動きベクトルを表す。このような参照関係は、本実施例においては、ＢピクチャやＰピクチャの予測画像から復号画像を生成する際に利用される。当該予測画像は、図９Ａでは、フレームＹのトップフィールドに相当する。

図９Ａでは、フレームＹのトップフィールドが、動きベクトルＭＶ１に従って、フレームＸのトップフィールドを参照している。図９Ａでは更に、フレームＹのボトムフィールドが、動きベクトルＭＶ２に従って、フレームＸのボトムフィールドを参照している。本実施例の予測画像から復号画像を生成する際には、前者の参照関係が利用される。

一方、図９Ｂでは、フレームＹのトップフィールドが、動きベクトルＭＶ１に従って、フレームＸのボトムフィールドを参照している。この場合、本実施例では、フレームＸのボトムフィールドが存在しないことが問題となる。本実施例では、Ｐピクチャ及びＢピクチャのボトムフィールドのデコードを省略するからである。

上述のように、フィールド予測は、画像に動きがある場合に用いられる事が多い。そのため、フレームＸのトップボトムフィールドにおいてＭＶ１の位置にある対象物は、フレームＸのトップフィールドにおいては、図９Ｂに示すように、２×ＭＶ１の位置にある事が多いと考えられる（フィールド間の時間間隔は一定と想定する）。

そこで、動きベクトル補正部２１１は、動きベクトルＭＶ１を（ＭＶ１ｘ，ＭＶ１ｙ）から（２×ＭＶ１ｘ，２×（ＭＶ１ｙ＋１））に補正する。即ち、動きベクトルＭＶ１を、約２倍に補正する。Ｙ成分に１が加えられているのは、トップフィールドとボトムフィールドとの間の画素差を補正するためである。このように、動きベクトル補正部２１１は、フレームＹのトップフィールドが、動きベクトルＭＶ１に従って、フレームＸのボトムフィールドを参照している場合、フレームＹのトップフィールドが、フレームＸのトップフィールドを参照するよう、動きベクトルＭＶ１を補正する。この補正により、本来の予測画像に代わる新たな予測画像、即ち、代替的な予測画像が導出される。これにより、予測画像（代替的な予測画像）から復号画像を生成することが可能になる。

図９Ａにおいて、フレームＹのトップフィールドは、動きベクトルＭＶ１に従って、フレームＸのトップフィールドを参照している。また、図９Ｂにおいて、フレームＹのトップフィールドは、動きベクトル２×ＭＶ１に従って、フレームＸのトップフィールドを参照している。これらの場合、フレームＹのトップフィールドは、図９Ｃのように、フレームＸのトップフィールドの復号画像に存在しない画素を参照している場合がある。このような場合には、図８Ｄ又は図８Ｅのような補間処理を行う。即ち、上記画素の画素値を、フレームＸのトップフィールドの復号画像に存在する画素の画素値を利用した補間処理により算出する。この補間処理により、予測画像又は代替的な予測画像を構成する画素の画素値が補間される。

なお、本実施例では、Ｐピクチャ及びＩピクチャも水平方向にハーフサイズ画像にデコードされるため、参照画像は常に水平方向にハーフサイズ画像となる。よって、本実施例では、動きベクトルも水平方向にハーフサイズに縮小する。図９Ｂの場合には、ＭＶ１から２×ＭＶ１への補正と、このハーフサイズ補正を行うことになる。

図１０は、フレーム構造、フィールド予測の場合の動き補償の変形例について説明するための模式図である。

図１０には、連続する４つのフレームＸ、Ｚ₁、Ｚ₂、Ｙが示されている。フレームＸはＩピクチャ、フレームＹはＰピクチャ、フレームＺ₁及びＺ₂はＢピクチャである。フレームＸ、Ｚ₁、Ｚ₂、Ｙは、同じ動画像データのフレーム同士であり、フレームＹのトップフィールド及びボトムフィールドが、フレームＸのトップフィールド及びボトムフィールドを参照する関係にある。図１０に示すＭＶ１及びＭＶ２は、参照関係を規定する動きベクトルを表す。

図１０では、フレームＹのトップフィールドが、動きベクトルＭＶ１に従って、フレームＸのボトムフィールドを参照している。そこで、動きベクトル補正部２１１は、動きベクトルＭＶ１を（ＭＶ１ｘ，ＭＶ１ｙ）から（６／５×ＭＶ１ｘ，６／５×（ＭＶ１ｙ＋１））に補正する。即ち、動きベクトルＭＶ１を、約６／５倍に補正する。因子を６／５とする理由は、フレームＹのトップフィールドとフレームＸのボトムフィールドとの時間間隔と、フレームＹのトップフィールドとフレームＸのトップフィールドとの時間間隔との比が、５：６であることに起因する。また、Ｙ成分に１が加えられているのは、トップフィールドとボトムフィールドとの間の画素差を補正するためである。

フレームＸとフレームＹとの間に介在するＢピクチャの枚数は、１枚でもよいし、３枚以上でもよい。

図１１は、フレーム構造、デュアルプライム予測の場合の動き補償について説明するための模式図である。

図１１Ａには、フレームＸとフレームＹが示されている。フレームＸとフレームＹは、同じ動画像データのフレーム同士であり、フレームＹのトップフィールド及びボトムフィールドがフレームＸのトップフィールド及びボトムフィールドを参照する関係にある。

デュアルプライム予測の場合、フレームＹのトップフィールドは、動きベクトルＭＶに従って、フレームＸのトップフィールドを参照すると共に、動きベクトルα×ＭＶ＋ｄｍｖに従って、フレームＸのボトムフィールドを参照する（α＝１／２）。そして、フレームＸのトップフィールドに位置する参照画像と、フレームＸのボトムフィールドに位置する参照画像との平均値が、フレームＹのトップフィールドの参照画像となる。しかし、本実施例では、フレームＸのボトムフィールドは存在しない。本実施例では、Ｐピクチャ及びＢピクチャのボトムフィールドのデコードを省略するからである。

そこで、本実施例の動画像復号部１１２は、フレームＸを参照して動き補償を行う場合には、図１１Ｂのように、フレームＸのトップフィールドの復号画像のみを利用して動き補償を行う。これにより、予測画像から復号画像を生成することが可能になる。

また、本実施例の動画像復号部１１２は、フレームＹのトップフィールドが、フレームＸのトップフィールドについて、フレームＸのトップフィールドの復号画像に存在しない画素を参照している場合、図８Ｄや図８Ｅのような補間処理を行う。即ち、上記画素の画素値を、フレームＸのトップフィールドの復号画像に存在する画素の画素値を利用した補間処理により算出する。この算出結果は、上記動き補償に利用される。

なお、本実施例では、Ｐピクチャ及びＩピクチャも水平方向にハーフサイズ画像にデコードされるため、参照画像は常に水平方向にハーフサイズ画像となる。よって、本実施例では、動きベクトルも水平方向にハーフサイズに縮小する。

図１２は、フィールド構造、フィールド予測の場合の動き補償について説明するための模式図である。

図１２Ａ及びＢはそれぞれ、図９Ａ及びＢに対応している。図９では、各フィールドの垂直方向のライン数が８本なのに対し、図１２では、各フィールドの垂直方向のライン数が１６本となっている。図１２における動き補償は、図９における動き補償と同様の方法で実行可能である。

図１３は、フィールド構造、デュアルプライム予測の場合の動き補償について説明するための模式図である。

図１３Ａ及びＢはそれぞれ、図１１Ａ及びＢに対応している。図１１では、各フィールドの垂直方向のライン数が８本なのに対し、図１３では、各フィールドの垂直方向のライン数が１６本となっている。図１３における動き補償は、図１１における動き補償と同様の方法で実行可能である。

図１４は、フィールド構造、１６×８予測の場合の動き補償について説明するための模式図である。

図１４Ａ及びＢはそれぞれ、図１２Ａ及びＢや図１３Ａ及びＢに対応している。図１４では、動きベクトルが、１６×８ブロック毎に設定される。図１４における動き補償は、フィールド予測の場合と同様の方法で実行可能である。

以上のように、本実施例では、ＢピクチャとＰピクチャとＩピクチャは、いずれも上記所定のフレームに該当する。よって、本実施例の動画像復号部１１２は、Ｂピクチャ、Ｐピクチャ、又はＩピクチャをデコードする場合、第１フィールドについてはデコードを行い、第２フィールドについてはデコードを省略する。そのため、本実施例では、動き補償の際に参照画像が存在しない場合がある。Ｐピクチャ及びＩピクチャの第２フィールドがデコードされないからである。しかしながら、本実施例では、図８から図１４に示す方法により、比較的実際の参照画像に近い参照画像を得る事ができる。

第１実施例の動画像復号器の機能ブロック図である。 輝度フレーム、フレーム構造、フレームＤＣＴモードの場合のデコード処理について説明するための図である。 輝度フレーム、フレーム構造、フィールドＤＣＴモードの場合のデコード処理について説明するための図である。 輝度フレーム、フィールド構造の場合のデコード処理について説明するための図である。 色差フレーム、フレーム構造、フレームＤＣＴモードの場合のデコード処理について説明するための図である。 色差フレーム、フィールド構造の場合のデコード処理について説明するための図である。 第２実施例の動画像復号器の機能ブロック図である。 フレーム構造、フレーム予測の場合の動き補償について説明するための模式図である。 フレーム構造、フィールド予測の場合の動き補償について説明するための模式図である。 フレーム構造、フィールド予測の場合の動き補償の変形例について説明するための模式図である。 フレーム構造、デュアルプライム予測の場合の動き補償について説明するための模式図である。 フィールド構造、フィールド予測の場合の動き補償について説明するための模式図である。 フィールド構造、デュアルプライム予測の場合の動き補償について説明するための模式図である。 フィールド構造、１６×８予測の場合の動き補償について説明するための模式図である。

符号の説明

１０１ 動画像復号器
１１１ ビットストリーム分解部
１１２ 動画像復号部
２０１ エントロピー復号部
２０２ 逆量子化部
２０３ 逆離散コサイン変換部（ＩＤＣＴ部）
２０４ 動き補償部
２０５ 画像サイズ変換部
２１１ 動きベクトル補正部

Claims (5)

1. 動画像データをデコードする動画像復号器であって、
   前記動画像データを構成する所定のフレームをデコードする場合、表示対象となる第１フィールドについてはデコードを行い、前記第１フィールドの復号画像を生成し、表示対象とならない第２フィールドについてはデコードを省略する動画像復号部を備えることを特徴とする動画像復号器。
2. 前記動画像復号部は、
   前記動画像データを構成するＢピクチャをデコードする場合、第１フィールドについてはデコードを行い、第２フィールドについてはデコードを省略し、
   前記動画像データを構成するＰピクチャ又はＩピクチャをデコードする場合、第１フィールドと第２フィールドの両方についてデコードを行い、
   前記Ｂピクチャについては、前記第１フィールドの差分画像と予測画像を生成し、前記差分画像と前記予測画像から前記第１フィールドの復号画像を生成することを特徴とする請求項１に記載の動画像復号器。
3. 前記動画像復号部は、
   前記動画像データを構成するＢピクチャ、Ｐピクチャ、又はＩピクチャをデコードする場合、第１フィールドについてはデコードを行い、第２フィールドについてはデコードを省略し、
   前記Ｂピクチャ又は前記Ｐピクチャについては、前記第１フィールドの差分画像を生成すると共に、前記第１フィールドの予測画像の代わりとなる代替的な予測画像を、前記動画像データの第１フィールドを利用して導出し、前記差分画像と前記代替的な予測画像から前記第１フィールドの復号画像を生成することを特徴とする請求項１に記載の動画像復号器。
4. 前記動画像復号部は、
   フレーム予測による動き補償において、
   前記予測画像が、前記動画像データのあるフレームを参照している場合において、前記フレームの第１フィールドの復号画像に存在しない画素を参照している場合、前記画素の画素値を、前記第１フィールドの前記復号画像に存在する画素の画素値を利用した補間処理により算出することを特徴とする請求項３に記載の動画像復号器。
5. 前記動画像復号部は、
   フィールド予測による動き補償において、
   前記予測画像が、動きベクトルに従って、前記動画像データの第２フィールドを参照している場合、前記予測画像が、前記動画像データの第１フィールドを参照するよう、前記動きベクトルを補正し、
   前記予測画像が、前記動きベクトル又は補正した前記動きベクトルに従って、前記動画像データの第１フィールドを参照している場合において、前記第１フィールドの復号画像に存在しない画素を参照している場合、前記画素の画素値を、前記第１フィールドの前記復号画像に存在する画素の画素値を利用した補間処理により算出することを特徴とする請求項３に記載の動画像復号器。

Images