JP2007074746A

JP2007074746A - 動映像伝送方法及び装置、ならびに動映像復号化方法及び装置

Info

Publication number: JP2007074746A
Application number: JP2006309153A
Authority: JP
Inventors: Jae Won Chung; 在院鄭; Jong-Deuk Kim; 終得金; Joo Hee Moon; 柱禧文
Original assignee: Hynix Semiconductor Inc
Current assignee: SK Hynix Inc
Priority date: 2006-11-15
Filing date: 2006-11-15
Publication date: 2007-03-22

Abstract

【課題】高性能のエラー補償を行い高画質の動映像を再現する飛越し動映像の符号化方法及び復号化方法を提供する。
【解決手段】動映像データをビデオパケット単位で伝送する動映像伝送方法において、（ａ）前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を定義し、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるようにする段階と、（ｂ）前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する段階とを含む。
【選択図】図１

Description

本発明はデジタル飛越し走査動映像(moving image or video) 符号化及び復号化方法に関するもので、特に、飛越し走査動映像を圧縮符号化して伝送する場合、伝送エラー(transmission errorあるいはchannel error)による劣化(degradation)を最小化することにより、高画質の動映像を再現し得る飛越し走査動映像の符号化及び復号化方法に関するものである。

一般に、デジタル動映像は、信号の構成方法によって順行走査(progressive)ビデオと飛越し走査(interlaced)ビデオとに分けられる。図６(ａ)に示すように、順行走査ビデオ信号は、映像内のすべての信号が同一時間に獲得されると同時に同一時間内に走査されるフレーム(frame)構造−又はピクチャ(picture)［本明細書では両用語を混用する］信号であり、反面、図６(ｂ)に示すように、飛越し走査ビデオ信号は、映像内の信号が上位フィールド (top field)［実線矢印］と下位フィールド(bottom field)［点線矢印］とに区分され、フィールド間の映像信号獲得及び走査時間が互いに異なるフィールド構造の映像信号である。飛越し映像信号において、上位フィールドと下位フィールドはそれぞれ１ラインずつ順次構成され、構成された各フィールドのラインを間間に挟み込む方式で（実線矢印と点線矢印とが交ぜ合わせられる）飛越し走査フレームを構成する。

飛越し走査ビデオにおいては、図６ｂに示すように、上位フィールドと下位フィールドとの間に時間差が存在する。図６ｂの場合には、上位フィールドが時間的に先立つものと示されているが、場合によっては、下位フィールドが時間的に先立つこともできる。両フィールド間の時間差により、飛越しフレーム内の隣接したライン間の信号特性が相違し得る。言い換えれば、飛越し走査フレームのｉ番目ラインの信号特性はｉ＋１番目又はｉ−１番目ラインの信号特性と異なり得る。反面、同一時刻に作られた同一フィールドのｉ＋２番目ライン、又はｉ−２番目ラインの信号特性と類似性(correlation)が相対的に大きくなり得る。このような特性は、映像画面の内部に存在する物体の動きが大きいほどに著しくなる。従って、順行走査ビデオ特性によって開発された映像符号化装置、例えば、動き推定(motion estimation)及び動き補償(motion compensation)、離散余弦変換(discrete cosine transform; DCT)などを飛越し走査ビデオ符号化に使用すると、符号化効率(coding efficiency又はcoding gain)が減少することになる。

このような符号化効率の減少を解消するため、フィールド基盤(field-based)動き推定及び動き補償、フィールド／フレーム適応的(adaptive field/frame)ＤＣＴなどが研究されてきた。本発明においては、飛越し走査ビデオを基盤に開発された符号化方法を通称して“飛越し走査符号化方法(interlaced coding method)”といい、順行走査ビデオを基盤に開発された符号化方法を通称して“順行走査符号化方法(progressive coding method)”という。

前記飛越し走査符号化技術は、デジタル動映像符号化方法に関連した世界標準化機構であるISO/IEC JTC1/SC29/WG11(International Standardization Organization/International Electrotechnical Commission Joint Technical Committee 1/Sub Committee 29/Working Group 11)で、デジタルＴＶなどの応用を目的として制定したMPEG-2(Moving Picture Experts Group Phase 2)動映像符号化標準案などに含まれており、よって実際応用製品にも多く用いられる技術である。

一方、高効率の映像圧縮とランダムアクセス(random access)のため、デジタルビデオフレームをＩフレーム、Ｐフレーム、Ｂフレームなどの３タイプで定義、使用する方法がデジタル動映像符号化器に広く用いられる。ここで、Ｉフレーム、Ｐフレーム、Ｂフレームを区分する情報を“ピクチャ符号化タイプ (picture coding type)”という。前記３タイプのフレームの特徴を、ピクチャ符号化タイプ及びその予測方向を示す図７を参照して説明する。図７において、上側の矢印はＰフレームでの参照方向の一例を示すものであり、下側の矢印はＢフレームの参照方向を示すものである。この例において、Ｉフレームの間隔、連続するＢフレームの数などは応用(application)又は装置(equipment)によって変わる。

一番目として、Ｉフレーム(Intra coded frame)は符号化時にほかのフレームを参照しない。
二番目として、Ｐフレーム(Predictive coded frame)は以前(previous)Ｉフレーム又は以前Ｐフレームを参照して動き補償予測を行い、符号化するため、高い圧縮率の符号化が可能である。この場合、参照するＩフレーム又はＰフレームを“参照フレーム(reference frame)”という。ビデオの連続したフレーム間には、時間軸上に色調情報(texture information)の重複性(redundancy)が大きい。従って、Ｉフレームのように参照なく符号化する方式よりは、以前参照フレームと現在Ｐフレームとの間の動き情報(motion information)を推定し、推定された動き情報(estimated motion information)を用いて動き補償予測(motion compensated prediction)を行い、予測誤差(prediction error)と動き情報を符号化伝送する方式が圧縮率面で有利である。

三番目として、Ｂフレーム(Bidirectionally-predictive coded frame)は圧縮率が最も高いフレームで、以前フレームだけでなく、以後フレーム(next frame)も参照して予測を行う。ＢフレームはＰフレームのように補償予測を用いる。しかし、参照映像(reference frame)を二つ使用し、その中でより優秀な予測性能を選択するため、圧縮率が最も高い。一方、このフレームはほかのフレームのための参照映像とならない。従って、以前フレームは現在Ｂフレームに、ディスプレー順(display order)上に最も近い以前のＩフレーム又はＰフレームであり、以後フレームは現在Ｂフレームに、ディスプレー順上に最も近い以後のＩフレーム又はＰフレームである。

デジタルビデオを圧縮符号化する場合、Ｉフレーム、Ｐフレーム、そしてＢフレームを全て使用すると、ディスプレー順序と符号化順序(coding order)が変わる。図７を例に挙げると、ディスプレー順序は、図示のように、Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３、Ｂ４、Ｉ２である反面、符号化順序はＩ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、Ｉ２、Ｂ４である。従って、ディスプレー順序上に二番目フレームであるＢ１を受信段階で復号化してディスプレーするためには、三番目フレームＰ１の復号化を行った後に可能である。従って、映像電話(videophone)のように、実時間映像通信(real-time video communication)機能を有する応用では低遅延(low delay)符号化が要求され、このような応用製品では、ＢフレームなくＩフレームとＰフレームのみを使用してデジタルビデオを圧縮符号化して伝送する。

図７の例は順行走査ビデオと飛越し走査ビデオの両方に提供される。ただし、飛越し走査ビデオを場合には、各フレームの構成時、図６ｂのように、二つのフィールドが間間に挟み込まれる点が順行走査ビデオの場合と異なる。この点を除き、ビデオの構成、予測方向などは両形式のビデオに対して同一に適用される。
デジタルビデオ圧縮符号化時、動き推定及び補償、色調情報符号化などは一定大きさを有する画素の集合単位で行い、これを“マクロブロック(macroblock, MB)”という。既存の最も広く使われるマクロブロックの大きさは、１６画素／ライン×１６ライン（以下、１６×１６で表示）である。

マクロブロックの符号化は例えば特許文献１乃至４などによって提案されているが、マクロブロックの符号化方法は二つに大別され、“映像内符号化(intra coding)”と“映像間符号化(inter coding)”がまさにそれである。映像内符号化は、マクロブロックが持っている入力色調情報(texture information)を符号化する反面、映像間符号化は参照映像から色調情報を予測した後、予測情報と入力情報との差、つまりその誤差信号を符号化する方式である。Ｉフレームはほかのフレームを参照しないため、Ｉフレームでのすべてのマクロブロックは映像内符号化を行う。反面、Ｐフレームにおいては、映像間符号化も可能であり、一般的に映像間符号化と映像内符号化のうち、符号化効率面で有利な符号化方式を選択する。例えば、動き推定が誤った場合、予測誤差が大きくなり、これを符号化することは、入力映像信号を符号化する方法より符号化効率が低下し得る。この場合は、映像間符号化方式より映像内符号化方式が有利である。従って、Ｐフレームにも映像内符号化するマクロブロックが存在し得る。

整理すると、映像内符号化と映像間符号化は、符号化する信号が入力色調信号であるか、又は誤差信号であるかによって決定される。そして、Ｉフレームではすべてのマクロブロックが映像内符号化のみを行う反面、Ｐフレームでは映像内符号化するマクロブロックと映像間符号化するマクロブロックが同時に存在し得る。
本明細書では、映像内符号化するマクロブロックを“映像内マクロブロック(intra macroblock)”、そして映像間符号化するマクロブロックを“映像間マクロブロック(inter macroblock)”と呼ぶ。そして、このような区分を示す情報を“マクロブロックタイプ(macroblock type)”という。

一方、動映像符号化方式は、長方形のフレームを符号化する“フレーム単位符号化(frame-based coding)”方式と、任意の形態の領域(arbitrary shape region)のみを符号化する“物体単位符号化(object-based coding)”方式とに分けられる。フレーム単位符号化方式は全フレームの画素を符号化して伝送する動映像符号化方式である反面、物体単位符号化方式は符号化しようとする対象領域のみを符号化して伝送する動映像符号化方式で、使用者の所望物体のみを符号化して伝送するか操作(manipulation)することを可能にする利点を有するため、未来のマルチメディア産業全般に重要な役を務めると予想される。このような物体単位符号化方式は、世界標準化機構であるISO/IEC JTC1/SC29 WG11で制定した標準であるＭＰＥＧ−４に採択されている。物体単位符号化方式においては、全フレーム内の画素のうち、どんな画素が物体に属する画素であり、どんな画素が背景に属する画素であるかを符号化器(encoder)及び復号化器(decoder)で同一に区別し得るようにする、物体領域を表示する形状情報(shape information)の符号化及び伝送が要求される。

図８には、前記国際標準機構で確定したＭＰＥＧ−４の動映像符号化器の構成図を示す。ＭＰＥＧ−４では、フレームという用語の代わりに“ＶＯＰ(Video Object Plane)”という用語が使用される。この符号化器は、当該物体に関する情報（色調情報と形状情報）が動き推定部(motion estimation)１３に入力されると、動き推定部１３は入力された情報からマクロブロック単位で動きを推定することになる。また、動き補償部(motion compensation)１４は、前記動き推定部１３から入力される動き情報を用いて、入力された色調情報(texture information)を動き補償予測する。そして、動き補償部１４で予測された信号は入力された信号とともに減算器(subtractor)１６に入力されて、差値が検出され、減算器１６で検出された差値は色調情報符号化部(texture coding)１８に入力されて、入力物体の色調情報が符号化される。

一方、動き補償部１４から出力される動き補償信号と色調情報符号化部１８で符号化された物体の色調情報は加算器(adder)１７に入力されて加算され、加算器１７の出力信号は以前再現ＶＯＰメモリ(previous reconstructed VOP memory)１５に入力、貯蔵されて、つぎに入力される物体の符号化に使用される。すなわち、以前再現ＶＯＰメモリ１５に貯蔵された以前ＶＯＰは前記動き推定部１３及び動き補償部１４に入力されて、動き推定及び動き補償に使用される。

ＭＰＥＧ−４動映像符号化器でもマクロブロック単位で映像内符号化と映像間符号化を行う。従って、図８に明示しなかったが、マクロブロックである場合には、動き補償を用いないので、入力映像信号がすぐ色調情報符号化部に入力され、ここで再生された映像信号も加算器などを経なく、すぐ以前再現ＶＯＰメモリに入力される。
色調情報と共に入力される形状情報は、形状情報符号化部(shape coding)１２に入力されて形状情報が符号化される。形状情報符号化部の出力は形状情報ビット列(shape information bitstream)と再現形状情報である。再現形状情報は、点線で示すように、動き推定部１３、動き補償部１４及び色調信号符号化部１８に入力させて、動き推定、動き補償及び物体の色調情報を物体単位で符号化するのに使用することができる。ＭＰＥＧ−４動映像符号化器では、物体単位符号化だけでなく、フレーム単位符号化も可能である。フレーム単位符号化は、形状情報符号化及び伝送が不要であるので、図８に示すように、スイッチで形状情報符号化部及びその信号をＯｎ／Ｏｆｆし得るようになっている。スイッチを制御する信号が図８のshape_coding_flagである。

また、動き推定部１３で推定され符号化された動き情報ビット列(motion information bitstream)と、色調情報符号化部１８で符号化された物体の色調情報ビット列(texture information bitstream)及び前記形状情報符号化部１２で符号化された形状情報ビット列(shape information bitstream)は多重化部(multiplexer)１９に印加され多重化された後、バッファ(buffer)２０でバッファリングされ、この多重化されたビット列(multiplexed bitstream)が復号器側に伝送媒体を通じて伝送される。一方、図８に示されていないが、ＶＯＰ単位の付加情報も符号化されて多重化部に入力され、ほかのビット列とともに多重化されて復号器に伝送される。ＶＯＰ単位の付加情報に対しては、後にもっと詳細に説明する。

このように、ＭＰＥＧ−４で定義されるＶＯＰは既存の標準案のフレームに相当するもので、フレームタイプの同様、ＩＶＯＰ、ＰＶＯＰ、ＢＶＯＰのような“ＶＯＰ符号化タイプ(VOP coding type)”を有する。このＶＯＰ符号化タイプは長方形のフレームとは異なり、任意の形状情報を有するという相違点のみがあり、ほかの特性（例えば、動き補償予測方向）は一致する。

前述したように、デジタルビデオ圧縮符号化時、動き推定及び補償、色調情報符号化などは一定大きさの画素集合であるマクロブロック単位で行われる。任意の形状情報を有する物体の符号化時には、形状情報に関連して、マクロブロックを３種に区分可能である。一番目として、物体領域の外部に含まれた場合のマクロブロックがある。このマクロブロックは、内部に物体領域が存在しなく、よって符号化及び伝送過程が不要である。本明細書では、このマクロブロックを“透明マクロブロック(transparent macroblock)”という。二番目として、物体領域の内部にマクロブロックが全て含まれた場合で、既存のフレーム単位符号化で開発された技術が直接使用できる。本明細書では、このようなマクロブロックを“不透明マイクロブロック(opaque macroblock)”という。最終に、物体領域と物体領域でない領域とが共存するマクロブロックがあり、本明細書では、このようなマクロブロックを“境界マクロブロック(boundary macroblock)”という。このようなマクロブロックを受信端(receiver)で復号化(decoding)するためには、物体領域を表示する形状情報と物体領域内の色調情報を符号化して伝送すべきである。もちろん、Ｐフレーム又はＢフレームでの映像間マクロブロックのように、動き推定及び補償を行うマクロブロックでは動き情報も符号化して伝送すべきである。

図９は透明マクロブロック(ＴＭＢ)、不透明マクロブロック(ＯＭＢ)、及び境界マクロブロック(ＢＭＢ)の一例を示すものである。ここで、斜線の部分は符号化すべき物体領域を示すもので、小さい四角形のそれぞれはマクロブロックを示す。この例において、物体領域の外部に含まれたマクロブロック(ＴＭＢ)が６個、物体領域の内部に含まれたマクロブロック(ＯＭＢ)が１２個、そして、物体領域の内部と外部が同時に存在するマクロブロック(ＢＭＢ)が２２個である。

一方、順行走査ビデオとは異なる信号特性を有する飛越し走査ビデオの符号化効率を向上させるための研究が活発に進行されてきた。このような飛越し走査符号化方法は、フィールド／フレーム適応的ＤＣＴとフィールド単位動き情報推定及び予測などの二つに大別される。飛越し走査符号化方法の代表的な例として、MPEG-4 Final Draft of International Standard(FDIS)に記述された方法のうち、二つのみを簡略に説明する。

一番目は、フィールド／フレーム適応的(adaptive field/frame)ＤＣＴである。映像圧縮符号化方法の最終段階はＤＣＴ(discrete cosine transform)である。１６×１６のマクロブロックを８×８の大きさを有する４個のブロック(block)に分け、各ブロック単位でＤＣＴを行う。図１０はマクロブロックと４個のブロックの関係を示す。映像内マクロブロックの場合には、元の色調信号を、映像間マクロブロックでは動き補償予測誤差信号をＤＣＴする。このようなＤＣＴは隣接する画素の信号間に類似性が高いほどにその効率が高くなる。

飛越し走査ビデオの場合、同一フィールドの信号が同一時間に作られたものであるので、直接隣り合うラインの信号よりは同一フィールド上の信号間の類似性が高い確率が大きい。このような特徴は順行走査ビデオと区分される最も大きい特徴であり、特に、移動の大きい物体が映像内に存在する場合、このような特徴は著しくなる。従って、飛越し走査ビデオの場合には、同一フィールドの画素間のＤＣＴと、既存のようにフィールドを考慮しないＤＣＴとを全て許容し、両ＤＣＴのなかで圧縮効率の高い方法を選択して符号化する。そして、選択されたＤＣＴ方法を知らせるフラグ(flag)を受信端に伝送する。これを“フィールド／フレーム適応的ＤＣＴ(adaptive field/frame DCT)”という。本明細書では、同一フィールドの画素同士ＤＣＴを遂行することを“フィールドＤＣＴ”、フィールドを考慮しない方式を“フレームＤＣＴ”といい、ＤＣＴ方法を示すフラグをdct_typeで表示する。

フィールド／フレーム適応的ＤＣＴを詳細に説明すると次のようである。まず、隣り合うライン間の類似性と１ライン置きのライン間の類似性とを比較する。隣り合うライン間の類似性が大きいと、フレームＤＣＴを、類似性が小さいと、フィールドＤＣＴを行う。類似性比較の判断式は次のようである。

前記式で、ｉとｊはそれぞれＭＢ内での垂直、水平軸の位置を示し、ｐｉ,ｊはｉ，ｊ位置の画素の色調値を示す。仮に、前記関係式のように、左辺が右辺より大きければ、同一フィールドの画素間の類似性が高いという意味である。このときには、図１１に示すように、ラインの位置を変形させて、上位フィールド、下位フィールド同士隣接するように再構成するシャフリング(shuffling)段階（(ａ)→(ｂ)）を遂行する。以後、(ｂ)のマクロブロックを図１０のように４個のブロックに分け、ＤＣＴ（フィールドＤＣＴ）を遂行する。仮に、右辺が左辺より大きいか同じであると、直接隣り合う画素の類似性が高いという意味である。従って、シャフリング段階の遂行なく、(ａ)のマクロブロックを図１０のように４個のブロックに分け、ＤＣＴ（フレームＤＣＴ）を遂行する。

フィールド／フレーム適応的ＤＣＴにおいて、当該マクロブロックがフレームＤＣＴであるかフィールドＤＣＴであるかを示すフラグdct_typeは１ビット(bit)を使用して受信端に伝送される。受信端の復号化器では、受信されたビット列からdct_typeを復号化し、４個ブロックのＤＣＴ変換係数(transform coefficient)を復号化して逆ＤＣＴ(inverse DCT)を遂行する。その後、dct_typeからフィールドＤＣＴであるか、又はフレームＤＣＴであるかを判断する。仮に、フィールドＤＣＴであると、得られたマクロブロックを図１１のように逆シャフリング（(ｂ)→(ａ)）を遂行して最終マクロブロック信号を求める。

二番目は、Ｐフレームでのフィールド単位動き情報推定である。既存の最も一般的な動き情報推定方法は、マクロブロック単位で参照映像から動き情報を推定し、この情報を用いて、参照映像の再現信号から動き補償予測を遂行することである。この際に、１個のマクロブロック内のすべての画素は同一動き情報を有すると仮定する。従って、受信端にマクロブロック当たり一つの動き情報を伝送するとよい（後に説明するが、マクロブロック当たり四つの動き情報を伝送する場合もある）。

順行走査ビデオの場合にはこのような仮定が適用できる。しかし、飛越し走査ビデオである場合には、前述したように、フィールド単位に映像生成時刻が異なるため、１個のマクロブロック内のすべての画素が同一動き情報を有するという仮定がより正確である。従って、飛越し走査ビデオの場合には、各フィールド単位で動き情報を推定することがより正確な動き情報推定を可能にし、動き補償予測誤差を減少させることで符号化利得を得ることができる。ただし、各マクロブロック当たり二つの動き情報を伝送しなければならない。従って、一般に、フレーム単位の動き情報推定とフィールド単位の動き情報推定とを比較して、よりよい方法を選択する。そして、この選択情報フラグ(field_prediction)を１ビットで表現して受信端に伝送する。

注意すべき点は、図１２に示すように、現在上位フィールドの動き補償が以前フレームの上位フィールドと下位フィールドの両方から可能であることである。従って、予測方向を示す情報フラグ(prediction_direction)もともに伝送すべきである。現在フレームの下位フィールドも同様である。
整理すると、フィールド単位の動き情報推定及び予測のため、１個のマクロブロック当たり受信端に伝送すべき情報は次の５種である。
１）field_prediction
２）上位フィールドのprediction_direction
３）下位フィールドのprediction_direction
４）上位フィールドの動き情報
５）下位フィールドの動き情報
受信端の復号器では、受信されるビット列からfield_prediction情報を復号化する。仮に、フィールド単位の動き補償予測を遂行する場合であると、２）ないし５）情報をビット列から復号化し、当該情報に合わせて復号化を遂行するとよい。

先にＰフレームの場合を説明したが、Ｂフレーム符号化の場合にも、類似した方法でフィールド予測が行われる。本発明はＢフレーム符号化及び復号化に直接的に関連がないため、これに対する詳細説明は省略する。
一方、デジタルビデオ信号を圧縮符号化して生成されたビット列を伝送エラー(transmission error)が多く発生し得るチャネル(channel)−例えば、移動通信網(mobile communication channel)−を通じて伝送するとき、エラーが発生することがあり、この伝送エラーにより、受信端で受信されたビット列を復号化したとき、再現画質が大きく損傷される危険性がある。伝送エラーによる問題点を最小化するための研究が活発に進行されており、これは大きくエラー検出(error detection)、エラー局部化(error localization)、データ復旧(data recovery)などに区分することができる。そして、このような研究を通称して“エラー耐性(error resilient)技術”といい、このような技術を反映したビット列構造を“エラー耐性ビット列(error resilient bitstream)”という。

以下では、ＶＯＰ単位の符号化を遂行するＭＰＥＧ−４ＦＤＩＳに記述されたエラー耐性技術を簡略に調べる。そして、この技術は任意の形状情報を有する物体単位符号化とフレーム単位符号化のすべてに適用されるものである。
一番目として、再同期方法がある。再同期信号(resynchronization marker又はresync marker)はエラーが検出された後のビット列と復号化器との間の再同期を可能にする。ビット列上でエラーが発生した場合、その直前の再同期地点とその直後の再同期地点との間のビットは一般的に無視される。仮に、再同期方法が復号化器で無視されるデータ量を効果的に局部化又は最小化し得ると、エラー耐性に関連したほかの技術（データ復元又はエラー補償(error concealment)）の性能を向上させることができる。

ＭＰＥＧ−４の再同期方法はＩＴＵ−Ｔの動映像符号化標準化方案であるＨ．２６１又はＨ．２６３で使用されたＧＯＢ(Group of Blocks)構造に類似する。この標準案において、ＧＯＢは１列又は数列のマクロブロック列(row)で構成される。そして、符号化過程で新たなＧＯＢが開始されるとき、ＧＯＢヘッダー(header)をビット列上に位置させる。このヘッダーはＧＯＢ開始コード(start code)を含み、これは復号器がこのＧＯＢの位置を知り得るようにする。この開始コード以外にも、ＧＯＢヘッダーは復号化過程を再開するのに必要な情報を貯蔵する。ＧＯＢ方式は空間的(spatial)再同期である。換言すると、符号化過程で特定のマクロブロック位置に到達すると、再同期信号をビット列に挿入する。この方式に内在された問題点は、符号化過程が可変ビット率(variable bit-rate)符号化時、この再同期信号がビット列上に一定間隔に位置し得ないという点である。

ＭＰＥＧ−４で採択された技術は、このような問題点を避けるため、ビット列に周期的に再同期信号を挿入する。すなわち、ビデオパケット(video packet)−再同期信号間のビット列集合−の構成がマクロブロックの数を基準とする代わりに、ビデオパケットに含まれたビット数を基準として構成される。仮に、１個のマクロブロック符号化が終わった後、当該ビデオパケットの累積された発生ビット数が与えられた臨界値(threshold value)を超えると、つぎのマクロブロックから新たなビデオパケットを開始する。

図１３は再同期信号を使用するエラー耐性ビット列構造の例を示すものである。ＭＰＥＧ−４におけるビット列はresync marker、 macroblock number、 quant scale、 header extension code(HEC)などから構成されるビデオパケットヘッダーと、実際マクロブロックの情報(macroblock data)から構成されるビデオパケットの順に構成される。再同期信号は新たなビデオパケットの開始を区分する。このため、この信号はすべての可能なＶＬＣコードと各種開始コードと区分されなければならない。再同期信号を含むヘッダー情報はビデオパケットの開始に位置する。このヘッダーは、ビデオパケットでエラーが発生した後、エラーが発生した位置に最も近い再同期信号から復号化過程を再開することにおいて必須であり、当該ビデオパケットの第１マクロブロックの位置(macroblock number)及び量子化パラメーター(quant scale)などの情報を含む。

ビデオパケットヘッダーは“ヘッダー拡張コード(header extension code)”を含み得る。ヘッダー拡張コードはＶＯＰ単位の付加情報(overhead information)である。すなわち、ＶＯＰ単位の情報が伝送エラーにより損失を被った場合、ビデオパケット内のVOP単位の情報を使用して復号化が行える。ここで、代表的な付加情報はVOP_coding_type、intra_dc_vlc_thr、VOP_fcode_forward、VOP_fcode_backwardを含む。ここで、VOP_coding_typeは、現在符号化すべきＶＯＰがI VOP、 P VOP、 B VOPのいずれかに相当するかを示す情報であり、intra_dc_vlc_thrはＤＣ（direct current）情報を符号化するとき、ＡＣ（alternating current）情報のＶＬＣ表を使用するか否かに関する情報を示す。VOP_fcode_forwardは順方向動き情報推定(forward motion estimation)時の探索領域(search range)の大きさを示す情報であり、VOP_fcode_backwardはB VOPで逆方向動き情報推定(backward motion estimation)時の探索領域の大きさを示す情報である。このように、ヘッダー拡張コードに含まれた情報は復号化器でビデオパケットを独立的に復号化するのに必ず必要な情報である。

ＭＰＥＧ−４において、エラー耐性符号化方法を使用するときは、一部圧縮符号化方法を修正しなければならない。例えば、すべての予測符号化方法(predictive coding methods)は、エラーの伝播(error propagation)を防ぐため、予測に用いられる情報を同一ビデオパケット内の情報に限定すべきである。換言すると、予測時（例えば、ＡＣ／ＤＣ予測、動きベクトル予測(motion vector prediction)）、ビデオパケット境界をＶＯＰ境界と同一に考慮すべきである。

二番目に、エラー耐性符号化技術としてデータ分割(data partitioning)技術がある。
伝送エラーに強いビデオ復号化器(video decoder)に必須のエラー補償技術(error concealment method)の性能は再同期方法に相当に依存する。仮に、再同期方法がエラーをかなり局部的に制限すると、エラー補償技術の性能はより高くなる。
ＭＰＥＧ−４では、向上されたエラー局部化方法の必要性を認知し、データ分割という新たな技術を発展させた。このデータ分割は、ＰＶＯＰの場合、ビデオパケット内のすべてのマクロブロックの情報を色調情報と動き情報を中心に分離し、第２再同期信号を動き情報と色調情報との間に挿入する。この際に、データ分割が使用される事実を受信端に付加情報として知らせて、復号化器が知り得るようにする。既存の再同期信号との区分のため、データ分割の第２再同期信号をmotion_markerと表現する。

図１４はデータ分割が使用されたビット列構造を示すものである。同図から分かるように、データ分割の場合は、図１３のmacroblock dataがmotion markerを介在してmotion and overhead information部分とtexture information部分とに分けられる。motion_markerが正確に復号化されると、当該ビデオパケット内のすべてのマクロブロックの動き情報とこれに関連した付加情報が正しく復号化されたと見なし得る。仮に、以後に伝送復号化される色調情報ビット列に伝送エラーが存在することを検出した場合は、当該ビデオパケット内のすべての色調情報は無視し、motion_marker以前の復号化された動き情報のみを用いて、既に復号化されてメモリに貯蔵されている参照ＶＯＰから動き補償予測を遂行して当該ビデオパケット内のすべてのマクロブロックを再現する。

ＰＶＯＰにおいて、動き情報が重要な情報であると、ＩＶＯＰの場合には、ＤＣ情報が重要な情報である。従って、ビデオパケット内のすべてのマクロブロックの情報をＤＣ情報とＡＣ情報を中心に分離し、その間に再同期信号を挿入する。ＩＶＯＰの場合には、動き情報推定及び補償がないので、動き情報を考慮しない。仮に、ＡＣ情報で伝送エラーが発生した場合、ＡＣ情報は無視し、ＤＣ情報のみを用いて当該ビデオパケット内のすべてのマクロブロックを再現することになる。この際に、挿入される再同期信号を“dc_marker”という。

前述したように、データ分割符号化方法は、伝送エラーの発生時、無視する情報を減らし得る利点がある。データ分割でない図１３の場合には、１ビデオパケット内で伝送エラーが検出された場合、当該ビデオパケットのすべての情報を捨てる。そして、伝送エラーが発生した後の再同期信号を探し、そのときから再び復号化を開始する。しかし、前述したようにデータ分割を行う場合、ＰＶＯＰである場合は、伝送エラーが色調信号で発生する場合、動き情報を無視する必要なく映像信号の再生に用いることができるという利点がある。ＩＶＯＰの場合は、伝送エラーがＡＣ信号で発生する場合、ＤＣ情報を無視する必要なく映像信号の再生に用いることができるという利点がある。

これまで、再同期信号とデータ分割技法を説明した。三番目のエラー耐性技術としては、逆ＶＬＣ方法がある。
逆ＶＬＣコード(Reversible Variable Length Codes、以下RVLC)方式は、符号化テーブルが順方向(forward direction)と逆方向(reverse direction)などの両方向への復号化が可能であるようにデザインされている。エラーが存在するため、順方向への復号化が不可能なビット列に対して、エラー発生地点直後の再同期信号から逆方向への復号化を行う。従って、この場合には、伝送エラーにより復号器で無視されるビット数が減少する。現在、ＭＰＥＧ−４においては、ＲＶＬＣをＤＣＴ変換係数の符号化にだけ適用する。
特開平１０−２３４０４０号公報特開平１１−０３２３３７号公報特開平１１−２０５７４５号公報特開平１１−１１２９７３号公報

以上説明したエラー耐性技術のうち、現在まで開発されたデータ分割符号化方式は飛越し走査符号化方式に適用し難い。既存の飛越し走査符号化方式の開発はDigital TVなどの伝送エラーの少ない環境への適用を仮定したものであるため、エラー耐性技術は不要であった。しかし、伝送エラーが多く発生する移動通信環境で飛越し走査動映像を符号化伝送するための応用が要求されると、飛越し走査ビデオ符号化方式は、発生される伝送エラーにより画質の劣化が相当に大きくなる問題点を有することになる。

以下では、このような問題点をより明確に記述し得るように、イントラピクチャ（Ｉフレーム）とインターピクチャ（Ｐフレーム又はＢフレーム）に区分し、より詳細に従来のビデオパケット符号化方法を記述する。
図１５は既存のイントラピクチャのビデオパケット符号化方法の流れ図である。このパケット内に存在するマクロブロックの数をＮＭＢというと、まず、このパケットの内部に属するＮＭＢ個のマクロブロックの全ての形状情報、ＤＣ情報復号化のための付加情報、そしてＤＣ情報を伝送する。仮に、マクロブロック内に物体画素が一つでもない透明マクロブロックである場合は、ＤＣ情報復号化のための付加情報とＤＣ情報を伝送する必要がない。そして、dc_makerを伝送し、やはりＮＭＢ個のマクロブロックのＡＣ情報のための付加情報とＡＣ情報を伝送する。dc_makerはＤＣ情報とＡＣ情報を区分する信号で、全体符号化器で可能なすべてのコードとは区分すべき信号である。

このような既存のイントラピクチャビデオパケット符号化方法を飛越し走査イントラピクチャ符号化に適用する場合は多くの問題点が発生する。例えば、飛越し走査ビデオの符号化時、フィールドＤＣＴを行い、これに関する情報であるdct_typeを伝送する。しかし、既存の方法では、このような情報の伝送が全く考慮されていない。従って、飛越し走査イントラピクチャを既存方式のビデオパケット符号化方式で伝送する場合は、情報の不足により、復号化器で映像を適切に再現し得なくなる。すなわち、ＤＣを再現した後、図１１ａ及びｂのいずれかの方式で再現するかを復号化器で知り得ない。

図１６は既存のインターピクチャのビデオパケット符号化方法を示す流れ図である。このパケット内に存在するマクロブロックの数をＮＭＢというと、まず、このパケットの内部に属するＮＭＢ個のマクロブロックのすべての形状情報、動き情報のための付加情報、そして動き情報を伝送する。そして、motion_markerを伝送し、やはりＮＭＢ個のマクロブロックの色調情報のための付加情報と色調情報を伝送する。motion_markerは動き情報と色調情報を区分する信号で、全体符号化器で可能なすべてのコードとは区分すべき信号である。

動き情報のための付加情報としては、当該マクロブロックが全く符号化ビットが発生しない場合を示すフラグ、動き情報がどんなモード（順行走査である場合、マクロブロック当たり一つの動き情報を送るモードと四つの情報を送るモードなどがある）であるかを示す情報などがある。色調情報のための付加情報としては、伝送すべき色調係数としてどのような色調係数がマクロブロックに存在するかを示す情報、色調情報ＡＣ係数を予測符号化するか否かを示すフラグなどがある。

このような既存のインターピクチャビデオパケット符号化方法を飛越し走査インターピクチャ符号化に適用する場合には多くの問題点が発生する。例えば、順行走査インターピクチャの符号化時には各フィールドを区分する必要がないが、飛越し走査ビデオの符号化時には各フィールドの区分が必要である。従って、既存のインターピクチャビデオパケット符号化方法をそのまま飛越し走査動映像に適用すると、伝送エラーが発生するとき、適切に対処し得ない問題点が発生する。

本発明の目的は、移動通信網などのようなエラーの多いチャネルを通じて圧縮した飛越し走査動映像を伝送する場合にも、復号化器で高性能のエラー補償を行って高画質の動映像を再現し得る飛越し走査動映像の符号化方法及び復号化方法を提供することである。

前記目的を達成するため、本発明は、動映像データをビデオパケット単位で伝送する動映像伝送方法において、（ａ）前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を定義して、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるようにする段階と、（ｂ）前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する段階とを含むことを特徴とする、動映像データの伝送方法を提供し、また、このような伝送方法を実現する動映像伝送装置を提供する。

また、前記目的を達成するため、本発明は、ビデオパケット単位で受信された動映像データを復号化する動映像復号化方法において、（ａ）前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報が含まれたビデオパケットヘッダを受信する段階と、（ｂ）前記受信されたピクチャユニット飛び越し走査オーバーヘッド情報に関連した前記ビデオパケットに対して前記飛び越し走査復号化を行う段階とを含むことを特徴とする、動映像復号化方法を提供し、また、このような復号化方法を実現する動映像復号化装置を提供する。

また、前記目的を達成するため、本発明は、デジタル動映像を伝送する動画像伝送方法において、（ａ）整数個のマクロブロックを有するビデオデータユニットのヘッダを伝送し、前記ヘッダは飛び越し走査復号化のための第１パラメータ情報を含むようにする段階と、（ｂ）前記ビデオデータユニットを飛び越し走査モードで伝送する段階とを含むことを特徴とする、動映像伝送方法を提供し、また、このような伝送方法を実現する動映像伝送装置を提供する。

また、前記目的を達成するため、本発明は、受信されたビデオデータユニットを復号化する動画像復号化方法において、（ａ）飛び越し走査復号化のための第１パラメータ情報を含む、整数個のマクロブロックを有するビデオデータユニットのヘッダを受信する段階と、（ｂ）前記ビデオデータユニットに対して飛び越し走査復号化を行う段階とを含むことを特徴とする、動画像復号化方法を提供し、また、このような復号化方法を実現する動映像復号化装置を提供する。

また、前記目的を達成するため、本発明は、ビデオピクチャを有する動映像を伝送する動画像復号化方法において、（ａ）復号化のためのピクチャユニットオーバーヘッド情報を伝送する段階と、（ｂ）飛び越し走査復号化のためのビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を伝送する段階とを含み、前記（ａ）段階は、（ａ１）前記ビデオピクチャがイントラピクチャなのか、またはインターピクチャなのかを示す符号化情報を決定する段階と、（ａ２）前記飛び越し走査復号化のためのパラメータを決定する段階とをさらに含むことを特徴とする、動画像復号化方法を提供する。

また、前記目的を達成するため、本発明は、ビデオピクチャを有する動映像を復号化する動画像復号化方法において、（ａ）復号化のためのピクチャユニットオーバーヘッド情報を復号化する段階と、（ｂ）前記動映像データを復号化するにおいて、飛び越し走査復号化を行うべきか否かを示す、ビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を復号化する段階とを含み、前記（ｂ）段階は、（ｂ１）前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示す符号化情報を復号化する段階と、（ｂ２）上位フィールドまたは下位フィールドを示すパラメータを復号化する段階とをさらに含むことを特徴とする、動画像復号化方法を提供する。

また、前記目的を達成するため、本発明は、ビデオピクチャを有する動映像を復号化する動画像復号化装置において、復号化のためのピクチャユニットオーバーヘッド情報を復号化する第１装置と、前記動映像データを復号化するにおいて、飛び越し走査復号化を行うべきか否かを示す、ビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を復号化する第２装置とを含み、前記符号化情報は、前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示し、前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータを含んでいることを特徴とする、動画像復号化装置を提供する。

また、前記目的を達成するため、本発明は、動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、復号化のためのピクチャユニットオーバーヘッド情報と、前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示すオーバーヘッダ情報とを含んだビデオパケットヘッダを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体を提供する。

また、前記目的を達成するため、本発明は、動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、復号化のための第１パラメータと、前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示す、ビデオパケットに連関した第２パラメータとを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体を提供する。

また、前記目的を達成するため、本発明は、ビデオパケット単位で動映像を伝送する動映像伝送方法において、（ａ）前記動映像データをデコードするために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を含むパケットを定義し、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるようにする段階と、（ｂ）前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する段階とを含み、前記ビデオパケットヘッダは、上位フィールドと下位フィールドを示すパラメータと、前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示す符号化情報とを含むことを特徴とする、動映像伝送方法を提供する。

また、前記目的を達成するため、本発明は、動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示すオーバーヘッド情報を含んだビデオパケットヘッダを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体を提供する。

本発明は、飛越し走査動映像を符号化する場合、データ分割符号化方法を用いて符号化し、その符号化されたビデオパケットの情報を、本発明で提案した伝送順に従って復号器側に伝送し、復号器側では、本発明で提案した順に復号化を遂行することにより、伝送エラーが多く発生するチャネルを通じて飛越し走査動映像を伝送する場合にも、復号器側でチャネルエラーによる画質劣化を最小化するようにする効果を提供する。

以下、前記のような本発明の技術的思想による好ましい実施例を添付図面に基づいて詳細に説明する。
図１は本発明による飛越し走査動映像の各々のフレーム、即ち各ピクチャに対してビデオパケット単位で符号化するデータ分割符号化過程を示す流れ図である。
本発明によるデジタル飛越し走査映像の符号化方法をより詳細に説明するとつぎのようである。符号化すべき飛越し走査動映像の１ピクチャが入力されると、ピクチャ符号化を開始し、その第１段階はピクチャ符号化に必要なピクチャ単位付加情報を伝送することである(Ｓ１)。このようなピクチャ単位付加情報は、適用される標準案又は応用によって多少差があり得る。本発明において、このような付加情報は特別に制限されない。例えば、ＭＰＥＧ−４の場合、前記ピクチャ単位付加情報の例は、picture coding type、vop_coded、vop_rounding_type、量子化間隔大きさ情報などを含み得る。ただし、このようなピクチャ単位の付加情報に、当該符号化すべきピクチャがインターピクチャであるかイントラピクチャであるかを示すpicture coding typeと飛越し走査復号化に使用される飛越し走査符号化のパラメーター、top_field_first、 alternate_vertical_scan_flagなどが含まれていなければならない。ここで、top_field_firstは上位フィールドと下位フィールドのいずれかフィールドが時間的に先立つかを示す情報であり、alternate_vertical_scan_flagはＤＣＴ後の変換係数をscanningする方法を示す情報である。

第３段階(Ｓ３)は飛越し走査復号化に必要な付加情報を含むビデオパケットヘッダー情報を伝送する段階で、各ビデオパケットの伝送の前に行われるものである。ただし、各ピクチャの最初のビデオパケットは第１段階(Ｓ１)で伝送された付加情報の直後に出るため、最初のビデオパケットではビデオパケットヘッダーを伝送しない。このような制御を第２段階(Ｓ２)で遂行する。すなわち、第２段階(Ｓ２)では、符号化すべきビデオパケットが当該ピクチャの最初のビデオパケットであるかを判断して、第３段階(Ｓ３)の遂行可否を制御する。第２段階(Ｓ２)で、符号化すべきビデオパケットが当該ピクチャの最初のビデオパケットでない場合、第３段階(Ｓ３)でビデオパケットヘッダーを伝送する。ビデオパケットヘッダーは、第１段階(Ｓ１)で伝送されたピクチャ単位の付加情報を伝送エラーなどの理由により損失したときに使用する情報であるので、ピクチャ単位の飛越し走査付加情報を含む。第１段階(Ｓ１)と同様、本発明ではその細部付加情報の種類を制限しないが、ピクチャ単位の飛越し走査付加情報は、基本的に、当該符号化すべきピクチャがインターピクチャであるか又はイントラピクチャであるかを示すpicture coding typeと飛越し走査復号化に使用される飛越し走査符号化のパラメーター（top_field_first、alternate_vertical_scan_flag）を含む。

第４段階(Ｓ４)では、符号化すべきピクチャがイントラピクチャであるか又はインターピクチャであるかを判断して、イントラピクチャである場合は第５段階(Ｓ５)の飛越しイントラピクチャビデオパケット伝送段階を遂行し、インターピクチャである場合は第６段階(Ｓ６)の飛越し走査インターピクチャビデオパケット伝送段階を遂行する。本発明において、イントラピクチャである場合とインターピクチャである場合とに分けてビデオパケットを伝送する理由は、両者のピクチャにおける重要な情報が相違するためである。

第５段階(Ｓ５)又は第６段階(Ｓ６)に続き、最終に、符号化伝送の終わったビデオパケットが当該ピクチャの終わりに位置しているかを判断して、最終のビデオパケットでない場合には再び第２段階(Ｓ２)に進行して新たなビデオパケットの処理を開始し、最終のビデオパケットである場合には飛越し走査符号化を終了する(Ｓ７)。
以下、図２を参照して、本発明の飛越し走査動映像の符号化方法において、飛越し走査イントラピクチャのビデオパケットを伝送する第５段階(Ｓ５)をより詳細に説明する。

本発明による飛越し走査イントラピクチャのビデオパケット符号化伝送時には、まず、当該マクロブロックの形状情報を符号化して得た形状情報ビット列を復号器側に伝送する(Ｓ５１)。次いで、当該マクロブロックが何の物体画素も含まない透明マクロブロック(transparent macroblock)であるかを判断して、透明マクロブロックである場合は何の信号も送る必要がないので第５６段階(Ｓ５６)に進行する(Ｓ５２)。本発明の符号化方法は物体単位符号化だけでなく、フレーム単位符号化にも適用可能であり、フレーム単位符号化では形状情報の伝送が不要であるので、形状情報伝送の第５１段階(Ｓ５１)及び透明領域であるかを判断して処理する第５２段階(Ｓ５２)は省略される。

前記第５２段階(Ｓ５２)で、透明マクロブロックでない場合は、当該マクロブロックのＤＣ情報を復号化するのに必要な各種付加情報を伝送する(Ｓ５３)。このような付加情報は、マクロブロックタイプ、量子化間隔大きさなどの情報を含み得る。本発明においては、ＤＣ情報を復号化するのに必要な付加情報は必ず伝送されなければならない点を除き、この段階で伝送すべき情報を特定情報に制限しない。

本発明においては、ＤＣ情報復号化のための付加情報の伝送以後に、当該マクロブロックのブロック別ＤＣＴ遂行がフレームモードであるか又はフィールドモードであるかを示すフラグ(dct_type)を伝送する(Ｓ５４)。これは、復号化器で再生されたdct_typeを確認して、逆量子化とInverse DCTを遂行して、再生された結果に対してシャフリング(shuffling)の遂行可否を知り得るようにする。第５４段階(Ｓ５４)に続き、第５５段階(Ｓ５５)では、当該マクロブロックのブロックのＤＣ情報を伝送する。第５６段階(Ｓ５６)では、伝送したマクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックである場合は第５７段階(Ｓ５７)を遂行し、そうでない場合はつぎのマクロブロック情報に対して第５１段階(Ｓ５１)を再開する。

本発明において、第５６段階(Ｓ５６)の判断方法としてはいろいろがあり得る。例えば、ビデオパケットの長さをマクロブロックの一定数で指定することもでき（ＧＯＢ構造のＨ．２６３のように）、又は累積された発生ビット量が所定の臨界値を超えると、当該ビデオパケットが終わると（ＭＰＥＧ−４のように）決めることができる。本発明においては、１ビデオパケットで最終マクロブロックであることを決定する方法を特定方法に制限しない。

第５６段階(Ｓ５６)で、最終マクロブロックであると判断した場合は、ビデオパケット内のすべてのマクロブロックのＤＣ情報とＡＣ情報を区分するマーカー信号dc_markerを伝送する(Ｓ５７)。これは、図２の符号化方法が用いられる全動映像符号化システムに使用できるすべてのコードと区分可能でなければならない。例えば、ＭＰＥＧ−４では、“110 1011 0000 0000 0001”のビット列をdc_markerとして使用する。

次いで、第５８段階(Ｓ５８)では、当該ビデオパケットに含まれるすべてのマクロブロックの復号化器でＡＣ情報を復号化する過程で用いられる付加情報を伝送する。ＡＣ情報を復号化する過程で用いられる付加情報として、coded block pattern（マクロブロック内の各ブロックで伝送すべきＡＣ係数があるかを示す信号）とac_pred_flag（ＡＣ情報を予測符号化(predictive coding)したかを示す信号）を含む。終わりに、第５９段階(Ｓ５９)では、当該ビデオパケットに含まれるすべてのマクロブロックのＡＣ情報を伝送する。

図２には、第５８段階(Ｓ５８)と第５９段階(Ｓ５９)のそれぞれに対して、当該ビデオパケット内のすべてのマクロブロック情報を伝送することを示す。しかし、当該ビデオパケット内の各マクロブロックに対して第５８段階(Ｓ５８)と第５９段階(Ｓ５９)を遂行し、これを当該ビデオパケット内のすべてのマクロブロックに対して遂行してもよい。
本発明のイントラピクチャビデオパケットの伝送方法において、第５４段階(Ｓ５４)は本発明の最も重要な特徴を見せる。仮に、第５７段階(Ｓ５７)で伝送したdc_markerが正確に復号化され、次いで伝送されるＡＣ情報からチャネルエラーが検出された場合、ＡＣ情報は無視し、dc_marker以前に伝送されたＤＣ情報のみを用いてビデオパケットを再現する。この際に、dct_typeを伝送しなければ、復号化器で当該マクロブロックがフィールドモードであるかフレームモードであるかが分からなくて、画質の劣化が大きくなる。しかし、本発明のように、dct_typeを伝送すると、受信端の復号化器でdct_typeからフィールドＤＣＴであるかフレームＤＣＴであるかを判断して、フィールドＤＣＴであると逆シャフリングを遂行して最終マクロブロック信号を再構成するので（図１１参照）、飛越し走査ビデオ圧縮符号化時、dct_typeを伝送しない既存の方式に比べて、発生するチャネルエラーの影響を最小化し、高画質の再生映像を復号化することができる。

図３は本発明による飛越し走査動映像符号化方法の飛越し走査インターピクチャビデオパケット伝送段階(Ｓ６)を示すものである。本発明の飛越し走査インターピクチャのビデオパケット伝送方法を詳細に説明すると、まず、物体単位復号化器である場合、マクロブロックの形状情報を符号化して得た形状情報ビット列を復号器側に伝送し(Ｓ６１)、次いで、当該マクロブロックが物体画素を全く含まない透明マクロブロックであるかを判断して、透明マクロブロックである場合は何の信号も送る必要がないので、第６９段階(Ｓ６９)に進行する(Ｓ６２)。本発明の方法はフレーム単位符号化にも適用できるが、フレーム単位符号化では、形状情報の伝送が不要であるので、形状情報伝送の第６１段階(Ｓ６１)、及び透明領域であるかを判断して処理する第６２段階(Ｓ６２)は省略される。

第６２段階(Ｓ６２)で、透明マクロブロックでない場合は、当該マクロブロックの動き情報を復号化するのに必要な各種付加情報を伝送する(Ｓ６３)。このような付加情報は符号化を示す情報（当該マクロブロックで伝送すべき情報があるかを示す情報で、通常not_codedで表現）、マクロブロックタイプ、量子化間隔大きさなどの情報を含み得る。本発明において、このような付加情報は特定情報の集合に制限されないが、第６３段階(Ｓ６３)で伝送する情報のうち、当該マクロブロックが動き補償予測を用いるインターマクロブロックであるか、又は動き補償予測を使用しないイントラマクロブロックであるかを示すマクロブロックタイプ情報は必ず含まれる。動き情報のための付加情報の伝送後には、マクロブロックタイプを確認して、仮にイントラマクロブロックである場合には、動き情報伝送が不要であるので、第６９段階(Ｓ６９)を遂行する(Ｓ６４)。第６４段階(Ｓ６４)で、マクロブロックタイプがインターマクロブロックである場合には、当該マクロブロックがフレーム単位動き補償予測を遂行するか、又はフィールド単位動き補償予測を遂行するかを示す情報field_predictionを伝送する(Ｓ６５)。第６６段階(Ｓ６６)では、このモードを判断して、仮にフィールド単位で動き補償予測を遂行する場合はフィールド単位移動情報を伝送し(Ｓ６７)、フレーム単位で動き補償予測を遂行する場合はフレーム単位動き情報を伝送する(Ｓ６８)。図３に示す例においては、“field_prediction”が“１”値を有する場合、フィールドモードであることを示す。第６７段階(Ｓ６７)で、フィールド単位動き情報は、前述したように、各フィールドの動き情報、各フィールドの予測方向prediction_directionなどを含む。第６８段階(Ｓ６８)で、フレーム単位動き情報としては基本的にマクロブロック当たり一つの動き情報を伝送するか、マクロブロック当たり４つの動き情報（ブロック当たり一つの動き情報）を伝送するモードを使用することができる。フィールド単位又はフレーム単位移動情報の伝送後には、伝送したマクロブロックが当該ビデオパケットの最終マクロブロックであるかを判断して、最終マクロブロックである場合は第７０段階(Ｓ７０)を遂行し、そうでない場合はつぎのマクロブロックの情報に対して第６１段階(Ｓ６１)を再開する。第６９段階(Ｓ６９)で、最終マクロブロックであるかの判断方法はいろいろがあり得る。例えば、ビデオパケットの長さをマクロブロックの一定数で指定することもでき（ＧＯＢ構造のＨ.２６３のように）、又は累積された発生ビット量が既に決められた臨界値を超えると、当該ビデオパケットが終わると決めることができる（ＭＰＥＧ−４のビデオパケット情報のように）。本発明では、一つのビデオパケットで最終マクロブロックであることを決定する方法を特定方法に制限しない。

第６９段階(Ｓ６９)で最終マクロブロックであると判断した場合、ビデオパケット内のすべてのマクロブロックの動き情報と色調情報を区分するマーカー信号motion_markerを伝送する(Ｓ７０)。これは、図３の符号化方法が用いられる全動映像符号化システムで使用できるすべてのコード−すべての可変長コードと各種再同期のための信号、そして開始信号−と区分し得なければならない。例えば、ＭＰＥＧ−４では、“1 1111 0000 0000 0001”のビット列をmotion_markerとして使用する。

次いで、第７１段階(Ｓ７１)では当該ビデオパケットに含まれるすべてのマクロブロックにおいて、復号化器で色調情報を復号化する過程で用いられる付加情報を伝送する。例えば、図２で説明したcoded block pattern、 ac_pred_flag、量子化間隔、そしてdct_typeなどがある。最終に、第７２段階(Ｓ７２)では、当該ビデオパケットに含まれるすべてのマクロブロックにおいて、ＤＣ情報及びＡＣ情報、つまり色調情報を伝送する。図２でと同様に、図３の第７１段階(Ｓ７１)と第７２段階(Ｓ７２)のそれぞれに対して、当該ビデオパケット内のすべてのマクロブロックの情報を伝送するものと表示した。しかし、当該ビデオパケット内の各マクロブロックに対して第７１段階(Ｓ７１)と第７２段階(Ｓ７２)を遂行し、これを当該ビデオパケット内のすべてのマクロブロックに対して遂行してもよい。

前述した図３の各段階のうち、第６５段階(Ｓ６５)と第６７段階(Ｓ６７)は本発明の最も重要な特徴を見せる。仮に、第７０段階(Ｓ７０)で伝送したmotion_markerが正確に復号化され、つづいて伝送される色調情報からチャネルエラーが検出(detection)される場合、当該ビデオパケットのすべての色調情報は無視し、motion_marker以前に伝送された動き情報のみを用いてビデオパケットを再現する。この際に、field_prediction(Ｓ６５)及びフィールド単位の動き情報の伝送(Ｓ６７)は、当該マクロブロックがフィールドモードであるかフレームモードであるかを復号化器で知り得るようにし、フィールドモードである場合、動き情報をフィールド単位で正確に復号化し得るようにする。従って、チャネルエラーが発生して色調情報を失ってしまっても、符号化されたフィールド単位の動き補償予測を正確に遂行し得るので、チャネルエラーの影響を最小化し、高画質の再生映像を復号化することができる。

図２及び図３はそれぞれ本発明が提案する飛越し走査動映像のイントラピクチャとインターピクチャのビデオパケット符号化方法の流れ図を示すものである。これらの図は、図１と同様に、情報の伝送順序を示す。従って、各々の復号化器も同一の流れ図を示す。ただし、図２及び図３での“伝送”を“受信”で代替すると、飛越し走査動映像のイントラピクチャとインターピクチャのビデオパケット復号化方法の流れ図となる。従って、本発明ではその詳細な説明は省略し、本発明による飛越し走査動映像イントラピクチャとインターピクチャのビデオパケット復号化方法の流れ図をそれぞれ図４及び図５に示す。

図４及び図５の復号化方法は基本的に図２又は図３と同一の流れを有するが、ただ復号器の制御方法が少し相違する。前述したように、図２と図３の符号化方法においては、符号化器側ではビデオパケットの長さを知っているので、特定条件を満足すると、dc_marker又はmotion_markerを伝送する。しかし、復号化器では、その条件を知り得ないため、つぎのビット列を調査する過程が必要である。詳しく説明すると、図４のイントラピクチャビデオパケット復号化の場合、ＤＣ情報を受信した後、つぎのビット列がdc_markerであるかをまず確認した後、dc_markerでないと、次のマクロブロックの形状情報を受信し、ビット列がdc_markerであると、dc_markerを受信する過程を遂行する。同様に、図５のインターピクチャのビデオパケット復号化の場合、動き情報を受信した後、次のビット列がmotion_markerであるかをまず確認した後、motion_markerでないと、次のマクロブロックの形状情報を受信し、ビット列がmotion_markerであることが確認されると、motion_markerを受信する過程を遂行する。

本発明による飛越し走査動映像のピクチャ単位符号化方法の流れ図である。本発明による飛越し走査イントラピクチャのビデオパケット符号化方法の流れ図である。本発明による飛越し走査インターピクチャのビデオパケット符号化方法の流れ図である。本発明による飛越し走査イントラピクチャのビデオパケット符号化方法の流れ図である。本発明による飛越し走査インターピクチャのビデオパケット復号化方法の流れ図である。一般的な順行走査映像(progressive video)と飛越し走査映像(interlaced video)の時間軸上の伝送流れ図である。ピクチャ（フレーム）符号化タイプ（Ｉフレーム、Ｐフレーム、Ｂフレーム）と各タイプのフレームの予測方向の一例を示す図である。現在国際標準機構で確定したＭＰＥＧ−４動映像符号化器の構成図である。ＴＭＢ(transparent macroblock)、ＯＭＢ(opaque macroblock)、及びＢＭＢ(boundary macroblock)を説明する例示図である。 1個のマイクロブロックを４個のブロックに分割したものを示す例示図である。フレームＭＢ(ａ)とフィールドＭＢ(ｂ)の例示図である。フィールド予測を遂行するとき、以前のフィールドを参照する方向を示す例示図である。再同期信号(resynchronization signal)を使用するエラー耐性ビット列(error resilient bitstream)の構造図である。データ分割方法を適用したエラー耐性ビット列の構造図である。従来の順行走査イントラピクチャのビデオパケット符号化方法の流れ図である。従来の順行走査インターピクチャのビデオパケット符号化方法の流れ図である。

符号の説明

１２符号化部
１３動き推定部
１４動き補償部
１５以前再現ＶＯＰメモリ
１６減算器
１７加算器
１８色調情報符号化部
１９多重化部
２０バッファ

Claims

動映像データをビデオパケット単位で伝送する動映像伝送方法において、
（ａ）前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を定義して、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるようにする段階と、
（ｂ）前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する段階とを含むことを特徴とする、動映像伝送方法。
前記それぞれのビデオパケットは、複数のマクロブロックを含むことを特徴とする、請求項１に記載の動映像伝送方法。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータをさらに含むことを特徴とする、請求項１に記載の動映像伝送方法。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項３に記載の動映像伝送方法。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項４に記載の動映像伝送方法。
（ｃ）前記（ｂ）段階を行う前に、復号化のためのピクチャユニットオーバーヘッド情報を伝送する段階をさらに含むことを特徴とする、請求項１に記載の動映像伝送方法。
前記ピクチャユニットオーバーヘッド情報は、前記ピクチャユニット飛び越し走査オーバーヘッド情報と実質的に同一の機能を含むことを特徴とする、請求項６に記載の動映像伝送方法。
前記（ａ）段階と前記（ｂ）段階は、それぞれのビデオパケットに対して行われることを特徴とする、請求項１に記載の動映像伝送方法。
動映像データをビデオパケット単位で伝送する動映像伝送装置において、
前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を定義して、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるように設定する第１装置と、
前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する第２装置とを含むことを特徴とする、動映像伝送装置。
前記それぞれのビデオパケットは、複数のマクロブロックを含むことを特徴とする、請求項９に記載の動映像伝送装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータをさらに含むことを特徴とする、請求項９に記載の動映像伝送装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項１１に記載の動映像伝送装置。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項１２に記載の動映像伝送装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報を伝送する前に、復号化のためのピクチャユニットオーバーヘッド情報を伝送する第３装置をさらに含むことを特徴とする、請求項９に記載の動映像伝送装置。
前記ピクチャユニットオーバーヘッド情報は、前記ピクチャユニット飛び越し走査オーバーヘッド情報と実質的に同一の機能を含むことを特徴とする、請求項１４に記載の動映像伝送装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、それぞれのビデオパケットに対して伝送されることを特徴とする、請求項９に記載の動映像伝送装置。
ビデオパケット単位で受信された動映像データを復号化する動映像復号化方法において、
（ａ）前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報が含まれたビデオパケットヘッダを受信する段階と、
（ｂ）前記受信されたピクチャユニット飛び越し走査オーバーヘッド情報に関連した前記ビデオパケットに対して前記飛び越し走査復号化を行う段階とを含むことを特徴とする、動映像復号化方法。
前記それぞれのビデオパケットは、複数のマクロブロックを含むことを特徴とする、請求項１７に記載の動映像復号化方法。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータをさらに含むことを特徴とする、請求項１７に記載の動映像復号化方法。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項１９に記載の動映像復号化方法。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項２０に記載の動映像復号化方法。
（ｃ）前記（ｂ）段階を行う前に、復号化のためのピクチャユニットオーバーヘッド情報を受信する段階をさらに含むことを特徴とする、請求項１７に記載の動映像復号化方法。
前記ピクチャユニットオーバーヘッド情報は、前記ピクチャユニット飛び越し走査オーバーヘッド情報と実質的に同一の機能を含むことを特徴とする、請求項２２に記載の動映像復号化方法。
前記（ａ）段階と前記（ｂ）段階は、それぞれのビデオパケットに対して行われることを特徴とする、請求項１７に記載の動映像復号化方法。
ビデオパケット単位で受信された動映像データを復号化する動映像復号化装置において、
前記動映像データを復号化するために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報が含まれたビデオパケットヘッダを受信する第１装置と、
前記受信されたピクチャユニット飛び越し走査オーバーヘッド情報に関連した前記ビデオパケットに対して前記飛び越し走査復号化を行う第２装置とを含むことを特徴とする、動映像復号化装置。
前記それぞれのビデオパケットは、複数のマクロブロックを含むことを特徴とする、請求項２５に記載の動映像復号化装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータをさらに含むことを特徴とする、請求項２５に記載の動映像復号化装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項２７に記載の動映像復号化装置。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項２８に記載の動映像復号化装置。
前記ピクチャユニット飛び越し走査情報を受信する前に、復号化のためのピクチャユニットオーバーヘッド情報を受信する第３装置をさらに含むことを特徴とする、請求項２５に記載の動映像復号化装置。
前記ピクチャユニットオーバーヘッド情報は、前記ピクチャユニット飛び越し走査オーバーヘッド情報と実質的に同一の機能を含むことを特徴とする、請求項３０に記載の動映像復号化装置。
前記ピクチャユニット飛び越し走査情報は、それぞれのビデオパケットに対して伝送されることを特徴とする、請求項２５に記載の動映像復号化装置。
デジタル動映像を伝送する動画像伝送方法において、
（ａ）整数個のマクロブロックを有するビデオデータユニットのヘッダを伝送し、前記ヘッダは飛び越し走査復号化のための第１パラメータ情報を含むようにする段階と、
（ｂ）前記ビデオデータユニットを飛び越し走査モードで伝送する段階とを含むことを特徴とする、動映像伝送方法。
前記符号化されたヘッダと前記ビデオデータユニットを伝送する前に、
（ｃ）復号化のための第２パラメータ情報を伝送する段階をさらに含むことを特徴とする、請求項３３に記載の動映像伝送方法。
前記第２パラメータ情報は、前記飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項３４に記載の動映像伝送方法。
前記第２パラメータは、
飛び越し走査モードのためのパラメータ、前記ビデオデータユニットが映像間符号化されているか、または映像内符号化されているかを示す符号化パラメータ、上位フィールドと下位フィールドのタイミング順序を示すパラメータ、及びＤＣＴ係数スキャニング方法を示すパラメータのうちいずれか一つを含むことを特徴とする、請求項３５に記載の動映像伝送方法。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と同一または類似の機能を行うことを特徴とする、請求項３５に記載の動映像伝送方法。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と実質的に同一の機能を行うことを特徴とする、請求項３５に記載の動映像伝送方法。
前記第２パラメータ情報は、ピクチャの飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項３４に記載の動映像伝送方法。
デジタル動映像を伝送する動映像伝送装置において、
整数個のマクロブロックを有するビデオデータユニットのヘッダを伝送し、前記ヘッダが飛び越し走査復号化のための第１パラメータ情報を含むようにする第１符号化装置と、
前記ビデオデータユニットを飛び越し走査モードで伝送する第２符号化装置とを含むことを特徴とする、動映像伝送装置。
前記符号化されたヘッダと前記符号化されたビデオデータユニットを伝送する前に、復号化のための第２パラメータ情報を伝送する第３符号化装置をさらに含むことを特徴とする、請求項４０に記載の動映像伝送装置。
前記第２パラメータ情報は、前記飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項４１に記載の動映像伝送装置。
前記第２パラメータは、
飛び越し走査モードのためのパラメータ、前記ビデオデータユニットが映像間符号化されているか、または映像内符号化されているかを示す符号化パラメータ、上位フィールドと下位フィールドのタイミング順序を示すパラメータ、及びＤＣＴ係数スキャニング方法を示すパラメータのうちいずれか一つを含むことを特徴とする、請求項４２に記載の動映像伝送装置。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と同一または類似の機能を行うことを特徴とする、請求項４２に記載の動映像伝送装置。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と実質的に同一の機能を行うことを特徴とする、請求項４２に記載の動映像伝送装置。
前記第２パラメータ情報は、ピクチャの飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項４１に記載の動映像伝送装置。
受信されたビデオデータユニットを復号化する動画像復号化方法において、
（ａ）飛び越し走査復号化のための第１パラメータ情報を含む、整数個のマクロブロックを有するビデオデータユニットのヘッダを受信する段階と、
（ｂ）前記ビデオデータユニットに対して飛び越し走査復号化を行う段階とを含むことを特徴とする、動画像復号化方法。
前記符号化されたヘッダと前記ビデオデータユニットを受信する前に、
（ｃ）復号化のための第２パラメータ情報を受信する段階をさらに含むことを特徴とする、請求項４７に記載の動画像復号化方法。
前記第２パラメータ情報は、前記飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項４８に記載の動画像復号化方法。
前記第２パラメータは、
飛び越し走査モードのためのパラメータ、前記ビデオデータユニットが映像間符号化されているか、または映像内符号化されているかを示す符号化パラメータ、上位フィールドと下位フィールドのタイミング順序を示すパラメータ、及びＤＣＴ係数スキャニング方法を示すパラメータのうちいずれか一つを含むことを特徴とする、請求項４９に記載の動画像復号化方法。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と同一または類似の機能を行うことを特徴とする、請求項４９に記載の動画像復号化方法。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と実質的に同一の機能を行うことを特徴とする、請求項４９に記載の動画像復号化方法。
前記第２パラメータ情報は、ピクチャの飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項４８に記載の動画像復号化方法。
受信されたビデオデータユニットを復号化する動画像復号化装置において、
飛び越し走査復号化のための第１パラメータ情報を含む、整数個のマクロブロックを有するビデオデータユニットのヘッダを受信する第１復号化装置と、
前記ビデオデータユニットに対して飛び越し走査復号化を行う第２復号化装置とを含むことを特徴とする、動画像復号化装置。
前記符号化されたヘッダと前記符号化されたビデオデータユニットを受信する前に、復号化のための第２パラメータ情報を受信する第３復号化装置をさらに含むことを特徴とする、請求項５４に記載の動画像復号化装置。
前記第２パラメータ情報は、前記飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項５５に記載の動画像復号化装置。
前記第２パラメータは、
飛び越し走査モードのためのパラメータ、前記ビデオデータユニットが映像間符号化されているか、または映像内符号化されているかを示す符号化パラメータ、上位フィールドと下位フィールドのタイミング順序を示すパラメータ、及びＤＣＴ係数スキャニング方法を示すパラメータのうちいずれか一つを含むことを特徴とする、請求項５６に記載の動画像復号化装置。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と同一または類似の機能を行うことを特徴とする、請求項５６に記載の動画像復号化装置。
前記飛び越し走査復号化に関連した前記第２パラメータ情報は、前記飛び越し走査復号化のための第１パラメータ情報と実質的に同一の機能を行うことを特徴とする、請求項５６に記載の動画像復号化装置。
前記第２パラメータ情報は、ピクチャの飛び越し走査復号化のためのパラメータを含むことを特徴とする、請求項５５に記載の動画像復号化装置。
ビデオピクチャを有する動映像を伝送する動画像復号化方法において、
（ａ）復号化のためのピクチャユニットオーバーヘッド情報を伝送する段階と、
（ｂ）飛び越し走査復号化のためのビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を伝送する段階とを含み、
前記（ａ）段階は、
（ａ１）前記ビデオピクチャがイントラピクチャなのか、またはインターピクチャなのかを示す符号化情報を決定する段階と、
（ａ２）前記飛び越し走査復号化のためのパラメータを決定する段階とをさらに含むことを特徴とする、動画像復号化方法。
前記パラメータは、上位フィールド優先(top_field_first)と交代垂直スキャンフラグ(alternate_vertical_scan_flag)を含むことを特徴とする、請求項６１に記載の動画像復号化方法。
前記ビデオピクチャがイントラピクチャであれば、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオピクチャがインターピクチャであれば、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項６２に記載の動画像復号化方法。
ビデオピクチャを有する動映像を復号化する動画像復号化方法において、
（ａ）復号化のためのピクチャユニットオーバーヘッド情報を復号化する段階と、
（ｂ）前記動映像データを復号化するにおいて、飛び越し走査復号化を行うべきか否かを示す、ビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を復号化する段階とを含み、
前記（ｂ）段階は、
（ｂ１）前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示す符号化情報を復号化する段階と、
（ｂ２）上位フィールドまたは下位フィールドを示すパラメータを復号化する段階とをさらに含むことを特徴とする、動画像復号化方法。
前記パラメータは、上位フィールド優先(top_field_first)と交代垂直スキャンフラグ(alternate_vertical_scan_flag)を含むことを特徴とする、請求項６４に記載の動画像復号化方法。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項６５に記載の動画像復号化方法。
ビデオピクチャを有する動映像を復号化する動画像復号化装置において、
復号化のためのピクチャユニットオーバーヘッド情報を復号化する第１装置と、
前記動映像データを復号化するにおいて、飛び越し走査復号化を行うべきか否かを示す、ビデオピクチャに関連したピクチャユニット飛び越し走査オーバーヘッド情報を復号化する第２装置とを含み、
前記符号化情報は、前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示し、前記ピクチャユニット飛び越し走査オーバーヘッド情報は、上位フィールドまたは下位フィールドを示すパラメータを含んでいることを特徴とする、動画像復号化装置。
前記パラメータは、上位フィールド優先(top_field_first)と交代垂直スキャンフラグ(alternate_vertical_scan_flag)を含むことを特徴とする、請求項６７に記載の動画像復号化装置。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項６８に記載の動画像復号化装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報を復号化する前に、
復号化のためのピクチャユニットオーバーヘッド情報を伝送する第３装置をさらに含むことを特徴とする、請求項６７に記載の動画像復号化装置。
前記ピクチャユニットオーバーヘッド情報は、前記ピクチャユニット飛び越し走査オーバーヘッド情報と実質的に同一の機能を含むことを特徴とする、請求項７０に記載の動画像復号化装置。
前記ピクチャユニット飛び越し走査オーバーヘッド情報は、それぞれのビデオパケットに対して復号化されることを特徴とする、請求項７０に記載の動画像復号化装置。
動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、
復号化のためのピクチャユニットオーバーヘッド情報と、前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示すオーバーヘッダ情報とを含んだビデオパケットヘッダを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。
前記ビデオパケットヘッダは、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項７３に記載のビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。
動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、
復号化のための第１パラメータと、前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示す、ビデオパケットに連関した第２パラメータとを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。
前記第２パラメータは、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項７５に記載のビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。
ビデオパケット単位で動映像を伝送する動映像伝送方法において、
（ａ）前記動映像データをデコードするために飛び越し走査復号化が行われるべきか否かを示すピクチャユニット飛び越し走査オーバーヘッド情報を含むパケットを定義し、前記ピクチャユニット飛び越し走査オーバーヘッド情報はビデオパケットヘッダに含まれるようにする段階と、
（ｂ）前記ビデオパケットに関連した前記ビデオパケットヘッダを伝送する段階とを含み、
前記ビデオパケットヘッダは、上位フィールドと下位フィールドを示すパラメータと、前記ビデオパケットがイントラピクチャ方法で符号化されているか、またはインターピクチャ方法で符号化されているかを示す符号化情報とを含むことを特徴とする、動映像伝送方法。
前記動映像データは、少なくとも一つの動映像ピクチャを含んでいることを特徴とする、請求項７７に記載の動映像伝送方法。
前記ビデオパケットがイントラピクチャで符号化されていると、前記符号化情報は飛び越し走査イントラピクチャを示し、前記ビデオパケットがインターピクチャで符号化されていると、前記符号化情報は飛び越し走査インターピクチャを示すことを特徴とする、請求項７８に記載の動映像伝送方法。
動映像データを複数のマクロブロックを有するビデオパケット単位で伝送する装置から受信したビットストリームを記録したコンピュータで読み取ることが可能な記録媒体において、
前記ビデオパケットを復号化するために飛び越し走査復号化を行うべきか否かを示すオーバーヘッド情報を含んだビデオパケットヘッダを含むことを特徴とする、ビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。
前記ビデオパケットヘッダは、前記ビデオパケットがイントラピクチャで符号化されているか、またはインターピクチャで符号化されているかを示す符号化情報を含むことを特徴とする、請求項８０に記載のビットストリームを記録したコンピュータで読み取ることが可能な記録媒体。