JP2009523339A - インタレースされたビデオデータを符号化する方法および装置 - Google Patents

インタレースされたビデオデータを符号化する方法および装置 Download PDF

Info

Publication number
JP2009523339A
JP2009523339A JP2008549801A JP2008549801A JP2009523339A JP 2009523339 A JP2009523339 A JP 2009523339A JP 2008549801 A JP2008549801 A JP 2008549801A JP 2008549801 A JP2008549801 A JP 2008549801A JP 2009523339 A JP2009523339 A JP 2009523339A
Authority
JP
Japan
Prior art keywords
field
frame
frames
fields
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008549801A
Other languages
English (en)
Other versions
JP4943451B2 (ja
Inventor
イン チェン
ヴィエロン ジェローム
ボトロー ヴァンサン
フランソワ エドゥアール
ロペス パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009523339A publication Critical patent/JP2009523339A/ja
Application granted granted Critical
Publication of JP4943451B2 publication Critical patent/JP4943451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

多くの場合、階層型の双方向予測(B)フレーム構造が、ビデオピクチャシーケンスの符号化に用いられる。このフレームはインタレースしたフィールド群からなる。本発明のインタレースされたビデオを符号化する方法は、フィールド群の相互予測が用いられ、参照リストが参照フレームまたは参照フィールドを示すためにフィールド群に割り当てられる。参照リスト内に他のフレームへの参照が含まれている場合には、他のフレームの両フィールド(4、4’)への参照(fwd0、fwd1)は、別々に、順に含まれる。フレームの表示順序に従って、時間的レベルがフレームのそれぞれに割り当てられ、1つの時間的レベルを除くすべてのフレームについて、量子化パラメータは、一方のタイプ(トップ)のフィールドの方が他方のタイプ(ボトム)のフィールドよりも高い。

Description

本発明は、インタレースされたビデオデータの符号化および復号に関する。詳細には、本発明は、インタレースされたビデオデータにおいて双方向に予測されるフレームの符号化および復号化に関する。
MPEG&ITUのJoint Video Team(JVT)によって現在定義されているSVC規格には、プログレッシブなビデオ素材のための符号化策が示されている。空間的なスケーラビリティは、プログレッシブな素材に対してのみ考慮されている。
SVC(スケーラブル符号化)は、符号化時に、階層化B(双方向予測)フレーム構造をデフォルトとして使用し、フレームの表示順序に従って、予め定義された時間的パターン(temporal pattern)がそのフレームに割り当てらる。これは、常にデコーダの何らかのデフォルトの性能をもたらす。
現在、JSVMエンコーダではオープンループ符号化およびクローズドループ符号化をサポートしている。オープンループ符号化については、Bピクチャは、オリジナルの参照に基づいて動き予測およびモード決定を行い、生成されたモードおよびモーション情報を用いることにより符号化される。すなわち、エンコーダでの予測のための参照フレームは、以前に符号化されたフレームである。クローズドループ符号化は、参照フレームとして再構築されたフレームを用いるが、このフレームは量子化誤差を含んでいる。
通常、クローズドループ符号化の方が、誤差を抑制し、かつ量子化および不正確な動き予測によって引き起こされる可能性のがある伝搬効果を減少させるのに向いている。オープンループ符号化はFGS(Fine Grain Scalability)レイヤの扱いに対してより柔軟に対応することができ、MCTF(Motion−Compensated Temporal Filtering)を容易にサポートすることができる。
エンコーダで構築されるPピクチャおよびBピクチャの予測のための参照フレームリストは、GOPサイズに基づいて常に同じ構造を持ってる。PピクチャおよびBピクチャは、1つのリスト(list_0)を前方予測、つまりより小さいPOC番号(picture_order_count:表示順序番号)を有するフレームからの予測に用いる。Bピクチャは、別のリスト(list_1)も、後方予測つまりより大きいPOC番号を有するフレームからの予測に用いる。参照リストは、規定数の参照フレームの後で切り捨てられる。最も低い時間的レベル(temporal level)、すなわちローパスレベルはキーピクチャを含んでいる。基本レイヤ(BL)および拡張レイヤ(EL)などの異なる空間レイヤについても、参照リストの構築方法は同じである。
既知のエンコーダには、従うべきいくつかの基本的な規則がある。先のGOP(group−of−pictures)から、キーピクチャだけが、次のGOPの符号化プロセスに用いられる。一方、先のGOPの他のピクチャは用いられず、MMCO(Memory Management Control Operation)コマンドによって短期参照リストから削除される。同じ時間的レベルのフレームは、キーフレームを除いては互いに参照することはない。
クローズドループ符号化の動き予測(ME)については、エンコーダは、より高い時間的レベルのフレームに対してまず最初に動き予測を実行するため、フレームはより高い時間的レベルを有するフレームのみを参照する。しかし、オープンループ符号化のMEについては、より低い時間的レベルのMEが最初に実行される。
参照リストは、RPLR(Reference Picture List Reordering)コマンドによって生成される。MMCOコマンドは、短期リストから以前のGOPのBフレーム(または、非キーピクチャ)および未使用のキーフレームを削除するために用いられる。これらのコマンドは、キーピクチャのスライスヘッダにおいて呼び出される。
符号化効率を向上させるために、量子化パラメータ(QP)をスケールファクタ(SF)によって適合させることができる。フレームは、以下の式による2つの値に基づいて、エンコーダで異なるQPを付与される。
qp = qpi−1 − 6・log(SF)
これが意味するのは、各時間的レベルiのQPがスケールファクタ(SF)によって調節され、スケールファクタは異なる時間的レベルのフレームの残差エネルギーの平衡を保つために用いられるということである。
オープンループ符号化については、スケールファクタはブロックの合計エネルギーの割合(propotion)として計算される。各ブロックのエネルギーの割合は、それが他のブロックによってどのように予測されるかに基づいて計算される。双方向予測される場合、実際のところ、エネルギーの割合は以下のフィルタを用いて計算される。
Figure 2009523339
このブロックのエネルギー向上(energy improvement)を正規化するために、以下の係数が導入される。
Figure 2009523339
ブロックが一方向予測のみの場合は、動き補償(MC)はフィルタ[1,−1]を用いる。このブロックのエネルギー向上を正規化するために、以下の係数が導入される。
Figure 2009523339
時間的レベルiにおいて、すべてのブロックはこれらの係数を有し、その合計はレベルi−1のスケールファクタを計算するために用いられる。
Figure 2009523339
クローズドループ符号化においても同じ考え方であるが、時間的レベルiが符号化された場合に、時間的レベルi−1でいくつのブロックが双方向予測を使用するかは分からない。したがって、双方向予測と一方向予測の比率は、たとえば60/40と推測される。
しかしながら、インタレース符号化をサポートするには、すなわち、すべてまたは一部のフレームを、トップフィールドおよびボトムフィールドという2つのインタレースしたフィールド群のペアとして符号化するには、異なる手段が必要である。
本発明は、インタレースビデオ符号化のための参照リストを構築する方法を提供する。これらの参照リストは、デフォルトの参照リストとして用いることができる。
本発明の一態様によれば、インタレースされたビデオを符号化する本発明の方法は、ビデオはトップまたはボトムの少なくとも2タイプのインタレースしたフィールド群を有するフレームを含む。フィールド群の相互予測が用いられ、参照リストが参照フレームまたは参照フィールドを示すためにフィールドに割り当てられる。このような参照リスト内に他のフレームへの参照が含まれている場合は、この他のフレームの両フィールドへの参照は、別々に、順に含まれることを特徴とする。
一実施形態では、インタレースされたビデオを符号化する方法は、フレームの2つのフィールドのうちの第1のフィールドが同じフレームの他方のフィールドへの参照を有し、他方のフィールドは前記第1のフィールドへの参照を有さないことにおいてもさらに特定することができる。
一実施形態では、本発明のインタレースされたビデオを符号化する方法は、第1のタイプ(たとえばボトム)のフィールドについて、他のフレームのフィールドへの参照のうちの第1の参照は、同じフィールドタイプ(たとえばボトム)を有するフィールドを参照し、前記他のフレームへの参照のうちの第2の参照は、反対のフィールドタイプ、この例ではトップを有するフィールドを参照することにおいても特定することができる。
一実施形態では、本発明のインタレースされたビデオを符号化する方法は、フレームがGOPにグループ化され、現在のグループ外の1つのフレームだけを参照することができ、この1つのフレームは、先のグループの最も低い時間的レベルを割り当てていることにおいても特定することができる。
一実施形態では、本発明のインタレースされたビデオを符号化する方法は、ビデオデータは量子化パラメータ(QP)を用いて量子化され、フレームのフィールド群に対して、異なる量子化パラメータが用いられることにおいても特定することができる。
一実施形態では、インタレースされたビデオを符号化する方法は、フレームの表示順序に従って、時間的レベルがフレームのそれぞれに割り当てられ、1つの時間的レベルを除くすべてのフレームについて、量子化パラメータが、一方のフィールドタイプの方が他方のフィールドタイプより高いことにおいても特定することができる。
本発明の他の態様によれば、インタレースされたビデオを復号する方法は、ビデオはたとえばトップおよびボトムなどの少なくとも2タイプのインタレースしたフィールド群を有するフレームを含み、フィールド群の予測が用いられる。他のインタレースされたフレームが参照として予測に用いられる場合、この他のフレームの両フィールドが別個の参照として順に用いられることを特徴とする。
一実施形態では、本発明のインタレースされたビデオを復号する方法は、フレームの2つのフィールドのうちの第1のフィールドが同じフレームの他方のフィールドへの参照を有し、前記他方のフィールドはこの第1のフィールドへの参照を有さないことにおいてもさらに特定することができる。
一実施形態では、本発明のインタレースされたビデオを復号する方法は、第1のタイプのフィールドについて、他のフレームのフィールドへの参照のうちの第1の参照は、同じフィールドタイプを有するフィールドを参照し、前記他のフレームへの参照のうちの第2の参照は、反対のフィールドタイプを有するフィールドを参照することにおいてもさらに規定することができる。
本発明のさらに他の態様によれば、インタレースされたビデオデータを含む信号において、ビデオデータは少なくとも2タイプのインタレースしたフィールド群を有するフレームを含み、他のフレーム群またはフィールド群からのフィールド群の相互予測については、参照リストが参照フレームまたは参照フィールドを示すために含まれる。このような参照リスト内に他のフレームへの参照が含まれている場合は、この他のフレームの両フィールドへの参照が順に含まれる。
本発明の一実施形態では、フレームおよび/またはフィールドは、割り当てられた時間的レベルを有し、所与のフレームもしくはフィールドの参照フレーム群または参照フィールド群のリストは、その所与のフレームまたはフィールドの時間的レベルより(先に復号された)低い時間的レベルを持つ現在のGOPのすべてのフレーム群またはフィールド群を含む。
本発明の一態様によれば、インタレースされたビデオの同じ時間的レベルのフレームのトップフィールドおよびボトムフィールドは、原則として異なる時間的レベルのように扱われる。
本発明の好ましい実施形態を、従属クレーム、以下の説明および図面に示す。また、以下に示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
図1は、たとえばJSVMエンコーダで用いられている、階層化BピクチャのGOP構造に関する従来の参照リストの構造を示す。フレームは、それらのPOC番号を用いて示されている。例として、8に等しいGOPサイズを持つ階層化B構造が示されているため、4つの時間的レベルがある。時間的レベル0は、フレーム0および8を有する。実際に、シーケンスの最初のGOPが示されているが、すべてのGOPが同じ方法によって符号化される。この理由は、先のGOPのキーピクチャだけが次のGOPの符号化プロセスに用いられるためである。先のGOPの他のピクチャは参照されず、MMCOコマンドによって短期リストから削除される。
エンコーダが従う、いくつかの基本的な規則がある。第1に、同じ時間的レベルのフレーム群は、キーフレームを除いて互いに参照しない。図1に示すように、基本レイヤGOPであるか拡張レイヤGOPであるかに関係なく、参照リストの構築方法は同じである。たとえば、フレーム6はフレーム2を参照しない。第2に、1つのフレームは、より高い時間的レベルを有するフレーム群のみを参照する。この理由の1つは、エンコーダが、より高い時間的レベルのフレームをまず最初に符号化するためである。第3に、各Bピクチャに対して、list_0およびlist_1もいくつかの制約を有している。list_0(図1においてfwdで示す)は、現在のBピクチャのフレームより大きいPOC番号を持つフレームを用いない。list_1(図1においてbwdで示す)は、現在のBピクチャのフレームより小さいPOC番号を持つフレームを用いない。たとえばフレーム5において、list_0は、fwd0、fwd1、fwd2に対応する{4、2、0}であり、list_1はbwd0、bwd1に対応する{6、8}である。
上記の規則に次いで、このリストは、符号化構成(設定)およびエンコーダ構成でも指定できる低遅延制約で指定された参照の数によって切り捨てられる。
本発明は、インタレースされたビデオに対してデフォルトの参照リストを構築しおよび用いる方法を提供する。便宜上、現在のフレームまたはフィールドがどのように符号化されるかを示すために、Pic_Typeアイテムが導入される。フレーム符号化(プログレッシブ)されている場合は、そのPic_TypeはFRAMEである。フィールド符号化(インタレース)されており、およびトップフィールドである場合は、Pic_TypeはTOP_FIELDである。フィールド符号化されており、およびボトムフィールドである場合は、Pic_TypeはBOT_FIELDである。
図2は、単にインタレース符号化された階層化BのGOP構造の時間的レベル群を示した図である。実線はトップフィールド0〜8を表し、点線はボトムフィールド0’〜8’を表す。各フィールドペアは同じフレームに属し、同じPOC番号を用いる。たとえば、時間的レベル1は、POC=4を有するフレームを含み、トップフィールド4およびボトムフィールド4’からなる。
インタレースされた階層化Bピクチャに対する、例示的な符号化規則を以下に示す。
第1に、同じframe_numを有し、かつ同じフレームに属するフィールドのペアは、連続的に、つまり順に参照される必要がある。現在のフィールドと同じPic_Typeを有するフィールドは、最初に参照リストに入れられ、その後、同じフィールドペアに属するが、異なるPic_typeを有する他のフィールドが続く。
第2に、あるフィールドが参照リストに存在する場合は、それに対応するペアも参照リストに在る必要がある(現在符号化しているボトムフィールドの対応するトップフィールドを除く。また、参照リストのサイズが指定されたサイズより大きい場合を除く)。
第3に、現在のJSVMエンコーダがフレームに対して実行するのと同様に、より大きいPOCを持つフィールド群はlist_0の参照フィールドとして用いられず、および、より小さいPOCを有するフィールド群はlist_1の参照フィールドとして用いられない。
第4に、参照list_1は、トップフィールドであるかボトムフィールドであるかに関係なく、現在のフィールドと同じframe_numを有する参照フィールドを持つことができない。
図3〜図5は、GopSize=8を有するインタレース符号化された階層化Bピクチャの例示的なデフォルトの参照リストを示す図である。図3は、キーフィールドの参照リスト構造の例を示す。トップフィールド8は、第1の参照fwd0(Ref_Idx=0)として先のキーピクチャのトップフィールド0を得て、かつ第2の参照fwd1として先のキーピクチャのボトムフィールド0’を得る。キーピクチャのボトムフィールド8’は、最初の参照(Ref_Idx==0を有する)fwd8’0と同じピクチャのトップフィールド8、第2の参照fwd8’1として先のキーピクチャのボトムフィールド0’、および第3の参照fwd8’2として先のキーピクチャのトップフィールド0を得る。
一般にBピクチャに対しては、上記のように、トップフィールドの参照リストはプログレッシブな符号化の参照リストと同様に構築される。異なる点は、各フレームは次にフィールドペアになることである。つまり最初にトップフィールドとなり、次にボトムフィールドになる。図4に示すように、POC=6を持つピクチャのトップフィールド6は、以下の順の参照list_0(fwd0、fwd1、fwd2、fwd3):4トップ、4ボトム、0トップ、0ボトムを有する。その参照list_1(bwd0、bwd1)は8トップ、8ボトムである。
Bフィールドがボトムフィールドである場合は、そのnal_ref_idcが0でない場合(のみ)、その参照list_0は最初にその対応するトップフィールドを得る。フレーム/フィールドのnal_ref_idcは、このフレーム/フィールドが参照として用いられないことを意味する。エンコーダにおいて、最も高い時間的レベルを有するフィールド/フレームのnal_ref_idc値は0に設定される。図5は、たとえば、ピクチャ6のボトムフィールドについて、ピクチャ6のトップフィールドが最初の参照0(fwd6’0)として用いられることを示す。これは、このフレームは通常、デコーダの短期リストで利用可能な他のフィールドと比較して、最も近い時間的距離(表示時間において)を有するためである。その後、他のフィールドは、フィールドペアにより構築される。ピクチャ6ボトムフィールドの最終的な順序付けられた参照list_0は、(fwd6’0、fwd6’1、fwd6’2、fwd6’3、fwd6’4)、6トップ、4ボトム、4トップ、0ボトム、0トップである。list_1については、フィールドペア(bwd6’0、bwd6’1):8ボトム、8トップのみを有する。
一実施形態では、符号化構成および低遅延制約において指定された参照の数によってプログレッシブな符号化で知られているように参照リストは切り詰めることができる。これは、エンコーダ構成によっても指定することができる。
一実施形態では、動き予測(ME)プロセス時にはオープンループ符号化およびクローズドループ符号化に、異なる参照が用いられる。オープンループ符号化においては、ME時にオリジナルのフィールドが用いられ、クローズドループ符号化においては、ME時に再構築されたフィールドが用いられる。ボトムフィールドがその対応するトップフィールドを参照するときでも、参照は再構築されたトップフィールドである必要がある。
PAFF(Picture Adaptive Frame Field Coding)の場合でも、フィールド符号化ピクチャおよびフレーム符号化ピクチャに対して提案された参照リストの構築方法を用いることができる。
フィールドに対するRPLRおよびMMCOコマンド
一実施形態では、上記の参照リストの構造を指定するために、RPLRコマンドも実装される。キーピクチャがフレーム符号化されている場合、MMCOフィールドが用いられる(オリジナルのJSVM方式と同様)。キーピクチャがフィールド符号化されている場合、先のGOPのすべての非キーピクチャのすべてのフィールドペア、および先のGOPのキーピクチャの前のキーピクチャ(存在する場合)を削除するために、キーピクチャのトップフィールドでMMCOコマンドが生成される。
インタレース符号化のスケールファクタ
本発明の一実施形態においては、QPの適応はインタレース符号化にも用いられる。この場合、トップフィールドとボトムフィールドは異なるスケールファクタを得ることになる。このことは、これらの残差エネルギーが異なるために有利である。トップフィールドと対応するボトムフィールドとのペアが最高位の時間的レベルに属していない場合、トップフィールドは常に対応するボトムフィールドより高いQPを持っている。したがって、この実施形態において、インタレースされたピクチャのトップフィールドおよびボトムフィールドは、個別の異なるスケールファクタを使って、原則として異なる時間的レベルのように扱われる。このため、現在の時間的レベルが最高でない場合、トップフィールドおよびボトムフィールドに対して、これらが同じ時間的レベルにある場合であっても異なるスケールファクタを導入することができる。
本発明の一実施形態は、SVC階層のBフレーム構造に対するインタレース符号化における完全な解決策である。
本発明の一実施形態はデフォルトの参照リストの構築方法であり、エンコーダで用いることができるインタレースまたはPAFF符号化に対する拡張レイヤデコーダのデフォルトの解決策である。
一実施形態では、対応するRPLRおよびMMCOコマンドが、階層化BピクチャのPAFF符号化をサポートするのに用いられる。
一実施形態では、符号化効率を向上させるために、同じ時間的レベルのトップおよびボトムフィールドに対して、異なるスケールファクタが導入される。
前述したように、参照リストは定義された最大長の後で切り詰めることができる。上記の定義された規則の例外として、フレームの1つのフィールドだけがリストに含まれていて、リストが長すぎるために、他のフィールドを除外する必要がある場合がある。
ビデオは少なくとも2タイプのインタレースしたフィールドを有するフレームを含む、本発明によるインタレースされたビデオのエンコーダは、他のフィールドまたはフレームからフィールドを相互予測する手段と、参照リストを生成する手段と、参照フレームまたは参照フィールドを示すためにフィールドに参照リストを割り当てる手段とを備える。そのような参照リスト内に他のフレームへの参照が含まれている場合には、他のフレームの両フィールドへの参照が各リストに含まれ、特定のフレームの2つのフィールドへの参照は別々に順に含まれる。
一実施形態では、参照リストを生成する手段は、フレームの2つのフィールドのうちの第1のフィールドについては、同じフレームの他のフィールドへの参照を生成し、他のフィールドについては、前記第1のフィールドへの参照を生成しない。
一実施形態では、参照リストを生成する手段は、他のフレームを参照する場合には、第1のタイプのフィールド、たとえばトップについては、常に同じフィールドタイプ、つまりトップを有するフィールドへの参照を最初に生成し、次に、反対のフィールドタイプ、つまりボトムを有するフィールドへの参照を生成する。
一実施形態では、エンコーダは、量子化パラメータによってビデオデータを量子化する手段を含み、フレームのフィールド群については、異なる量子化パラメータが用いられる。
一実施形態では、エンコーダは、フレームの表示順序に従ってフレームのそれぞれに時間的レベルを割り当てる手段を含み、1つの時間的レベルを除くすべてのフレームについて、量子化パラメータは、一方のタイプのフィールドの方が他方のタイプのフィールドより高い。
本発明によるインタレースされたビデオのデコーダは、そのビデオが少なくとも2タイプのインタレースしたフィールド群を有するフレームを含み、他のフィールド群またはフレーム群からフィールドを予測するための手段を含む。他のインタレースされたフレームが参照として予測に用いられる場合は、この手段は、個別の参照として順にこの他のフレームの両フィールドを用いる。
本発明は、インタレースされたビデオデータ、特に、空間的および/または時間的にスケーラブルなインタレースされたビデオデータの符号化/復号に用いることができる。原則として、本発明は、複数の時間的レベルを有する単一の空間レイヤのビデオにも使用できる。
階層化BフレームのGOP構造に関する従来の参照リストの構造を示す図である。 インタレース符号化された階層化BのGOP構造の時間的レベルを示す図である。 トップおよびボトムキーフィールドに関するインタレース符号化された階層化Bピクチャのデフォルトの参照リストを示す図である。 トップBフィールド群の参照リストの構造を示す図である。 ボトムBフィールド群の参照リストの構造を示す図である。

Claims (10)

  1. 量子化パラメータ(QP)を用いて量子化されているインタレースされたビデオデータを符号化する方法であって、
    前記ビデオデータは少なくとも2タイプ(トップ、ボトム)のインタレースしたフィールド群を有するフレームを含み、フィールド群(6、6’)の相互予測が用いられ、参照リストが参照フレームまたは参照フィールドを示すためにフィールドに割り当てられ、
    そのような参照リスト内に他のフレームへの参照が含まれている場合には、前記他のフレームの両フィールド(4、4’)への参照(fwd0、fwd1)は別々に順に含まれ、
    フレームのフィールド群について、異なる量子化パラメータ(QP)が用いられ、
    フレームの表示順序に従って、時間的レベルがフレームのそれぞれに割り当てられ、1つの時間的レベルを除くすべてのフレームについて、前記量子化パラメータ(QP)は、一方のタイプ(トップ)のフィールドの方が他方のタイプ(ボトム)のフィールドより高いこと
    を特徴とする符号化方法。
  2. フレームの2つのフィールド群のうちの第1のフィールド(6’)は、同じフレームの他方のフィールド(6)への参照(fwd6’0)を有し、前記他方のフィールド(6)は前記第1のフィールド(6’)への参照を有さないことを特徴とする請求項1に記載の方法。
  3. 第1のタイプ(ボトム)のフィールドについては、他のフレームのフィールドへの参照のうちの第1の参照は、同じフィールドタイプ(ボトム)を有するフィールドを参照し、前記他のフレームへの参照のうちの第2の参照は、反対のフィールドタイプ(トップ)を有するフィールドを参照することを特徴とする請求項1または2に記載の方法。
  4. フレームはグループ化され(GOP)、現在のグループ外の1つのフレームだけを参照することができ、前記1つのフレームは、先のグループの最も低い時間的レベルを割り当てていることを特徴とする請求項1乃至3いずれかに記載の方法。
  5. 量子化パラメータ(QP)を用いて量子化されているインタレースされたビデオデータを復号する方法であって、
    前記ビデオデータは少なくとも2タイプ(トップ、ボトム)のインタレースしたフィールド群を有するフレームを含み、
    フィールド群(6、6’)の予測が用いられ、他のインタレースされたフレームが参照として予測に用いられる場合、前記他のフレームの両フィールド(4、4’)は、個別の参照(fwd0、fwd1)として順に用いられ、
    フレームの表示順序に従って、時間的レベルが前記フレームのそれぞれに割り当てられ、
    1つの時間的レベルを除くすべてのフレームについて、前記量子化パラメータ(QP)は、一方のタイプ(トップ)のフィールドの方が他方のタイプ(ボトム)のフィールドより高いこと
    を特徴とする復号する方法。
  6. フレームの2つのフィールド群のうちの第1のフィールド(6’)は、同じフレームの他方のフィールド(6)への参照(fwd6’0)を有し、前記他方のフィールド(6)は前記第1のフィールド(6’)への参照を有さないことを特徴とする請求項5に記載の方法。
  7. 第1のタイプのフィールド(トップ、ボトム)については、他のフレームのフィールドへの参照のうちの第1の参照は、同じフィールドタイプを有するフィールドを参照し、前記他のフレームへの参照のうちの第2の参照は、反対のフィールドタイプを有するフィールドを参照することを特徴とする請求項5または6に記載の方法。
  8. インタレースされたビデオデータを含む信号であって、
    前記ビデオデータは量子化パラメータ(QP)を用いて量子化され、少なくとも2タイプ(トップ、ボトム)のインタレースしたフィールド群を有するフレームを含み、他のフレームまたはフィールドからのフィールド群(6、6’)の相互予測については、参照リストが参照フレームまたは参照フィールドを示すために含まれ、このような参照リスト内に他のフレームへの参照が含まれている場合には、前記他のフレームの両フィールド(4、4’)への参照(fwd0、fwd1)は順に含まれ、
    フレームの表示順序に従って、時間的レベルがフレームのそれぞれに割り当てられ、
    1つの時間的レベルを除くすべてのフレームについて、前記量子化パラメータ(QP)は、一方のタイプ(トップ)のフィールドの方が他方のタイプ(ボトム)のフィールドより高いこと
    を特徴とする信号。
  9. 前記フレームおよび/またはフィールドは、割り当てられた時間的レベルを有し、所与のフレームもしくはフィールドの参照フレーム群または参照フィールド群のリストは、前記所与のフレームまたはフィールドの時間的レベルより低い時間的レベルを持つ現在のGOPのすべてのフレーム群またはフィールド群を含むことを特徴とする請求項8に記載の信号。
  10. 第1のタイプ(ボトム)のフィールドについては、他のフレームのフィールドへの参照のうちの第1の参照は、同じフィールドタイプ(ボトム)を有するフィールドを参照し、前記他のフレームへの参照のうちの第2の参照は、反対のフィールドタイプ(トップ)を有するフィールドを参照することを特徴とする請求項8または9に記載の信号。
JP2008549801A 2006-01-13 2006-12-05 インタレースされたビデオデータを符号化する方法および装置 Active JP4943451B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06300032.7 2006-01-13
EP06300032A EP1809042A1 (en) 2006-01-13 2006-01-13 Method and apparatus for coding interlaced video data
PCT/EP2006/069290 WO2007080032A1 (en) 2006-01-13 2006-12-05 Method and apparatus for coding interlaced video data

Publications (2)

Publication Number Publication Date
JP2009523339A true JP2009523339A (ja) 2009-06-18
JP4943451B2 JP4943451B2 (ja) 2012-05-30

Family

ID=36282734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549801A Active JP4943451B2 (ja) 2006-01-13 2006-12-05 インタレースされたビデオデータを符号化する方法および装置

Country Status (5)

Country Link
US (1) US8090017B2 (ja)
EP (2) EP1809042A1 (ja)
JP (1) JP4943451B2 (ja)
CN (1) CN101356824B (ja)
WO (1) WO2007080032A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515470A (ja) * 2018-02-26 2021-06-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 選択的な量子化パラメータ送信

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
JP5988252B2 (ja) 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
EP4250733A3 (en) * 2011-01-14 2023-12-27 Sun Patent Trust Image coding method, image decoding method, memory managing method, image coding apparatus, image decoding apparatus, memory managing apparatus, and image coding and decoding apparatus
JP2012178818A (ja) * 2011-01-31 2012-09-13 Panasonic Corp 映像符号化装置および映像符号化方法
WO2012108181A1 (en) * 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
CN107426575B (zh) 2011-02-16 2021-02-19 太阳专利托管公司 影像编码方法、装置及影像解码方法、装置
US8934552B2 (en) * 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
JP5955391B2 (ja) 2011-09-29 2016-07-20 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 参照ピクチャリストの取り扱い
US20140092962A1 (en) * 2012-10-01 2014-04-03 Sony Corporation Inter field predictions with hevc
JP6344392B2 (ja) * 2013-08-22 2018-06-20 ソニー株式会社 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
EP2854405A1 (en) 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
US9661329B2 (en) * 2014-04-30 2017-05-23 Intel Corporation Constant quality video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05252403A (ja) * 1992-03-02 1993-09-28 Casio Comput Co Ltd 画像データ圧縮装置
JPH0678289A (ja) * 1991-07-30 1994-03-18 Sony Corp 画像信号の高能率符号化、復号化装置及び記録媒体
WO2004080078A1 (en) * 2003-03-03 2004-09-16 Lg Electronics, Inc. Coding method for moving picture
WO2005096228A1 (en) * 2004-03-12 2005-10-13 Thomson Licensing Method for encoding interlaced digital video data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101076506B1 (ko) * 2001-11-21 2011-10-24 제너럴 인스트루먼트 코포레이션 복수의 픽쳐를 갖는 영상 시퀀스의 엔코딩 및 디코딩 방법
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678289A (ja) * 1991-07-30 1994-03-18 Sony Corp 画像信号の高能率符号化、復号化装置及び記録媒体
JPH05252403A (ja) * 1992-03-02 1993-09-28 Casio Comput Co Ltd 画像データ圧縮装置
WO2004080078A1 (en) * 2003-03-03 2004-09-16 Lg Electronics, Inc. Coding method for moving picture
WO2005096228A1 (en) * 2004-03-12 2005-10-13 Thomson Licensing Method for encoding interlaced digital video data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515470A (ja) * 2018-02-26 2021-06-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 選択的な量子化パラメータ送信
US11297338B2 (en) 2018-02-26 2022-04-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selective quantization parameter transmission

Also Published As

Publication number Publication date
CN101356824B (zh) 2010-12-22
JP4943451B2 (ja) 2012-05-30
EP1972143B1 (en) 2015-02-11
US8090017B2 (en) 2012-01-03
EP1972143A1 (en) 2008-09-24
CN101356824A (zh) 2009-01-28
EP1809042A1 (en) 2007-07-18
US20090067496A1 (en) 2009-03-12
WO2007080032A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
JP4943451B2 (ja) インタレースされたビデオデータを符号化する方法および装置
JP5008094B2 (ja) スケーラブル・ビデオ用参照ピクチャ・リストを構築するための方法及び装置
EP2684362B1 (en) Video encoding and decoding
US8385432B2 (en) Method and apparatus for encoding video data, and method and apparatus for decoding video data
KR102168743B1 (ko) 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법
JP5036884B2 (ja) インターレース・ビデオの符号化および復号
JP5151984B2 (ja) 動画像符号化装置
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
KR100786132B1 (ko) 적응적으로 세분화된 gop 구조를 이용한 계층적b픽쳐-기반 동영상 부호화 및 복호화 방법
US9942544B2 (en) Method and device for deriving a set of enabled coding modes
Lin et al. Fast context-adaptive mode decision algorithm for scalable video coding with combined coarse-grain quality scalability (CGS) and temporal scalability
US20120250767A1 (en) Method and apparatus for bi-directional prediction within p-slices
GB2499831A (en) Determining missing coding units while decoding a video bitstream
Li et al. Rate-distortion criterion based picture padding for arbitrary resolution video coding using H. 264/MPEG-4 AVC
Katayama et al. Low-complexity intra coding algorithm in enhancement layer for SHVC
Yang et al. Incremental rate control for H. 264 scalable video coding
Ascenso et al. Drift reduction for a H. 264-AVC fine grain scalability with motion compensation architecture
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법
Wang et al. An improved rate control for video communication of H. 264 standard
Lin et al. Optimal Frame Level Bit Allocation Based on Game Theory for HEVC Rate Control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4943451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250