JP2004515132A - ビデオ符号化方法及び対応するエンコーダ - Google Patents

ビデオ符号化方法及び対応するエンコーダ Download PDF

Info

Publication number
JP2004515132A
JP2004515132A JP2002544991A JP2002544991A JP2004515132A JP 2004515132 A JP2004515132 A JP 2004515132A JP 2002544991 A JP2002544991 A JP 2002544991A JP 2002544991 A JP2002544991 A JP 2002544991A JP 2004515132 A JP2004515132 A JP 2004515132A
Authority
JP
Japan
Prior art keywords
video
encoding
video object
object plane
vop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002544991A
Other languages
English (en)
Inventor
ラマンザン,イヴ エール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26073613&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2004515132(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004515132A publication Critical patent/JP2004515132A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

MPEG−4ビデオ規格には、予測符号化スキームが含まれる。符号化スキームによって処理されるシーケンスにシーンの切れ目が起きると、シーンの切れ目に続く最初のビデオオブジェクトプレーン(VOP)は、それを全く異なる前のVOPから予測するのではなく、I−VOPとして符号化される。時間冗長度がある場合、エンハンスメントレイヤの2つのVOP間でシーンの切れ目が起きると、エンハンスメントレイヤにおける予測動作の際の時間基準を選択するための特定の規則が決められる。

Description

【0001】
[発明の属する技術分野]
本発明は一般的に、ビデオ圧縮に関連し、より詳細には、ビデオシーケンスに適用され、ビデオエンコーダに使用するために提供されるビデオ符号化方法に関する。ビデオエンコーダは、ビデオシーケンスを受信し、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト(VO)に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第1のビットストリームを構成するベースレイヤ信号を生成するよう設けられるベースレイヤ符号化手段と、ビデオシーケンスと、ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含む。より詳細には、本発明は、ビデオシーケンスのVOの符号化を可能にする方法に関連し、本発明の方法は、以下のステップを含む。
(1)ビデオシーケンスをVOに分割するステップと、
(2)各VOの連続ビデオオブジェクトプレーン(VOP)を符号化するステップとを含み、
符号化ステップは、VOPのテキスチャ及び形状を符号化するサブステップを含み、テキスチャ符号化サブステップは、他のVOPを時間的に参照することなく符号化され、イントラ符号化、又は、I−VOPと称するVOPに対し予測を行わない第1の符号化動作と、過去又は未来のI−VOP又はP−VOPだけを時間基準として使用して符号化され、予測符号化、又は、P−VOPと称するVOPに対し単一方向予測を行う第2の符号化動作と、過去及び未来のI−VOP又はP−VOPの両方を時間基準として使用して符号化され、双方向予測符号化、又は、B−VOPと称するVOPに対し双方向の予測を行う第3の符号化動作を含む。
【0002】
本発明は更に、コンピュータ読取り可能な媒体上に格納され、上述したような符号化方法を実行するよう提供されるコンピュータ実行可能な処理ステップと、対応するコンピュータプログラム製品、及び、符号化方法を実行するビデオエンコーダに関連する。
【0003】
[発明の背景]
MPEG−4規格のエンコーダ(MPEG−4規格は、例えば、文書「Overview of the MPEG−4 Version 1 Standard」ISO/IEC JTC1/SC29/WG11 N1909,1997年10月,Fribourg)に説明される)では、3つの種類のピクチャが使用される。即ち、他のピクチャからは独立して符号化されるイントラ符号化(I)ピクチャ、動き補償予測によって過去の基準ピクチャ(I又はP)から予測される予測符号化(P)ピクチャ、及び、過去及び未来の基準ピクチャ(I又はP)から予測される双方向予測符号化(B)ピクチャが使用される。Iピクチャが最も重要である。なぜなら、Iピクチャは基準ピクチャであり、(ビットストリーム中における)アクセスポイントを与えることができるからである。アクセスポイントでは、前のピクチャを参照することなく、復号化を開始することができる(このようなピクチャでは、空間冗長度しか除去されていない)。空間冗長度及び時間冗長度の両方を縮小することにより、Pピクチャは、空間冗長度のみを縮小するIピクチャに比べて良好な圧縮を提供する。Bピクチャは、最も高い圧縮度を提供する。
【0004】
MPEG−4では、幾つかのストラクチャが使用され、例えば、ユーザがアクセスし操作することが可能にされるエンティティであるビデオオブジェクト(VO)、及び、所与の時間におけるビデオオブジェクトのインスタンスであるビデオオブジェクトプレーン(VOP)が挙げられる。符号化されたビットストリームには、異なる種類のVOPがある。即ち、空間冗長度のみを使用するイントラ符号化VOP(最もビット数が必要となる)、過去の基準VOPからの動き推定及び補償を使用する予測符号化VOP、及び、過去及び未来の基準VOPからの動き推定及び補償を使用する双方向予測符号化VOPがある。
【0005】
P−VOP及びB−VOPでは、現在のVOPとその基準VOP間の差のみが符号化される。P及びB−VOPのみに動き推定が関連し、動き推定は、いわゆる「ブロックマッチングアルゴリズム」によって実行される。即ち、ブロックマッチングアルゴリズムでは、現フレームの各マクロブロックに対し、基準VOPにおいて最も良好に適合するマクロブロックが所定の検索領域内において探され、動きベクトルMVが計算される。類似性の基準は、絶対差の和(SAD)によって与えられる。N×Nのマクロブロックに対し、SADは以下の通りに表される。
【0006】
【数1】
Figure 2004515132
従って、選択されるマクロブロックは、検索領域において計算されるSADのうち最も小さいSADに対応するマクロブロックである。この推定には、フレームの種類に依存して異なるモードが存在する。
【0007】
(a)P−VOPマクロブロックには、「前方向モード」(過去の基準I−VOP又はP−VOPを使用する)のみが利用可能である。
【0008】
(b)B−VOPマクロブロックには、マクロブロック推定には4つのモードが利用可能である。即ち、
−「前方向モード」(P−VOPと同様)
−「逆方向モード」:前方向モードと同様であるが、過去からではなく、未来のP−又はI−VOPを基準とする
−「補間モード」又は「双方向モード」:前方向モードと逆方向モードを組合せ、過去及び未来の基準VOPを使用する
−「直接モード」:各動きベクトルが、未来の基準VOPの動きベクトルと、異なるVOP間の時間的な距離によって計算される。
【0009】
MPEG−4では、重要な機能性、即ち、スケーラビリティが提供される。スケーラブル符号化は、「レイヤード符号化」とも知られるが、スケーラブルに復号できるような方法で、符号化表現を生成することを可能にする。スケーラビリティとは、ビットストリームの特性であって、復号化されるビットストリームのプロポーションに相応する分解能及び/又は品質を有する完全なピクチャを生成するよう適切なサブセットのデータを復号化することを可能にする。このような機能は、様々な分解能及び/又は品質及び/又は複雑さのビデオシーケンスが同時に利用可能であることが必要である多数のアプリケーションにおいて有用である。更に、ビットストリームがスケーラブルであると、1人のユーザはビットストリームの一部のみにアクセスし、ユーザ自身のデコーダ又はディスプレイに応じた、又は、利用可能な帯域幅に応じたベーシックビデオを供給し、一方、別のユーザは、良好なビデオ品質を生成することができるようビットストリーム全体を使用する。
【0010】
幾つかの独立したビットストリームが符号化される解決策よりも符号化処理が少なくて済むスケーラビリティの利点は、少なくとも2つの異なるビットストリーム(そのうち、1つのビットストリームは、他のビットストリームよりも高いビットレートである)に分離可能なビットストリームを供給可能である点である。従って、各種のスケーラビリティは、1つ以上のレイヤが関連する。時間スケーラビリティの場合、下位レイヤ及び上位レイヤからなる少なくとも2つのレイヤが考慮される。下位レイヤは、ベースレイヤと称され、所与のフレームレートで符号化され、追加のレイヤはエンハンスメントレイヤと称され、ベースレイヤ中に欠落している情報を供給するよう符号化され(高いフレームレートを有するビデオ信号を形成するために)、従って、表示側において高い時間分解能を供給する。デコーダは、ビデオストリームを復号化するのに必要最小限であるデータ量に対応するベースレイヤのみを復号化しても、又は、エンハンスメントレイヤも(ベースレイヤに加えて)復号化してもよい。エンハンスメントレイヤは、エンハンスビデオ信号を供給するのに必要な追加のデータに対応する。デコーダは、高い分解能が望まれる場合は、1秒間当たりのフレーム数を増やして出力する。
【0011】
上述したように、MPEG−4ビデオ規格は、予測符号化スキームを含む。従って、シーンの切れ目があるとき、シーンの切れ目の直後の最初のVOPを、それとは全く異なる先行するVOPから予測するのではなく、I―VOPとして符号化することがより効率的である。時間スケーラビリティの場合、問題はより複雑となる。なぜなら、シーンの切れ目は、エンハンスメントレイヤの2つのVOP間で発生する場合もあるが、その切れ目は、ベースレイヤにおいて依然として対処されなければならないからである。最初のVOPが、各レイヤのI−VOPとして符号化されると、ビットを無駄遣いしてしまい、符号化効率が損なわれてしまう。
【0012】
[発明の概要]
従って、本発明は、シーンの切れ目において符号化の効率が損なわれることを少なくする符号化方法を提案することを目的とする。
【0013】
このために、本発明は、明細書の導入部分に記載されるような符号化方法に関連し、更に、シーンに切れ目が生じ、エンハンスメントレイヤのVOPが、1つのシーンのベースレイヤにおける最後のVOPと後続のシーンのベースレイヤにおける最初のVOPの間に位置するとき、エンハンスメントレイヤのVOPの時間基準が、以下の特定の処理規則に従って選択されることを特徴とする。この特定の処理規則は、即ち、
(A)シーンの切れ目の前に位置するVOP:
(a)符号化の種類は制約されない;
(b)ベースレイヤにおいて、表示順序で次のVOPを時間基準として使用することを禁じる;
(B)シーンの切れ目の直後に位置するVOP:
(a)P符号化が実行される;
(b)ベースレイヤにおいて、表示順序で次のVOPを時間基準として使用する;
(C)シーンの切れ目の後に位置する他のVOP:
(a)符号化の種類は制約されない;
(b)ベースレイヤにおいて、表示順序で前のVOPを時間基準として使用することを禁じる。
【0014】
この解決策の主な利点は、有効でないシーン間の予測を回避しながら、1つのイントラVOPしか符号化しなくてよい点である。
【0015】
本発明は更に、コンピュータ読取り可能な媒体に格納され、本発明のビデオ符号化方法を実行するよう与えられるコンピュータによって実施可能な処理ステップと、一連の命令を含むコンピュータプログラム製品に関連し、このコンピュータプログラム製品は、上述したようなエンコーダに搭載されると、本発明のステップを実行する。本発明は更に、ビデオシーケンスを受信し、そこから、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト(VO)に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第1のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、ビデオシーケンスとベースレイヤ信号の復号化されたバージョンを受信し、そこから、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダに関連する。このビデオエンコーダは、
(1)ビデオシーケンスをVOに分割する手段と、
(2)連続ビデオオブジェクトプレーン(VOP)のテキスチャ及び形状を符号化する手段とを含み、
テキスチャ符号化手段は、他のVOPに時間参照しないで符号化され、イントラ符号化又はI−VOPと称するVOPに対し予測を行わない第1の符号化動作と、過去又は未来のI−又はP−VOPだけを時間基準として使用して符号化され、予測符号化又はP−VOPと称するVOPに対し単一方向の予測を行う第2の符号化動作と、過去及び未来のI−又はP−VOPを時間基準として符号化され、双方向予測又はB−VOPと称するVOPに対し双方向予測を行う第3の符号化動作とを行う。本発明のビデオエンコーダは、シーンに切れ目が生じ、エンハンスメントレイヤのVOPが、1つのシーンのベースレイヤにおける最後のVOPと後続のシーンのベースレイヤにおける最初のVOPの間に位置するとき、エンハンスメントレイヤのVOPの時間基準は、以下の特定の処理規則に従って選択されることを特徴とする。特定の処理規則とは、
(A)シーンの切れ目の前に位置するVOP:
(a)符号化の種類は制約されない;
(b)ベースレイヤにおいて、表示順序で次のVOPを時間基準として使用することを禁じる;
(B)シーンの切れ目の直後に位置するVOP:
(a)P符号化が実行される;
(b)ベースレイヤにおいて、表示順序で次のVOPを時間基準として使用することを禁じる;
(C)シーンの切れ目の後に位置する他のVOP:
(a)符号化の種類は制約されない;
(b)ベースレイヤにおいて、表示順序で前のVOPを時間基準として使用することを禁じる。
【0016】
[本発明の詳細な説明]
本発明を、添付図面を参照しながらより詳細に説明する。
【0017】
上述したように、符号化されたビットストリームには、異なる種類のVOPがある。即ち、イントラ符号化VOP、予測符号化VOP、及び、双方向予測符号化VOPがある。MPEG−4ビデオ規格は、予測符号化スキームであるので、イントラ符号化VOP以外の各VOPに対し時間基準を決めなければならない。単一のレイヤの場合、又は、スケーラブルストリームのベースレイヤ(BL)において、時間基準は、図1に示すように規格によって独特の方法で決められる(TR11、TR12、TR13)。反対に、MPEG−4ストリームの時間的なエンハンスメントレイヤ(EL)の場合、3つのVOPを、動き予測のための可能な時間基準と考えてよい。即ち、エンハンスメントレイヤの最近に復号化されたVOP(TR21、TR22)、ベースレイヤの前のVOP(表示順序で)(TR23、TR24)、又は、ベースレイヤの次のVOP(表示順序で)(TR25、TR26)である。これらの3つの可能な選択肢は、図1において、時間的なエンハンスメントレイヤのP−VOP及びB−VOBに対し示す(各矢印は、可能な時間基準に対応する)。即ち、エンハンスメントレイヤの各P−VOPに対しては1つの基準が選択されなければならず、エンハンスメントレイヤの各B−VOPに対しては2つの基準が選択されなければならない。
【0018】
本発明を、図2を参照しながら説明する。理論的には、圧縮効率の制約を満たすためには、シーンの変更の度に、1つのI−VOPしか必要でない。ベースレイヤにおいて時間基準として選択できるものはないので、シーンの切れ目(シーンの切れ目は、図2中SCとして示す)の後のベースレイヤにおける最初のVOPをI−VOPとして符号化し、エンハンスメントレイヤでは、特に、1つのシーンのベースレイヤにおける最後のVOPと、後続のシーンのベースレイヤにおける最初のVOPの間に位置する全てのエンハンスメントVOPに対し、シーン間のイントラ符号化及び予測を禁じるよう決められる。この符号化規則は以下に示す。
【0019】
(1)シーンの切れ目の前に位置するVOP:(a)条件C1:符号化の種類は制約されず、(b)条件C2:ベースレイヤにおける、表示順序で次のVOPを時間基準として使用することが禁じられる。
【0020】
(2)シーンの切れ目の直後に位置するVOP:(a)条件C3:P符号化が実行され、(b)条件C4:そのP符号化は、ベースレイヤにおける、表示順序で次のVOPを時間基準として使用する。
【0021】
(3)シーンの切れ目の後に位置するその他のVOP:(a)条件C5:符号化の種類は制約されず、(b)条件C6:ベースレイヤにおける、表示順序で前のVOPを時間基準として使用することが禁じられる。
【0022】
これらの3つの状況に関連付けられる6つの条件は、図2に示すが、Xは任意の種類の符号化のVOPに対応する。図1と図2を比較することによって、シーンの切れ目の前に位置するVOPに対し次のVOPを使用しない条件である条件C2、ベースレイヤの次のVOPを時間基準として使用する条件である条件C4、及び、ベースレイヤの前のVOPを時間基準として使用しない条件である条件C6が明らかに満たされていることが分かる。
【0023】
このように説明されるビデオ符号化方法は、ビデオエンコーダによって行われる。このビデオエンコーダは、ビデオシーケンスを受信し、そこから、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト(VO)に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第1のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、ビデオシーケンス及びベースレイヤ信号の復号化されたバージョンを受信し、そこから、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含む。このエンコーダは、ビデオシーケンスを、VOに分割する手段と、各VOの連続ビデオオブジェクトプレーン(VOP)のテキスチャ及び形状を符号化する手段を含む。テキスチャ符号化手段は、3種類の符号化動作を行い、即ち、イントラ符号化又はI−VOPと称するVOPに対し予測を行わない第1の符号化動作、予測符号化又はP−VOPと称するVOPに対し単一方向の予測を行う第2の符号化動作、及び、双方向符号化又はB−VOPと称するVOPに対し双方向予測を行う第3の符号化動作を行う。
【0024】
本発明では、上述したエンコーダにおいて、シーンの切れ目が発生し、エンハンスメントレイヤのVOPが、1つのシーンのベースレイヤにおける最後のVOPと、後続のシーンのベースレイヤにおける最初のVOPの間に位置するとき、エンハンスメントレイヤのVOPの時間基準は、上述するように決められる処理規則に従って選択される。即ち、
(A)シーンの切れ目の前に位置するVOP:符号化の種類は制約されず、ベースレイヤの次のVOPを時間基準として使用することを禁じる。
【0025】
(B)シーンの切れ目の直後に位置するVOP:P符号化時間が実行され、ベースレイヤの次のVOPを時間基準として使用する。
【0026】
(C)シーンの切れ目の後に位置する他のVOP:符号化の種類は制約されず、ベースレイヤの前のVOPを時間基準として使用することを禁じる。
【0027】
尚、本願に説明したビデオエンコーダは、ハードウェア又はソフトウェア、又は、ハードウェア及びソフトウェアの組合せによって実施可能であることを理解しなければならない。ビデオエンコーダは、任意の種類のコンピュータシステム、又は、上述した方法を実行するよう適応される他の装置によって実施可能である。ハードウェア及びソフトウェアの一般的な組合せとしては、コンピュータプログラムを有する汎用コンピュータシステムであってよく、コンピュータプログラムは、搭載されて実行されると、本願に説明した方法を実行するようコンピュータシステムを制御する。或いは、本発明の1つ以上の機能タスクを実行する特化されたハードウェアを含む特殊用途用コンピュータも使用可能である。本発明は、コンピュータプログラム媒体又は製品に組み込まれることも可能であり、媒体及び製品は、本願に説明する方法及び機能を実施することを可能にする特徴を全て含み、また、コンピュータシステムに搭載されると、これらの方法及び機能を実行できる。本発明は、そのようなコンピュータ読取り可能な媒体又は製品に格納され、上述したビデオ符号化方法を実行するよう設けられるコンピュータが実行可能な処理ステップに関連する。本発明のコンテキストにおけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品、又は、ソフトウェアは、直接的に、又は、(a)別の言語、コード、又は、表記への変換、及び/又は、(b)異なるマテリアルフォームに再現した後に特定の機能を、情報処理能力を有するシステムに行わせる一連の命令を、任意の表現、言語、コード、又は、表記において意味するものである。
【0028】
本発明の上述した説明は、例示及び説明目的のために提示されたものであり、本発明を、開示した正確な形式に制限するものではなく、上述の教示内容に従って、変更が可能である。このような変更は、当業者には明らかであり、それらは本発明の範囲内に含まれる。
【図面の簡単な説明】
【図1】
スケーラブルMPEG−4ビデオストリームのベースレイヤ及びエンハンスメントレイヤにおける時間基準の選択を説明する図である。
【図2】
本発明の時間基準の選択処理用に決められる特定の規則を説明する図である。

Claims (4)

  1. ビデオシーケンスを受信し、上記ビデオシーケンスのビデオフレームに含まれるビデオオブジェクトに対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第1のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、上記ビデオシーケンス及び上記ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、上記ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダに使用し、上記ビデオシーケンスに適用するビデオ符号化方法であって、
    (1)上記ビデオシーケンスを上記ビデオオブジェクトに分割するステップと、
    (2)上記ビデオオブジェクトの連続ビデオオブジェクトプレーンを符号化するステップとを含み、
    上記符号化ステップは、上記ビデオオブジェクトプレーンのテキスチャ及び形状を符号化するサブステップを含み、
    上記テキスチャ符号化サブステップは、他のビデオオブジェクトプレーンを時間的に参照することなく符号化され、イントラ符号化又はI−VOPと称するビデオオブジェクトプレーンに対し予測を行わない第1の符号化動作と、過去又は未来のI−VOP又はP−VOPのみを時間基準として使用して符号化され、予測符号化又はP−VOPと称するビデオオブジェクトプレーンに対し単一方向予測を行う第2の符号化動作と、過去及び未来のI−VOP又はP−VOPの両方を時間基準として使用して符号化され、双方向予測符号化又はB−VOPと称するビデオオブジェクトプレーンに対し双方向の予測を行う第3の符号化動作を含み、
    シーンに切れ目が生じ、上記エンハンスメントレイヤのビデオオブジェクトプレーンが、1つのシーンの上記ベースレイヤにおける最後のビデオオブジェクトプレーンと後続のシーンの上記ベースレイヤにおける最初のビデオオブジェクトプレーンとの間に位置するとき、上記エンハンスメントレイヤのビデオオブジェクトプレーンの上記時間基準は、特定の処理規則、即ち、
    (A)上記シーンの切れ目の前に位置するビデオオブジェクトプレーンに対し;(a)符号化の種類は制約されず、(b)上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用することを禁じ、
    (B)上記シーンの切れ目の直後に位置するビデオオブジェクトプレーンに対し;(a)P符号化が実行され、(b)上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用し、
    (C)上記シーンの切れ目の後に位置する他のビデオオブジェクトプレーンに対し:(a)符号化の種類は制約されず、(b)上記ベースレイヤにおいて、表示順序で前のビデオオブジェクトプレーンを時間基準として使用することを禁じる規則に従って選択される符号化方法。
  2. コンピュータ読取り可能な媒体上に格納され、請求項1記載のビデオ符号化方法を実行するコンピュータ実行可能な処理ステップ。
  3. 請求項1記載の符号化方法を実行する、ビデオエンコーダ用のコンピュータプログラム製品であって、
    上記製品は、上記エンコーダ内に搭載されると、請求項1記載の符号化方法のステップを実行する1組の命令を含む製品。
  4. ビデオシーケンスを受信し、上記ビデオシーケンスのビデオフレームに含まれるビデオオブジェクトに対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第1のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、上記ビデオシーケンス及び上記ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、上記ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダであって、
    (1)上記ビデオシーケンスを上記ビデオオブジェクトに分割する手段と、
    (2)連続ビデオオブジェクトプレーンのテキスチャ及び形状を符号化する手段とを含み、
    上記テキスチャ符号化手段は、他のビデオオブジェクトプレーンを時間的に参照することなく符号化され、イントラ符号化又はI−VOPと称するビデオオブジェクトプレーンに対し予測を行わない第1の符号化動作と、過去又は未来のI−VOP又はP−VOPだけを時間基準として使用して符号化され、予測符号化又はP−VOPと称するビデオオブジェクトプレーンに対し単一方向予測を行う第2の符号化動作と、過去及び未来のI−VOP又はP−VOPの両方を時間基準として使用し符号化され、双方向予測符号化又はB−VOPと称するビデオオブジェクトプレーンに対し双方向の予測を行う第3の符号化動作を行い、
    上記エンコーダは、シーンに切れ目が生じ、上記エンハンスメントレイヤのビデオオブジェクトプレーンが、1つのシーンの上記ベースレイヤにおける最後のビデオオブジェクトプレーンと後続のシーンの上記ベースレイヤにおける最初のビデオオブジェクトプレーンとの間に位置するとき、上記エンハンスメントレイヤのビデオオブジェクトプレーンの上記時間基準は、特定の処理規則、即ち、
    (A)上記シーンの切れ目の前に位置するビデオオブジェクトプレーンに対し;(a)符号化の種類は制約されず、(b)上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用することを禁じ、
    (B)上記シーンの切れ目の直後に位置するビデオオブジェクトプレーンに対し;(a)P符号化が実行され、(b)上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用し、
    (C)上記シーンの切れ目の後に位置する他のビデオオブジェクトプレーンに対し:(a)符号化の種類は制約されず、(b)上記ベースレイヤにおいて、表示順序で前のビデオオブジェクトプレーンを時間基準として使用することを禁じる規則に従って選択されることを特徴とするエンコーダ。
JP2002544991A 2000-11-23 2001-11-16 ビデオ符号化方法及び対応するエンコーダ Pending JP2004515132A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP00403281 2000-11-23
EP01402341 2001-09-11
PCT/EP2001/013450 WO2002043399A2 (en) 2000-11-23 2001-11-16 Videocoding method and corresponding encoder

Publications (1)

Publication Number Publication Date
JP2004515132A true JP2004515132A (ja) 2004-05-20

Family

ID=26073613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002544991A Pending JP2004515132A (ja) 2000-11-23 2001-11-16 ビデオ符号化方法及び対応するエンコーダ

Country Status (6)

Country Link
US (1) US6724820B2 (ja)
EP (1) EP1336306A2 (ja)
JP (1) JP2004515132A (ja)
KR (1) KR20030005166A (ja)
CN (1) CN1401189A (ja)
WO (1) WO2002043399A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP3504256B1 (ja) * 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
CN1237814C (zh) * 2003-10-17 2006-01-18 清华大学 一种用剪辑标识码来辅助视频剪辑的方法
US20050100098A1 (en) * 2003-10-23 2005-05-12 Gong-Sheng Lin Highly integrated mpeg-4 video decoding unit
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
CN1981531B (zh) * 2004-05-04 2012-07-04 高通股份有限公司 构建用于时间可分级的双向预测帧的方法和装置
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
US7974341B2 (en) 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
CN104137544B (zh) * 2012-02-29 2017-10-20 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
US9344218B1 (en) * 2013-08-19 2016-05-17 Zoom Video Communications, Inc. Error resilience for interactive real-time multimedia applications

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
WO1998029834A1 (en) * 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
FR2784845B1 (fr) * 1998-10-14 2001-02-23 France Telecom Procede de basculement de la ou des composantes video d'un premier programme audiovisuel sur la ou les composantes video d'un second programme audiovisuel numerique

Also Published As

Publication number Publication date
KR20030005166A (ko) 2003-01-17
WO2002043399A2 (en) 2002-05-30
CN1401189A (zh) 2003-03-05
US20020097800A1 (en) 2002-07-25
WO2002043399A3 (en) 2002-08-22
US6724820B2 (en) 2004-04-20
EP1336306A2 (en) 2003-08-20

Similar Documents

Publication Publication Date Title
JP2004515132A (ja) ビデオ符号化方法及び対応するエンコーダ
US7302002B2 (en) Image encoder, image encoding method, image decoder, image decoding method, and distribution media
Sikora The MPEG-4 video standard verification model
US6707949B2 (en) Generalized scalability for video coder based on video objects
US6993201B1 (en) Generalized scalability for video coder based on video objects
WO1998044743A1 (en) Improved bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP2005260912A (ja) 映像通信装置および映像通信方法
EP1352526B1 (en) Video decoding method and corresponding decoder
US6847683B2 (en) Video coding method and corresponding encoder
US7149250B2 (en) Video encoding method
KR19990069012A (ko) 격행주사를 위한 모양정보 부호화 방법 및 그 장치