JP2004515129A

JP2004515129A - ビデオ符号化方法及びこれに対応する符号器

Info

Publication number: JP2004515129A
Application number: JP2002544986A
Authority: JP
Inventors: ラマンザン，イヴ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-11-23
Filing date: 2001-11-15
Publication date: 2004-05-20
Also published as: CN1397138A; EP1336303A2; CN1254974C; WO2002043394A3; WO2002043394A2; KR20020077891A; US20020071489A1; US6847683B2

Abstract

ベースレイヤー符号手段及びエンハンスメント・レイヤー符号手段を有するビデオ符号器において実装される本発明は、次のステップに従ってビデオシーケンスのビデオ・オブジェクト（ＶＯ）を符合化する方法に関する：前記シーケンスの分割ステップ；及び、前記ＶＯのテクスチャー及び形状の符号化操作ステップ。本発明の好ましい実施形態において、前記テクスチャー符号化操作は、さらに動き補償による予測操作から構成され、ここにおいてＰ又はＢのエンハンスメント・レイヤーＶＯプレーン（ＶＯＰ）にとっての時間的リファレンスは、時間的距離の判断基準だけに基づいて選択され、このリファレンスＶＯＰが属するレイヤーは一切考慮されない。

Description

【０００１】
本発明は一般にビデオ圧縮に関し、より詳細にはビデオシーケンスに適用され、かつビデオ符号器において用いられるビデオ符号化方法に関する。前記のビデオ符号器は、前記のビデオシーケンスを受信し、かつここから前記シーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオ復号器にベースレイヤービットレートで伝送されるのに適する第１ビットストリームから構成されるベースレイヤー信号を生成するベースレイヤー符号手段、及び前記ビデオシーケンス及び復号されたベースレイヤー信号を受信し、かつここから対応するベースレイヤービデオ信号に連携し、前記ビデオ復号器にエンハンスメント・レイヤービットレートで伝送されるのに適するエンハンスメント・レイヤー信号を生成するエンハンスメント・レイヤー符号手段から構成される。より正確には本発明は、前記シーケンスのＶＯの符号化を可能にする方法であって、以下のステップから構成される方法に関する。
（Ａ）　前記ビデオシーケンスを前記ＶＯに分割するステップ；及び、
（Ｂ）　各ＶＯにおける連続するビデオ・オブジェクトプレーン（ＶＯＰ）を符号化するステップであり、前記符号ステップは前記ＶＯＰのテクスチャーと形状を符号化するサブステップから構成され、さらに前記テクスチャー符号化サブステップは、予測を含まない操作であり、別のＶＯＰを時間的リファレンス（ｔｅｍｐｏｒａｌｒｅｆｅｒｅｎｃｅ）として使用しないフレーム内符号化ＶＯＰ（Ｉ−ＶＯＰ）のための第１符号化操作、順方向予測を含む操作であり、過去のＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間順方向予測符号化ＶＯＰ（Ｐ−ＶＯＰ）のための第２符号操作、及び双方向予測を含む操作であり、過去及び未来の両方におけるＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間双方向予測符号化ＶＯＰ（Ｂ−ＶＯＰ）のための第３符号操作から構成されることを特徴とするステップ。
【０００２】
また本発明は、コンピュータ読み取り可能メディアに記憶され、前記の符号化方法を実行するために備えられるコンピュータ実行可能プロセスステップと、これに対応するコンピュータプログラム製、及び前記の方法を実行するビデオ符号器に関する。
時間的スケーラビリティとは現在いくつかのビデオ符号方法において備えられている特性である。これは例えば数多く存在するＭＰＥＧ−４ビデオ標準のオプションのうちの１つでもある。ここではベースレイヤーがある任意のフレームレートで符号化され、さらにエンハンスメント・レイヤーと呼ばれる付加的なレイヤーが符号化される。これによってより高いフレームレートでビデオ信号を形成するに当たって不足するフレームを提供し、そしてディスプレイ側でより高い時間的解像度を提供することができる。復号側では通常はベースレイヤーのみが復号されるが、復号器はエンハンスメント・レイヤーを復号することもでき、これによって毎秒出力されるフレームの数を増やすことが可能になる。
【０００３】
ＭＰＥＧ−４にはいくつかの構造があり、例えばユーザーがアクセスし、操作することができるビデオオブジェクト（ＶＯ）や、ある時点におけるビデオオブジェクトを表すビデオ・オブジェクトプレーン（ＶＯＰ）などがある。符号化されたビットストリームのなかには、次に列挙されるようなさまざまなＶＯＰが含まれる：空間的冗長性だけを用いるフレーム内符号化ＶＯＰ；過去におけるリファレンスＶＯＰからの動き予測及び動き補償を用いるフレーム間順方向予測符号化ＶＯＰ；過去及び未来におけるリファレンスＶＯＰからの動き予測及び動き補償を用いるフレーム間双方向予測符号化ＶＯＰ。ＭＰＥＧ−４標準は予測符号化方法であるため、フレーム内で符号化されていないＶＯＰのそれぞれについては何らかの時間的リファレンスが定義されなければならない。単一レイヤーの場合又はスケーリング可能なストリームのベースレイヤーにおいて、時間的リファレンスはこの標準によって固有に定義される。図１はベースレイヤー及びエンハンスメント・レイヤーがそれぞれ（ＢＬ）及び（ＥＬ）と表記されるところにおいて、上記の場合におけるＰ−ＶＯＰ及びＢ−ＶＯＰのリファレンスを示す（各矢印は時間的リファレンスの候補に対応する）。これに対してＭＰＥＧ−４ストリームのエンハンスメント・レイヤーにおいては、３種類のＶＯＰが動き予測における時間的リファレンスとして用いられることが可能である。すなわちこれは直前に復号されたエンハンスメント・レイヤーのＶＯＰ、表示順序において現時点より前にあるベースレイヤーのＶＯＰ、あるいは表示順序において現時点より先にあるベースレイヤーのＶＯＰであってよい。図１は、時間的エンハンスメント・レイヤーのＰ−ＶＯＰ及びＢ−ＶＯＰにおけるこれら３つの選択の候補をも示す。なお、エンハンスメント・レイヤーの各Ｐ−ＶＯＰには１つのリファレンスが選択され、同一レイヤーの各Ｂ−ＶＯＰには２つのリファレンスが選択されなければならない。
本発明の課題は、より正確な予測を可能にするビデオ符号化方法を提案することである。
【０００４】
上記課題を解決するために本発明は本明細書の序文において定義される符号化方法に関し、さらにこの方法においては時間的リファレンスとして用いられるＶＯＰがどのレイヤーに属するかは一切考慮されず、エンハンスメント・レイヤーＰ−ＶＯＰの時間的リファレンスとしては単純に時間的に最も近似する１つの候補が選択され、エンハンスメント・レイヤーＢ−ＶＯＰの時間的リファレンスとしては時間的に最も近似する２つの候補が選択される。
以下においては添付の図面を参照しながら本発明の実施形態をより詳細に説明する。
【０００５】
ＭＰＥＧ−４などの予測符号化方法においては、３種類の符号化操作が実施されることが可能である。すなわちこれらは、予測を含まない操作であり、別のＶＯＰを時間的リファレンスとして使用しないフレーム内符号化ＶＯＰ（Ｉ−ＶＯＰ）のための第１符号化操作、順方向予測を含む操作であり、過去のＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間順方向予測符号化ＶＯＰ（Ｐ−ＶＯＰ）のための第２符号操作、及び双方向予測を含む操作であり、過去及び未来の両方におけるＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間双方向予測符号化ＶＯＰ（Ｂ−ＶＯＰ）のための第３符号操作を含む。上述のように符号化プロセスにおいては、エンハンスメント・レイヤーの各Ｐ−ＶＯＰに（３つの候補の中から）１つのリファレンスが選択され、かつ前記レイヤーの各Ｂ−ＶＯＰに２つのリファレンスが選択される必要がある。本発明の実施形態に従うと、これらのエンハンスメント・レイヤーＶＯＰの時間的リファレンスは、時間的距離の判断基準だけに基づいて選択され、これらのリファレンスとして使用されるＶＯＰが属するレイヤーなどは一切考慮されない。したがって時間的リファレンスの選択は以下のルールに従って実施される。
（ａ）Ｐ−ＶＯＰにおけるリファレンスには、時間的に最も近似する候補を選択する。
（ｂ）Ｂ−ＶＯＰにおけるリファレンスには、２つの時間的に最も近似する候補を選択する。
【０００６】
本発明はさらに上述の選択ステップを含む本発明の符号化方法を実施することが可能なビデオ符号器に関する。このようなビデオ符号器は、元のビデオ信号を受信し、これを、ベースレイヤー・ビットストリームを生成するベースレイヤー符号ユニット及びエンハンスメント・レイヤー・ビットストリームを生成するエンハンスメント・レイヤー符号ユニットに伝送する。このベースレイヤー符号ユニットは、主要処理ブランチを含み、さらにこの主要処理ブランチは、動き予測回路（この予測は選択された時間的リファレンスに基づく）、離散コサイン変換（ＤＣＴ）回路、量子化回路、エントロピー符号回路、及び逆量子化回路、逆離散コサイン変換（ＩＤＣＴ）回路、並びにフレームメモリから構成されるフィードバック・ブランチ、から構成される。エンハンスメント・レイヤー符号ユニットも上記と同様な構成においてエンハンスメント・レイヤー・ビットストリームを生成する。
【０００７】
なお、上述のようなビデオ符号器は、ハードウェア、ソフトウェアあるいはこれらの組み合わせにおいて実装されることが可能であることが理解されるべきである。そしてこれはあらゆるコンピュータシステムあるいは上述の方法を実施するように調整されたその他の装置によって実行されることが可能である。典型的なハードウェアとソフトウェアとの組み合わせの例としては、ロードされかつ実行されたときに上述の方法を実施するようにコンピュータシステムを制御するコンピュータプログラムを有する汎用コンピュータシステムなどがある。あるいはまた別の実施例においては本発明の１つ以上の機能的タスクを実行する特定のハードウェアを有する専用コンピュータが用いられることも可能である。さらに本発明は、上述の方法を実行するための特性をすべて含み、コンピュータシステムにロードされたときにこの方法を実行することが可能なコンピュータプログラムメディアあるいはコンピュータプログラム製品に内蔵されることが可能である。本発明はまたこのようなコンピュータ読み取り可能メディア／プログラムに記憶され、上述のビデオ符号化方法を実施することができるコンピュータ実行可能プロセスステップに関する。本明細書中に使用される、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品、ソフトウェア、などといった用語は、あらゆる言語、符号あるいは記号による１組の命令に関するあらゆる表現を含み、さらに前記１組の命令は情報処理能力を有するシステムに直接的、あるいは以下のいずれか又は両方の操作を通して、特定の機能を実行させる：（ａ）別の言語、符号あるいは記号への変換；及び／又は、（ｂ）異なる素材形式による複製。
【図面の簡単な説明】
【図１】
スケーリング可能なＭＰＥＧ−４ビデオストリームの場合における時間的リファレンスの候補を示す図である。

Claims

ビデオ符号器において用いられるビデオ符号化方法であって、ビデオシーケンスを受信し、かつ前記シーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオ復号器にベースレイヤービットレートで伝送されるのに適する第１ビットストリームから構成されるベースレイヤー信号を前記ビデオシーケンスから生成するためのベースレイヤー符号手段、及び前記ビデオシーケンスと復号されたベースレイヤー信号とを受信し、かつ対応するベースレイヤービデオ信号に連携し、前記ビデオ復号器にエンハンスメント・レイヤービットレートで伝送されるのに適するエンハンスメント・レイヤー信号を生成するエンハンスメント・レイヤー符号手段から構成される前記シーケンスのＶＯを符号化するための方法であって、さらに：
（Ａ）　前記ビデオシーケンスを前記ＶＯに分割するステップ；及び、
（Ｂ）　各ＶＯにおいて連続するビデオ・オブジェクトプレーン（ＶＯＰ）を符号化するステップであり、前記符号ステップは前記ＶＯＰのテクスチャーと形状を符号化するサブステップから構成され、さらに前記テクスチャー符号化サブステップは、予測を含まない操作であり、別のＶＯＰを時間的リファレンスとして使用しないフレーム内符号化ＶＯＰ（Ｉ−ＶＯＰ）のための第１符号化操作、順方向予測を含む操作であり、過去のＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間順方向予測符号化ＶＯＰ（Ｐ−ＶＯＰ）のための第２符号操作、及び双方向予測を含む操作であり、過去及び未来の両方におけるＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間双方向予測符号化ＶＯＰ（Ｂ−ＶＯＰ）のための第３符号操作から構成されることを特徴とするステップ；から構成され、さらに：
前記方法においては前記ＶＯＰの時間的リファレンスの候補がどのレイヤーに属するかは一切考慮されずに、前記エンハンスメント・レイヤーＰ−ＶＯＰの時間的リファレンスには、単純に時間的に最も近似する候補が選択され、前記エンハンスメント・レイヤーＢ−ＶＯＰの時間的リファレンスには、時間的に最も近似する２つの候補が選択されることを特徴とする方法。
コンピュータ読み取り可能メディアに記憶され、請求項１に記載される符号化方法を実行するために備えられるコンピュータ実行可能プロセスステップ。
ビデオ符号器において請求項１に記載される符号化方法を実行するために用いられるコンピュータプログラムであって、前記符号器にロードされたとき前記符号器に前記方法のステップを実行するよう促す１組の命令から構成されることを特徴とするコンピュータプログラム。
ビデオ符号器であって、ビデオシーケンスを受信し、かつ前記シーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオ復号器にベースレイヤービットレートで伝送されるのに適する第１ビットストリームから構成されるベースレイヤー信号を前記ビデオシーケンスから生成するためのベースレイヤー符号手段、及び前記ビデオシーケンスと復号されたベースレイヤー信号とを受信し、かつ対応するベースレイヤービデオ信号に連携し、前記ビデオ復号器にエンハンスメント・レイヤービットレートで伝送されるのに適するエンハンスメント・レイヤー信号を生成するエンハンスメント・レイヤー符号手段から構成されるビデオ符号器であって、さらに：
（Ａ）　前記ビデオシーケンスを前記ＶＯに分割するステップ；及び、
（Ｂ）　各ＶＯにおいて連続するビデオ・オブジェクトプレーン（ＶＯＰ）を符号化するステップであり、前記符号ステップは前記ＶＯＰのテクスチャーと形状を符号化するサブステップから構成され、さらに前記テクスチャー符号化サブステップは、予測を含まない操作であり、別のＶＯＰを時間的リファレンスとして使用しないフレーム内符号化ＶＯＰ（Ｉ−ＶＯＰ）のための第１符号化操作、順方向予測を含む操作であり、過去のＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間順方向予測符号化ＶＯＰ（Ｐ−ＶＯＰ）のための第２符号操作、及び双方向予測を含む操作であり、過去及び未来の両方におけるＩ−又はＰ−ＶＯＰを時間的リファレンスとして使用するフレーム間双方向予測符号化ＶＯＰ（Ｂ−ＶＯＰ）のための第３符号操作から構成されることを特徴とするステップ；から構成され、さらに：
前記ＶＯＰの時間的リファレンスの候補がどのレイヤーに属するかは一切考慮されず、前記エンハンスメント・レイヤーＰ−ＶＯＰの時間的リファレンスには、時間的に最も近似する候補が選択され、前記エンハンスメント・レイヤーＢ−ＶＯＰの時間的リファレンスには、単純に時間的に最も近似する２つの候補が選択されることを特徴とするビデオ符号器。