JP2006512832A

JP2006512832A - 映像符号化及び復号化方法

Info

Publication number: JP2006512832A
Application number: JP2004563500A
Authority: JP
Inventors: デュフール，セシール; マルカン，グウェナエル; ヴァランテ，ステファーヌ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-30
Filing date: 2003-12-22
Publication date: 2006-04-13
Also published as: US20060165296A1; KR20050089868A; WO2004059983A1; EP1582070A1; AU2003285691A1; CN1732691A

Abstract

本発明は、連続フレーム又はビデオ・オブジェクト・プレーン（VOP）がそれらのテクスチャ及び動作成分によって決められる一つ若しくは幾つかの任意に成形されたビデオ・オブジェクト（VO）並びに付加的な形状成分を含む元の映像系列に適用される映像符号化方法に関する。本発明によれば、前記方法は、ビデオ系列の少数フレームに適用される非オブジェクト指向の符号化ステップ、並びに、前記少数フレームに続く系列の全てのフレームに適用されるオブジェクト指向の符号化ステップ、並びに、前記次フレームに対応するオブジェクト指向の符号化データによって追随される前記少数フレームに対応する非オブジェクト指向の符号化データを含む符号化ビットストリームを発生するために、前記非オブジェクト指向及びオブジェクト指向の符号化ステップが適当なフレームに夫々適用されるように制御するために設けられる順序付けステップ、を有する。本発明はまた、対応する映像復号化方法にも関する。

Description

本発明は一般的に映像圧縮の分野、更に詳しくは、MPEG系の映像圧縮規格、及びITU-H.26X系の映像圧縮方法に関する。更に正確には、連続フレーム又はビデオ・オブジェクト・プレーン（VOP）がそれらのテクスチャ及び動作成分によって決められる一つ若しくは幾つかの任意に成形されたビデオ・オブジェクト（VO）並びに付加的な形状成分を含む元の映像系列に適用される映像符号化方法、並びに対応する復号化方法に関する。

第一の映像規格及び提案において（MPEG-2及びH.263の夫々次第で）、映像は、長方形であると仮定され、三つの個々のチャンネルに関して記述された。一つは輝度に関して、二つはクロミナンスに関して、である（この三つのチャンネルに基づかれた表示体系はまた、網目に基づく（mesh-based）近似のような他の圧縮方式と共に使用される。）。しかし、影響は、符号化され、伝送され、且つ／あるいは保存される必要がある場面が独立した動作、特に時空間の不連続が存在する夫々の時間を有する幾つかの物体から構成される場合に、現れる。その場合、これらの領域は明確に扱われ、精細にされる必要がある。

MPEG-4規格で、付加的なチャンネルが導入される。それはアルファチャンネルであり、またMPEG-４で“任意の形状チャンネル”として引用される。このアルファチャンネルは、関心のある場面に存在する各ビデオ・オブジェクト（VO）の輪郭（若しくは形状）を独立して描写することを可能にし、これらの物体の境界に沿って不連続を回避すると同時に、物体を別々に符号化することを可能にする。しかし、このような技術の欠点は、この形状チャンネルを描写するために必要とされる諸経費の費用に直面させるビットの無駄である。

従って、前記欠点が回避されるような符号化方法を提案することが本発明の目的である。

あくまで、本発明は、明細書本文の導入段落で明確にされるような映像符号化方法に関する。更に、前記映像符号化方法は以下のステップ、即ち
（a）ビデオ系列の少数フレームに適用される非オブジェクト指向の符号化ステップと、
（b）前記少数フレームに続く系列の全てのフレームに適用されるオブジェクト指向の符号化ステップと、
（c）前記次フレームに対応するオブジェクト指向の符号化データによって追随される前記少数フレームに対応する非オブジェクト指向の符号化データを含む符号化ビットストリームを発生するために、前記非オブジェクト指向及びオブジェクト指向の符号化ステップが適当なフレームに夫々適用されるように制御するために設けられた順序付けステップと、を有する。

連続フレームがそれらのテクスチャ及び動作成分によって決められる一つ若しくは幾つかの任意に成形されたビデオ・オブジェクト（VO）並びに付加的な形状成分を含む元の映像系列に対応する符号化されたビットストリームに適用される映像復号化方法を提案することも本発明の目的であり、前記連続フレームは下記のステップ、即ち
（a）ビデオ系列の少数フレームに適用される非オブジェクト指向の符号化ステップと、
（b）前記少数フレームに続く系列の全てのフレームに適用されるオブジェクト指向の符号化ステップと、
（c）前記次フレームに対応するオブジェクト指向の符号化データによって追随される前記少数フレームに対応する非オブジェクト指向の符号化データを含む符号化ビットストリームを発生するために、前記非オブジェクト指向及びオブジェクト指向の符号化ステップが適当なフレームに夫々適用されるように制御するために設けられた順序付けステップと、を有する映像符号化方法によって符号化されている。

前記復号化方法自体は以下のステップ、即ち
（1）前記の元の映像系列の前記少数フレームに対応する前記符号化ビットストリームの前記非オブジェクト指向の符号化データに適用される第一の復号化ステップと、
（2）前記少数フレームに対応する符号化ビットストリームの前記非オブジェクト指向の符号化データに適用され、前記VOの不足の形状成分を再現するように供給される時空間の細分化ステップと、
（3）前記次フレームに対応する前記符号化ビットストリームの前記オブジェクト指向の符号化データに適用される第二の復号化ステップと、
（4）前記復号化及び細分化ステップが夫々適当なフレームに適用されるように制御するために設けられた順序付けステップと、を有する。

多くの文献、例えば文献US6026195はオブジェクト指向の映像符号化方法、及びMPEG-4規格による装置について説明している。前記装置の映像入力はビデオ・オブジェクト（VO）から構成され、ビデオ・オブジェクト・プレーン（VOP）のようなデジタルビデオ画像の系列の形状で体系付けられる。VOPの夫々は三つの成分、即ち形状、動作及びテクスチャによって決められる。符号化装置は、各物体の形状の特有の表示を符号化する形状符号器、各VOのテクスチャの表示を符号化するテクスチャ符号器、及び各VOの動作の表示を符号化する動作符号器を含む。

VOの符号化された形状、テクスチャ及び動作の信号代表値は、その場合、バッファに多重送信されたデータ・ストリームを供給するマルチプレクサに送られる。前記バッファの出力は、その場合、チャンネルを越えて伝送され、あるいは、将来的な使用のため、受け取った符号化信号を分けるデマルチプレクサ及び復号装置によって後で受信されるように、データベースのような記録媒体に保存される。前記復号装置は形状復号器、テクスチャ復号器及び動作復号器を含み、それら復号器の出力は、復元装置、例えば合成器（使用者の家に設置されたパーソナル・コンピュータのような）に送られる。前記復元装置において、受信されたVOPは処理され、改善されたビデオ画像の系列は結果として出力（例えば、表示されたり、あるいはビデオ・ライブラリに保存されたりする出力）となり得る。

このような既知のシステムに関して、本発明の原理は、関連する入力系列上で符号側及び復号側の両方での細分化を実行することによって、符号部分及び復号部分の両方を変更することである。前記原理の実行を考慮して、順序付けモジュールが、下記の動作を強制するために、符号化装置に加えられる。

（a）系列の少数フレーム（又は画像）、及び望ましくは二つの第一のフレームのみに関して、VOPでのVOの形状要素は伝送されない。即ち、オブジェクト指向の符号化形態はこれら二つの第一のフレームのために選択されず、これら二つの画像は、それらが一つの信号、長方形の物体（この形態はここでは“古典的な（classical）”と呼ばれる）、又はウェーブレット分解に基づかれた形態であったように、非オブジェクト指向の符号化形態によって、例えばブロックに基づく形態によって符号化される。

（b）系列の次フレーム（即ち、二つのフレームのみが工程（a）において考えられる場合、第三のフレーム、第四のフレーム）はオブジェクト指向の符号化形態を用いて、しかし、如何なる形状成分も転送せずに、再度符号化される。

復号装置において、順序付けモジュールは下記の工程を実行するために同様に設けられる。

（a）二つの第一のフレームに対応する非オブジェクト指向の符号化データは、第一の復号ステップを用いて“古典的に（classically）”復号される（例えばブロックに基づく形態又はウェーブレット形態によって、上記のように）。

（b）時空間の細分化ステップは、これら二つの第一の画像に基づかれて、実行される。

（c）所謂次画像（即ち、二つの第一のフレームを除く全ての画像）に対応するオブジェクト指向の符号化データは、第二の復号ステップを用いてオブジェクト指向の復号形態に従って復号され、各VOPの形状情報は復号装置で供給される時空間細分化の結果、得られる。

この技術的な解決法を用いて、オブジェクト指向の処理手続きは形状情報を符号化せずに達成され得、結果としてビットの無駄を回避する。

この開示は実例であり、本発明による方法は前述の実施の限りではないことが注意されなければならない。細分化処理は、例えば関心領域（各VOPのVO）の数での情報を画像レベルの符号化ビットストリームで伝送することによってわずかに改善されても良い。このステップでは、復号装置は、符号器側とまさに同じ細分化を得るために細分化ステップを調整することが出来る。

Claims

連続フレーム又はビデオ・オブジェクト・プレーン（VOP）がそれらのテクスチャ及び動作成分によって決められる一つ若しくは幾つかの任意に成形されたビデオ・オブジェクト（VO）並びに付加的な形状成分を含む元の映像系列に適用される映像符号化方法であって、
（a）ビデオ系列の少数フレームに適用される非オブジェクト指向の符号化ステップと、
（b）前記少数フレームに続く系列の全てのフレームに適用されるオブジェクト指向の符号化ステップと、
（c）前記次フレームに対応するオブジェクト指向の符号化データによって追随される前記少数フレームに対応する非オブジェクト指向の符号化データを含む符号化ビットストリームを発生するために、前記非オブジェクト指向及びオブジェクト指向の符号化ステップが適当なフレームに夫々適用されるように制御するために設けられた順序付けステップと、
を有する映像符号化方法。
前記少数フレームは二に等しい、請求項１記載の符号化方法。
前記符号化ビットストリームは元の映像系列の関心領域の数に関する情報も含む、請求項１又は２記載の符号化方法。
前記関心領域に関する情報は画像レベルで与えられる、請求項３記載の符号化方法。
連続フレーム又はビデオ・オブジェクト・プレーン（VOP）が各VOPにおいてそれらのテクスチャ及び動作成分によって決められる一つ若しくは幾つかの任意に成形されたビデオ・オブジェクト（VO）並びに付加的な形状成分を含み、
（a）ビデオ系列の少数フレームに適用される非オブジェクト指向の符号化ステップと、
（b）前記少数フレームに続く系列の全てのフレームに適用されるオブジェクト指向の符号化ステップと、
（c）前記次フレームに対応するオブジェクト指向の符号化データによって追随される前記少数フレームに対応する非オブジェクト指向の符号化データを含む符号化ビットストリームを発生するために、前記非オブジェクト指向及びオブジェクト指向の符号化ステップが適当なフレームに夫々適用されるように制御するために設けられた順序付けステップと、を有する映像符号化方法によって符号化されている元の映像系列に対応する符号化ビットストリームに適用される映像復号化方法であって、
（1）前記の元の映像系列の前記少数フレームに対応する前記符号化ビットストリームの前記非オブジェクト指向の符号化データに適用される第一の復号化ステップと、
（2）前記少数フレームに対応する符号化ビットストリームの前記非オブジェクト指向の符号化データに適用され、前記VOの不足の形状成分を再現するように供給される時空間の細分化ステップと、
（3）前記次フレームに対応する前記符号化ビットストリームの前記オブジェクト指向の符号化データに適用される第二の復号化ステップと、
（4）前記復号化及び細分化ステップが夫々適当なフレームに適用されるように制御するために設けられた順序付けステップと、
を有する映像復号化方法。