JP2008543209A

JP2008543209A - ハイブリッド基準テクスチャを有するビデオデコーダ

Info

Publication number: JP2008543209A
Application number: JP2008514286A
Authority: JP
Inventors: ステファーヌ、バレンテ
Original assignee: NXP BV
Current assignee: NXP BV
Priority date: 2005-06-03
Filing date: 2006-05-31
Publication date: 2008-11-27
Also published as: US8520738B2; CN101189880A; WO2006129280A3; EP1894415A2; WO2006129280A2; CN101189880B; US20080212684A1

Abstract

本発明は、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像（Ｐ）に対応するビットストリーム（ＢＳ）を復号するためビデオデコーダ（ＤＥＣ）に関する。デコーダは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニット（ＤＥＵ）と、フレームベースおよびフィールドベースの態様で前記基準画像を表現する特性を有するハイブリッド基準テクスチャ（ＨＲＴ）を、各基準画像向けに構築するためのハイブリッド基準構築ユニット（ＨＲＣＵ）とを含む。前記ハイブリッド基準テクスチャは、前記復号ユニットによって、インターレースマクロブロックを復号するために使用される。

Description

本発明は、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像に対応するビットストリームを復号するためのビデオデコーダに関する。特に、本発明は、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットを含むデコーダに関する。

“情報技術―オーディオビジュアルオブジェクトのコード化―パート２：ビジュアル、補正１：ビジュアル拡張（Information Technology-Coding of audio-visual objects-Part2: Visual, Amendment 1: Visual extensions）”、ＩＳＯ／ＩＥＣ１４４９６−２：１９９９／Ａｍｄ．１：２０００，ＩＳＯ／ＩＥＣＪＴＶ１／ＳＣ２９／ＷＧ１１Ｎ３０５６に示されるように、ＭＰＥＧ−４規格は、様々なエンコーダおよびデコーダ間での相互運用性を可能にする、ビデオビットストリームの構文法を定義している。規格は、多くのビデオツールを述べているが、これらの全てを実施することは、ほとんどの応用において、複雑すぎるものとなり得る。利用可能なツールの選択およびエンコーダ／デコーダの複雑さにおいて、より高い柔軟性を提示するために、規格は、さらにプロファイルを定義しており、プロファイルは、特定のツールに限定された構文のサブセットである。

例えば、シンプルプロファイル（ＳＰ：Simple Profile）は、全ビットストリーム構文のサブセットであり、ＭＰＥＧ技術において、ＩおよびＰ−ＶＯＰと、ＡＣ／ＤＣ予測と、マクロブロックごとに１または４つの動きベクトルと、無制限の動きベクトルと、プログレッシブ画像用の半画素動き補償と、を含む。アドバンスドシンプルプロファイル（ＡＳＰ：Advanced Simple Profile）は、ＳＰ構文のスーパーセットであり、ＳＰコード化ツールを含み、Ｂ−ＶＯＰと、グローバル動き補償と、インターレース画像と、半画素動き補償で使用されるものとは補間フィルタが異なる１／４画素動き補償と、インターレース画像の処理に専用の他のツールと、を加える。

米国再発行特許第３８，５６４号の文献は、ビデオオブジェクトプレーン（ＶＯＰ：Video Object Plane）などの、インターレースデジタルビデオ向けの動き推定および補償技術を開示している。現在フィールドのコード化マクロブロックの差分符号化に使用するための、予測値動きベクトルは、周囲のブロックまたはマクロブロックの動きベクトルの中線を用いて得られる。周囲のマクロブロックが、それ自体インターレースである場合、このマクロブロック用の平均の動きベクトルが使用される。この文献は、また、ＡＳＰで定義されているような、フィールドコード化マクロブロックの直接復号を可能にする機能が備えられたデコーダを開示している。

それでもなお、インターレース化は、２つの低レベルプロセス、動き補償および逆直接コサイン変換（以下、ＤＣＴ）を変更する。ＣＰＵリソースまたはパワーリソースが限られているいくつかの装置では、ハードウェア加速された機能を使用して、復号動作のいくつかを継続することが、たとえハードウェア加速された装置が準拠した態様での復号動作を行なうことが可能でないとしても、有利な場合がある。これは、結果として復号誤りを発生し、復号誤りは、インターレース画像におけるインターレースマクロブロックの場合、特に不利である。

よって、本発明の目的は、プログレッシブ画像およびマクロブロックを復号するための復号ユニットを使用し、インターレース画像の復号に関る不利な誤りを回避する、ビデオデコーダを提供することである。

このために、フレームベースおよびフィールドベースの態様で前記基準テクスチャを表現する特性を有するハイブリッド基準テクスチャを、各基準画像向けに構築するためのハイブリッド基準構築ユニットを含み、前記ハイブリッド基準テクスチャは、前記復号ユニットによって、インターレースマクロブロックを復号するために使用される、ビデオデコーダが提供される。

よって、プログレッシブ画像を処理可能な復号ユニットに頼り、ＭＰＥＧ−４のケースでは、ＭＰＥＧ−４ＳＰ加速機能に頼る、擬似ＡＳＰデコーダが提供される。

実施形態において、前記ハイブリッド基準テクスチャは、ビットストリームに見出されるような、フレーム構造での基準テクスチャと、２つのフィールドを逆インターレース化および抽出することによって得られる、フィールド構造での基準テクスチャと、を含む。

有利なことに、前記ハイブリッドテクスチャは、メモリに格納される。

有利な実施において、前記ハイブリッド基準テクスチャは、反復画素パディングによって拡張され、フィールド構造での基準テクスチャの２つのフィールドは、互いに独立して拡張されている。

実施形態において、前記ハイブリッド基準構築ユニットは、対応するビデオオブジェクトレイヤヘッダにおいて、フラグが、このビデオオブジェクトレイヤ内のコード化画像がインターレースであることを示す値に設定されている場合、画像ベースで活動化される。

本発明は、また、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像に対応するビットストリームを復号するための方法に関し、前記方法は、プログレッシブでコード化されたマクロブロックを復号するための復号ステップを含む。前記方法は、フレームベースおよびフィールドベースの態様で前記基準テクスチャを表現する特性を有するハイブリッド基準テクスチャＨＲＴを、各基準画像向けに構築するためのハイブリッド基準構築ステップを含む、ことを特徴とする。

本発明は、また、コンピュータプログラム製品に関し、コンピュータプログラム製品は、前記プログラムがプロセッサによって実行された際に、上述の復号方法を実施するためのプログラム命令を備える。

本発明は、上述のビデオエンコーダが有利に実施される携帯電話において、ＭＰＥＧ−４およびＤｉｖＸストリームなどのビデオ規格の再生に適用を見出す。

発明を実施するための形態

本発明の追加の目的、特徴および利点は、以下の詳細な説明を読むことにより、また添付の図面を参照して、明らかとなるであろう。

以下の説明では、当業者に周知の機能または構成は、不用な詳細において本発明を曖昧にするため、詳細には述べないものとする。

コード化においてインターレース画像が用いられる場合、逆ＤＣＴは、テクスチャ情報と共に各マクロブロック向けのビットストリーム内に含まれるｄｃｔ＿ｔｙｐｅと呼ばれる構文要素で規定されるように、フレームＤＣＴまたはフィールドＤＣＴのいずれかとすることができる。特定のマクロブロックに対して、ｄｃｔ＿ｔｙｐｅフラグが０に設定されると、マクロブロックは、フレームコード化され、輝度データのＤＣＴ係数が、２フィールドからのラインで交互に構成される８×８ブロックを符号化する。このモードは、図１に示されている。２つのフィールドＴＦおよびＢＦが、それぞれ、斜線部分と空白部分とで表されている。図１は、フレームＤＣＴコード化後のインターレースマクロブロックＭＢの８×８ブロックＢ１，Ｂ２，Ｂ３，Ｂ４のフレーム構造を示している。

特定のマクロブロックに対して、ｄｃｔ＿ｔｙｐｅフラグが１に設定されると、マクロブロックは、フィールドコード化され、８×８ブロックが１フィールドのみからのデータで構成されるように、輝度データのＤＣＴ係数が形成される。このモードは、図２に示されている。図２は、フィールドＤＣＴコード化後のインターレースマクロブロックＭＢの８×８ブロックＢ１’，Ｂ２’，Ｂ３’，Ｂ４’のフレーム構造を示している。典型的な逆ＤＣＴでは、輝度ブロックＢ１’Ｂ２’，Ｂ３’およびＢ４’は、次いで、フレームマクロブロックへと逆に置換し戻す必要がある。ここで、一般に、特定のマクロブロックに対してフィールドＤＣＴが選択されたとしても、クロミナンステクスチャは、なおもフレームＤＣＴによってコード化されることが想起される。

動き補償は、また、各マクロブロックに対して、フレームベースまたはフィールドベースのいずれかとすることができる。この特徴は、ＰおよびＳ−ＶＯＰでのマクロブロックにおいて、非グローバル動き補償（ＧＭＣ：global motion compensation）マクロブロックに対して、ｆｉｅｌｄ＿ｐｒｅｄｉｃｔｉｏｎと呼ばれる構文要素によって規定されている。事実上、グローバル動き補償は、インターレース画像においては常にフレームベースであることに留意すべきである。

ｆｉｅｌｄ＿ｐｒｅｄｉｃｔｉｏｎフラグが０に設定された場合、ノンインターレースの場合と同様に、非ＧＭＣ動き補償が行われる。これは、１−ＭＶモードでの１６×１６ブロックに適用される単一の動きベクトル、または４−ＭＶモードでの８×８ブロックに適用される４つの動きベクトルのいずれかで行うことができる。クロミナンス動きベクトルは、常に、輝度動きベクトルから推測される。ｆｉｅｌｄ＿ｐｒｅｄｉｃｔｉｏｎフラグが１に設定された場合、各フィールドに１つずつ、各フィールドの１６×８ブロックに適用される、２つの動きベクトルによって、非ＧＭＣブロックが予測される。フィールドＤＣＴのケースでのように、予測されたブロックは、動き補償の後に、フレームマクロブロックに置換し戻す必要がある。

さらに、フィールドベース予測は、４：２：０インターレースカラーフォーマットにおける１つのフィールドにのみ対応する、２つのうち１つのクロマラインの置換によって、結果としてクロミナンスブロックに対して８×４の予測を生じ得る。

符号化の間、非ＧＭＣマクロブロックでは、フレームおよびフィールドＤＣＴならびにフレームおよびフィールド動き予測を、互いに独立して適用することができる。表１は、ＧＭＣマクロブロックを除いたＡＳＰストリームのＩ−、Ｐ−およびＳ−ＶＯＰ（スプライト（Sprite）ＶＯＰ）において生じ得る、異なる組合せをまとめている。

図３は、ビットストリームＢＳを、ビデオ信号の画像Ｐに復号するためのビデオデコーダＤＥＣを概略的に表している。ビットストリームは、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い。デコーダＤＥＣは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットＤＥＵを含んでいる。これは、ＭＰＥＧ−４シンプルプロファイル（Simple Profile）復号機能向けのケースであり、この機能は、フレームベース８×８逆ＤＣＴのみを再構築し、輝度チャンネルに対して１６×１６または８×８フレームベースブロックを、クロミナンスのチャンネルに対して８×８ブロックを、動き補償することができる。従って、前記復号ユニットＤＥＵは、表１のマクロブロックタイプ１，３および５のフレームベース構造での復号のみを、直接扱うことができる。

マクロブロックタイプ２，４および８（表１）では、いくつかのフィールドベースＤＣＴを、再構築画像に適用する必要がある。この種の逆ＤＣＴは、フレームベース構造でのＭＰＥＧ−４シンプルプロファイル復号によって復号される場合、結果として、図１ｂの右側と同様に、単一のフィールドに属する８×８画素の復号されたブロックを生じる。上端の８×８ブロックは、上端のフィールドに対応し、下端の８×８ブロックは、下端のフィールドに対応する。

タイプ２のマクロブロックは、このように復号ユニットＤＥＵによって復号することができ、次いで、再インターレース化ユニットＲＩＵによって再インターレース化して、図２の左側に示されるように、復号されたマクロブロックの最終的なインターレース構造を得ることができる。この技術は、タイプ４および８のマクロブロックに対して、直接適用することはできない。実際には、８×８フィールドベースＤＣＴ画素を、同じ“１フィールドのみ”の構造（図２の右側に示されるような）を有する８×８ブロックの動き予測に加える必要があるが、前記復号ユニットＤＥＵは、このような“１フィールドのみ”の動き予測を形成することはできず、それは、復号ユニットＤＥＵは、基準テクスチャからの８×８ブロックの画素のみを、フレームベースの態様で置き換えることができるためである。

よって、タイプ４および８のマクロブロックを復号するために、デコーダＤＥＣは、各基準テクスチャＲＴからハイブリッド基準テクスチャＨＲＴを計算するためのハイブリッド基準構築ユニットＨＲＣＵを含む。このようなハイブリッド基準テクスチャＨＲＴが、図４に表されており、ハイブリッド基準テクスチャＨＲＴは、図４の左側に表されるようなインターレースフィールドによるフレームベースの態様のＦＲ−ＨＲＴと、フィールドベースの態様のＦＩ−ＨＲＴとの両方で基準テクスチャを表現する特性を有し、各フィールドＴＦおよびＢＦは、図４の右側に表されるように、他方から独立してアクセス可能である。フレーム構造での基準テクスチャＦＲ−ＨＲＴと、フィールド構造での基準テクスチャＦＩ−ＨＲＴとで構成される前記ハイブリッド基準テクスチャＨＲＴは、メモリＭＥＭに格納され、前記復号ユニットＤＥＵによってアドレス可能である。

従って、前記復号ユニットＤＥＵは、８×８ブロックの画素を、なおもフレームベースの態様で置き換えることによって、両方のフィールドＴＦおよびＢＦから、または１つのフィールドのみから来る画素で、動き予測を形成することができる。実際には、前記ハイブリッド基準構築ユニットＨＲＣＵは、基準テクスチャの輝度成分を、フレームベースの態様のＦＲ−ＨＲＴで逆インターレース化して、その２つの個別のフィールドＴＦおよびＢＦを抽出する。ひとたび分割されると、２つのフィールドＴＦおよびＢＦは、基準テクスチャメモリＭＥＭ内に、元のフレーム表現ＦＲ−ＨＲＴの次に配置され、フィールド構造での前記基準テクスチャＦＩ−ＨＲＴを形成する。

本発明は、タイプ４および８のマクロブロックを処理することを可能にする。事実上、このハイブリッド基準テクスチャＨＲＴを使用して、マクロブロックの輝度予測を、以下で説明されるように、フレームまたはフィールドモードのいずれかで再構築することが可能となる。

ｆｉｅｌｄ＿ｐｒｅｄｉｃｔｉｏｎフラグの値を考慮し、動きベクトルは、前記復号ユニットＤＥＵによって、前記基準テクスチャＨＲＴの左または右側をポイントしているとみなされる。

基準テクスチャＦＲ−ＨＲＴの左側をポイントする８×８動きベクトルを通すことで、復号ユニットＤＥＵは、２つのフィールドＴＦおよびＢＦを備える８×８動き予測を形成する。このモードは、例えば、タイプ３および５のマクロブロックに適しており、ここで、復号ユニットＤＥＵは、８×８フレームベース逆ＤＣＴを直接加えて、画像を再構築することもできる。基準テクスチャＦＩ−ＨＲＴの右側をポイントする８×８動きベクトルを通すことによって、復号ユニットＤＥＵは、１つのフィールドのみから、８×８動き予測を形成する。この最後のモードは、タイプ４および８のマクロブロックに適している。

事実上、タイプ４のマクロブロックに対して、各１６×１６フレームベース復号動きベクトルが、フィールド構造での基準テクスチャＦＩ−ＨＲＴをポイントする４つの８×８動きベクトルに変換される。動き予測は、よって、奇数のフィールドに対する予測を含む２つの８×８ブロックと、偶数フィールドに対する２つの他の８×８ブロックとから成る。タイプ４のマクロブロックに対するＤＣＴ係数は、１フィールドのみから来る画素も符号化するので、復号ユニットＤＥＵは、フィールドベース画素の８×８逆ＤＣＴを、１つの奇数または偶数のフィールドのみからの関連する画素を含む８×８動き予測に、どのようなフィールド構造不一致もなしに、直接加えることができる。

同様に、タイプ８のマクロブロックに対して、ビットストリームから復号された上端および下端のフィールドベース動きベクトルは、フィールド表現ＦＩ−ＨＲＴをポイントするように変換される。輝度チャンネルに対する“１フィールドのみ”の動き予測は、“１フィールドのみ”の８×８逆ＤＣＴに直接加えることもできる。両方のケースで、復号されたマクロブロックを、前記復号ユニットＤＥＵに接続された再インターレース化ユニットＲＩＵで再インターレース化した後、正しいフレームベースの再構築が得られる。

タイプ７のマクロブロックに対して、同じハイブリッド基準テクスチャＨＲＴを、復号ユニットＤＥＵにより使用して、しかし今度は、両方のフィールドに対して残存画素を同時に符号化するフレームベース逆ＤＣＴは直接加えずに、動き予測を形成することもできる。事実上、動き予測は、前記復号ユニットＤＥＵ内で残存ＤＣＴテクスチャを加える前に、再インターレースユニットＲＩＵによって、フレームベースの構造に再インターレースされる必要がある。

好適な実施形態において、図５に示されるように、ハイブリッド基準テクスチャＨＲＴの各領域が、反復画素パディングＰＡＤによって拡張される。よって、フレームベースの基準テクスチャＦＲ−ＨＲＴは、各方向に１６画素拡張され、パディングＰＡＤを構成する。フィールドベース基準テクスチャは、図５に示されるように、フィールドベースのハイブリッド基準テクスチャＦＩ−ＨＲＴの各フィールドＴＦおよびＢＦに対して独立して、各方向に８画素拡張される。２つの反復画素パディングＴＰＡＤおよびＢＰＡＤが、２つのフィールドＴＦおよびＢＦのそれぞれに対して、それぞれ得られる。

パディングプロセスは、次の通りである。領域の境界にある各サンプルが、左および右方向に水平に複製され、フィールドベースまたはフレームベースの表現の周りの拡張領域を埋める。次いで、拡張領域内の残りの埋められていない画素が、類似のプロセスによって、しかし垂直方向にパディングされる。この拡張領域でのパディングは、“無制限の動き補償”のＭＰＥＧ−４ツールをサポートするように設計されており、このツールは、動きベクトルが、基準テクスチャＨＲＴ領域の外をポイントすることを可能にする。この場合、動き予測は、最も近い境界から複製された画素を使用する。復号ユニットＤＥＵを通された動きベクトルが、各フレームベースまたはフィールドベース領域の拡張領域を越えてポイントしないように、動きベクトルを切り取ることにより、正しい動き予測が達成される。

本発明は、携帯電話のような携帯装置でのビデオ信号の処理に、特に関連がある。ＭＰＥＧ−４またはＤｉｖＸストリームを、よって、ＳＰ復号ユニットを再使用することによって処理し、ＡＳＰストリームを復号することができる。

本発明は、上述の実施形態に限定されず、添付の特許請求の範囲で定義されるように、本発明の要旨および範囲から逸脱せずに、変形および修正が可能であることを理解すべきである。これに関して、以下に結びの注釈が示される。

ハードウェアまたはソフトウェアの単一のアイテムが、いくつかの機能を実行できるという条件で、ハードウェアまたはソフトウェアあるいはその両方のアイテムによって、本発明に係る方法の機能を実施する数多くの方法がある。ハードウェアまたはソフトウェアあるいはその両方のアイテムの組立品が、機能を実行し、これにより、本発明に係るドリフト周波数の処理の方法を修正することなしに、単一の機能を形成することは、除外されない。

前記ハードウェアまたはソフトウェアアイテムは、有線の電子回路を用いるか、またはそれぞれ適切にプログラムされた集積回路を用いるなど、いくつかの態様で実施することができる。

以下の特許請求の範囲におけるどの参照符号も、請求項を限定するものと解釈されるべきではない。動詞“含む”およびその活用形の使用は、いずれかの請求項で定義されるもの以外のどのような他のステップまたは要素の存在も除外しないことが明らかである。要素またはステップに先行する冠詞“ａ”または“ａｎ”は、複数のこのような要素またはステップの存在を除外しない。

図１は、フレームＤＣＴコード化におけるマクロブロック構造を示している。図２は、フィールドＤＣＴコード化におけるマクロブロック構造を示している。図３は、本発明に係るビデオデコーダを表している。図４は、本発明に係るハイブリッド基準テクスチャの再構築を示している。図５は、ハイブリッド基準テクスチャの構築のための有利な実施の例を示している。

Claims

コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像に対応するビットストリームを復号するためのビデオデコーダであって、前記デコーダは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットを含み、
前記ビデオデコーダは、フレームベースおよびフィールドベースの態様で前記基準画像を表現する特性を有するハイブリッド基準テクスチャを、各基準画像向けに構築するためのハイブリッド基準構築ユニットを含み、前記ハイブリッド基準テクスチャは、前記復号ユニットによって、インターレースマクロブロックを復号するために使用される、ことを特徴とするビデオデコーダ。
ビデオデコーダであって、前記ハイブリッド基準テクスチャは、ビットストリームに見出されるような、フレーム構造での基準テクスチャと、基準画像内の２つのフィールドを逆インターレース化および抽出することによって得られる、フィールド構造での基準テクスチャと、を含むことを特徴とするビデオデコーダ。
前記ハイブリッド基準テクスチャは、メモリに格納されることを特徴とするビデオデコーダ。
前記ハイブリッド基準テクスチャは、反復画素パディングによって拡張され、フィールド構造での基準テクスチャの２つのフィールドは、互いに独立して拡張されている、ことを特徴とする請求項２に記載のビデオデコーダ。
前記ハイブリッド基準構築ユニットは、前記ビットストリームから復号または推測されたフラグが、どのコード化画像がインターレースであるかを示す値に設定されている場合、画像ベースで活動化される、ことを特徴とする請求項１乃至請求項４のいずれかに記載のビデオデコーダ。
コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像内のビットストリームを復号する方法であって、前記方法は、プログレッシブでコード化されたマクロブロックを復号するための復号ステップを含み、
前記方法は、フレームベースおよびフィールドベースの態様で前記基準画像を表現する特性を有するハイブリッド基準テクスチャを、各基準画像向けに構築するためのハイブリッド基準構築ステップを含み、前記ハイブリッド基準テクスチャは、前記復号ステップにおいて、インターレースマクロブロックを復号するために使用される、ことを特徴とする方法。
コンピュータプログラム製品であって、前記プログラムがプロセッサによって実行された際に、請求項６に記載の復号方法を実施するためのプログラム命令を備える、ことを特徴とするコンピュータプログラム製品。
請求項１乃至請求項５のいずれかに記載のビデオデコーダを含むことを特徴とする携帯装置。