JP2008543154A - 順次走査及びインタレース走査方式で符号化されたマクロブロックのマルティプルインスタンスビデオデコーダ - Google Patents

Abstract

本発明は、ビデオ信号のピクチャ（Ｐ）に対応したビットストリーム（ＢＳ）を復号化するビデオデコーダ（ＤＥＣ）であって、符号化されたピクチャが、順次走査及びインタレース走査方式で符号化されたマクロブロックを含む可能性を有し、前記ビデオデコーダが、順次走査方式で符号化されたマクロブロックを復号化する復号化ユニットを有する、ビデオデコーダに関する。このビデオデコーダは、各フィールド予測マクロブロックについて、各フィールドと関連した動き補償ベクトルを提供し、各々が対応の動き補償ベクトルを備えたフィールドと同数の予測全マクロブロックを構築し、各対応の予測全マクロブロックからそれぞれ取られたフィールドを再インタレース走査することによって前記フィールド予測マクロブロックを再構築するマルティプルインスタンスユニット（ＭＩＵ）を有する
用途：モバイル型装置

Description

開示の内容

〔発明の分野〕
本発明は、ビデオ信号のピクチャに対応したビットストリームを復号化するビデオデコーダであって、符号化されたピクチャが、順次走査（プログレッシブ走査）及びインタレース走査（飛越し走査）方式で符号化されたマクロブロックを含む可能性を有するビデオデコーダに関する。本発明は、特に、順次走査方式で符号化されたマクロブロックを復号化する復号化ユニットを有するデコーダに関する。

〔発明の背景〕
「（Information Technology -Coding of audio-visual objects- Part2: Visual, Amendment 1: Visual extensions）」、ＩＳＯ／ＩＥＣ１４４９６−２：１９９９／Ａｍｄ．１：２０００、ＩＳＯ／ＩＥＣ ＪＴＶ １／ＳＣ ２９／ＷＧ １１Ｎ３０５６に指示されているように、ＭＰＥＧ−４規格は、種々のエンコーダと種々のデコーダとの間の相互運用性（インタオペラビリティ）を実現可能にするビデオビットストリームのための構文を定めている。種々の規格は、多くのビデオツールを記載しているが、これらの全てを実施すると、その結果として、大抵の用途に関して複雑さが大きくなり過ぎる場合がある。利用可能なツールの選択及びエンコーダ／デコーダの複雑さに一層の融通性をもたらすため、上述の規格は、更に、特定のツールに限定されたプロフィールを定めている。

例えば、シンプルプロフィール（ＳＰ）は、ＭＰＥＧ用語法に、Ｉ及びＰ−ＶＯＰ（ＶＯＰ＝ビデオオブジェクト平面（Video Object Plane））、ＡＣ／ＤＣ予測、一マイクロブロック当たりの１つ又は４つの動きベクトル、非限定的動きベクトル、及びプログレッシブ表示ピクチャのための１／２画素動き補償を含むビットストリーム構文全体のサブセットである。拡張型シンプルプロフィール（ＡＳＰ）は、ＳＰ構文のスーパーセット（拡張集合）であり、この拡張型シンプルプロフィールは、ＳＰ符号化ツールを含み、又、Ｂ−ＶＯＰ、大域的動き補償、インタレース走査されたピクチャ（以下、「インタレース走査ピクチャ」という場合がある）、補間フィルタが１／２画素動き補償で用いられる補間フィルタと異なっている１／４画素動き補償及びインタレース走査ピクチャの処理専用の他のツールを追加している。

特許文献である米国特許第６，３８４，８６５号明細書は、インタレース走査ピクチャのサイズを変更するためにインタレース走査ピクチャをデインタレース走査（de-interlace）する装置を開示している。偶数番目のラインと奇数番目のラインは、別々に復号化される。次に、解像度を変更し、その後、ラインの再結合を行ってプログレッシブピクチャを形成する。偶数番目ラインと奇数番目ラインのかかる別々の復号化は、正確に言えば、ＳＰデコーダでは利用できない手法である。この特許文献は又、ＡＳＰで定められたフィールド符号化マクロブロックの直接復号化を実施可能にする機能を備えたデコーダを開示している。

インタレース走査は、２つの低レベルプロセス、即ち、動き補償と離散コサイン変換（Direct Cosine Transform：以下、「ＤＣＴ」という）を修正する。モバイル型ＳＰデコーダのような限定されたＣＰＵ資源又は電力資源を備えた幾つかの装置では、たとえハードウェア加速装置がフィールドに基づく符号化ピクチャに対する整合配列方式の復号化操作を実施することができなくても、復号化操作のうちの幾つかを続行するハードウェア加速機能を用いると有利な場合がある。この結果、復号化誤差が、インタレース走査ピクチャ中のインタレース走査されたマクロブロック（以下、「インタレース走査マクロブロック」という場合がある）の場合に特に不利益をもたらす。

〔発明の概要〕
したがって、本発明の目的は、プログレッシブピクチャ及びマクロブロックを復号化する復号化ユニットを用い、インタレース走査ピクチャ、特に、マクロブロックがフィールドに基づく動き予測タイプのものであるピクチャの復号化に関する不利益をもたらす誤差を最小限に抑えるビデオデコーダを提供することにある。

この目的のため、ビデオ信号のピクチャに対応したビットストリームを復号化するビデオデコーダであって、符号化されたピクチャが、順次走査及びインタレース走査方式で符号化されたマクロブロックを含む可能性を有し、ビデオデコーダが、順次走査方式で符号化されたマクロブロックを復号化する復号化ユニットを有する、ビデオデコーダにおいて、ビデオデコーダは、各フィールド予測マクロブロックについて、各フィールドと関連した動き補償ベクトルを提供し、各々が対応の動き補償ベクトルを備えたフィールドと同数の予測全マクロブロックを構築し、各対応の予測全マクロブロックからそれぞれ取られたフィールド再インタレース走査することによってフィールド予測マクロブロックを再構築するマルティプルインスタンスユニットを有することを特徴とするビデオデコーダが提供される。

かくして、プログレッシブピクチャを処理することができる復号化ユニット及びＭＰＥＧ−４の場合、ＭＰＥＧ−４ＳＰ加速機能を利用した疑似ＡＳＰデコーダが提供される。

一実施形態では、第１の予測全マクロブロックが、現ピクチャ中におけるフィールド予測マクロブロックの場所で復号化され、他の動き補償ベクトルを用いて得られた他の予測全マクロブロックは、ピクチャの後の追加のマクロブロックラインで復号化される。

別の実施形態では、マルティプルインスタンスユニットは、ビットストリームから復号化され又は予測されたフラグが、ピクチャがインタレース走査されたことを指示する値に設定されると、ピクチャ毎に作動される。

本発明は又、ビデオ信号のピクチャに対応したビットストリームを復号化する方法であって、符号化されたピクチャが、順次走査及びインタレース走査方式で符号化されたマクロブロックを含む可能性を有している状態において、順次走査方式で符号化されたマクロブロックを復号化する復号化ステップを有する方法に関する。この方法は、各フィールド予測マクロブロックについて、各フィールドと関連した動き補償ベクトルを提供するステップと、各々が対応の動き補償ベクトルを備えたフィールドと同数の予測全マクロブロックを構築するステップと、各対応の予測全マクロブロックからそれぞれ取られたフィールドを再インタレース走査することによってフィールド予測マクロブロックを再構築するステップとを有することを特徴とする。

本発明は又、コンピュータプログラム製品であって、プログラムがプロセッサにより実行されると、上述の復号化方法を実施するプログラム指令を有する、コンピュータプログラム製品に関する。

本発明は又、本発明のビデオデコーダを有するモバイル型装置に関する。

本発明は、上述したビデオデコーダが有利に組み込まれる携帯電話でのＭＰＥＧ−４及びＤｉｖＸでストリームとしてのビデオ規格のプレイバックに利用される。

本発明の追加の目的、特徴及び利点は、添付の図面を参照して以下の詳細な説明を読むと、明らかになろう。

〔発明の詳細な説明〕
以下の説明において、当業者には周知の機能又は構成については、詳細には説明していない。というのは、かかる周知機能又は構成に言及すると、本発明を不必要に細部にわたり説明することになり本発明の内容が不明瞭になるからである。

インタレース走査画素がＭＰＥＧ−４符号化システムに用いられる場合、逆ＤＣＴは、テキスチャ情報と共に各マクロブロックのためのビットストリーム中に含まれるｄｃｔ＿タイプと呼ばれる構文要素により特定されるフレームＤＣＴか、フィールドＤＣＴかのいずれかであるのが良い。ｄｃｔ＿タイプのフラグが特定のマクロブロックに関してゼロに設定されると、マクロブロックは、フレーム符号化され、輝度データのＤＣＴ係数は、２つのフィールドから交互にラインで構成される８×８ブロックを符号化する。このモードは、図１に示されている。２つのフィールドＢＦ，ＴＦは、それぞれ、空白の部分及び陰影が施された部分で表されている。図１は、フレームＤＣＴ符号化後におけるインタレース走査マクロブロックＭＢの８×８ブロックＢ１，Ｂ２，Ｂ３，Ｂ４のフレーム構造を示している。

ｄｃｔ＿タイプのフラグが特定のマクロブロックについて１に設定されると、マクロブロックは、フィールド符号化され、輝度データのＤＣＴ係数は、８×８ブロックが１つのフィールドからのデータだけから成るように形成される。このモードは、図２に示されている。図２は、フィールドＤＣＴ符号化後におけるインタレース走査マクロブロックＭＢの８×８ブロックＢ１′，Ｂ２′，Ｂ３′，Ｂ４′のフレーム構造を示している。旧式の逆ＤＣＴでは、この場合、輝度ブロックＢ１′，Ｂ２′，Ｂ３′，Ｂ４′は、逆置き換えされてフレームマクロブロックに戻されなければならない。この場合、一般に、たとえフィールドＤＣＴが特定のマクロブロックについて選択されている場合であっても、色差テキスチャは、依然として、フレームＤＣＴによって符号化されることが思い起こされる。

動き補償は、各マクロブロックに関してはフレームに基づいても良く、或いはフィールドに基づいても良い。この特徴は、非大域的動き補償（ＧＭＣ）マクロブロックについてはＰ及びＳ−ＶＯＰ（スプライトＶＯＰ、即ちＳ−ＶＯＰは、大域的動き推定後におけるスプライトのインスタンシェイション（具体化）である）中におけるマクロブロックレベルのところでのフィールド＿予測と呼ばれる構文要素により規定される。効果的には、大域的動き補償は、インタレース走査ピクチャでは常にフレームに基づくことが注目されなければならない。

フィールド＿予測フラグがゼロに設定された場合、非ＧＭＣ動き補償は、ちょうどノンインタレース走査のように実施される。これは、モード１−ＭＶにおいては１６×１６に適用される単一の動きベクトルによるか、或いは、モード４−ＭＶでは８×８ブロックに適用される４つの動きベクトルによるかのいずれかによって実施できる。色差動きベクトルは、輝度動きベクトルから常に推論される。フィールド＿予測フラグが、１に設定された場合、非ＧＭＣブロックは、各フィールドの１６×８ブロックに適用される２つの動きベクトル（各フィールドについて１つずつ）で予測される。フィールドＤＣＴの場合と同様、予測されたブロックは、動き補償後に置き換えされてフレームマクロブロックに戻されなければならない。さらに、フィールドに基づく予測の結果として、４：２：０インタレース走査カラーフォーマットの場合にのみ一フィールドに対応した２つのうちからの１本の彩度ラインの変位により色差ブロックについて８×４の予測が行われる場合がある。

符号化中、非ＧＭＣマクロブロックでは、フレーム及びフィールドＤＣＴ並びにフレーム及びフィールド動き予測を互いに別個独立に利用することができる。表１は、ＧＭＣマクロブロックを除くＡＳＰストリームのＩ−ＶＯＰ、Ｐ−ＶＯＰ及びＳ−ＶＯＰで生じる場合のある互いに異なる組み合わせを一覧表示している。

図３は、ビデオ信号のピクチャＰに対応したビットストリームＢＳを復号化するビデオレコーダＤＥＣを概略的に示している。ビットストリームは、順次走査方式及びインタレース走査方式で符号化されたマクロブロックを含む可能性がある。デコーダＤＥＣは、順次走査方式で符号化されたマクロブロックを復号化してピクチャＰを出力する復号化ユニットＤＥＵを有する。これは、輝度チャネルについてはフレームに基づく８×８逆ＤＣＴ及び動き補償１６×１６又は８×８フレームに基づくブロック及び色差チャネルについては８×８ブロックを再構築することしかできないＭＰＥＧ−４シンプルプロフィール復号化機能に関する場合である。

タイプ７及びタイプ８（表１）のマクロブロックの動き補償は、フィールドに基づいている。図４に示されているように、輝度に関し（図４の上方部分）、ハッチングで示された上部フィールドＬＢＦ及び最下部フィールドＬＴＦは、２つの互いに別個の動き補償ベクトル、即ちＴＦＬＭＶ及びＢＦＬＭＶでそれぞれ予測される。色差（図４の下方部分）については同様な方式が用いられ、この場合、最上部のＣＴＦフィールド及び最下部のＢＴＦフィールドは、互いに異なるハッチングで表され、２つの互いに異なるベクトル、即ちＴＦＣＭＶ及びＢＦＣＭＶをそれぞれ用いて得られる。かくして、タイプ７及びタイプ８の復号化マクロブロックでは、輝度チャネルについて２つの１６×１６フィールド画素分を変位させ、各色差チャネルについては２つの８×４フィールド画素分を変位させる必要がある。この種の細かいレベルの動き補償は、図３に記載されたビデオレコーダで具体化されている復号化ユニットＤＥＵの能力を超える。

タイプ７及びタイプ８のマクロブロックを復号化することができるようにするためには、ビデオデコーダは、各フィールドについて幾つかの動き補償を表す各フィールド予測マクロブロックについて１つずつではなく、数個のマクロブロックを復号化するマルティプルインスタンスユニットＭＩＵを有する。各復号化マクロブロックインスタンスは、特に、最初のフィールド予測マクロブロックの何割かの部分を表すよう設計されている。思い起こされることとして、マクロブロックのインスタンスは、ビットストリームから復号化されたマクロブロック内容の現実のコピーである。

マルティプルインスタンスユニットがどのように動作するかを説明するため、タイプ７のマクロブロックを考察する。これは、フレームＤＣＴを備えたフィールド予測マクロブロックである。フレーム符号化ピクチャ及びフィールド符号化ピクチャの処理専用のデコーダでは、マクロブロックは、１６×１６輝度画素について２つの１６×８フィールド及び各８×８色差ブロックについては２つの８×４フィールドを最初に動き補償することにより再構築されるべきである。各フィールドは、それ自体の動きベクトル、即ち、最上部フィールド動きベクトル、即ち、ＴＦＬＭＶ及びＴＦＣＭＶ並びに最下部フィールド動きベクトル、即ち、ＢＦＬＭＶ及びＢＦＣＭＶをそれぞれ用いて変位される。次に、動き予測をいったん行うと、各８×８輝度ブロック（これらのうち４つ）について１つ、各８×８色差ブロック（これらのうち２つ）について１つの６つの８×８の逆ＤＣＴをコンピュータ処理することにより残余テキスチャ信号を加える。

本発明のビデオデコーダでは、マルティプルインスタンス符号化によって最終フィールド予測マクロブロックＦＰＭＢを得るために、最上部フィールド動きベクトルＴＦＭＶ及び最下部フィールド動きベクトルＢＦＭＶでそれぞれ２つの予測マクロブロックを構築する。かくして、フレームＤＣＴを備えた２つの１６×１６の１−ＭＶフレーム予測マクロブロックを得る。かかるマクロブロックは、表１のタイプ３のものである。これらマクロブロックは、両方とも、最終フィールド予測マクロブロックＦＰＭＢについて用いられる同一のフレーム基準ＤＣＴ残余テキスチャ情報で構築される。２つのマクロブロックは、例えば、最終フィールド予測マクロブロックＦＰＭＢの次の再構築に用いられるためにストレージされる。

図５は、得られた２つのマクロブロックＴＦＭＢ，ＢＦＭＢを示している。２つのマクロブロックの構築の完了時に、第１のマクロブロックＴＦＭＢは、タイプ７の最終フィールド予測マクロブロックＦＰＭＢについて正しい輝度及び色差最上部フィールドを保持するが、最下部フィールドは不適切であり、第２のマクロブロックＢＦＭＢは、正しい輝度及び色差最下部フィールドを有するが、最上部フィールドは不適切である。その結果、マルティプルインスタンスを復号化した後、これらの適切な部分を取り出して再結合し、それにより、最終フィールド予測マクロブロックＦＰＭＢを形成するのが良い。かくして、次に、第１のマクロブロックＴＦＭＢの最上部フィールドを図５に示すように、第２のマクロブロックＢＦＭＢの最下部フィールドと再インタレース走査する。その目的は、タイプ７の右側のフィールド予測マクロブロックの再構築を得ることにある。復号化操作は、２つの別々のマクロブロックで繰り返し行われるが、復号化ユニットによる各復号化インスタンスは、最終マクロブロックＦＰＭＢについての幾つかの正確な情報を有する。

図６は、本発明の具体化例の一例を記載している。この具体化例では、第１の種類のハッチングにより示されていて、各フィールドについて動き補償ベクトルを提供するフィールド予測マクロブロックＦＰＭＢの第１のインスタンスＴＦＭＢは、ピクチャＰ内におけるこれらのそれぞれの最終マクロブロックＦＰＭＢの場所で復号化ユニットＤＥＵによって復号化される。最終マクロブロックＦＰＭＢの第２のインスタンスＢＦＭＶは、ピクチャＰの後の追加のマクロブロックラインＡＭＬ中で復号化される。

この具体化例は、これによって全ピクチャの復号化中、ハードウェア加速の規則的なデータの流れが妨害されず、復号化ユニット中のハードウェアが大きな矩形のピクチャを単純に復号化するという利点を提供する。さらに、この具体化例は、不必要な画素コピー操作を無くており、即ち、図５に示されているようなマクロブロックＦＰＭＢを再構築するのに２つのフィールドＴＦ，ＢＦをコピーせず、最下部フィールドマクロブロックＢＦＭＢの最下部フィールドＢＦを、復号化されたピクチャＰ中のその最終の場所にコピーするだけで良い。

本発明は、携帯電話のようなモバイル型装置でのビデオ信号の処理に特に魅力的である。かくして、ＳＰ復号化ユニットを再使用することによってＭＰＥＧ−４又はＤｉｖＸストリームを処理してＳＰストリームを復号化することができる。

本発明は、上述の実施形態には限定されず、特許請求の範囲に記載された本発明の精神及び範囲から逸脱することなく種々の変形例及び改造例を想到できることは理解されるべきである。この点に関し、以下を本明細書の末尾の記載とする。

ハードウェア又はソフトウェアの単一のアイテムが幾つかの機能を実施できることを条件として、ハードウェア又はソフトウェアのアイテム又はこれら両方のアイテムによって本発明の方法の機能を具体化する多くの方法が存在する。ハードウェア又はソフトウェアのアイテム又はこれら両方のアイテムの集成体が、機能を実施し、かくして、本発明の復号化方法を改造しないで単一の機能が形成されることが除外されるわけではない。

上述のハードウェア又はソフトウェアのアイテムを幾つかの方法で、例えば、ワイヤード電子回路により又は適切にプログラムされた集積回路によりそれぞれ具体化できる。

特許請求の範囲に見られる参照符号化は、請求項に記載された発明を制限するものとして解釈されてはならない。原文における「〜を含む」（to include）又は「〜を有する」（to comprise）という動詞及びその活用形を用いていることは、請求項に記載された要素又はステップ以外の要素又はステップの存在を排除するものではない。原文において要素又はステップの前に付けられた“ａ”又は“ａｎ”という冠詞は、かかる要素又はステップが複数存在することを排除するものではない。

フレームＤＣＴ符号化におけるマクロブロック構造を示す図である。 フィールドＤＣＴ符号化におけるマクロブロック構造を示す図である。 本発明のビデオデコーダを示す図である。 上側部分が輝度に関し、下側部分が色差に関している場合、各フィールドと関連した動き補償ベクトルを提供するフィールド予測マクロブロックのためのフィールドに基づく動き補償方法を示す図である。 本発明に従って各フィールドに関する動き補償ベクトルを提供するフィールド予測マクロブロックの再構築を示す図である。 本発明の有利な具体化例の一例を示す図である。

Claims (6)

1. ビデオ信号のピクチャに対応したビットストリームを復号化するビデオデコーダであって、符号化されたピクチャが、順次走査及びインタレース走査方式で符号化されたマクロブロックを含む可能性を有し、前記ビデオデコーダが、順次走査方式で符号化されたマクロブロックを復号化する復号化ユニットを有する、ビデオデコーダにおいて、前記ビデオデコーダは、各フィールド予測マクロブロックについて、各フィールドと関連した動き補償ベクトルを提供し、各々が対応の動き補償ベクトルを備えたフィールドと同数の予測全マクロブロックを構築し、各対応の予測全マクロブロックからそれぞれ取られたフィールドを再インタレース走査することによって前記フィールド予測マクロブロックを再構築するマルティプルインスタンスユニットを有する、ビデオデコーダ。
2. 第１の予測全マクロブロックが、現ピクチャ中における前記フィールド予測マクロブロックの場所で復号化され、他の動き補償ベクトルを用いて得られた他の予測全マクロブロックは、前記ピクチャの後の追加のマクロブロックラインで復号化される、請求項１に記載のビデオデコーダ。
3. 前記マルティプルインスタンスユニットは、前記ビットストリームから復号化され又は予測されたフラグが、前記ピクチャがインタレース走査されたことを指示する値に設定されると、ピクチャ毎に作動される、請求項２に記載のビデオデコーダ。
4. ビデオ信号のピクチャに対応したビットストリームを復号化する方法であって、符号化されたピクチャが、順次走査及びインタレース走査方式で符号化されたマクロブロックを含む可能性を有し、前記方法が、順次走査方式で符号化されたマクロブロックを復号化する復号化ステップを有する、方法において、前記方法は、各フィールド予測マクロブロックについて、各フィールドと関連した動き補償ベクトルを提供するステップと、各々が対応の動き補償ベクトルを備えたフィールドと同数の予測全マクロブロックを構築するステップと、各対応の予測全マクロブロックからそれぞれ取られたフィールドを再インタレース走査することによって前記フィールド予測マクロブロックを再構築するステップとを有する、方法。
5. 前記プログラムがプロセッサにより実行されると、請求項４に記載の復号化方法を実施するプログラム指令を有する、コンピュータプログラム製品。
6. 請求項１又は２に記載のビデオデコーダを有するモバイル型装置。

Images