JP2006042377A - ビデオストリームのトランスコーディング方法 - Google Patents

Abstract

【課題】 理想的な画質でストリームトランスコーディングを実現する方法を提供する。
【解決手段】 ビデオストリームをトランスコーディングする方法において、ユーザ端末から所定の解像度でのサービス要求を受信し、要求に応じてダウンロード可能なデコーダを生成し、デコーダをユーザ端末へダウンロードし、ダウンロードされたデコーダによりトランスコーディングされたストリームを生成し、トランスコーディングされたストリームをユーザ端末へ送信し、ダウンロードされたデコーダを用いてトランスコーディングされたストリームを復号し、表示する。
【選択図】 図９

Description

本発明はビデオアプリケーションに関し、特に、ビデオダウンコンバージョンが含まれ、かつ、ビデオトランスコーディングが要求されるアプリケーションに関する。本方法は簡単ではあるが、非常に効率的であってより少ない計算量で理想的な画質を実現する。

ＭＰＥＧ１、ＭＰＥＧ２およびＭＰＥＧ４等のようなビデオ符号化技術の大いなる進歩により、動画像やビデオを、さまざまなネットワークを介して圧縮、送信、および鑑賞することができる。ネットワークの帯域幅が激増しているにもかかわらず、異種ネットワークに対応したり、狭帯域と広帯域の間の送信間隙を埋めるために、ビデオ送信の可変ビットレートや圧縮されたビデオのスケーラビリティ／が必要とされることが多い。

例えば、デジタルＴＶ受像機はＨＤＴＶビデオコンテンツを受信および保存することができる。デジタルＴＶ受話器が家庭用無線ゲートウェイとして用いられる場合、他の家庭用端末もまた家庭用無線ゲートウェイから送信されることができる類似のコンテンツを閲覧する機能を備える必要がある。無線通信がますます普及するにつれて、このようなアプリケーションは巨大なマーケットを有することになるであろう。無線の送信帯域幅は２．３〜２．４ＧＨｚの周波数に対して、５００Ｋｂｐｓ〜６Ｍｂｐｓに過ぎず、これは少なくとも１５ＭｂｐｓであるＨＤＴＶ送信帯域幅よりはるかに小さい。従って、アプリケーションを実現するために、何らかのビデオダウンコンバージョン（video down-conversion）又はビデオトランスコーディング（video transcoding）が行なわなければならない（特許文献１ないし３参照）。

ビデオダウンコンバージョンを実現する多くの方法がある。あるものは速度を犠牲にしてより良い画質を実現するために非常に複雑であり、あるものは比較的簡単であるが、画像のぼやけ、ドリフトエラー、画像の不安定さ等、画質が劣っている。

画像のサイズを一定に保ったまま画質を落とすための各種の方法を用いて、全体のビットレートを下げることはできる。しかし、画面が小さい携帯端末を扱う多くの実際のアプリケーションにおいて、サイズ縮小が求められている。このような目的を実現するために、元のビットストリームを、送信に用いる帯域幅がより小さい別のストリームにダウンコンバージョンするビットストリームトランスコーディングが求められている。

ここで、上述のビデオダウンコンバージョンと同じ問題が生じるであろう。トランスコーディングされたストリームを互換性のあるＭＰＥＧ２デコーダにより復号化するために、携帯端末で用いられているｉＤＣＴ動き補償、量子化、およびジグザグ走査パターンがＭＰＥＧ２ビデオ符号化シンタックスに従うよう考慮する必要がある。結果的に、縮小された画像の品質を良くすることとトランスコーディングを高速で行なうことを両立させるには限界がある。

ダウンロード可能なデコーダやプレーヤはあらゆる場所、特に、固定式端末装置だけでなくインターネット関連のアプリケーションでも見られるため、もはや互換性のあるデコーダを使う必要がない。この種の条件が緩和される可能性が最近高まるにつれて、より少ない計算量で最良の画質を実現するために、トランスコーディングを行なうさまざまな方法を考慮できる。

この傾向はますます顕著になっており、従ってこの種のアプリケーションは将来より多くの可能性を秘めたマーケットをもたらすであろう。
特開平１０−２７１４９４号公報 特開平１０−１４５７４９号公報 特表平７−５０４０７４号公報

あるサイズから別のサイズへのビデオビットストリームのトランスコーディングは、画質の劣化を生ずる。なぜならば、トランスコーディングされたストリームは、互換性のあるデコーダにより復号される必要があるからである。

Ｈ．２６１、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４およびＨ．２６３等のほとんどすべてのビデオ標準は、例えば、８×８ＤＣＴおよびｉＤＣＴ、１６×１６動き予測や動き補償等の類似のコーディング構造に基づいている。

高解像度から低解像度へのビットストリームトランスコーディングは通常、高周波数領域での係数を廃棄し、より低い周波数領域での係数を残すことにより実現される。例えば、サイズを１／２に縮小するには低周波数領域の４×４ｉＤＣＴ係数のみが保持され、より低い解像度を得るために動きベクトルもまた２分割されなければならない。

互換性のあるデコーダがトランスコーディングされたストリームを復号できるようにするために、トランスコーディングされたストリームは、８×８ｉＤＣＴや１６×１６動き補償等の、同一のデコーダ・シンタックス・フォーマットに従わなければならない。サイズを１／２にする場合、１個の８×８ｉＤＣＴはトランスコーディングされたストリームへの４個の縮小された４×４ｉＤＣＴから構成されている。最も問題となるのは、動き補償を実行するための１６×１６マクロブロックが、４個の縮小された８×８ブロックで構成されていて、それらがさらに縮小された４×４ｉＤＣＴから構成されている点である。１個の動き補償モードでは元の４個の１６×１６マクロブロックで用いられている４個の異なるモードすべてを表わすことができないことに難点がある。その結果、ドリフトエラーや画像の不安定さ等の歪みが生じる恐れがある。

ここで述べた問題を解決する方法は、ユーザの端末にダウンロードできる縮小されたデコーダを作ることである。端末はダウンロードされたデコーダを用いて、端末に対して生成、送信され縮小／トランスコーディングされたストリームを再生／デコードする。

８×８ｉＤＣＴの代わりに４×４ｉＤＣＴ手段がダウンロード可能なデコーダ内に実装される。

１６×１６動き補償の代わりに８×８動き補償手段がダウンロード可能なデコーダ内に実装される。

８×８ｉＤＣＴの代わりに４×４ｉＤＣＴ用に定義されたジグザグ走査パターン手段がダウンロード可能なデコーダ内に実装される。

適応型のフレーム／フィールドＤＣＴおよび動き予測のための特別な考慮の手段がダウンロード可能なインターレース画像用のデコーダ内に実装される。

要求されたビットレートを実現したり、あるいはさらにビットレートを下げるために、縮小された４×４ｉＤＣＴ係数上での再量子化の手段がダウンロード可能なデコーダ内に実装される。

理想的な画質を実現するためにこのようなトランスコーディングされたストリームを生成する手段が、トランスコーディングからデコードまでのシステム全体に実装される。

このように簡単なデコーダがユーザ端末側でダウンロード可能かつ利用可能であるように定義する手段が、トランスコーディングから復号化までのシステム全体に実装される。

例えば、最初に、ユーザの要求に応じて適当な所定の縮小されたデコーダが家庭用ゲートウェイ等のサーバからユーザ端末へダウンロードされる。例えば、ユーザは元の７０４×４８０の解像度に対して３５２×２４０の解像度を要求する。

次に、元のデコーダのシンタックスに基づいていくつかの修正や変更を加える、ダウンロードされた所定のデコーダ構造に従うことにより、トランスコーディングされたストリームが生成される。

以下にサイズを１／２に縮小するケースを例として、本発明の詳細な動作を述べる。

４×４ｉＤＣＴを取得し、他のものは直接廃棄するか、あるいは、８×８ｉＤＣＴを４×４ｉＤＣＴ係数に変換する。

必要に応じて新たな４×４ｉＤＣＴ係数を再量子化する。

所定のジグザグ走査パターンを用いて４×４ｉＤＣＴを走査する．

標準ＶＬＣテーブルまたは所定のＶＬＣテーブルを用いて４×４ｉＤＣＴ係数をＶＬＣ符号化する。

ブロック内およびブロック間について、８×８マトリクスの代わりに４×４マトリクスを送信する。

奇妙な動きベクトルは特別に処理することにより動きベクトルのスケーリングを行なう。

動き補償に対して同一のモードを維持することにより、新たに形成された８×８マクロブロック毎に１組の動きベクトルを送信する。例えば、早送りは早送りのまま維持される。

より具体的には、本発明に係る第１の方法は、ビデオストリームをトランスコーディングする方法であって、高解像度の入力ソースであるストリームを可変長復号（ＶＬＤ）するステップと、８×８ｉＤＣＴ係数を４×４ｉＤＣＴ係数へマスクするステップと、マスクされた４×４ｉＤＣＴ係数を４×４ブロックに基づく予め定義された走査パターンを用いて走査するステップと、走査された４×４ｉＤＣＴ係数を可変長符号化（ＶＬＣ）するステップと、４個の４×４ブロックから１個の８×８マクロブロックを形成するステップと、１６×１６マクロブロックに基づいた元の動きベクトルのスケーリングを行なうステップと、スケーリングされた動きベクトルを符号化するステップと、新たに形成された８×８マクロブロックに対してスケーリング及び符号化された動きベクトルの一組を、その新たに形成された８×８マクロブロックの動きベクトルとして送信するステップと、それらの符号化されたビットを元のストリームに挿入し、８×８ｉＤＣＴブロックデータを基本的に４×４ｉＤＣＴブロックデータで置き換えるステップとを含む。そして、上記のステップに従って、トランスコーディングされたストリームを生成する。

また、本発明に係る第２の方法は、ビデオストリームをトランスコーディングする方法であって、高解像度のストリームを可変長復号（ＶＬＤ）するステップと、８×８ｉＤＣＴ係数を４×４ｉＤＣＴ係数へ変換するステップと、変換された４×４ｉＤＣＴ係数を４×４ブロックに対する予め定義された走査を用いて走査するステップと、走査されたｉＤＣＴ係数を可変長符号化（ＶＬＣ）するステップと、４個の４×４ブロックから１個の８×８マクロブロックを形成するステップと、１６×１６マクロブロックに基づいた元の動きベクトルのスケーリングを行なうステップと、スケーリングされた動きベクトルを符号化するステップと、新たに形成された８×８マクロブロックに対してスケーリングおよび符号化された動きベクトルの一組を、その新たに形成された８×８マクロブロックの動きベクトルとして送信するステップと、符号化されたビットを元のストリームに挿入して８×８ｉＤＣＴブロックデータを基本的に４×４ｉＤＣＴブロックデータで置き換えるステップとを含む。そして、上記のステップに従ってトランスコーディングされたストリームを生成する。

また、本発明に係る第３の方法は、ビデオストリームをトランスコーディングする方法であって、ユーザ端末から所定の解像度でのサービス要求を受信するステップと、要求に応じてダウンロード可能なデコーダを生成するステップと、デコーダをユーザ端末へダウンロードするステップと、ダウンロードされたデコーダによりトランスコーディングされたストリームを生成するステップと、トランスコーディングされたストリームをユーザ端末へ送信するステップと、ダウンロードされたデコーダを用いてトランスコーディングされたストリームを復号し、表示するステップとを含む。

本発明で開示された方法はストリームトランスコーディングに有用であり、特に解像度がダウンサイズされたときの理想的な画質を実現するのに有用である。ダウンロード可能なデコーダが機能を発揮できるアプリケーションにおいて潜在的に大きな市場価値を持つようになろう。

これは簡単かつ直接的ではあるが、さまざまなネットワークやアプリケーションでストリームトランスコーディングを行なう非常に効率的なソリュージョンである。ダウンロード可能なデコーダを有効にすることにより、同様の概念を他の分野でも利用することができる。

本発明を説明する前に図１と図２を用いて本発明に対する従来技術を説明する。ここで説明のため、高解像度の画像から低解像度の画像へのトランスコーディングを例に挙げる。

図１に示すように、入力は高解像度の元のビデオストリームであり、モジュール１１は可変長デコード（Variable Length Decoding:以下「ＶＬＤ」という。）を行なっている。８×８ｉＤＣＴブロックから４×４ｉＤＣＴブロックへのマスキングはモジュール１２で行なわれる。モジュール１３において１個の８×８ｉＤＣＴブロックが４個のマスクされた４×４ｉＤＣＴブロックにより形成される。４個の元の１６×１６マクロブロックに基づいた４組の動きベクトル（ＭＶ）がモジュール１４において解像度を半分に下げるために縮小（スケールダウン）される。モジュール１５において、縮小された４組の動きベクトルから得られた１組の動きベクトルが符号化され、４個の形成された８×８ブロックから形成された1個の１６×１６マクロブロックに伝送される。従来の出力されるトランスコーディングされたストリームは、元のストリームのシンタックスに準拠する。すなわち８×８ｉＤＣＴブロックおよび１６×１６動き補償に基づいている。

図２に別の従来技術を示す。図２に示すように、モジュール２２は変換等の各種の方法を用いて８×８ｉＤＣＴを４×４ｉＤＣＴに変換する。ＶＬＤがモジュール２１において高解像度の入力ストリームに対して行なわれる。元のシンタックスと互換性を保つためにモジュール２３において４個の変換された４×４ｉＤＣＴにより１個の新たな８×８ｉＤＣＴが形成される。モジュール２４において４組の動きベクトルが縮小（スケールダウン）される。モジュール２５において、スケーリングされた４組の動きベクトルから得られる１組の動きベクトルが符号化され、４個の形成された８×８ブロックから形成された１個の１６×１６ブロックに送信される。従来の出力されるトランスコーディングされたストリームは、元のストリームのシンタックスに準拠する。すなわち８×８ｉＤＣＴブロックおよび１６×１６動き補償に基づいている。

次に本発明の実施形態を説明する。図３と図４に本発明に係る実施の形態１と実施の形態２を示す。

図３に示すように、ＶＬＤ復号（デコーディング）がモジュール３１で実行される。モジュール３２において元の８×８ｉＤＣＴからマスクすることにより、４×４ｉＤＣＴが得られる。モジュール３３においてジグザグ走査は、マスクされた４×４ｉＤＣＴに基づき、所定のジグザグパターンを用いて行なわれる。モジュール３３において走査されたｉＤＣＴは、モジュール３４において所定の可変長コーディング（Variable Length Coding:以下「ＶＬＣ」という。）テーブルを用いて、トランスコーディングされたストリームに符号化される。

モジュールで３５において動きベクトルは縮小され、モジュール３６に示すように、元のものと同じマクロブロックに属する４個のマスクされた４×４ブロックにより形成された１個の新たな８×８マクロブロックに対して、１組の動きベクトル（ＭＶ）が符号化され、伝送される。

図３に示すトランスコーディングされた出力ストリームは、８×８ｉＤＣＴと１６×１６動き補償が必要とされる元のシンタックスに対してもはや互換性がない４×４ｉＤＣＴ及び８×８動き補償に基づいている。

このようなトランスコーディングされたストリーム用のデコーダはサーバまたはゲートウェイ側で生成され、ダウンロード可能である。元のデコーダのシンタックスに従い、ユーザの要求に応じて何らかの修正を施すだけで、このようなデコーダを容易に作ることができる。

図４において、もう一つの実施の形態が示され、説明される。

図４に示すように、モジュール４１において高解像度画像を有する入力ストリームに対してＶＬＤ復号が行なわれる。モジュール４２はさまざまな種類の方法を用いて８×８ｉＤＣＴを４×４ｉＤＣＴに変換する。変換された４×４ｉＤＣＴは、モジュール４３で所定の４×４ｉＤＣＴ走査パターンを用いてジグザグ走査される。モジュール４４において、変換および走査された４×４ｉＤＣＴは所定のＶＬＣテーブルを用いて、トランスコーディングされたストリームに符号化される。

モジュール４５において動きベクトルは縮小され、１組の動きベクトルが符号化されて、モジュール４６に示すように、元のものと同一のマクロブロックに属する４個のマスクされた４×４ブロックにより形成された１個の新たな８×８マクロブロックに送信される。

図４の構成から出力されるトランスコーディングされたストリームは、８×８ｉＤＣＴと１６×１６動き補償が必要とされる元のシンタックスに対してもはや互換性がない４×４ｉＤＣＴ及び８×８動き補償に基づいている。

図３、図４はまた以下に挙げる他の事項を包含していることに留意すべきである。すなわち、
・４×４ブロックに基づいて量子化マトリクスを再定義できる。
・ビットレートをさらに下げるためには再量子化が必要である。
・４×４ブロックに基づいてＶＬＣテーブルを再定義できる。
・走査パターンを予め定義して、複数回選択できる。
・適応型のフレーム／フィールドＤＣＴおよび動き予測のための特別な考慮がなされてもよい。
・動きベクトルプロセスへの考慮はフレーム内ではなく、フレーム間のみに関する。

図５において、従来のストリームトランスコーディングの図が例示されている。

図５に示すように、サイズを半分に縮小するために、４個の１６×１６マクロブロックが１個の１６×１６マクロブロックにダウンコンバージョンされる。元のシンタックスとの互換性を保つために、新たに形成されるマクロブロックは１６×１６ブロックをベースとしたものでなければならず、１組の動きベクトルを有する。その１組の動きベクトルは、元の４組の動きベクトルから計算される。つまり、動きベクトルの新たな組は、動きベクトルの４個の組合わせ全てを表わしている。多くの場合、形成された８×８ブロックの全ての４組に対する１組の正確な動きベクトルを、それらの元のｉＤＣＴ値とマッチさせるのは不可能である。なぜならば、これら４個の形成された８×８ブロックは、異なる動作を示す異なる４個の１６×１６マクロブロックから得られるためである。

新たに形成された１６×１６マクロブロックを表現する動きベクトル（ＭＶ）は、図５に示すように４組の元の動きベクトルから得られる。すなわち、
ＭＶ＝｛ＭＶ１／２、ＭＶ２／２、ＭＶ３／２、ＭＶ４／２｝
ここに、ＭＶ１、ＭＶ２、ＭＶ３、ＭＶ４は４組の元の動きベクトルである。

図６において、本発明のストリームトランスコーディングスキームを図５と比較しながら説明する。

図６に示すように、１個の１６×１６マクロブロックは１個の８×８マクロブロックに変換され、新たな８×８マクロブロックに対する動きベクトルは元の動きベクトルからスケーリングするだけで直接得られる。従って動きベクトルは新たに形成された８×８マクロブロックに対して正確である。

動き補償は、１６×１６ブロックベースではなく、８×８ブロックベースであり、ｉＤＣＴブロック符号化は８×８ベースではなく、４×４ベースである。ダウンロード可能なデコーダもまた同じ変更に基づいて生成される。

図７に、マスクあるいは変換された４×４ｉＤＣＴに対して、本発明によるストリームトランスコーディング方法に基づく所定のジグザグ走査パターンを用いて走査が行なわれたときの様子を示す。走査されたｉＤＣＴ係数を符号化するために用いられるＶＬＣテーブルは４×４ブロックに基づいて再設計することができる。

最終的に、マクロブロックの総数は以前と同じになる。しかし新たなマクロブロックのサイズは１６×１６ではなく８×８になり、それにより、動き補償は８×８ブロックベースで行なわれる。動きベクトルを再度生成する必要はなく、元の動きベクトルから正確に得ることができる。

ＤＣＴブロックのサイズもまた４×４ブロックベースに縮小され、走査、ＶＬＣ符号化等は８×８ブロックベースではなく４×４ブロックベースで行なわれる。しかし元のｉＤＣＴ値は同じに保つことができ、さらに、全体のビットレートを減らすために再量子化のステップが必要とされるなら変更することができる。

本発明のストリームトランスコーディングプロセスのフローチャートを図８に示す。
ステップＳ８１では、高解像度の入力ストリームに対してＶＬＤ復号を行なって８×８ブロックをｉＤＣＴの４×４ブロックに変換する。ステップＳ８２では、変換された４×４ｉＤＣＴを所定の走査パターンを用いて走査する。ステップＳ８３では、走査されたｉＤＣＴ係数を、４×４ブロックに基づく予め設計されたＶＬＣテーブルを用いてＶＬＣ符号化する。ステップＳ８４では、動きベクトルのスケーリングを行ない、ステップＳ８５では、新たに形成された８×８ブロック毎に、スケーリングされた動きベクトルの１個の組を符号化し、送信する。ステップＳ８６では、４×４ｉＤＣＴおよび８×８動き補償に基づいて、トランスコーディングされたストリームを形成する。

図９に、開示したストリームトランスコーディングを用いた応用の一例を示す。

図９に示すように、モジュール９１は受信機であり、アナログまたはデジタル受信機であり得る。モジュール９２は信号を復号して、モジュール９３において高解像度で表示するための通常のデコーダである。モジュール９４はトランスコーダであり、モジュール９８における端末からの要求を受信して、モジュール９５でダウンロード可能なデコーダを生成する。モジュール９６は、ダウンロードされたデコーダに従うことにより、トランスコーディングされたストリームを生成する。

モジュール９７はモジュール９８内の携帯端末等から要求を受信するためのユーザインタフェースである。モジュール９９はサーバ、ＤＴＶ受信機又は家庭用ゲートウェイであり、デコーダのダウンロード、限定された帯域幅内でのトランスコーディングされたストリームの生成、伝送が可能である。

本発明は、ビデオトランスコーディングが要求されるアプリケーションに適用できる。

従来のビデオストリームトランスコーディングの技術を示す図。 従来のビデオストリームトランスコーディングの別の技術を示す図。 本発明によるストリームトランスコーディングの実施の形態１を示す図。 本発明によるストリームトランスコーディングの実施の形態２を示す図。 １６×１６動き補償スキームに基づく従来技術を説明した図。 ８×８動き補償に基づく本発明を説明した図。 本発明に対する４×４ブロックをベースとしたジグザグ走査を説明した図。 ストリームトランスコーディングプロセスのフローチャート。 本発明の方法を用いて可能なアプリケーションの一例を示す図。

符号の説明

３１〜３６、４１〜４６ モジュール
９１ 受信機
９２ デコーダ
９３ 高解像度ディスプレイ
９４ トランスコーダ
９５ ダウンロード可能なデコーダ／プレーヤ
９６ デコーダ／プレーヤに従いトランスコーディングされたストリームを生成する
９７ ユーザインターフェース
９８ 携帯端末
９９ サーバ／ＤＴＶ受信機／家庭用ゲートウェイ

Claims (4)

1. ビデオストリームをトランスコーディングする方法であって、
   ユーザ端末から所定の解像度でのサービス要求を受信するステップと、
   前記要求に応じてダウンロード可能なデコーダを生成するステップと、
   前記デコーダを前記ユーザ端末へダウンロードするステップと、
   前記ダウンロードされたデコーダによりトランスコーディングされたストリームを生成するステップと、
   前記トランスコーディングされたストリームを前記ユーザ端末へ送信するステップと、
   前記ダウンロードされたデコーダを用いて前記トランスコーディングされたストリームを復号し、表示するステップと
   を含むことを特徴とする方法。
2. 請求項１記載のビデオストリームのトランスコーディング方法において、
   前記ダウンロード可能なデコーダは必ずしも元のものと同一のシンタックスに従わなくてもよいことを特徴とする方法。
3. 請求項１記載のビデオストリームのトランスコーディング方法において、復号スキームは、
   トランスコーディングされたストリームを可変長復号（ＶＬＤ）するステップと、
   サイズを１／２に縮小するために走査パターンを用いて４×４ｉＤＣＴブロックを形成するステップと、
   伝送された量子化ステップを用いて前記４×４ｉＤＣＴ係数を逆量子化するステップと、
   前記４×４ｉＤＣＴ係数を逆ＤＣＴ変換するステップとを含むことを特徴とする方法。
4. 請求項１記載のビデオストリームのトランスコーディング方法において、復号スキームは、
   トランスコーディングされたストリーム内の動きベクトル情報を復号するステップと、
   ４個の４×４ブロックにより形成された８×８マクロブロックの各々に対して動きベクトルを取得するステップと、
   前記８×８マクロブロックを、事前に復号されて得られた基準８×８マクロブロックにより動き補償するステップと、
   ４×４逆量子化、逆ＤＣＴ、および８×８動き補償の後で８×８マクロブロックを再構成して画像を形成するステップと
   を含むことを特徴とする方法。
   

Images