JP2005531959A - 空間スケーラブル圧縮方法及び装置 - Google Patents

Abstract

ビデオストリームの空間スケーラブル圧縮を提供するための方法及び装置について開示している。ビデオストリームは、ビデオストリームの解像度を低くするためにダウンサンプリングされる。ダウンサンプリングされたビデオストリームはベースストリームを生成するために符合化される。ベースストリームはビデオストリームを再構成するために復号化し、アップコンバーティングする。再構成されたビデオストリームは残留ストリームを生成するためにビデオストリームから減算される。各々のフレームのどのセグメント又は画素が所定の特性を有する所定の確率を有するかが決定される。各々のセグメント又は画素のコンテンスに対する利得値が計算され、所定の特性を有する所定の確率を有する画素に対する利得は１にバイアスされ、他の画素に対する利得は０にバイアスされる。残留ストリームは、所定の特性に対応しない残留ストリームからビットを取り除くために、利得値と乗算される。得られた残留ストリームは符合化され、エンハンスメントストリームとして出力される。

Description

本発明は、ビデオエンコーダ／デコーダに関する。

デジタルビデオに固有の大量のデータのために、フルモーション、高解像度デジタルビデオ信号の伝送は、高精細テレビジョンの開発において重要な問題である。特に、各々のデジタル画像フレームは、特定のシステムの表示解像度に従った画素アレイにより形成された静止画像である。結果として、高解像度ビデオシーケンスに含まれる生のデジタル情報の量は大量と成る。送信される必要のあるデータ量を低減するように、圧縮スキームがデータを圧縮するために用いられる。ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６３を有する種々のビデオ圧縮規格又はプロセスが確立されてきた。

１つのストリームにおいて種々の解像度及び／又は品質で映像が利用可能である多くのアプリケーションが可能である。これを達成するための方法は、大雑把に、スケーラビリティ技術と呼ばれている。スケーラビリティを配置することができる軸は３つある。第１は、時間軸におけるスケーラビリティであって、しばしば、時間スケーラビリティと呼ばれる。第２には、品質軸（量子化）におけるスケーラビリティがあり、しばしば、信号対ノイズ（ＳＮＲ）スケーラビリティ又は微粒子スケーラビリティと呼ばれる。第３の軸は解像度軸（画像における画素数）であり、しばしば、空間スケーラビリティと呼ばれる。例や符合化において、ビットストリームは、２つ又はそれ以上のビットストリーム又はレイヤに分割される。各々のレイヤは他に角高品質信号を生成するために結合されることができる。例えば、ベースレイヤは低品質の映像信号を提供することが可能である一方、エンハンスメントレイヤは、ベースレイヤ画像を改善することができる付加情報を提供する。

特に、空間スケーラビリティは、異なるビデオ規格又はデコーダ能力間の互換性を提供することができる。空間スケーラビリティを用いると、ベースレイヤ式ビデオは入力ビデオシーケンスより低い解像度を有することが可能であり、その場合、エンハンスメントレイヤは、入力シーケンスレベルにベースレイヤの解像度を回復することができる情報を担持する。

図１は、既知の空間スケーラブルビデオエンコーダ１００を示している。示している符合化システム１００はレイヤ圧縮を達成し、これにより、チャネルの一部は低解像度ベースレイヤを提供するために用いられ、残りの部分はエッジエンハンスメント情報を伝送するために用いられ、これにより、２つの信号は、システムを高解像度にするように再結合されることが可能である。高解像度ビデオ入力Ｈｉ−Ｒｅｓはスプリッタ１０２により分割され、これにより、データはローパスフィルタ１０４及び減算回路１０６に送信される。ローパスフィルタ１０４はビデオデータの解像度を減少させ、次いで、そのビデオデータはベースエンコーダ１０８に供給される。一般に、ローパスフィルタ及びエンコーダは当該技術分野において周知であり、簡単化のために、ここではそれについて説明しないこととする。エンコーダ１０８は低解像度ベースストリームを生成し、その低解像度ベースストリームは、放送され、受信され、デコーダを介して、そのまま表示されるが、ベースストリームは高精細度とみなされる解像度を提供しない。

エンコーダ１０８の出力は又、そのシステム１００におけるデコーダ１１２に供給される。そこから、復号化信号は補間及びアップサンプリング回路１１４に供給される。一般に、補間及びアップサンプリング回路１１４は、復号化ビデオストリームから除外された解像度を再構成し、高解像度入力と同じ解像度を有するビデオデータストリームを提供する。しかしながら、符合化及び復号化からもたらされる損失並びにフィルタリングのために、情報の損失が再構成されたストリームにおいて存在する。その損失は、オリジナルの未修正の高解像度ストリームから再構成された高解像度ストリームを減算することにより、減算回路１０６において決定される。減算回路１０６の出力は、適当な品質のエンハンスメントストリームを出力するエンハンスメントエンコーダ１１６に供給される。

これらのレイヤ圧縮スキームは非常に良好に機能させることができるが、これらのスキームは、エンハンスメントレイヤが大きいビットレートを必要とする点で、尚も問題点を有している。エンハンスメントレイヤの効率を改善するための一方法は、“Ｓｐａｔｉａｌ Ｓｃａｌａｂｌｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｃｈｅｍｅ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｃｏｎｔｅｎｔ Ｆｉｌｔｅｒｉｎｇ”と題され、２００２年１０月に出願されたＰＣＴ出願第ＩＢ０２／０４２９７号明細書に開示されている。簡単に述べると、詳細メトリック（ｄｅｔａｉｌ ｍｅｔｒｉｃ）に基づく画素により駆動されるピクチャ分析器は、エンハンスメントエンコーダの前で乗算利得を制御する。小さい詳細度の領域に対しては、利得（１−α）は０にバイアスされ、これらの領域は残留ストリームとして符合化されない。大きい詳細度の領域に対しては、利得は１にバイアスされ、これらの領域は残留ストリームとして符合化される。

実験により、人の眼は他の人に引き付けられると、その人の眼は人々を、特にそれら人々の顔を追跡することが示された。それ故、これらの領域はできるだけ良好に符合化される必要がある。残念なことに、詳細メトリックは、通常は、顔の微妙な細部には殆ど興味を示さず、従って、通常は、アルファの値は比較的大きく、顔は、ベースストリームの低解像度において殆ど符合化される。それ故、全画像のどのセクションが、人間が見る挙動に基づいてエンハンスメントレイヤにおいて符合化される必要があるかを判定するための方法及び装置に対する要請が存在している。

本発明は、残留ストリームにおける画像の特定のセクションを改善するために対象セグメント化を用いることにより、他の既知のレイヤ圧縮スキームの少なくとも不足部分を克服する一方、特に人間の見る挙動に基づいて、画像の他のセクションを強調しない。

本発明の一実施形態に従って、ビデオストリームの空間スケーラブル圧縮を提供するための方法及び装置について開示する。ビデオストリームは、ビデオストリームの解像度を減少させるためにダウンサンプリングされる。ダウンサンプリングされたビデオストリームはベースストリームを生成するために符合化される。ベース外リームは、再構成されたビデオストリームを生成するために、復号化され、アップコンバートされる。再構成されたビデオストリームは、残留ストリームを生成するためにビデオストリームから減算される。次いで、各々のフレームにおけるどのセグメント又は画素が所定の特性を有する所定の確率を有するかが判定される。各々のセグメント又は画素のコンテンツに対する利得値が計算され、ここで、所定の特性を有する所定確率を有する画素の利得は１にバイアスされ、他の画素に対する利得は０にバイアスされる。残留ストリームは、所定の特性に対応しない残留ストリームからビットを取り除くように、利得値と乗算される。得られた残留ストリームは符合化され、エンハンスメントストリームとして出力される。

本発明の以上の及び他の特徴は、以下で説明する実施形態を参照することにより明らかになり、理解されるであろう。

以下、本発明について、例として、添付図面を参照して説明する。

図２は、本発明の実施形態に従ったレイヤ式ビデオエンコーダ／デコーダ２００のブロック図である。エンコーダ／デコーダ２００は、符合化部２０１と復号化部とを有する。高解像度ビデオストリーム２０２は符合化部２０１に入力される。ビデオストリーム２０２は、次いで、スプリッタ２０４により分割され、これにより、ビデオストリームはローパスフィルタ２０６及び第２スプリッタ２１１に送信される。ローパスフィルタ又はダウンサンプリングユニット２０６はビデオストリームの解像度を減少させ、そのビデオストリームは、次いで、ベースエンコーダ２０８に供給される。ベースエンコーダ２０８は、既知の方法でダウンサンプリングされたビデオストリームを符合化し、ベースストリーム２０９を出力する。この実施形態において、ベースエンコーダ２０８は、アップ紺バーティングユニット２１０にローカルデコーダ出力を出力する。アップコンバーティングユニット２１０は、復号化されたローカルビデオストリームから除外された解像度を再構成し、既知の方法で高解像度入力ビデオストリームと同じ解像度フォーマットを基本的に有する、再構成されたビデオストリームを提供する。代替として、ベースエンコーダ２０８は、アップ紺バーティングユニット２１０に符合化された出力を出力することが可能であり、別個のデコーダ（図示せず）か又はアップコンバーティングユニット２１０に備えられたデコーダのどちらかは、アップコンバートされる前に、符合化された信号を先ず、復号化する必要がある。

スプリッタ２１１は高解像度入力ビデオストリームを分割し、これにより、入力ビデオストリーム２０２は減算ユニット２１２及びピクチャ分析器２１４に送信される。更に、再構成されたビデオストリームは又、ピクチャ分析器２１４及び減算ユニット２１２に入力される。本発明の一実施形態に従って、ピクチャ分析器２１４は少なくとも１つの色調デコーダ／メトリック２３０及びアルファモディファイア（ｍｏｄｉｆｉｅｒ）制御ユニット２３２を有する。このような例において、色調デコーダ／メトリック２３０は肌の色調デコーダである。デコーダ２３０は、オリジナルの画像ストリームを分析し、どの画素又は画素群がそれら音色調に基づく人間の顔及び／又は身体の一部であるか、並びに／若しくは、どの画素又は画素群がそれらの色調に基づく人間の顔又は身体の一部である少なくとも所定の確率を有するか、を判定する。所定の確率は、所定の特性を有する画素又は画素群の可能性の程度を示す。デコーダ２３０は、制御ユニット２３２にこの画素情報を送信する。制御ユニット２３２は、次いで、肌の色調を有しない画素に対してアルファ値は１にバイアスし、肌の色調を有する画素に対してアルファ値は０にバイアスあれるように、画素に対してアルファ値を制御する。結果として、残留ストリームは画像において顔及び他の身体部分を有し、これにより、復号化されたビデオストリームにおける顔及び他の身体部分を改善する。

異なる色調検出器のいずれの数をピクチャ分析器２１４において用いることができることが理解されるであろう。例えば、自然植物検出器を、エンハンスメントのために画像における自然植物を検出するために用いることが可能である。更に、制御ユニット２３２は、各々の検出器からの情報の処理の仕方に関する種々の方法においてプログラムされることができる。例えば、肌色調検出器により検出された画素及び自然植物検出器により検出された画素は同様に処理されることができ、又は、所定の方法で重み付けされることができる。

上記のように、再構成されたビデオストリーム及び高解像度入力ビデオストリームは減算ユニット２１２に入力される。減算ユニット２１２は、残留ストリームを生成するために、入力ビデオストリームから再構成されたビデオストリームを減算する。ピクチャ分析器２１４からの利得値は、残留ストリームの減衰を制御するために用いられる乗算器２１６に送信される。減衰した残留信号は、次いで、エンハンスメントストリーム２１９を生成するためにエンハンスメントエンコーダ２１８により符合化される。

図３に示すデコーダ部２０５において、ベースストリーム２０９はデコーダ２２０により既知の方法で復号化され、エンハンスメントストリーム２１９はデコーダ２２２により既知の方法で復号化される。復号化されたベースストリームは、次いで、アップコンバーティングユニット２２４においてアップコンバートされる。アップコンバートされたベースストリーム及び復号化されたエンハンスメントストリームは、次いで、出力ビデオストリーム２２８を生成するために算術ユニット２２６において結合される。

本発明の他の実施形態に従って、高解像度の領域は、奥行き及びセグメント化情報を用いて決定される。画像の前景における大きい対象は、遠くにある又は背景における小さい対象よりビューアの眼により、より追跡され易い傾向にある。それ故、前景における対象の画素又は画素群のアルファ値は、それらの画素が残留ストリームの一部であるように、０にバイアスされることができる。

図４は、本発明の一実施形態に従ったエンコーダ４００を示している。エンコーダ４００は、図２に示しているエンコーダ２００に類似している。同様の参照番号を同様の構成要素に対して用いているため、簡潔にするために、同様の構成要素についての説明は全部繰り返さないこととする。ピクチャ分析器４０２は、特に、奥行き演算器４０４と、セグメント化ユニット４０６と、アルファモディファイア制御ユニット２３２とを有する。オリジナルの入力信号は奥行き演算器４０４に供給される。奥行き演算器４０４は、既知の方法で各々の画素又は画素群の奥行きを計算し、例えば、その奥行きは対象の属する画素とカメラとの間の距離であって、セグメント化ユニット４０６にその情報を送信する。セグメント化ユニット４０６は、次いで、奥行き情報に基づいて画像の異なるセグメントを決定する。更に、ベースエンコーダか又はエンハンスメントエンコーダのどちらかから動きベクトル４０８の生成における動き情報が、セグメント化分析を容易にするように支援するためにセグメント化ユニット４０６に提供されることができる。セグメント化分析の結果はアルファモディファイア制御ユニット２３２に供給される。アルファモディファイア制御ユニット２３２は、アルファ値が画素の前景における大きい対象又は画素に対して０にバイアスされるように、画素又は画素群に対してアルファ値を制御する。結果として、得られた残留ストリームは前景において大きい対象を有する。

他の構成要素をピクチャ分析器４０２に加えることができることが理解されるであろう。例えば、図４に示すように、ピクチャ分析器４０２は、詳細メトリック４１０と、肌色調デコーダ／メトリック２３０と、自然植物デコーダ／メトリック４１２とを有することができるが、ピクチャ分析器はそれらに限定されない。上記のように、制御ユニット２３２は、各々の画素又は画素群に対してアルファ値をどのようにバイアスするかを決定するとき、各々のデコーダから受信された情報をどのように処理するかに関する種々の方法でプログラムされることができる。例えば、各々のデコーダからの情報は種々の方法で結合されることができる。例えば、肌色調デコーダ／メトリック２３０からの情報は、画像の全ｋ低にある顔及び他の身体の部分を識別するために、セグメント化ユニット４０６により用いられることができる。

上記のような本発明の実施形態は、符合化に先立って残留ストリームから不必要なビットを取り除くために、適応コンテントフィルタリングを用いることによってエンハンスメントレイヤのビットレートを小さくすることにより、既知の空間スケーラブル圧縮スキームの効率を改善する。

上記の実施形態は本発明を限定するものではなく例示するものであり、当業者は同時提出の特許請求の範囲における範囲から逸脱することなく多くの他の実施形態を設けることができることに留意する必要がある。用語‘を有する’は、請求項に列挙している構成要素又は段階以外の構成要素又は段階の存在を排除するものではない。幾つかの個別の構成要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより、本発明を実行することができる。幾つかの手段を列挙している装置請求項においては、これらの手段の幾つかは、全く同一のハードウェアのアイテムにより具現することができる。互いに異なる従属請求項において特定の手段を列挙しているという単なる事実は、これらの手段の組み合わせが有利になるように用いられないことを示すものではない。

従来のレイヤ式ビデオエンコーダを示すブロック図である。 本発明の一実施形態に従ったレイヤ式ビデオエンコーダのブロック図である。 本発明の一実施形態に従ったレイヤ式ビデオエンコーダのブロック図である。 本発明の一実施形態に従ったレイヤ式ビデオエンコーダのブロック図である。

Claims (15)

1. 複数のフレームにおいて捕捉されているビデオ情報の空間スケーラブル圧縮を実行するための装置であって：
   ビットストリームを符合化するためのベースレイヤエンコーダ；
   ベースレイヤより高い解像度を有する残留信号を符合化するためのエンハンスメントレイヤエンコーダ；
   残留信号を低減するための乗算器ユニットであって、前記残留信号はオリジナルのフレームと前記ベースレイヤからアップスケーリングされたフレームとの間の差分である、乗算器ユニット；及び
   各々のフレームにおけるどの画素群が、各々の画素のコンテンツに対する利得値を計算し、所定の特性を有する少なくとも所定の確率を有する、かを決定し、セグメント化を実行するためのピクチャ分析器であって、所定の特性を有する少なくとも所定の確率を有する画素に対する前記利得は１にバイアスされ、他の画素に対する前記利得は０にバイアスされる、ピクチャ分析器であり、前記乗算器ユニットは前記残留信号を低減するために前記利得値を用いる、ピクチャ分析器；
   を有することを特徴とする装置。
2. 請求項１に記載の装置であって、セグメント化サイズは１画素である、ことを特徴とする装置。
3. 請求項１又は２に記載の装置であって、前記ピクチャ分析器は、所定の色調を有する画素を検出するための色調検出器を有する、ことを特徴とする装置。
4. 請求項３に記載の装置であって、前記色調検出器は肌色調検出器である、ことを特徴とする装置。
5. 請求項３に記載の装置であって、前記色調検出器は自然植物色検出器である、ことを特徴とする装置。
6. 請求項１に記載の装置であって、前記ピクチャ分析器は：
   前記フレームにおける各々の画素の奥行きを決定するための奥行き計算ユニット；及び
   各々のフレームにおける画像の種々のセグメントをどの画素が有するかを決定するためのセグメント化ユニットであって、各々のフレームにおける前記画像の前景における対象の一部である画素の前記利得は１にバイアスされる、セグメント化ユニット；
   を有する、ことを特徴とする装置。
7. 請求項６に記載の装置であって、前記ピクチャ分析器は少なくとも１つの色調検出器を更に有し、前記フレームにおける前記画像の前景における対象の一部である又は所定の色調を有する画素の前記利得は１にバイアスされる、ことを特徴とする装置。
8. ビデオストリームを符合化及び復号化するためのレイヤエンコーダであって；
   前記ビデオストリームの解像度を低くするためのダウンサンプリングユニット；
   低解像度ベースストリームを符合化するためのベースエンコーダ；
   再構成されたビデオストリームを生成するために前記ベースストリームの前記解像度を増加し、復号化するためのアップコンバーティングユニット；
   残留信号を生成するためにオリジナルビデオストリームから前記再構成されたビデオストリームを減算するための減算器ユニット；
   各々のフレームにおけるどの画素群が、各々の画素のコンテンツに対する利得値を計算し、所定の特性を有する少なくとも所定の確率を有する、かを決定し、セグメント化を実行するためのピクチャ分析器であって、所定の特性を有する少なくとも所定の確率を有する画素に対する前記利得は１にバイアスされ、他の画素に対する前記利得は０にバイアスされる、ピクチャ分析器；
   前記所定の特性を有する前記所定の確率を有しない前記残留信号からビットを取り除くために前記利得値と前記残留信号を乗算する第１乗算器；及び
   前記第１乗算器から得られた前記残留信号を符合化し、エンハンスメントストリームを出力するためのエンハンスメントエンコーダ；
   を有することを特徴とするレイヤエンコーダ。
9. 請求項８に記載のレイヤエンコーダであって、セグメント化サイズは１画素である、ことを特徴とするレイヤエンコーダ。
10. 請求項８又は９に記載のレイヤエンコーダであって、前記ピクチャ分析器は、所定の色調を有する画素を検出するための色調検出器を有する、ことを特徴とするレイヤエンコーダ。
11. 請求項１０に記載のレイヤエンコーダであって、前記色調検出器は肌色調検出器である、ことを特徴とするレイヤエンコーダ。
12. 請求項１０に記載のレイヤエンコーダであって、前記色調検出器は自然植物色検出器である、ことを特徴とするレイヤエンコーダ。
13. 請求項８に記載のレイヤエンコーダであって、前記ピクチャ分析器は：
    前記フレームにおける各々の画素の奥行きを決定するための奥行き計算ユニット；及び
    各々のフレームにおける画像の種々のセグメントをどの画素が有するかを決定するためのセグメント化ユニットであって、各々のフレームにおける前記画像の前景における対象の一部である画素の前記利得は１にバイアスされる、セグメント化ユニット；
    を有する、ことを特徴とするレイヤエンコーダ。
14. 請求項１３に記載のレイヤエンコーダであって、前記ピクチャ分析器は少なくとも１つの色調検出器を更に有し、前記フレームにおける前記画像の前景における対象の一部である又は所定の色調を有する画素の前記利得は１にバイアスされる、ことを特徴とするレイヤエンコーダ。
15. ビデオストリームの適応コンテントフィルタリングを用いて空間スケーラブル圧縮を提供するための方法であって；
    前記ビデオストリームの解像度を低くするために前記ビデオストリームをダウンサンプリングする段階；
    ベースストリームを生成するために前記のダウンサンプリングされたビデオストリームを符合化する段階；
    再構成されたビデオストリームを生成するために前記ベースストリームを復号化し、アップコンバーティングする段階；
    残留ストリームを生成するために前記ビデオストリームから前記の再構成されたビデオストリームを減算する段階；
    各々のフレームにおけるどのセグメント又は画素が所定の特性を有する少なくとも所定の確率を有するかを決定する段階；
    各々のセグメント又は画素のコンテンツに対して利得値を計算する段階であって、所定の特性を有する少なくとも所定の確率を有する画素に対する利得は１にバイアスされ、他の画素に対する利得は０にバイアスされる、段階；
    前記所定の特性を有する前記所定の確率を有しない前記残留ストリームからビットを取り除くために前記利得値と前記残留ストリームを乗算する段階；及び
    得られた前記残留ストリームを符合化し、エンハンスメントストリームを出力する段階；
    を有することを特徴とする方法。
    
    

Images