JP2005506816A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2005506816A5 JP2005506816A5 JP2003539338A JP2003539338A JP2005506816A5 JP 2005506816 A5 JP2005506816 A5 JP 2005506816A5 JP 2003539338 A JP2003539338 A JP 2003539338A JP 2003539338 A JP2003539338 A JP 2003539338A JP 2005506816 A5 JP2005506816 A5 JP 2005506816A5
- Authority
- JP
- Japan
- Prior art keywords
- stream
- encoder
- video
- gain value
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000006835 compression Effects 0.000 claims description 24
- 238000007906 compression Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 5
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Description
本発明は、ビデオエンコーダー/デコーダーに関するものであり、特に、適応的コンテンツフィルタリング又は動的解像度を用いた空間スケーラブル圧縮の機構を備えたビデオエンコーダー/デコーダーに関するものである。
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発においてかなりの問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる生のデジタル情報量は大量になる。送信しなければならないデータ量を低減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
1つのストリームにおいて映像が多様な解像度及び/又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかにスケーラビリティの技術と称される。スケーラビリティを実施し得る3つの軸が存在する。第1のものは時間軸のスケーラビリティであり、しばしば時間スケーラビリティと称される。第2に、品質軸(量子化)のスケーラビリティが存在し、しばしば信号対雑音(SNR)スケーラビリティ又はファイン・グラニュラ・スケーラビリティと称される。第3軸は解像度の軸(画像における画素の数)であり、空間スケーラビリティと称される。階層化コーディングにおいて、ビットストリームは、2つ以上のビットストリーム、すなわちレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、下位レイヤが低品質の映像信号を提供する場合があり、上位レイヤが下位レイヤの画像を拡張し得る追加情報を提供する。
特に、空間スケーラビリティは、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間スケーラビリティで、下位レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが下位レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
図1は既知の空間スケーラブルビデオエンコーダー100を示したものである。描かれたエンコードシステム100は階層化圧縮を達成し、それによってチャネルの一部が低解像度の下位(基本)レイヤを提供するために用いられ、残りの部分が上位情報を送信するために用いられ、それによって、2つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力はスプリッタ102によって分割され、それによってデータが低域通過フィルタ104と減算回路106に送信される。低域通過フィルタ104は映像データの解像度を低減し、それが下位(基本)エンコーダー108に供給される。一般的に低域通過フィルタとエンコーダーは技術的に周知であり、簡潔のため、ここで詳細に説明されない。エンコーダー108は放送され、受信され、デコーダーを介して現状のまま表示され得る低解像度の下位(基本)ストリームを作るが、下位ストリームは高画質と考えられる解像度を提供しない。
エンコーダー108の出力はまた、システム100内でデコーダー112に供給される。そこから、デコードされた信号が補間及びアップサンプル(upsample)回路114に供給される。一般的に、補間及びアップサンプル(upsample)回路114は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じる損失とフィルタリングのため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、損失が減算回路106で判断される。減算回路106の出力は、適度な品質の上位ストリームを出力する上位エンコーダー116に供給される。
前記階層化圧縮の機構は非常にうまく作動するように作られ得るが、前記機構は、上位レイヤが高いビットレートを必要とする問題を有する。通常は、上位レイヤのビットレートは下位レイヤのビットレートと同じ又はそれより高い。しかし、高品質の映像信号を保存する欲求が、一般の圧縮規格によって通常に配信され得るものより低いビットレートを要求する。このことは、記録/再生時間が小さくなり過ぎるため、既存の標準画質のシステムに高画質を導入することを困難にする。
適応的コンテンツフィルタリングを用いて、上位エンコーダーに入力される残差の信号のビット数を低減し、それによって上位レイヤのビットレートを低減することによって、本発明は他の既知の階層化圧縮の機構の欠点を克服する。
本発明の1つの実施例によると、映像ストリームの適応的コンテンツフィルタリングを用いた空間スケーラブル圧縮を提供する方法と装置が開示される。映像ストリームはダウンサンプル(downsample)され、映像ストリームの解像度を低減する。ダウンサンプル(downsample)された映像ストリームはエンコードされ、下位ストリームを作る。下位ストリームはアップコンバートされ、再構成された映像ストリームを作る。映像ストリームと再構成された映像ストリームは分析され、受信映像ストリームのフレームの各画素又は画素のグループのコンテンツの利得値を作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。残差ストリームからほとんど詳細を有さない各フレームの領域を表すビットを除去するように、残差ストリームは、可変の利得要素を備えた乗算器によって減衰される。結果の残差ストリームがエンコードされ、上位ストリームを出力する。
本発明の他の実施例によると、画像分析装置から出力された減衰器の利得値は、上位レイヤの利用可能なビットレート量に応じて可変の全体の解像度をエンコードすることを可能にするように、上位エンコーダーからの通常のビットレート制御と結合され得る。
本発明の他の実施例によると、デコーダーの鮮明度の制御に関する方法と装置が開示される。下位ストリームはデコードされてアップコンバートされ、デコードされた下位ストリームの解像度を増加させる。上位ストリームはデコードされ、鮮明度の制御値によって拡大され、前記鮮明度の制御値は、鮮明度とデコードされた上位ストリームの加工物の可視性との間のトレードオフを制御する。最後に、アップコンバートされたデコードされた下位ストリームが鮮明度の制御がされた上位ストリームと結合され、映像出力を作る。本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
図2は、本発明の1つの実施例による階層化ビデオエンコーダー/デコーダー200のブロック図である。エンコーダー/デコーダー200は、エンコード部分201+203とデコード部分205とを有する。高解像度の映像ストリーム202は、下位(基本)エンコード部分201に入力される。映像ストリーム202はスプリッタ204によって分割され、それによって映像ストリームが低域通過フィルタ206と第2のスプリッタ211に送信される。低域通過フィルタ又はダウンサンプル(downsample)ユニット206は、映像ストリームの解像度を低減し、それが下位(基本)エンコーダー208に供給される。下位エンコーダー208は既知の方法でダウンサンプル(downsample)された映像ストリームをエンコードし、下位(基本)ストリーム209を出力する。この実施例において、下位エンコーダー208は、アップコンバートユニット210にローカルのデコーダーの出力を出力する。アップコンバートユニット210は、ローカルでデコードされた映像ストリームからのフィルタリングされた解像度を再構成し、既知の方法で、高解像度の入力映像ストリームと基本的に同じ解像度の形式を有する再構成された映像ストリームを提供する。その他、下位エンコーダー208は、アップコンバートユニット210にエンコードされた出力を出力する場合があり、別のデコーダー(図示なし)又はアップコンバートユニット210で提供されるデコーダーのいずれかが、アップコンバートされる前にエンコードされた信号を最初にデコードする必要がある。
スプリッタ211は、高解像度の入力映像ストリームを分割し、それによって入力映像ストリーム202が減算ユニット212と画像分析装置214に送信される。更に、再構成された映像ストリームがまた、画像分析装置214と減算ユニット212に入力される。画像分析装置214は、入力ストリームのフレーム及び/又は再構成された映像ストリームのフレームを分析し、映像ストリームの各フレームの各画素又は画素のグループのコンテンツの数値の利得値を作る。数値の利得値は、例えばフレームの画素又は画素のグループのx,y座標によって与えられる画素又は画素のグループの位置と、フレーム数と、利得値とで構成される。画素又は画素のグループが多数の詳細を有する場合、利得値は最大値の“1”に近づく。同様に、画素又は画素のグループがあまり詳細を有しない場合、利得値は最小値の“0”に近づく。画像分析装置の詳細の基準のいくつかの例が以下に説明されるが、本発明はこれらの例に限定されない。まず、画像分析装置は、全体のフレームに広がる平均の画素に対する画素の周りの部分的な広がりを分析し得る。画像分析装置はまた、全体フレームの平均値で割られた画素毎のエッジのレベル、例えば
各画素又は画素のグループについて詳細のレベルが定められると、詳細の程度を変える利得値は、事前に定められ、呼び出すために参照テーブルに保存され得る。
前述の通り、再構成された映像ストリームと高解像度の入力映像ストリームが減算ユニット212に入力される。減算ユニット212は、入力映像ストリームから再構成された映像ストリームを差し引き、残差ストリームを作る。画像分析装置214からの利得値は、残差ストリームの減衰を制御するために用いられる乗算器216に送信される。他の実施例において、画像分析装置214がシステムから除去され、所定の利得値が乗算器216にロードされ得る。その他、利得値は、例えば制御ノブ(図示なし)を用いてユーザによって手動で入力され得る。利得値によって残差ストリームを乗算する効果は、ほとんど詳細を有さない各フレームの領域で一種のフィルタリングが行われることである。前記領域において、通常は、多数のビットがほとんど無関係の少しの詳細又はノイズに使われる必要がある。しかし、少しの詳細の領域又は詳細のない領域についてゼロに近づく利得値によって残差ストリームを乗算することにより、上位エンコーダー218でエンコードされる前に、前記のビットが残差ストリームから除去され得る。同様に、乗算器はエッジ及び/又はテキストの領域について1に近づき、この領域のみがエンコードされる。通常の画像での効果は、ビットの大量の節約である可能性がある。映像の品質がビットレートの節約に関連していくらか変化をもたらされるが、特に同じ全体のビットレートの通常の圧縮技術に比べると、このことは良い折衷案である。乗算器216からの出力は、上位ストリームを作る上位エンコーダー218に入力される。
デコーダー部分において、下位ストリームが既知の方法でデコーダー220によってデコードされ、上位ストリームが既知の方法でデコーダー222によってデコードされる。次に、デコードされた下位ストリームはアップコンバートユニット224でアップコンバートされる。次に、アップコンバートされた下位ストリームとデコードされた上位ストリームが計算ユニット226で結合され、出力映像ストリーム228を作る。
図3は、本発明の1つの実施例によるエンコーダー/デコーダー300を示したものである。この実施例において、乗算器に送信される利得値は、上位エンコーダーの利用可能なビットレート量によって制御される。上位エンコーダーのビットレート制御は、画像分析装置214からの利得値と上位エンコーダーからのエンコーダーの統計パラメーターと結合することによって拡大され、残差ストリームと乗算される最終的な利得制御パラメーターを作り得る。エンコーダー/デコーダー300は、図3と同様の番号が与えられた図2の前述の要素の全てを有する。簡潔さのため、同様の要素の動作はここで説明されない。
更に、デコーダー/エンコーダー300は、画像分析装置214と乗算器216の間に位置する結合ユニット215を有する。結合ユニット215は、画像分析装置214から利得値を受信する。更に、結合ユニット215は、上位エンコーダー218からのエンコーダーの統計に基づいて、上位パラメーターを受信する。結合ユニット215は、エンコーダーの統計パラメーターと利得値を結合し、最終的な利得制御パラメーターを乗算器216に出力する。次に、上位エンコーダー218でエンコードされる前に、残差ストリームが最終的な利得制御パラメーターによって乗算される。換言すると、上位エンコーダーの利用可能なビットレートに応じて、画像分析装置214からの利得値が上方又は下方に調整される。上位エンコーダーが小さい利用可能なビットレート量を有する場合、より多くのビットが残差ストリームからフィルタリングされるように、利得値が下方に調整される。同様に、上位エンコーダーが大きい利用可能なビットレート量を有する場合、より少ないビットが残差ストリームからフィルタリングされるように、利得値が上方に調整される。従って、利用可能なビットレート量が十分な品質で最大解像度でエンコードされるのにもはや十分でないことをエンコーダーの統計パラメーターが示すと、利用可能なビットレート量を満足させるために、乗算器216の利得が減少した解像度の値に設定される。このことは、利用可能なビットレート量に応じて、可変の全体の解像度をエンコードすることを可能にする。
図4は、本発明の1つの実施例によるデコーダー400を示したものである。図4において、デコーダー400は、デコーダー部分205に加えて、鮮明度の制御ユニット230と乗算器232を有する。鮮明度の制御ユニット230は、ユーザが0と1の間のパラメーターを選択することを可能にし、より低い数は出力映像ストリーム228の可視的な加工物の数をより多く低減することをもたらし、より高い数は出力映像ストリーム228のより鮮明な画像をもたらす。従って、鮮明度の制御ユニットは、鮮明度と上位ストリームからの加工物の可視性との間のトレードオフを制御する。選択された鮮明度の制御パラメーターは、乗算器232に入力される。乗算器232は、鮮明度の制御パラメーターによってデコードされた上位ストリームを乗算し、計算ユニット226で上位ストリームをアップコンバートされた下位ストリームと結合する前に、鮮明度と上位ストリームの加工物の可視性とを調整する。
図5は、階層化ビデオエンコーダー503と階層化ビデオデコーダー205と階層化ビデオデコーダー505とのブロック図を示したものである。ビデオデコーダー503は、ビデオデコーダー203に加えて、減算器510と第2の上位エンコーダー511とを有する。ビデオエンコーダー503は、図3に示す通り、結合ユニット215で簡単に拡張され得る。図2及び3は、上位レイヤの適応を提供するために、上位エンコーダー218への入力に影響を与える乗算器216を使用することを示す。図2及び3に示される上位エンコードの不利点は、乗算器216の乗算動作が取り消しできないため、いくつかの画像の詳細が失われ、もはや再生できないことである。エンコーダー503は、減算器510と上位エンコーダー511によって提供される第2の上位レイヤを提供することによって、前記の問題を克服し、第2の上位レイヤは乗算器216で失われた詳細を表す。実際に、第2の上位エンコーダー511は、乗算器216の入力と出力の間の差をエンコードする。それぞれのエンコーダー218と511は、それぞれの入力に最適化され得る。例えば、存在する場合には、可変長エンコードがそれぞれの信号の統計に最適化され得る。
エンコーダー201+503で作られた信号は、前述の通り、デコーダー205によってデコードされ得る。その場合、下位レイヤと第1の上位レイヤのみがデコードされる。
第2の上位レイヤをデコードするために、デコーダー205に加えて、第2の上位レイヤのためのデコーダー512と加算器513とを有するデコーダー505が提供される。デコードされたストリームの解像度が入力202の解像度に似ているという意味で、トランスペアレントな映像の解像度を提供するために、デコーダー512でデコードされた上位レイヤは、この実施例では、単にデコーダー205の出力ストリームに加えられる。
本発明の前述の実施例は、エンコードの前に残差ストリームから不要なビットを除去する適応的コンテンツフィルタリングを用いることにより、既知の空間スケーラブル圧縮の機構の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“1つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
Claims (27)
- エンコードして取得された映像フレームを圧縮されたデータストリームに出力するエンコーダーを有し、複数のフレームに取得された映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
相対的に低解像度を有するエンコードされたビットストリームを有する下位レイヤと、
相対的に高解像度を有する残差の信号を有する高解像度の上位レイヤとを有し、
必要とされるビットの数を低減するために、乗算ユニットが前記残差の信号を減衰し、
前記残差の信号が元のフレームと前記下位レイヤからのアップスケールされたフレームとの間の差である装置。 - 請求項1に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
前記乗算器が所定の量だけ前記残差の信号を減衰する装置。 - 請求項1に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
前記減衰の量が制御ノブによって手動で変化され得る装置。 - 請求項1に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
アップスケールの及び/又は元のフレームを受信し、各受信フレームの各画素のコンテンツの利得値を計算する画像分析装置を更に有し、
前記乗算器が、前記残差の信号を減衰するために前記利得値を用いる装置。 - 請求項4に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
前記利得値が、少しの詳細の領域についてゼロに近づく装置。 - 請求項4に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
前記利得値が、エッジ及びテキストの領域について1に近づく装置。 - 請求項4に記載の映像情報の空間スケーラブル圧縮を効率的に実行する装置であって、
前記利得値が画素のグループについて計算される装置。 - 映像ストリームをエンコード及びデコードする階層化エンコーダーであって、
前記映像ストリームの解像度を低減するダウンサンプル(downsample)ユニットと、
より低い解像度の下位ストリームをエンコードする下位エンコーダーと、
デコードして前記下位ストリームの解像度を増加させ、再構成された映像ストリームを作るアップコンバートユニットと、
前記元の映像ストリームから前記再構成された映像ストリームを差し引き、残差の信号を作る減算ユニットと、
少しの詳細を有する領域について前記残差の信号からビットを除去するために、利得値によって前記残差の信号を乗算する第1の乗算ユニットと、
前記乗算器からの結果の残差の信号をエンコードし、上位ストリームを出力する上位エンコーダーと
を有する階層化エンコーダー。 - 請求項8に記載の階層化エンコーダーであって、
前記乗算器が所定の量だけ前記残差の信号を減衰する階層化エンコーダー。 - 請求項8に記載の階層化エンコーダーであって、
前記減衰の量が制御ノブによって手動で変化され得る階層化エンコーダー。 - 請求項8に記載の階層化エンコーダーであって、
前記映像ストリームと前記再構成された映像ストリームを受信し、前記受信ストリームの各フレームの各画素のコンテンツの利得値を計算する画像分析装置を更に有する階層化エンコーダー。 - 請求項11に記載の階層化エンコーダーであって、
前記利得値が、少しの詳細の領域についてゼロに近づく階層化エンコーダー。 - 請求項11に記載の階層化エンコーダーであって、
前記利得値が、エッジ及びテキストの領域について1に近づく階層化エンコーダー。 - 請求項11に記載の階層化エンコーダーであって、
前記第1の乗算ユニットを介してビットレート制御と結合した従来のビットレート制御と、
前記画像分析装置と前記第1の乗算ユニットとの間に位置し、前記利得値を前記上位エンコーダーからのエンコーダーの統計パラメーターと結合し、前記結合された利得値を前記第1の乗算ユニットに出力する結合装置と
を更に有する階層化エンコーダー。 - 請求項14に記載の階層化エンコーダーであって、
前記利用可能なビットレート量を満足させるために、前記第1の乗算ユニットの利得が減少した解像度の値に設定されるように、前記利用可能なビットレート量が十分な品質の最大解像度でエンコードするのにもはや十分でないときを、前記エンコーダーの統計パラメーターが示す階層化エンコーダー。 - 請求項11に記載の階層化エンコーダーであって、
前記利得値が画素のグループについて計算される階層化エンコーダー。 - 圧縮された映像情報をデコードするデコーダーであって、
受信下位ストリームをデコードする下位ストリームデコーダーと、
前記デコードされた下位ストリームの解像度を増加させるアップコンバートユニットと、
受信上位ストリームをデコードする上位ストリームデコーダーと、
鮮明度の制御値を出力する鮮明度の出力手段と、
ユーザが鮮明度と前記デコードされた上位ストリームの加工物の可視性との間のトレードオフを制御することを可能にするように、前記鮮明度の制御値で前記デコードされた上位ストリームを乗算する第2の乗算ユニットと、
前記アップコンバートされたデコードされた下位ストリームと前記鮮明度の制御がされた上位ストリームを結合し、映像出力を作る加算ユニットと
を有するデコーダー。 - 映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記映像ストリームをダウンサンプル(downsample)し、前記映像ストリームの解像度を低減するステップと、
前記ダウンサンプル(downsample)された映像ストリームをエンコードし、下位ストリームを作るステップと、
前記下位ストリームをデコードしてアップコンバートし、再構成された映像ストリームを作るステップと、
前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
前記残差ストリームから、少しの詳細を有する各フレームの領域を表すビットを除去するために、利得値で前記残差ストリームを乗算するステップと、
結果の残差ストリームをエンコードし、上位ストリームを出力するステップと
を有する方法。 - 請求項18に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記映像ストリームと前記再構成された映像ストリームを分析し、前記受信映像ストリームの前記フレームの各画素のコンテンツの利得値を作るステップを更に有する方法。 - 請求項18に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記利得値が、少しの詳細の領域についてゼロに近づく方法。 - 請求項18に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記利得値が、エッジ及びテキストの領域について1に近づく方法。 - 請求項18に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記利得値が画素のグループについて計算される方法。 - 請求項18に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記乗算するステップの前に、前記利得値を前記上位エンコーダーからのエンコーダーの統計パラメーターと結合するステップを更に有する方法。 - 請求項23に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記利用可能なビットレート量を満足させるために、第1の乗算ユニットの利得が減少した解像度の値に設定されるように、前記利用可能なビットレート量が十分な品質の最大解像度でエンコードするのにもはや十分でないときを、前記エンコーダーの統計パラメーターが示す方法。 - 下位ストリームと上位ストリームにおいて、圧縮された映像情報をデコードする方法であって、
前記下位ストリームをデコードするステップと、
前記デコードされた下位ストリームをアップコンバートし、前記デコードされた下位ストリームの解像度を増加させるステップと、
前記上位ストリームをデコードするステップと、
鮮明度の制御値で前記デコードされた上位ストリームを乗算し、前記鮮明度の制御値が、鮮明度と前記デコードされた上位ストリームの加工物の可視性との間のトレードオフを制御するステップと、
前記アップコンバートされたデコードされた下位ストリームを前記鮮明度の制御がされた上位ストリームと結合し、映像出力を作るステップと
を有する方法。 - 相対的に低解像度を有するエンコードされたビットストリームを有する下位レイヤと、
相対的に高解像度を有する残差の信号を有する高解像度の上位レイヤと
を有する映像情報を表す圧縮されたデータストリームであって、
前記残差の信号が元のフレームと前記下位レイヤからのアップスケールされたフレームとの間の差であり、
前記残差の信号が減衰されているデータストリーム。 - 請求項26に記載の圧縮されたデータストリームが保存されているストレージ媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01204066 | 2001-10-26 | ||
EP02075918 | 2002-03-08 | ||
PCT/IB2002/004297 WO2003036979A1 (en) | 2001-10-26 | 2002-10-16 | Spatial scalable compression scheme using adaptive content filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005506816A JP2005506816A (ja) | 2005-03-03 |
JP2005506816A5 true JP2005506816A5 (ja) | 2006-01-12 |
Family
ID=26077021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003539338A Withdrawn JP2005506816A (ja) | 2001-10-26 | 2002-10-16 | 適応的コンテンツフィルタリングを用いた空間拡張可能圧縮の機構 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20040258319A1 (ja) |
EP (1) | EP1442602A1 (ja) |
JP (1) | JP2005506816A (ja) |
KR (1) | KR20040054744A (ja) |
CN (1) | CN1253009C (ja) |
WO (1) | WO2003036979A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
EP1634461A2 (en) * | 2003-06-19 | 2006-03-15 | THOMSON Licensing | Method and apparatus for low-complexity spatial scalable decoding |
EP1661405B1 (en) | 2003-08-29 | 2009-07-01 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding enhancement layer data using descriptive model parameters |
EP1695555A1 (en) * | 2003-12-08 | 2006-08-30 | Koninklijke Philips Electronics N.V. | Spatial scalable compression scheme with a dead zone |
CN1627823A (zh) * | 2003-12-10 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 一种空间分级压缩的方法和装置 |
KR100602902B1 (ko) | 2004-02-09 | 2006-07-24 | 주식회사 네빌코리아 | 동영상 압축 처리방법 |
EP1736004A1 (en) * | 2004-04-06 | 2006-12-27 | Koninklijke Philips Electronics N.V. | Device and method for receiving video data |
CN1728827A (zh) * | 2004-07-26 | 2006-02-01 | 皇家飞利浦电子股份有限公司 | 一种视频流分级压缩方法及装置 |
US7402986B2 (en) | 2004-07-26 | 2008-07-22 | Wolfson Microelectronics Plc | Power supply circuit for portable battery powered device |
US7961963B2 (en) * | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
JP2008536451A (ja) * | 2005-04-14 | 2008-09-04 | トムソン ライセンシング | 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置 |
WO2007029919A1 (en) * | 2005-07-21 | 2007-03-15 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction |
KR100725407B1 (ko) | 2005-07-21 | 2007-06-07 | 삼성전자주식회사 | 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치 |
CN100428331C (zh) * | 2005-08-12 | 2008-10-22 | 深圳华为通信技术有限公司 | 移动终端中图像自适应缩放的装置及其方法 |
KR100772868B1 (ko) * | 2005-11-29 | 2007-11-02 | 삼성전자주식회사 | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 |
EP3070922A1 (en) | 2005-12-08 | 2016-09-21 | Vidyo, Inc. | Systems and methods for error resilience and random access in video communication systems |
US8693538B2 (en) * | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
CN1968250B (zh) * | 2006-05-16 | 2010-04-21 | 华为技术有限公司 | 一种视频码流审查方法、系统和设备 |
US8699583B2 (en) * | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
US8155454B2 (en) * | 2006-07-20 | 2012-04-10 | Qualcomm Incorporated | Method and apparatus for encoder assisted post-processing |
US8253752B2 (en) * | 2006-07-20 | 2012-08-28 | Qualcomm Incorporated | Method and apparatus for encoder assisted pre-processing |
US8565314B2 (en) * | 2006-10-12 | 2013-10-22 | Qualcomm Incorporated | Variable length coding table selection based on block type statistics for refinement coefficient coding |
US20090328093A1 (en) * | 2008-06-30 | 2009-12-31 | At&T Intellectual Property I, L.P. | Multimedia Content Filtering |
KR101597987B1 (ko) | 2009-03-03 | 2016-03-08 | 삼성전자주식회사 | 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법 |
KR101750049B1 (ko) | 2009-11-13 | 2017-06-22 | 삼성전자주식회사 | 적응적인 스트리밍 방법 및 장치 |
KR101750048B1 (ko) | 2009-11-13 | 2017-07-03 | 삼성전자주식회사 | 변속 재생 서비스 제공 방법 및 장치 |
KR101786051B1 (ko) | 2009-11-13 | 2017-10-16 | 삼성전자 주식회사 | 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치 |
KR101777347B1 (ko) | 2009-11-13 | 2017-09-11 | 삼성전자주식회사 | 부분화에 기초한 적응적인 스트리밍 방법 및 장치 |
KR101737084B1 (ko) | 2009-12-07 | 2017-05-17 | 삼성전자주식회사 | 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치 |
KR101777348B1 (ko) | 2010-02-23 | 2017-09-11 | 삼성전자주식회사 | 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치 |
KR20110105710A (ko) | 2010-03-19 | 2011-09-27 | 삼성전자주식회사 | 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치 |
KR101837687B1 (ko) | 2010-06-04 | 2018-03-12 | 삼성전자주식회사 | 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치 |
US8787443B2 (en) | 2010-10-05 | 2014-07-22 | Microsoft Corporation | Content adaptive deblocking during video encoding and decoding |
US9042458B2 (en) | 2011-04-01 | 2015-05-26 | Microsoft Technology Licensing, Llc | Multi-threaded implementations of deblock filtering |
WO2013003182A1 (en) * | 2011-06-30 | 2013-01-03 | Vidyo, Inc. | Scalable video coding techniques |
US20140355665A1 (en) * | 2013-05-31 | 2014-12-04 | Altera Corporation | Adaptive Video Reference Frame Compression with Control Elements |
CN103838543A (zh) * | 2014-03-27 | 2014-06-04 | 成都睿明医疗信息技术有限公司 | 屏幕画面共享方法及其系统 |
US20220159250A1 (en) * | 2019-03-20 | 2022-05-19 | V-Nova International Limited | Residual filtering in signal enhancement coding |
CA3133774A1 (en) * | 2019-03-20 | 2020-09-24 | V-Nova International Ltd | Processing of residuals in video coding |
GB2599805B (en) * | 2019-03-20 | 2023-09-06 | V Nova Int Ltd | Temporal signalling for video coding technology |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4903317A (en) * | 1986-06-24 | 1990-02-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
JP3545000B2 (ja) * | 1992-11-02 | 2004-07-21 | ソニー株式会社 | 画像信号符号化装置、画像信号復号化装置 |
US5432870A (en) * | 1993-06-30 | 1995-07-11 | Ricoh Corporation | Method and apparatus for compressing and decompressing images of documents |
US6031575A (en) * | 1996-03-22 | 2000-02-29 | Sony Corporation | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium |
US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
US6907073B2 (en) * | 1999-12-20 | 2005-06-14 | Sarnoff Corporation | Tweening-based codec for scaleable encoders and decoders with varying motion computation capability |
-
2002
- 2002-10-16 WO PCT/IB2002/004297 patent/WO2003036979A1/en active Application Filing
- 2002-10-16 JP JP2003539338A patent/JP2005506816A/ja not_active Withdrawn
- 2002-10-16 EP EP02775102A patent/EP1442602A1/en not_active Withdrawn
- 2002-10-16 CN CNB028210352A patent/CN1253009C/zh not_active Expired - Fee Related
- 2002-10-16 KR KR10-2004-7006085A patent/KR20040054744A/ko not_active Application Discontinuation
- 2002-10-16 US US10/493,275 patent/US20040258319A1/en not_active Abandoned
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005506816A5 (ja) | ||
JP2005506816A (ja) | 適応的コンテンツフィルタリングを用いた空間拡張可能圧縮の機構 | |
US10250905B2 (en) | Conversion operations in scalable video encoding and decoding | |
JP4547151B2 (ja) | 空間的鮮明度拡張技術を用いた空間スケーラブル圧縮の機構 | |
AU2010219337B2 (en) | Resampling and picture resizing operations for multi-resolution video coding and decoding | |
JP3788823B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
JP2005507586A5 (ja) | ||
US20070160300A1 (en) | Spatial scalable compression scheme with a dead zone | |
US8160132B2 (en) | Reducing key picture popping effects in video | |
KR20040054742A (ko) | 코딩 | |
JP2005507590A5 (ja) | ||
JP2005507590A (ja) | 空間拡張可能圧縮 | |
KR20150010903A (ko) | 모바일 단말 화면을 위한 3k해상도를 갖는 디스플레이 영상 생성 방법 및 장치 | |
KR20150068402A (ko) | 동영상 압축 방법 | |
JP2008533885A (ja) | 画像データストリームを生成するための装置および方法ならびに画像データストリームを処理するための装置および方法 | |
JP2005531959A (ja) | 空間スケーラブル圧縮方法及び装置 | |
JP4860156B2 (ja) | ビデオ符号化 | |
US20070009024A1 (en) | Apparatus and method for producing a picture data stream and for processing a picture data stream | |
EP1703734A1 (en) | Apparatus and method for producing and processing a picture data stream |