JP2007504523A - ビデオフレームの空間のアップスケーリング方法 - Google Patents
ビデオフレームの空間のアップスケーリング方法 Download PDFInfo
- Publication number
- JP2007504523A JP2007504523A JP2006524447A JP2006524447A JP2007504523A JP 2007504523 A JP2007504523 A JP 2007504523A JP 2006524447 A JP2006524447 A JP 2006524447A JP 2006524447 A JP2006524447 A JP 2006524447A JP 2007504523 A JP2007504523 A JP 2007504523A
- Authority
- JP
- Japan
- Prior art keywords
- video frame
- low
- upscaling
- wavelet transform
- frequency subband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本発明は、p行q列の画素(p及びqは整数)を含むオリジナルビデオフレームの空間的なアップスケーリングの方法に関する。かかるアップスケーリング方法は、水平方向、垂直方向、又は両方向のそれぞれで、ロウ−ロウ空間周波サブバンド(LL)として考えられるオリジナルビデオフレームのハイパスフィルタリングの使用から、p行q列の画素を有するハイ−ロウHL、ロウ−ハイLH及びハイ−ハイHHのバーチャル空間周波数サブバンドを構成するステップを含む。かかるアップスケーリング方法は、アップサンプリングバージョンの原画像が得られるようなやり方で、逆ウェーブレット変換(IWT)を構成されたサブバンド及びオリジナルビデオフレームに適用するステップを更に含む。
Description
本発明は、p行q列(p,qは整数)の画素を含むオリジナルビデオフレームの空間的なアップスケールの方法及び装置に関する。
また、本発明は、かかるアップスケーリング方法を実現するコンピュータ命令を含むコンピュータプログラムプロダクトに関する。
本発明は、たとえば、異なるスケールで静止画像又は画像系列を表示可能であることが必要なテレビジョンレシーバ又はパーソナルコンピュータに関連する。
高解像度ディスプレイの開発は、静止画像又は画像系列の空間的なアップスケーリングの効果的な方法の使用を必要とする。従来のアップスケーリングの方法は、画像及びラインの複製、双一次変換又は他の平均技術の利用を含んでいる。しかし、これらの技術は、粗い輪郭の出現による低品質のアップスケールされた画像となる。たとえ個別のポリフェーズアップコンバージョンフィルタが使用された場合でも、ぎざぎざのラインの問題が残る。
他のアップスケーリング方法は、ウェーブレットベースの圧縮アルゴリズムに類似したやり方で、離散ウェーブレット変換を使用する。この考えは、原画像の前方ウェーブレット変換は、ロウ−ロウLLバンドとなり、このバンドは、水平方向及び垂直方向の両者で低周波情報を含み、かかる原画像のファクタ2でダウンスケールされたバージョンである。対照的に、原画像が前方ウェーブレット変換の後に受信されたロウ−ロウサブバンドとして考えられる場合、前記原画像は、逆ウェーブレット変換を適用することでアップスケールされる場合がある。しかし、ロウ−ロウサブバンドLL(すなわち原画像)に対応する高周波サブバンド(すなわち、ハイ−ロウHL、ロウ−ハイLH、及びハイ−ハイHHのサブバンド)は、逆ウェーブレット変換を適用するために構築される必要がある。
米国特許第6,377,280号は、これら仮想的な高周波サブバンドHL,LH及びHHを構築するステップを含むアップスケーリング方法を提案している。かかる方法によれば、原画像は、第一の分解レベルのHL1,LH1,HH1サブバンドを得るために前方ウェーブレット変換される。次いで、サブバンドHL1及びLH1からのウェーブレット係数の値は、仮想的なサブバンドHL及びLHのそれぞれに供給される。サブバンドHL1又はLH1におけるウェーブレット係数の数は、仮想サブバンドHL,LHのそれぞれにおける数の4倍少なく、HL及びLHサブバンドにおける係数の残りは、予め決定されたパターンに従ってゼロに設定される。この従来の方法は、異なる分解レベルでのウェーブレット係数が振幅及び符号の両者で非常に類似するという仮定に基づいている。しかし、ことは常に真ではなく、予め決定されたレベル、たとえばHL1から前記予め決定されたレベルよりも低いレベルの別のサブバンド、たとえばHLへの係数の再配置は、高画質を常に提供しない。さらに、このアップスケーリング方法は、むしろ複雑であって、非常に多くの計算上のリソースを必要とする。
本発明の目的は、従来技術の方法よりも複雑さが低いアップスケーリング方法を提案することにある。
上記目的を達成するため、本発明に係るアップスケーリング方法は、水平方向、垂直方向、及び両方向で、ロウ−ロウ空間周波サブバンドとして考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングし、ハイ−ロウ、ロウ−ハイ、及びハイ−ハイのp行q列の画素を含む仮想的な空周波サブバンドを構築するステップ、アップサンプルバージョンの原画像が得られるように、構築されたサブバンド及びオリジナルビデオフレームに逆ウェーブレット変換を適用するステップを含む。
結果として、生成された仮想的な空間周波サブバンドは、オリジナルビデオフレームと同じサイズを有する。本発明に従うアップサンプリング方法は、従来技術の方法で行われたように、p行q列のデータを含む仮想的な空間周波サブバンドを得るため、ヌル係数をもつサイズp/2*q/2を有する第一の分解レベルの仮想的な空間週はサブバンドを結合する更なるステップを必要としない。
さらに、高域通過フィルタの適切な選択により、画質が改善される。これは、たとえば、逆ウェーブレット変換について使用されたフィルタと同じフィルタファミリの中でハイパスフィルタが選択された場である。
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明は、添付図面を参照して、例を通して詳細に記載される。
本発明は、静止画像又はビデオ画像系列の空間的なアップスケーリングの方法及び装置に関する。
本発明は、ロウ−ロウLLサブバンドとしての原画像への、及び原画像情報に基づいて効果的に予測される対応する高周波サブバンドへの、逆離散ウェーブレット変換(IWT)の適用に基づいている。画像のエッジ特性の高品質の近似を実行するための離散ウェーブレット変換の能力は、アップサンプリングアプリケーションについて理想的なものにする。
本発明は、ロウ−ロウLLサブバンドとしての原画像への、及び原画像情報に基づいて効果的に予測される対応する高周波サブバンドへの、逆離散ウェーブレット変換(IWT)の適用に基づいている。画像のエッジ特性の高品質の近似を実行するための離散ウェーブレット変換の能力は、アップサンプリングアプリケーションについて理想的なものにする。
図1は、本発明に係るアップスケーリング方法の一般的な原理を例示している。
本方法の第一のステップで、p行q列の画素を含む原画像ORIは、仮想的なアップサンプリングされた画像の前方ウェーブレット変換の後に受信された仮想的なロウ−ロウLLサブバンドとして考えられる。
本方法の第一のステップで、p行q列の画素を含む原画像ORIは、仮想的なアップサンプリングされた画像の前方ウェーブレット変換の後に受信された仮想的なロウ−ロウLLサブバンドとして考えられる。
その後、高周波空間サブバンド(すなわち、ロウ−ハイLH、ハイ−ロウHL、及びハイ−ハイHH)は、ハイパスフィルタリングHFを使用してロウ−ロウLLサブバンドと考えられる原画像から構築される。ロウ−ハイLHサブバンドは、原画像における水平方向のエッジに関する情報を含み、ハイ−ロウHLサブバンドは、垂直エッジに関する情報を含み、ハイ−ハイHHサブバンドは、対角線方向のエッジに関する情報を含む。
最後のステージで、提案されるアップスケーリング方法は、2次元の離散逆ウェーブレット変換IWTを含み、このIWTは、アップスケーリングされた画像UPIを取得及び送信するため、原画像及び構築された高周波サブバンドに適用され、行及び列の画素数は、原画像におけるよりも2倍多く、すなわち2p行及び2q行の画素である。
図2は、かかる2次元の逆ウェーブレット変換を例示している。かかる逆ウェーブレット変換は、垂直なy方向に沿ってファクタ2で、異なるサブバンドLL,LH,HL及びHHをアップサンプリングする第一のステップUP2vを含んでいる。次いで、かかる逆ウェーブレット変換は、垂直方向でロウパスフィルタLPを使用して、アップサンプリングされたLL及びHLサブバンドをフィルタリングするステップLPvを含んでいる。また、かかる逆ウェーブレット変換は、垂直方向でハイパスフィルタHPを使用して、アップサンプリングされたLH及びHHサブバンドをフィルタリングするステップHPvを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたLLサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたLHサブバンドが加算され、2p*q画素を含む中間的な低周波フレームILを生じる。ロウパスフィルタでフィルタリングされた、アップサンプリングされたHLサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたHHサブバンドも加算され、2p*q画素を含む中間的な高周波フレームを生じる。
逆ウェーブレット変換は、水平x軸方向に沿ってファクタ2で、中間的なフレームIL及びIHをアップサンプリングする第二のステップUP2hを含んでいる。次いで、逆ウェーブレット変換は、水平方向でロウパスフィルタLPを使用してアップサンプリングされたILフレームをフィルタリングするステップLPhを含む。逆ウェーブレット変換は、水平方向でハイパスフィルタHPを使用してアップサンプリングされたIHフレームをフィルタリングするステップHPhを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたILフレームと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたIHフレームが加算され、2p*2q画素を含むアップスケーリングされた画像UPIを生じる。
例として、ロウパスフィルタはLP1=1/2[1,1]であり、ハイパスフィルタはHP1=1/2[1,−1]である。言い換えれば、ロウパスフィルタLPが水平x方向で画素mに適用された場合、以下を得る。
LP1(m)=(x(m)+x(m+1))/2
さらに、垂直y方向で画素nに適用された場合、以下を得る。
LP1(n)=(y(n)+y(n+1))/2
同様にして、ハイパスフィルタHPが水平x方向で画素mに適用された場合、以下を得る。
HP1(m)=(x(m)−x(m+1))/2
さらに、垂直y方向で画素nに適用された場合、以下を得る。
HP1(n)=(y(n)−y(n+1))/2
当業者であれば、本発明は、このフィルタ対に限定されるものではないことは明らかであり、たとえば、Antonini等により“Image Coding Using Wavelet Transform” IEEE Trans. Image Processing, vol.1, no.2, pp.205-220, April 1992と題された論文で提案された
LP1(m)=(x(m)+x(m+1))/2
さらに、垂直y方向で画素nに適用された場合、以下を得る。
LP1(n)=(y(n)+y(n+1))/2
同様にして、ハイパスフィルタHPが水平x方向で画素mに適用された場合、以下を得る。
HP1(m)=(x(m)−x(m+1))/2
さらに、垂直y方向で画素nに適用された場合、以下を得る。
HP1(n)=(y(n)−y(n+1))/2
当業者であれば、本発明は、このフィルタ対に限定されるものではないことは明らかであり、たとえば、Antonini等により“Image Coding Using Wavelet Transform” IEEE Trans. Image Processing, vol.1, no.2, pp.205-220, April 1992と題された論文で提案された
本発明は、ハイパスフィルタを使用してロウ−ロウサブバンドLLから仮想的な高周波サブバンドHL,LH及びHHの係数を構築することを提案する。かかるハイパスフィルタHPは、HL,LH及びHHサブバンドのそれぞれを得るため、垂直方向、水平方向及び両方向で、オリジナルフレーム、すなわちLLサブバンドに適用される。
本発明の実施の形態によれば、ハイパスフィルタHPは、逆ウェーブレット変換で使用されるフィルタ以外の同じウェーブレットフィルタのファミリのなかから選択される。これにより、ほぼ最適な逆ウェーブレット変換との組み合わせが提供される。
例として、構築するステップで使用されるハイパスフィルタHPは、本発明に係るアップスケーリング方法で使用される逆ウェーブレット変換に対応する前方ウェーブレット変換のハイパスフィルタHPfと同じである。より正確には、LPf及びHPfが前方ウェーブレット変換のロウパスフィルタ及びハイパスフィルタであり、LPi及びHPiが逆ウェーブレット変換のロウパスフィルタ及びハイパスフィルタである場合、周波数領域におけるそれらの関係は、以下の通りである。
LPi(ω)=HPf(ω+π)
HPi(ω)=−LPf(ω+π),ここでωは周波数である。
LPi(ω)=HPf(ω+π)
HPi(ω)=−LPf(ω+π),ここでωは周波数である。
空間領域でのそれらの関係は以下の通りである。
HPf(k)=−(−1)kLPi(k)
HPi(k)=(−1)kLPf(k),ここでkは−KとKとの間で含まれる整数であって、Kは予め決定された値を有する。
HPf(k)=−(−1)kLPi(k)
HPi(k)=(−1)kLPf(k),ここでkは−KとKとの間で含まれる整数であって、Kは予め決定された値を有する。
たとえば、逆ウェーブレット変換フィルタがLPi=1/4[1,2,1]及びHP=1/4[1,2、−6,2,1]である場合、HL,LH及びHHサブバンドの構成に使用されるハイパスフィルタは、HP=HPf=1/4[1,−2,1]である。
したがって、提案される方法は、完全な前方ウェーブレット変換を必要としないが、かかるウェーブレット変換の簡略化されたバージョンを必要とする。同時に、前方ウェーブレット変換に必要とされるダウンサンプリングの動作を利用せず、予め決定されたレベルのサブバンドからの情報をかかる予め決定されたレベルよりも低いレベルのサブバンドにコピーしないので、原画像の高周波情報の良好な反映を可能にする。サブバンド予測で使用される簡略化されたウェーブレット変換は、さもなければ、従来の前方ウェーブレット変換により必要とされる、ウェーブレット係数のロウパスフィルタリング及びダウンサンプリングなしで、1方向又は両方向でのハイパスフィルタリングを含む。
それぞれの高周波サブバンドは、水平方向で、垂直方向で又は両方向で、このハイパスフィルタをロウ−ロウサブバンドLLすなわち原画像に適用することで構成される。ロウ−ハイサブバンドLHを受けるため、原画像は、垂直方向にハイパスフィルタでフィルタリングされ、したがって水平方向のエッジが保存される。ハイ−ロウサブバンドHLは、水平方向に原画像をハイパスフィルタでフィルタリングすることで構成される。ハイ−ハイサブバンドHHは、水平方向及び垂直方向の両者でハイパスフィルタを適用することで構成される。代替的に、このハイ−ハイサブバンドHHは、ヌルフィルタを原画像に適用することで構成され、ゼロで満たされたHHサブバンドとなる。かかる代替的なソリューションは、計算上のリソースを節約可能である。ハイパスフィルタリングの結果、構成されたサブバンドのサイズは原画像のサイズに等しい。
本発明の実施の形態によれば、LH,HL及びHHサブバンドを構築するステップは、簡略化されたリフティングスキームを使用して実現される。1次元の前方ウェーブレット変換の従来のリフティングスキームは、図3Aに示されている。かかるスキームによれば、原画像に含まれる入力信号xは、偶数xe[n]及び奇数xo[n]サンプルに分裂される。予測フェーズの間、高周波ウェーブレット係数d[n]は、以下のように計算される。
d[n]=xo[n]−P(xe[n]),ここでP()は予測関数である。
d[n]=xo[n]−P(xe[n]),ここでP()は予測関数である。
更新フェーズの間、低周波のウェーブレット係数c[n]は以下のように計算される。
c[n]=xe[n]+U(d[n]),ここでU()は更新関数である。c[n]及びd[n]の解像度は、奇数/偶数分離の演算のため、x[n]の1つよりも2倍小さい。
c[n]=xe[n]+U(d[n]),ここでU()は更新関数である。c[n]及びd[n]の解像度は、奇数/偶数分離の演算のため、x[n]の1つよりも2倍小さい。
アップスケーリング方法は完全な前方ウェーブレット変換を実現せず、入力信号x[n]は低周波係数c[n]を既に表しているので、かかるアップスケーリング方法は、高周波ウェーブレット係数d[n]を計算し、低周波のウェーブレット係数c[n]を正規化するために調整される。したがって、アップデートU()の動作は必要とされない。その上、高周波ウェーブレット係数d[n]は入力信号と同じ解像度で伝送されるため、アップスケーリングは、入力信号の偶数及び奇数サンプルの系列への分離を実現しない。提案される簡略化されたリフティングスキームは、図3Bに示されている。かかるスキームによれば、入力サンプルx(n)はシフトされ、シフトされたサンプルxs(n)が得られる。高周波ウェーブレット係数d[n]は、以下のような予測関数d[n]=ko(xs[n]+P(x[n]))のおかげで入力及びシフトされたサンプルに基づいて計算され、低周波ウェーブレット係数c[n]は、次のように入力サンプルから導出される。c[n]=kex[n]、ここでke及びkoは正規化ファクタである。
当業者には、構成するステップのハイパスフィルタが他の異なる方式に従う逆ウェーブレット変換のフィルタから導出することができることは明らかであろう。
本発明の実施の形態によれば、原画像の画素値は、正規化ファクタにより正規化され、かかる正規化ファクタは、サブバンドの予測及び逆ウェーブレット変換IWTについて選択される、ハイパスフィルタの係数(又はタップ)に依存する。
この正規化は、前方ウェーブレット変換が自然画像のうちの1つとは異なる強度値のレンジを有する係数をもつロウ−ロウサブバンドLLとなるために必要とされる。この強度値のレンジの差は、使用されるウェーブレットフィルタのタイプに依存する。したがって、正規化ファクタは、逆ウェーブレット変換のために使用されるウェーブレットフィルタに基づいて定義されることが必要である。たとえば、9/7双直交ウェーブレット変換が使用される場合、正規化ファクタの値は、ロウパスフィルタ係数の合計の平方に等しい。入力フレームの全ての画素は、LLサブバンドとして考えられ、この正規化ファクタにより乗算される必要がある。
本発明の別の実施の形態によれば、予め決定されたアップスケーリングファクタに到達するまで、構成ステップ及び逆ウェーブレット変換ステップが繰り返される。かかるアップスケーリングファクタは、2から2Nまで変化し、ここでNは1よりも厳密に大きい整数である。
このように構成されたロウ−ハイLH,ハイ−ロウHL及びハイ−ハイHHサブバンドは、原画像のアップスケーリングについて予測される方向に依存する高周波情報を含む。この情報の可用性は、アップスケールの画像における階段状のアーチファクト、すなわちいわゆるジグザグラインを低減し、かかるアーチファクトは、従来のアップサンプリング技術について典型的である。
提案される発明は、静止画像又はウェーブレットベースのデコーダでデコードされるビデオフレームの系列の空間的なアップスケールにその用途を見出す。たとえば、ウェーブレットベースのデコーダにより圧縮された空間的にスケーラブルなストリームは、幾つものレイヤに分割される場合があり、それぞれが異なる解像度レベルを提供する。これらのレイヤは、ダウンスケーリングされたバージョンの画像、すなわちLLサブバンドを含むベースレイヤを有しており、エンハンスメントレイヤは、高い解像度での画像、すなわちHL,LH,HHサブバンドの再構成について必要とされるデータを提供する。エンハンスメントレイヤがデコーダ側で利用可能ではない場合、すなわちベースレイヤのみがデコーダにより受信された場合、原画像は、本発明に係るアップスケーリング方法を実現するアップスケーリング装置を使用してベースレイヤからデコードされたダウンスケーリングバージョンの画像から再構成される場合がある。
本発明の実施の形態によれば、提案される空間的なアップスケーリング装置は、ウェーブレットベースのデコーダに組み込まれる。したがって、逆ウェーブレット変換が画像復号化のために既に使用されているので、更なる専用のアーキテクチャブロックを必要としない。したがって、高周波サブバンドの予測は、更なるオーバヘッドなしに実現される場合がある。
当業者にとって、アップスケーリング装置がデコードされたビデオフレームを受ける表示装置に組み込むことができることは明らかであろう。表示装置は、たとえばテレビジョンレシーバ又はパーソナルコンピュータである。
先に記載されたアプリケーションは、本発明の範囲を制限しない。提案されるアップスケーリング方法は、ウェーブレットベースの符号化/復号化システムとは独立に使用される場合もある。
本発明に係るアップスケーリング方法は、ハードウェア、ソフトウェア又はその両者のアイテムにより実現することができる。かかるハードウェア又はソフトウェアのアイテムは、配線された電子回路又は適切にプログラムされた集積回路のそれぞれによるような、幾つかのやり方で実現することができる。集積回路は、たとえばデコーダ、パーソナルコンピュータ、又はテレビジョンレシーバに含むことができる。たとえばメモリに含まれる命令のセットにより、集積回路は、アップスケーリング方法の異なるステップを実行する。命令のセットは、たとえばディスクのようなデータキャリアを読むことでメモリにロードされる場合がある。サービスプロバイダは、たとえばインターネットのような通信ネットワークを介して命令のセットを利用可能にすることができる。
特許請求の範囲における参照符号は、請求項を限定するとして解釈されるべきではない。動詞「有する“to comprise”」及びその派生語の使用は、請求項で定義された以外の他のステップ又はエレメントの存在を排除するものではないことは明らかである。エレメント又はステップに先行する単語“a”又は“an”は、複数のかかるエレメント又はステップの存在を排除するものではない。
Claims (10)
- p及びqを整数としてp行q列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための方法であって、
当該アップスケーリング方法は、
p行q列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド(HL)、ロウ−ハイ空間周波サブバンド(LH)及びハイ−ハイ空間周波サブバンド(HH)を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド(LL)として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングするステップと、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を適用するステップと、
を含むことを特徴とする方法。 - 前記構成するステップのために使用される前記ハイパスフィルタは、前記逆ウェーブレット変換のために使用されるロウパスフィルタから導出される、
請求項1記載の方法。 - 前記構成するステップの前に正規化ファクタにより前記オリジナルビデオフレームの画素値を正規化するステップを含み、前記正規ファクタは、前記逆ウェーブレット変換フィルタの係数から導出される、
請求項1記載の方法。 - 高周波サブバンドを構成するステップは、前記オリジナルビデオフレームの入力サンプルをシフトするサブステップと、予測関数を使用して入力サンプルからサンプルを予測するサブステップと、シフトされたサンプルと予測されたサンプルに基づいてサブバンドの高周波係数を計算するサブステップとを含む、
請求項1記載の方法。 - 前記ハイ−ハイ空間周波サブバンドを構成するステップは、ヌルフィルタを使用するために調整され、ゼロで満たされたサブバンドを得る、
請求項1記載の方法。 - 前記構成するステップ及び逆ウェーブレット変換ステップは、予め決定されたアップスケーリングファクタに到達するまで繰り返される、
請求項1記載の方法。 - p及びqを整数としてp行q列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための装置であって、
当該アップスケーリング装置は、
p行q列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド(HL)、ロウ−ハイ空間周波サブバンド(LH)及びハイ−ハイ空間周波サブバンド(HH)を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド(LL)として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングする手段と、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を実行する手段と、
を含むことを特徴とする装置。 - ビデオフレームを表示し、請求項7記載のアップスケーリング装置を含む装置であって、前記アップスケーリング装置は、当該装置によって受信された入力ビデオフレームからアップスケーリングされたビデオフレームを提供する、
ことを特徴とする装置。 - 符号化されたビデオフレームを含む入力ストリームから復号化されたビデオフレームを含む出力ストリームを生成するビデオ復号化装置であって、
前記復号化装置は、復号化されたビデオフレームからアップスケーリングされたビデオフレームを提供するために調整される、請求項7記載のアップスケーリング装置を有する、
ことを特徴とするビデオ復号化装置。 - プロセッサにより実行されたときに請求項1記載の方法を実現するためのプログラム命令を含むコンピュータプログラムプロダクト。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03300097 | 2003-08-28 | ||
PCT/IB2004/002698 WO2005022463A1 (en) | 2003-08-28 | 2004-08-19 | Method for spatial up-scaling of video frames |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007504523A true JP2007504523A (ja) | 2007-03-01 |
Family
ID=34259297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006524447A Pending JP2007504523A (ja) | 2003-08-28 | 2004-08-19 | ビデオフレームの空間のアップスケーリング方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20060284891A1 (ja) |
EP (1) | EP1661086A1 (ja) |
JP (1) | JP2007504523A (ja) |
KR (1) | KR20060121851A (ja) |
CN (1) | CN1842820A (ja) |
WO (1) | WO2005022463A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011228974A (ja) * | 2010-04-21 | 2011-11-10 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2011234316A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2018169948A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社メガチップス | 超解像画像生成装置、プログラム、および、集積回路 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8081847B2 (en) * | 2007-12-31 | 2011-12-20 | Brandenburgische Technische Universitaet Cottbus | Method for up-scaling an input image and an up-scaling system |
EP2615579A1 (en) | 2012-01-12 | 2013-07-17 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
EP2662824A1 (en) * | 2012-05-10 | 2013-11-13 | Thomson Licensing | Method and device for generating a super-resolution version of a low resolution input data structure |
KR102440368B1 (ko) | 2015-10-21 | 2022-09-05 | 삼성전자주식회사 | 디코딩 장치, 전자 장치 및 그 제어 방법 |
CN106851399B (zh) | 2015-12-03 | 2021-01-22 | 阿里巴巴(中国)有限公司 | 视频分辨率提升方法及装置 |
CN105787879B (zh) * | 2016-03-22 | 2019-02-15 | 辽宁师范大学 | 基于自适应混合扩散模型的遥感图像放大方法 |
GB2563413B (en) * | 2017-06-14 | 2021-12-22 | Displaylink Uk Ltd | Processing display data |
GB2563411B (en) * | 2017-06-14 | 2022-10-05 | Displaylink Uk Ltd | Processing display data |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU99116256A (ru) * | 1996-12-20 | 2001-05-10 | Уэстфорд Текнолэджи Копэрейшн (Us) | Способ (варианты) и система для оценки исходного сигнала |
US6389176B1 (en) * | 1997-09-26 | 2002-05-14 | Trident Systems, Inc. | System, method and medium for increasing compression of an image while minimizing image degradation |
US6236765B1 (en) * | 1998-08-05 | 2001-05-22 | Intel Corporation | DWT-based up-sampling algorithm suitable for image display in an LCD panel |
US6466698B1 (en) * | 1999-03-25 | 2002-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Efficient embedded image and video compression system using lifted wavelets |
US6377280B1 (en) * | 1999-04-14 | 2002-04-23 | Intel Corporation | Edge enhanced image up-sampling algorithm using discrete wavelet transform |
US6813384B1 (en) * | 1999-11-10 | 2004-11-02 | Intel Corporation | Indexing wavelet compressed video for efficient data handling |
US7085436B2 (en) * | 2001-08-28 | 2006-08-01 | Visioprime | Image enhancement and data loss recovery using wavelet transforms |
-
2004
- 2004-08-19 EP EP04744306A patent/EP1661086A1/en not_active Withdrawn
- 2004-08-19 KR KR1020067004169A patent/KR20060121851A/ko not_active Application Discontinuation
- 2004-08-19 CN CNA2004800247329A patent/CN1842820A/zh active Pending
- 2004-08-19 US US10/569,716 patent/US20060284891A1/en not_active Abandoned
- 2004-08-19 WO PCT/IB2004/002698 patent/WO2005022463A1/en not_active Application Discontinuation
- 2004-08-19 JP JP2006524447A patent/JP2007504523A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011228974A (ja) * | 2010-04-21 | 2011-11-10 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2011234316A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びプログラム |
JP2018169948A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社メガチップス | 超解像画像生成装置、プログラム、および、集積回路 |
Also Published As
Publication number | Publication date |
---|---|
CN1842820A (zh) | 2006-10-04 |
WO2005022463A1 (en) | 2005-03-10 |
US20060284891A1 (en) | 2006-12-21 |
KR20060121851A (ko) | 2006-11-29 |
EP1661086A1 (en) | 2006-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6643406B1 (en) | Method and apparatus for performing linear filtering in wavelet based domain | |
US7085436B2 (en) | Image enhancement and data loss recovery using wavelet transforms | |
JP2008529151A (ja) | 複数解像度の画像フィルタリングに関するピラミッド分解 | |
JP6170614B2 (ja) | アップサンプリング及び信号強調 | |
US20120070092A1 (en) | Method and computer program product for compressing and decompressing imagery data | |
JPH103541A (ja) | 入力画像処理方法及び装置 | |
JP2007504523A (ja) | ビデオフレームの空間のアップスケーリング方法 | |
Boujelbene et al. | A comparative study of recent improvements in wavelet-based image coding schemes | |
JP2011004345A (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
Tanaka et al. | Multiresolution image representation using combined 2-D and 1-D directional filter banks | |
JP2000244743A (ja) | フィルタバンク構成方法及びフィルタバンク装置 | |
JP2004531145A (ja) | 領域ベースの静止画像およびビデオの符号化に適用される多重解像度境界符号化 | |
US8155462B2 (en) | System of master reconstruction schemes for pyramid decomposition | |
US7630568B2 (en) | System and method for low-resolution signal rendering from a hierarchical transform representation | |
US6934420B1 (en) | Wave image compression | |
WO2010024907A1 (en) | Systems and methods for compression transmission and decompression of video codecs | |
JP5419795B2 (ja) | 画像符号化装置及びプログラム | |
Tsai et al. | Image up-sampling using discrete wavelet transform | |
JP4371070B2 (ja) | 画像階層符号化方法及び画像階層復号化方法 | |
JP7541439B2 (ja) | 画像符号化装置、画像復号装置及びこれらのプログラム | |
Devi et al. | Gray scale image compression based on wavelet transform and linear prediction | |
JP2007282006A (ja) | 画像信号処理装置 | |
Kapinaiah et al. | Block DCT to wavelet transcoding in transform domain | |
Arya Devi et al. | Compression of gray scale images using linear prediction on wavelet coefficients | |
Gan | Transforms for the suppression of aliasing in resolution scalable image compression |