JP2011530222A - 雑音除去のための統合時間フィルタを備えたビデオエンコーダ - Google Patents

雑音除去のための統合時間フィルタを備えたビデオエンコーダ Download PDF

Info

Publication number
JP2011530222A
JP2011530222A JP2011521302A JP2011521302A JP2011530222A JP 2011530222 A JP2011530222 A JP 2011530222A JP 2011521302 A JP2011521302 A JP 2011521302A JP 2011521302 A JP2011521302 A JP 2011521302A JP 2011530222 A JP2011530222 A JP 2011530222A
Authority
JP
Japan
Prior art keywords
frame
motion
module
blending
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011521302A
Other languages
English (en)
Inventor
ドルジン，ユーリ
ピンハソフ，エラン，デビッド
ピント，ビクター
Original Assignee
ゾラン コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゾラン コーポレイション filed Critical ゾラン コーポレイション
Publication of JP2011530222A publication Critical patent/JP2011530222A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】実質的な帯域幅の節減を実現する。
【解決手段】エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダは、入力フレームデータを受信する入力部と、入力フレームデータを入力部から受信してフィルタリングされたフレームデータを生成する時間フィルタと、時間フィルタからエンコードされたフレームシーケンスとフィルタリングされたフレームデータから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する動き処理モジュールと、及び入力データフレームと残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュールとを含む。
【選択図】図５

Description

本発明は、一般的にビデオデータをエンコードする分野に関するものであって、特に、ビデオデータをエンコードするために、システム及び方法において統合時間フィルタを使用することに関するものである。
小型のデジタルフォーマットにおいて、ビデオデータをエンコードする従来のシステム及び方法は、各種信号処理を遂行する専用集積回路及び/又は集積回路のシステム、専用のプロセッサで実行されるソフトウェア、または汎用のプロセッサで実行されるソフトウェアとして実施される。
デジタルビデオ信号は、フレームシーケンスでの全ての画素(ピクセル)の色調、色彩度、及び輝度を表すために最終的にデコードされるデジタル値(従来は、バイト、ワード、画素、フレーム等として体系化される2進数のシーケンス、即ちビット)のデジタル回路内で電流及び電圧として表現される。最新のデジタルビデオ信号は、超高解像度のフレームの移動シーケンスを示すようにデザインされている。このような超高解像度のフレームシーケンスは、ソースからディスプレイに表される大量の情報を送信するために、超高帯域幅、即ち、情報伝送能力を必要とするため、最新のシステムは送信用信号をエンコード又は圧縮する。
デジタル圧縮及び動き補償技術は、必要なビデオチャンネルの帯域幅を大幅に低減できる。従来のビデオコーデックは、他の機能のうち、動き補償を遂行した後、現在フレームに送信された最後のフレームを比較し、フレームシーケンスをエンコードして、その差を取る。
従来の時間フィルタの構成及び従来のビデオコーデックは、図6及び図7のそれぞれに図示されている。
簡単に、図6のブロック図に図示されているような従来の時間フィルタの構成は、入力フレームデータ(101)を動き推定及び動き補償モジュール(603)に受信する。また、入力フレームデータ(101)は、時間フィルタ(605)により受信され、旧フレーム(old frame)のメモリ(606)に保存される。旧フレームのメモリ(606)は、例えば、無限インパルス応答(IIR)の時間フィルタを使用し、時間フィルタリング[即ち、入力フレームデータ(101)]の前または時間フィルタリング[代替データ経路(607)]の後の何れか一つでフレームを維持してもよいが、いずれにしても、上記フレームは動作する現在フレームより古いものである。旧フレームは、推定及び補償のための基盤を形成するため、旧フレームは動き推定及び動き補償モジュール(603)の動作中にメモリ(606)から検索される。
図7のブロック図に図示されているような完全な従来のビデオコーデックにおいて、入力フレームデータ(101)は、残差計算モジュール(707)に受信されると共に、動き推定及び動き補償モジュール(703)に受信される。残差計算モジュール(707)は、残差誤差と呼ばれる動き補償の旧フレームと実際の現在フレームとの差を計算する。このとき、残差誤差は、変換/量子化/エントロピーコーディングモジュール(709)によりエンコードされる。エンコードされた残差誤差は、旧フレームを参照し、再構成モジュール(711)によりフィードバックされてデコードされる。再構成されたフレームは、動き推定及び動き補償モジュール(703)によるアクセスのためにメモリ(713)に保存される。メモリ(713)から検索される再構成されたフレームは、モジュール(703)により行われた動き推定及び補償に使用される。
エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダは、入力フレームデータを受信する入力部と、入力フレームデータを入力部から受信し、フィルタリングされたフレームデータを生成する時間フィルタと、エンコードされたフレームシーケンスとフィルタリングされたフレームデータから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する動き処理モジュールと、及び入力フレームデータと残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュール(coder module)とを含む。一実施形態において、動き処理モジュールは、再構成されたフレームと入力フレームデータを受信して推定された動きベクトルを生成する動き推定モジュール、及び推定された動きベクトルを受信して動き補償フレームデータを生成する動き補償モジュールをさらに含み、時間フィルタは、フィルタリングのための動き補償フレームデータをさらに受信する。他の実施形態において、ビデオエンコーダは、エンコードされたフレームシーケンスを受信し、再構成されたフレームを動き推定モジュールに提供するフレーム再構成モジュールをさらに含む。また別の実施形態において、ビデオエンコーダは、時間フィルタが動き推定モジュールに提供される再構成されたフレームまたは交互に再構成されたフレームのうちの何れか一つを受信するようにするスイッチをさらに含む。
ビデオエンコーディング方法は、動き推定モジュールと時間フィルタにエンコードされる現在フレームを実質的に同時に受信するステップと、現在フレームを時間的にフィルタリングするステップと、以前エンコードされたフレームを受信するステップと、以前エンコードされたフレームから再構成されたフレームを生成するステップと、及び再構成されたフレームと現在フレームとの間でブレンディングを遂行するか、且つブレンディングをどのくらい遂行するかを、再構成されたフレームと現在フレームから決定するステップとを含む。一実施形態において、上記方法は、再構成されたフレームを使用してブレンディングすることによって、時間的にフィルタリングするステップを含む。他の実施形態において、上記方法は、動き推定モジュールに提供される再構成されたフレームまたは動き補償のない交互に再構成されたフレームのうちの何れか一つにより、現在フレームを選択的・時間的にフィルタリングするステップを含む。
他の実施形態によると、ビデオエンコーダは、動き推定ユニットから推定された動きベクトルを受信するように構成・配置された動き補償ユニットと、動き補償ユニットに接続された残差計算ユニットと、及び動き補償ユニットに接続され、現在のビデオフレームの受信を可能にし、動き補償参照フレームと現在のビデオフレームとの間のブレンディングのための要求だけでなく、ブレンディングの強度レベルの決定を可能にする時間フィルタユニットとを含む。一実施形態において、ブレンディングは画素レベルまで遂行される。
ビデオフレームをビデオエンコードする他の方法は、エンコードする現在ビデオフレームを受信するステップと、以前エンコードされた参照フレームを受信するステップと、動き推定及び補償を使用することにより、以前エンコードされた参照フレームから動き補償参照フレームを生成するステップと、及びブレンディングが必要かどうかを動き補償参照フレームと現在ビデオフレームに基づいて決定し、もしそうであれば、ブレンディングの強度を決定するステップとを含む。一実施形態によると、ブレンディングは画素レベルまで遂行される。
添付図面は、一定の比率で描かれたものとして意図されない。該図面において、各図面に例示される各々同一、またはほぼ同一の構成要素は、同一の番号で表される。明瞭化のために、全ての構成要素が全ての図面につけられるのではない。データ及び処理のフローを示すブロック図において、破線はデータのみのフローを示す一方、実線はデータ及び処理のフローを示す。
一実施形態のブロック図である。 図1の実施形態のより詳しいブロック図である。 他の実施形態のブロック図である。 また別の実施形態のブロック図である。 一実施形態のまた別のフロー図である。 従来のビデオエンコーダのブロック図である。 従来のビデオコーデックのブロック図である。
本発明は、出願において、以下の説明で定義され、図面に例示されている構成の細目及び構成要素の配置に限定されない。本発明は、他の実施形態で可能であり、各種の方法で実施または遂行できる。また、ここで使用されている語句及び用語は、説明するためのものであり、制限するものとして見なしてはいけない。ここで、「備える」、「含む」、または「有する」、「含有する」、「伴う」及びその変形の使用は、後ろに記載されているアイテム及びその同意語だけでなく、追加のアイテムを含むことを意味する。
本発明の実施形態は、デジタルビデオビットストリームと呼ばれるビットストリームとして、フレームストリームをエンコードするデジタル信号処理のフィードバックルーフの周りに構成できる。エンコーディングは、以前エンコードされたフレーム(参照フレームと呼ばれる)を使用し、現在フレームのコンテンツを予測するために、動き推定及び動き補償の遂行を伴い、この予測を遂行するために再構成してもよい。上記予測と実際の現在フレームとの差は、エンコードされた情報として圧縮されて送信される。このようなシステムにおいて、現在フレームが受信され、動き推定及び補償を適用した参照フレームと比較し、上記推定及び補償と相違する動きが発生するか、且つ該動きがどのくらい発生するか、即ち、残差の差を決定する。残差の差は、このとき、出力のためにエンコード及び量子化する。また、現在フレームは、次の現在フレームのための参照フレームを形成するために、フィードバック経路でデコード及び再構成される。空間フィルタリングにより除去されない雑音を除去するために必要であれば、時間フィルタリングが用いられる。
実施形態による時間フィルタリングは、記載されたシステムにおいて、多数の相違するステージのうちの一つで遂行できる。有利と判定された時間フィルタリングを遂行する選ばれたステージの特徴は、動き推定及び/又は補償モジュールと同一のフェッチ(fetch)を使用する現在フレームを受信すること、及び現在フレームに時間フィルタ動作を遂行し、最終の残差の計算のための残差計算ユニットに結果を提供すること又はブレンディング/補間及び残差計算を同時に遂行する残差計算ユニットに必要なブレンディングの決定を提供することのうちの何れか一つを含むが、その全てが何れか一つの選ばれたステージに含まれる必要はない。
上記構造は、出力の生成のために、入力に特定機能を遂行するモジュールを形成するように構成された専用または汎用のハードウェア及び/又はソフトウェアで構築される。これから論議するこのような個別モジュールの実施は、当業者によく知られている。類似のモジュールは、従来のエンコーダも構成されているハードウェア及び/又はソフトウェアの要素である。
動き推定器
動き推定器は、専用のデジタル論理回路、充分な速度と帯域幅のデジタル信号プロセッサ(DSP)で実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。動き推定器は、現在フレームと一つ以上の以前フレームとを比較し、以前フレームと現在フレームとの間に動きが発生するか、動きが発生する場合、及び/又は動きがどのくらい発生するかを推定する。動きは、一方のフレームから他方のフレームへの画素または個別の画素のブロックに対する変位の方向と大きさを示すベクトルとして表現される。
動き補償器
動き補償器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械又は他の適切な手段により構成してもよい。動き補償器は、動きベクトルを参照フレームに適用し、動き補償予測フレームを生成する。上記予測フレームは、現在フレームとは異なってもよく、その差は残差誤差と呼ばれる。
残差計算機
残差計算機は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械又は他の適切な手段により構成してもよい。残差計算機は、現在フレームと予測フレームとの間で画素毎の差を決定し、その差は、このとき、デジタルビデオビットストリームにエンコードされるものである。また、時間フィルタによりガイドするブレンディングは、残差計算機により遂行できる。
時間フィルタ
時間フィルタは、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。時間フィルタは、ブレンディング、補間及び/又は他の補償技術がどの程度まで使用すべきかを決定することによって、時間的雑音を除去する。時間フィルタリングは、フレーム内の空間でラインまたは領域にわたり、画素又はサブ画素の変化率を変更する空間フィルタリングと比較し、少なくとも一つの画素又はサブ画素の変化率を一定期間にわたり比較変更する。
上述の代表的な技術であるブレンディングは、少なくとも二つの入力値を受信し、少なくとも一つのブレンディングのパラメータを適用して、例えば、入力値の間の値を有するスカラー値を出力で生成する値である。少なくとも二つの値が受信される実施形態で、ブレンディングは同じ部分、例えば、少なくとも二つのフレームに対応する画素の輝度値を示せる。代案として、ブレンディングは、時間及び空間フィルタリングの効果を結合し、大きい領域内の値、例えば、二つのフレームの対応する3×3画素の領域内の輝度値を示せる。この過程(単純化のために、2つの入力の場合として例示される)は、式：O＝f(A、B、bp1、bp2、…bpn)で示してもよい。
ここで、A、Bは入力値であり；
bp1、bp2、…bpnは、ブレンディングのパラメータであり(nは、任意の数)；
Oは、A≦BであればA≦O≦B、及びA＞BであればB≦O≦Aの範囲である出力の結果である。
試みられた一つのモデルによると、ブレンディングの関数は、O＝bp1×A+(1-bp1)×Bで示してもよい。
量子化器
量子化器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。量子化器は、より有意なディジットを有してもよく、又はスケール因子などを含んでもよい以前の計算の結果をとり、上記結果を有限数の量子、すなわち、エンコードできる特殊値のうちの一つに低減させる。
逆量子化器
逆量子化器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。逆量子化器は、量子のシーケンスを取り、状態情報、他の先験的情報、補間または他の技術に基づき、値をより有意なディジットを有してもよく、又はスケール因子などを含んでもよい値のシーケンスに拡大して戻す。
変換/逆変換
変換/逆変換の演算を含む各種マトリックス演算が要求することができ、専用デジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。
コーダ
コーダは、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。コーダは、上記値のシーケンスに含まれたリダンダンシーを増加させ、シーケンスの送信中に導入してもよいシーケンスでの誤差に対する抵抗を増加させるために、或いは一方の情報表示を他方の情報表示へ簡単に転換するために、値の入力シーケンスの各種変換を遂行し、上記値のシーケンスに含まれたリダンダンシーを減少させて、上記シーケンスをより小さい数の値に圧縮してもよい。ビデオの処理に使用される一部のコーダは、エントロピーエンコーダ、離散コサイン変換(DCT)エンコーダなどの変換エンコーダ、及び動き推定及び補償エンコーダを含む。この論議において、エンコーダの特定機能は文脈で確認され、「コーダ」または「エンコーダ」という単語は、その機能のみが明確であるときは使用できない。
実施形態は、図1を参照して説明する。図1に図示された構成要素は、個別的に上述されている。このブロックのそれぞれに対する代替構成は、当業者に公知となっている。
フレームは、システム(100)によりキャプチャーされ、動き推定及び動き補償を遂行する動き処理モジュール(103)に入力フレームデータ(101)として提供される。また、入力フレームデータ(101)は、時間フィルタモジュール(105)及び残差計算モジュール(107)に提供される。以前フレームと現在処理される入力フレームデータ(101)との間で発生する動きが推定され、以前フレームの各画素に適用された補償は、入力フレームデータ(101)と時間的にフィルタリングされた(105)フレームデータ及び/又はメタデータ(例えば、ブレンディング係数)と共に残差計算モジュール(107)に提供される補償フレームを生成する。残差計算モジュール(107)は、このとき、フレームデータの各種バージョンの間でブレンド又は補間され、エンコーディングモジュール(109)によりエンコードできる残差値を生成する。未来フレームとの比較を遂行するために、後続フレームのエンコード中にエンコードされたフレームは、フレームの再構成モジュール(111)により再構成され、再構成されたフレーム(113)を生成する。再構成されたフレーム(113)は、時間的にフィルタリングされ、再構成される前にエンコーディング処理の全体のバランスが備えられた入力データから誘導される。この再構成されたフレーム(113)は、入力フレームデータ(101)が動き処理モジュール(103)のために比較される以前フレームである。
一部の実施形態によると、時間的にフィルタリングされた(105)フレームデータは、仮想であってもよく、即ち、時間フィルタモジュール(105)は、フィルタ係数をその出力として提供し、実際のフィルタリング演算は、残差計算モジュール(107)で残差計算と共に直ちに遂行される。他の実施形態によると、時間フィルタモジュール(105)は、適切なフィルタ係数を入力フレームデータ(101)に適用し、フィルタリングされたフレームデータを直接生成する。
図1の各種モジュールは、統合専用のハードウェアモジュール又は統合ソフトウェアモジュールとして実行されてもよく、実行を容易にするために、機能的にさらに分離されてもよい。例えば、動き処理モジュール(103)は、個別の動き推定モジュール及び動き補償モジュールに分離されることができる。例えば、図2の210及び220のそれぞれを参照すればよい。
低レベルの機能性を実行する個別のモジュールとして例示されている図1の幾つかのモジュールの実施形態は、図2を参照して説明できる。図2に図示された構成要素は、個別的に上述されている。このブロックのそれぞれに対する代替構成は、当業者に公知となっている。
フレームは、システム(200)によりキャプチャーされ、動き推定モジュール(210)に入力フレームデータ(101)として提供され、その出力は選択的に入力フレームデータ(101)も直接受信できる動き補償モジュール(220)に接続される。動き推定は、エンコーディングの順に以前フレームに対して遂行される。動き補償モジュール(220)は、必要であれば補間を遂行し、残差計算モジュール(230)で残差計算による差し引きを遂行する。本発明において、時間フィルタモジュール(225)は、動き補償モジュール(220)に接続され、入力フレームデータ(101)をさらに受信し、出力を残差計算モジュール(230)に提供する。時間フィルタモジュール(225)は、動き補償参照と現在フレームとの間に強度ブレンディングを適用するかを、また、強度ブレンディングを適用したことを多少の画素から全ての画素までチェックできる。ブレンディングは、要求通りフレームの一部又は全フレームに適用されてもよい。先行技術のソリューションと対照的に、残差計算モジュール(130)は、これから時間フィルタモジュール(225)からの出力だけでなく、動き補償モジュール(220)からの参照を使用してブレンディングを遂行してもよく、入力フレームデータ(101)をさらに使用してブレンディングを同様に遂行してもよい。従って、一実施形態において、ブレンディングは、時間フィルタモジュール(225)により遂行される。システム(200)は、このとき、変換モジュール(240)、例えば、離散コサイン変換(DCT)、量子化モジュール(250)、逆量子化モジュール(280)、及び逆変換モジュール(245)、例えば、逆DCT(IDCT)を通じ、規則的な圧縮フローを持続させる。残差係数のリオーダリングを遂行し、エントロピーコーディングモジュール(270)に接続されるリオーダリングモジュール(260)は、量子化モジュール(250)の出力に接続される。フレームの再構成モジュール(111)は、逆変換の出力だけでなく、動き補償フレームを受信して再構成されたフレームをメモリ(114)に保存してもよい。メモリ(114)は、動き推定モジュール(210)及び動き補償モジュール(220)にさらに接続される。メモリ(114)は、システム(200)が集積回路として具現されるとき、外部または内部メモリであってもよい。
実施形態の代替様相によるシステム(300)は、図3に例示されている。例示された代替例は、相違するフレームまたはその部分が動き推定及び動き比較モジュールまたはモジュールで参照フレームとしての役割を許容するようにする。
フレームは、システム(300)によりキャプチャーされ、動き処理モジュール(103)に入力フレームデータ(101)として提供される。また、入力フレームデータ(101)は、時間フィルタモジュール(305)及び残差計算モジュール(107)に提供される。以前の入力フレームと現在処理される入力フレームデータ(101)との間で発生する動きが推定され、参照フレームの各画素に適用された補償は、入力フレームデータ(101)及び時間的にフィルタリングされた(305)フレームデータと共に残差計算モジュール(107)に提供される補償フレームを生成する。残差計算モジュール(107)は、このとき、フレームデータの各種バージョンの間でブレンディング又は補間され、エンコーディングモジュール(109)によりエンコードできる残差値を生成する。未来フレームとの比較を遂行するためにエンコードされたフレームは、フレームの再構成モジュール(111)により再構成され、再構成されたフレーム(113)を生成する。再構成されたフレーム(113)は、時間的にフィルタリングされ、再構成される前にエンコーディング処理の全体のバランスが備えられた入力データから誘導される。この再構成されたフレーム(113)は、入力フレームデータ(101)が動き処理モジュール(103)のために比較される以前フレームである。スイッチ(306)は、ハードウェアまたはソフトウェアを使用して読み取るメモリ位置の選択を通じて提供され、時間フィルタに提供された、再構成されたフレーム(113)が動き処理モジュール(103)に提供されたものと同一であってもよく、または動き処理モジュール(103)あるいはメモリ(114)に保存された部分に現在提供されたもの以外に再構成されたフレームであってもよく、例えば、動き補償を有さない再構成されたフレームであってもよい。
また別の実施形態によるシステム(400)は、図4に図示されている。この実施形態において、時間フィルタは動き補償情報というよりは、むしろ動き推定情報を受信している。
フレームは、システム(400)によりキャプチャーされ、動き推定モジュール(402)に入力フレームデータ(101)として提供され、その出力は選択的に入力フレームデータ(101)も直接受信できる動き補償モジュール(403)に接続される。動き推定は、エンコーディングの順に以前フレームに対して遂行される。動き補償モジュール(403)は必要であれば補間を遂行し、残差計算モジュール(107)で残差計算による差し引きを遂行する。本発明において、時間フィルタモジュール(405)は動き推定モジュール(402)に接続され、入力フレームデータ(101)をさらに受信し、出力を残差計算モジュール(107)に提供する。時間フィルタモジュール(405)は、参照と現在フレームとの間に強度ブレンディングを適用するかを、また、強度ブレンディングを適用したことを全ての画素に対してチェックできる。ブレンディングは、要求通りフレームの一部または全体のフレームに適用してもよい。先行技術のソリューションと対照的に、残差計算モジュール(107)は、これから時間フィルタモジュール(405)からの出力だけでなく、動き補償モジュール(403)からの参照を使用してブレンディングを遂行し、入力フレームデータ(10)をさらに遂行し、ブレンディングを遂行する。従って、一実施形態において、ブレンディングは時間フィルタモジュール(405)により遂行される。システム(400)は、このとき、エンコーディングモジュール(109)を通じて、規則的な圧縮フローを持続させる。フレームの再構成モジュール(111)は、エンコーディングモジュール(109)の出力だけでなく、動き補償フレームを受信して再構成されたフレームをメモリ(114)に保存してもよい。メモリ(114)は、動き推定モジュール(402)及び動き補償モジュール(403)にさらに接続される。メモリ(114)は、システム(400)が集積回路として具現されるとき、外部または内部のメモリであってもよい。
これから、本発明は、図5のフロー図(500)にさらに記述されたように、時間フィルタリングと共にビデオエンコーディングの遂行を可能にする。S510では、エンコードするフレームが受信される。S520では、以前エンコードされた少なくとも一つの参照フレームが受信される。このようなフレームの受信は、メモリ(114)から利用可能であるという点に注目すべきである。S530では、動き補償参照フレームが動き推定を使用することによって、参照フレームから生成される。S540でブレンディングが必要かどうかを決定し、もし必要であれば、遂行がS550で続けられ；そうでなければ、遂行がS570で続く。S550では、必要なブレンディングの強度が決定される。開始された本発明の一実施形態で汎用性を制限しない目的でブレンディングが画素レベルまで遂行される。S560では、フレーム間のブレンディングが遂行される。S570では、追加フレームが処理される必要があるかチェックされ、もし必要であれば、遂行がS510で続き；そうでなければ、遂行が終了となる。
説明された各種の実施形態の変化によると、動き補償参照フレームを以前エンコードされた参照フレームから生成することは、動き推定モジュール及び動き補償モジュールで並列に行うことができ、提供された時間フィルタモジュールで時間フィルタモジュールは、動き推定モジュール及び動き補償モジュールと相違する参照フレームを受信する。
実施形態の原理を用いて、実質的な帯域幅の節減が実現される。従来のシステムは、input MB(384Byte)+Ref MB(384Byte)+out MB(384Byte)＝1.125KB per MBの帯域幅を時間フィルタに対して必要とする。ビデオエンコーダに要求されるように、それにinput MB(384Byte)+Rec MB(384Byte)+out Code per MB(〜10Byte)＝0.76KB per MBの帯域幅が追加される。従って、従来のシステムに必要な全帯域幅は、約1.885KB per MBである。対照的に、上述した実施形態は、input MB(384Byte)+Rec MB(384Byte)+out Code per MB(〜10Byte)＝0.76KB per MBの組み合わせ時間フィルタ及びエンコーダに対する帯域幅の要件を有する。帯域幅の節減は、実施形態が従来のシステムの帯域幅の約40％のみを使用し、類似する結果を達成するため、上述した実施形態を使用して、約60％である。
また、上述した低い帯域幅に対する要求は、エンコーディング装置のための低電力消費の要求に寄与できる。低い帯域幅は、このような装置の個別スイッチング素子となることができ、例えば、より効率的な作動領域でより多くの時間作動する個別のトランジスタがあるが、何故なら、これは高い帯域幅を支援するために、超高周波数で動作するときよりも低周波数で動作するためである。
他の実施形態の長所は、高品質の低ビットレートビデオを支援できるということである。時間フィルタは、ビットレートの制御によっても使用されることができるため、本質的な品質の損失なくビットレートを低減できる。
また別の実施形態の長所は、フレーム間の雑音減少と転移の平坦化により、さらに高く認識されるビデオの品質である。
また別の実施形態の別の長所は、エンコードされたストリームに必要なビットの数を減少させ、必要な帯域幅を減少させるより大きな潜在性であるが、これは、予測された現在フレームと実際の現在フレームとの差を示すために、エンコーディングに必要な残差データの量を減少させ、圧縮の要求を減少させる時間フィルタリングによることである。
従って、本発明の少なくとも一つの多くの実施形態を説明したとしても、各種の変更、修正、及び改善は、当業者が容易に遂行できるであろうと理解されなければならない。そのような変更、修正、及び改善は、本明細書の一部であり、本発明の精神と範囲内にある。従って、以前の説明と図面は単なる一例である。

Claims (11)

  1. エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダであって、
    入力フレームデータを受信する入力部と、
    前記入力フレームデータを前記入力部から受信し、フィルタリングされたフレームデータを生成する時間フィルタと、
    前記エンコードされたフレームシーケンスと前記フィルタリングされたフレームデータとから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する入力部を有する動き処理モジュールと、及び
    前記残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュールとを含むことを特徴とするビデオエンコーダ。
  2. 前記動き処理モジュールは、
    前記再構成されたフレームと前記入力フレームデータとを受信し、推定された動きベクトルを生成する動き推定モジュールと、
    前記推定された動きベクトルを受信し、動き補償フレームデータを生成する動き補償モジュールとをさらに含み、
    前記時間フィルタは、フィルタリングのための動き補償フレームデータをさらに受信することを特徴とする請求項1に記載のビデオエンコーダ。
  3. 前記エンコードされたフレームシーケンスを受信し、前記再構成されたフレームを前記動き推定モジュールに提供するフレームの再構成モジュールをさらに含むことを特徴とする請求項2に記載のビデオエンコーダ。
  4. 前記時間フィルタが、前記動き推定モジュールに提供される再構成されたフレーム、または交互に再構成されたフレームのうちの何れか一つを受信するようにするスイッチをさらに含むことを特徴とする請求項3に記載のビデオエンコーダ。
  5. 動き推定モジュールと時間フィルタとに、エンコードする現在フレームを実質的に同時に受信するステップと、
    前記現在フレームを時間的にフィルタリングするステップと、
    以前エンコードされたフレームを受信するステップと、
    前記以前エンコードされたフレームから再構成されたフレームを生成するステップと、及び
    前記再構成されたフレームと前記現在フレームとの間でブレンディングを遂行するか、且つブレンディングをどのくらい遂行するかを、前記再構成されたフレームと前記現在フレームとから決定するステップとを含むことを特徴とするビデオエンコーディング方法。
  6. 前記再構成されたフレームを使用してブレンディングすることによって、時間的にフィルタリングするステップをさらに含むことを特徴とする請求項5に記載のビデオエンコーディング方法。
  7. 前記動き推定モジュールに提供される再構成されたフレーム、又は動き補償のない交互に再構成されたフレームのうちの何れか一つにより、前記現在フレームを選択的・時間的にフィルタリングするステップをさらに含むことを特徴とする請求項6に記載のビデオエンコーディング方法。
  8. 動き推定ユニットから推定された動きベクトルを受信するように構成され配置された動き補償ユニットと、
    前記動き補償ユニットに接続された残差計算ユニットと、及び
    前記動き補償ユニットに接続され、現在ビデオフレームの受信を可能にし、動き補償参照フレームと前記現在ビデオフレームとの間のブレンディングのための要求だけでなく、前記ブレンディングの強度レベルの決定を可能にする時間フィルタユニットとを含むことを特徴とするビデオエンコーダ。
  9. 前記ブレンディングは、画素レベルまで遂行されることを特徴とする請求項8に記載のビデオエンコーダ。
  10. エンコードする現在ビデオフレームを受信するステップと、
    以前エンコードされた参照フレームを受信するステップと、
    動き推定及び補償を使用することによって、前記以前エンコードされた参照フレームから動き補償参照フレームを生成するステップと、及び
    ブレンディングが必要かどうかを前記動き補償参照フレームと前記現在ビデオフレームとに基づいて決定し、もしそうであれば、前記ブレンディングの強度を決定するステップとを含むことを特徴とするビデオフレームのビデオエンコーディング方法。
  11. 前記ブレンディングは、画素レベルまで遂行されることを特徴とする請求項10に記載のビデオフレームのビデオエンコーディング方法。
JP2011521302A 2008-08-01 2009-07-29 雑音除去のための統合時間フィルタを備えたビデオエンコーダ Pending JP2011530222A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8551808P 2008-08-01 2008-08-01
US61/085,518 2008-08-01
PCT/US2009/052166 WO2010014760A1 (en) 2008-08-01 2009-07-29 Video encoder with an integrated temporal filter for denoising

Publications (1)

Publication Number Publication Date
JP2011530222A true JP2011530222A (ja) 2011-12-15

Family

ID=41151874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011521302A Pending JP2011530222A (ja) 2008-08-01 2009-07-29 雑音除去のための統合時間フィルタを備えたビデオエンコーダ

Country Status (5)

Country Link
US (1) US9414091B2 (ja)
JP (1) JP2011530222A (ja)
KR (1) KR101563554B1 (ja)
CN (1) CN102067605B (ja)
WO (1) WO2010014760A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR101306242B1 (ko) * 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
TW201406166A (zh) 2012-07-27 2014-02-01 Novatek Microelectronics Corp 視訊編碼方法與視訊編碼裝置
US10080017B2 (en) * 2012-12-26 2018-09-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Reduction of I-pulsing artifacts
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
WO2015200727A1 (en) * 2014-06-25 2015-12-30 Arris Enterprises, Inc. A method for using a decoder or look-ahead encoder to control an adaptive pre-filter
US10477235B2 (en) * 2017-07-11 2019-11-12 Novatek Microelectronics Corp. Video encoding apparatus and video encoding method that perform filtering operation during video encoding process
US10951885B2 (en) 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
US11343495B2 (en) 2020-06-03 2022-05-24 Tencent America LLC Methods of simplification of temporal filtering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置，画像信号平滑化方法，画像符号化装置，画像符号化方法，画像復号化装置および画像復号化方法
JPH1070731A (ja) * 1997-07-09 1998-03-10 Victor Co Of Japan Ltd 動画像符号化装置、復号装置、動画像符号化方法、復号方法及び動画像記録媒体
JPH11504490A (ja) * 1996-02-19 1999-04-20 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ビデオ信号符号化方法及び装置
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539663A (en) 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
EP1064790A1 (en) 1999-01-15 2001-01-03 Koninklijke Philips Electronics N.V. Coding and noise filtering an image sequence
US6625310B2 (en) 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7042946B2 (en) 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
WO2004049723A1 (en) 2002-11-27 2004-06-10 Koninklijke Philips Electronics N.V. Video encoding method
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
KR100631768B1 (ko) * 2004-04-14 2006-10-09 삼성전자주식회사 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와,비디오 디코딩방법 및 비디오 디코더
US7512182B2 (en) 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
KR100772405B1 (ko) 2005-09-27 2007-11-01 삼성전자주식회사 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
US7702131B2 (en) 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
US20080063064A1 (en) * 2006-09-13 2008-03-13 Macinnis Alexander Method and System for Motion Compensated Temporal Filtering Using IIR Filtering
KR100950182B1 (ko) 2007-11-14 2010-03-29 (주)씨디네트웍스 서버의 로드 밸런싱 방법 및 그 장치
CL2008003507A1 (es) 2007-11-26 2009-11-27 Neuroderm Ltd Composicion farmaceutica que comprende nicotina y un inhibidor de la desensibilizacion del receptor de acetilcolina nicotinico (nachr) opipramol; kit farmaceutico; dispositivo medico; y uso para tratar una enfermedad o trastorno del sistema nervioso central o periferico.
US8406491B2 (en) 2008-05-08 2013-03-26 Ut-Battelle, Llc Image registration method for medical image sequences
JP5317604B2 (ja) 2008-09-22 2013-10-16 Ｊｘ日鉱日石エネルギー株式会社 軽油組成物

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置，画像信号平滑化方法，画像符号化装置，画像符号化方法，画像復号化装置および画像復号化方法
JPH11504490A (ja) * 1996-02-19 1999-04-20 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ビデオ信号符号化方法及び装置
JPH1070731A (ja) * 1997-07-09 1998-03-10 Victor Co Of Japan Ltd 動画像符号化装置、復号装置、動画像符号化方法、復号方法及び動画像記録媒体
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法

Also Published As

Publication number Publication date
US9414091B2 (en) 2016-08-09
US20100027665A1 (en) 2010-02-04
KR101563554B1 (ko) 2015-10-27
KR20110037957A (ko) 2011-04-13
WO2010014760A1 (en) 2010-02-04
CN102067605A (zh) 2011-05-18
CN102067605B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
US11445197B2 (en) Video decoder with enhanced CABAC decoding
JP2011530222A (ja) 雑音除去のための統合時間フィルタを備えたビデオエンコーダ
JP5467141B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
US20050002458A1 (en) Spatial scalable compression
US20080063080A1 (en) Hierarchical Motion Estimation Using Original Frame for Sub-Sampled Reference
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
CA3014042A1 (en) Low-complexity intra prediction for video coding
JP2009260977A (ja) 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮
US8548062B2 (en) System for low resolution power reduction with deblocking flag
US20100086048A1 (en) System and Method for Video Image Processing
US20130202036A1 (en) Intra/Inter Mode Decision for Predictive Frame Encoding
US8767828B2 (en) System for low resolution power reduction with compressed image
KR20070028404A (ko) 픽처를 저장하는 방법, 비디오 복호기, 비디오 부호기,휴대 장치 및 컴퓨터 프로그램 제품
KR20030009669A (ko) 다채널 영상 부호화기 및 그 부호화 방법
US20060133491A1 (en) Video codec
US9313523B2 (en) System for low resolution power reduction using deblocking
US20060133497A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level
US20120014445A1 (en) System for low resolution power reduction using low resolution data
KR20040083450A (ko) 메모리-대역폭 효율적인 파인 그래뉼라 확장성 인코더
KR20060101847A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN106254872A (zh) 熵转换编码的方法以及相关装置
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP2006324888A (ja) 動画像符号化装置
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US8391367B1 (en) High performance context-adaptive video processor

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131219