JP2012503902A - 適応フィルタ - Google Patents

Abstract

動画符号器は、原動画データおよび予測サンプルを生成するために再構成された動画データにしたがって予測技術を実行する予測ユニットと、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、参照動画データとして前記再構成された動画データを記憶する参照画像バッファを含む。動画符号器は、さらに、現在の画像の前記原動画データおよび前記現在の画像の前記再構成された動画データにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、符号化の順序における前画像の、記憶された前記フィルタパラメータにしたがって、前記再構成された動画データをフィルタリングする適応ループフィルタとを含む。前記フィルタパラメータ推定器と前記適応ループフィルタとは、並行して動作できる。

Description

〔関連出願の相互参照〕
本出願は、米国特許出願１２／４０５，２５１号の利益を享受するものである。当該出願は、２００９年３月１７日に出願され、参照によって本出願に含まれる。本出願は、さらに米国特許出願６１／０９９，９８１号の利益を享受するものである。当該出願は、２００８年９月２５日に出願され、参照によって本出願に含まれる。

〔背景技術〕
近年、動画を符号化する方法は、モーション推定、モーション補償、非ブロック化、そして動画圧縮のためのフィルタリングなど、幅広く様々な技術を用いている。従来の方法は、動画像はブロックに分割され、予測符号化が行われて再構成され、次の画像を予測符号化するための参照として使われることを特徴とする、差分符号化ループを用いる。

近年の符号化に関する開発においては、符号化された画像の質をさらに改善するためにインループ・ウィーナーフィルタが用いられてきた。ウィーナーフィルタは、原信号とノイズを含む信号（符号化処理の結果として本来的に生じる特定の誤差を伴う信号）との当該誤差を減らすよう機能する。ウィーナーフィルタは、フィルタパラメータを推定するために、最初に自己相関行列と相互相関ベクトルを使う。この推定は、非ブロック化の過程の後に行うことが一般的である。ここで、図１を参照されたい。図１は、差分符号化ループとして適応ループフィルタを備えた、従来の動画符号器の構成である。動画符号器１００は、モーション推定／モーション補償（ＭＥ／ＭＣ）部１１０、画面内予測部１０５、マクロブロックモード決定部１５５、変換／量子化（Ｔ／Ｑ）部１４０、逆変換／逆量子化（ＩＴ／ＩＱ）部１４５、再構成ユニット１３５、非ブロック化ユニット１３０、エントロピー符号化ユニット１５０、フィルタパラメータ推定器１２５、適応ループフィルタ１２０、および参照画像バッファ１１５から構成される。ウィーナー・ホップの等式は、フィルタパラメータを推定するためのフィルタパラメータ推定器１２５によって構成され、解かれる。この等式は、非ブロック化された信号（フィルタリングされる信号）の自己相関、および、（入力からの）原信号と非ブロック化された信号との相互相関を計算するためのものであり、（入力からの）原画像および（非ブロック化ユニット１３０からの）非ブロック化された画像にアクセスすることにより構成され、この２つへのアクセスは同時になされる。これは、第１のパスとして知られる。したがって、ウィーナーフィルタ係数は、より小さな誤差で信号を生成するために、非ブロック化された画像に対して適用されなければならない。これは、第２のパスとして知られる。そして、生成された信号は、参照画像バッファ１２０に記録されなければならない。すなわち、参照画像バッファ１２０は、将来の参照に備えて再構成画像を記憶する。この処理は図２に示される。図から把握できるように、従来の２パス処理は、画素ごとに３回の読み込みおよび書き込みの処理を必要とする。この処理は頻繁にＤＲＡＭへアクセスする必要があるため、符号化のための待ち時間が増加する。

図１１は、差分符号化ループにおいて、適応ループフィルタを含む従来の動画復号器を示す図である。動画復号器１１００は、ＭＣ部１１２０、画面内予測部１１１５、ＩＴ／ＩＱ部１１１０、再構成ユニット１１３５、非ブロック化ユニット１１４０、エントロピー復号化ユニット１１０５、適応ループフィルタ１１３０、および参照画像バッファ１１２５から構成される。

ウィーナーフィルタリングは、画面内予測の処理においても適用されてよい。ここで、図３を参照されたい。図３は、差分符号化ループにおいて、適応補間フィルタを含む従来の動画符号器を示す図である。動画符号器３００は、ＭＥ／ＭＣ部３１０、画面内予測部３０５、マクロブロックモード決定部３３５、非ブロック化ユニット３３０、エントロピー符号化ユニット３５０、フィルタパラメータ推定器３２５、適応補間フィルタ３２０、および参照画像バッファ３１５から構成される。フィルタパラメータ推定器は、最適なフィルタパラメータを計算し、適応フィルタは原信号と予測信号との誤差を減らす。当初は、現在のある画像に対する最適なフィルタパラメータは未知である。予測信号（フィルタリングされる信号）の自己相関、および、（入力からの）原信号と（マクロブロックモード決定部の出力からの）予測信号との相互相関を計算することにより、フィルタパラメータ推定器はウィーナー・ホップの等式を構成し、予測信号は予め定義された標準の６タップフィルタ係数を用いて参照画像を補間することによって得られる。そして、フィルタパラメータ推定器は、最適なフィルタ係数を得るために当該等式を解く。これは、第１のパスとして知られる。次に、現在の画像の参照画像は補間され、２度目のＭＥ／ＭＣによる最適なフィルタパラメータによってフィルタリングされる。これは、第２のパスとして知られる。この第２のパスは、収束するまで反復して行われる。この処理は図４に示される。フローチャートから把握できるように、従来のマルチパス処理は、ＭＥ／ＭＣの処理を２回以上必要とする。符号化待ち時間および複雑度は、双方とも有意に増加する。

図１２は、差分符号化ループにおいて、適応補間フィルタを含む従来の動画復号器を示す図である。動画復号器１２００は、ＭＣ部１２２０、画面内予測部１２１５、ＩＴ／ＩＱ部１２１０、再構成ユニット１２３５、非ブロック化ユニット１２４０、エントロピー復号化ユニット１２０５、適応補間フィルタ１２２５、および参照画像バッファ１２３０から構成される。

本発明は、従来の２パスフィルタ処理と比べて、ＤＲＡＭへのアクセスが少なくて済む動画符号化のための適応フィルタを提供することを目的とする。本発明は、符号化にかかる待ち時間や計算複雑性を軽減する、様々な動画データの符号化方法を提供することも目的とする。

動画データを符号化するために適応ループフィルタリングを利用する動画符号器であって、原動画データおよび予測サンプルを生成するために再構成された動画データにしたがって予測技術を実行する予測ユニットと、前記予測ユニットと連動され、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、前記再構成ユニットと連動され、現在の画像の前記原動画データと前記現在の画像の前記再構成された動画データにしたがってフィルタパラメータを推定するためのフィルタパラメータ推定器と、前記再構成ユニットおよび前記参照画像バッファと連動され、符号化の順序における前の画像の、記憶された前記フィルタパラメータにしたがって、前記再構成された動画データをフィルタリングする適応ループフィルタとを備え、前記フィルタパラメータ推定器と前記適応ループフィルタとが並行して動作可能であることを特徴とする動画符号器。

動画データの符号化方法であって、原動画データと、予測サンプルを生成するために再構成された動画データにしたがって、予測技術を実行する工程と、前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、現在の画像の前記原動画データに対するフィルタパラメータを推定する工程と、符号化の順序における前画像の記憶されたフィルタパラメータにしたがって、前記現在の再構成された画像をフィルタリングする工程とを含み、符号化の順序における前記前画像の記憶されたフィルタパラメータにしたがって、フィルタパラメータを推定すること、および前記現在の再構成された画像をフィルタリングすることとが、並行して実行可能であることを特徴とする動画データの符号化方法。

符号化された動画データを復号するための動画復号器であって、符号化されたビットストリームを解析するためのエントロピー復号ユニットと、前記エントロピー復号ユニットにしたがって予測技術を実行する予測ユニットと、前記予測ユニットと連動され、再構成された動画データを構成するために予測サンプルを再構成する再構成ユニットと、前記予測ユニットと連動され、フィルタリングされた画像を後続の画像の参照画像として記憶する参照画像バッファと、前記再構成ユニットおよび前記参照画像バッファと連動され、参照画像を生成するための以前に復号されたフィルタパラメータによって再構成された画像をフィルタリングする適応ループフィルタとを備えることを特徴とする動画復号器。

動画データの復号方法であって、ビットストリームのエントロピー復号を実行する工程と、エントロピー復号の結果にしたがって予測技術を実行する工程と、再構成されたビデオデータを構成するために予測サンプルを再構成する工程と、符号化の順序における前の画像の記憶されたフィルタパラメータにしたがって、現在の再構成された画像をフィルタリングする工程とを含むことを特徴とする動画データの復号方法。

本発明のこれらおよび他の目的は、様々な図や表で示される好ましい実施形態についての以下の詳細な記述を読んだ後で、通常の当業者にとって明らかになるであろう。

適応ループフィルタリングの従来技術に基づく動画符号器を示す図である。 図１に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。 適応補間フィルタリングの従来技術に基づく動画符号器を示す図である。 図３に示される動画符号器の処理の流れを示す図である。 本発明の第１の実施形態に係る動画符号器を示す図である。 図５に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。 本発明の第２の実施形態に係る動画符号器を示す図である。 図７に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。 本発明の第３の実施形態に係る動画符号器を示す図である。 図９に示される動画符号器によるＤＲＡＭへのアクセスを示す図である。 図１における適応ループフィルタリングの従来技術に基づく動画復号器を示す図である。 図３における適応補間フィルタリングの従来技術に基づく動画復号器を示す図である。 本発明の第４の実施形態に係る動画符号器を示す図である。 本発明の第５の実施形態に係る動画符号器を示す図である。 本発明の第６の実施形態に係る動画符号器を示す図である。

図５を参照されたい。図５は、本発明の第１の実施形態に係る適応フィルタを伴う動画符号器５００を示す図である。動画符号器５００は、ＭＥ／ＭＣユニット５１０、画面内予測ユニット５０５、マクロブロックモード決定ユニット５５５、参照画像バッファ５２０、適応ループフィルタ５１５、フィルタパラメータ推定器５２５、再構成ユニット５３５、非ブロック化ユニット５３０、Ｔ／Ｑユニット５４０、ＩＴ／ＩＱユニット５４５、およびエントロピー符号化ユニット５５０から構成される。図から把握できるように、適応フィルタは２つの部分から成る。すなわち、第１の部分はパラメータ推定器５２５であり、非ブロック化ユニット５３０および参照画像バッファ５２０と連動するよう構成されている。第２の部分は適応ループフィルタ５１５であり、参照画像バッファ５２０およびＭＥ／ＭＣユニット５１０と連動するよう構成されている。ＭＥ／ＭＣのピクセルデータがチップ上に記憶されることで、これらをＤＲＡＭのアクセスと同時に実行できる。

フィルタパラメータ推定器５２５は、非ブロック化画像および原画像にアクセスし、ウィーナー・ホップの等式を解き、そして参照画像バッファ５２０にフィルタパラメータを書き込む。参照画像バッファは通常ＤＲＡＭによって実現されているが、キャッシュ、ＳＲＡＭやレジスタなどの内部メモリにフィルタ係数を記憶することができる。

１次元（１−Ｄ）または２次元（２−Ｄ）の有限インパルス反応（ＦＩＲ）フィルタのためのウィーナー・ホップの等式は、非ブロック化されたピクセル（フィルタリングされる信号）の自己相関行列と、原ピクセルおよび非ブロック化ピクセルとの相互相関ベクトルを最初に生成することによって解かれる。フィルタ係数はウィーナー・ホップの等式を解くことによって計算される。非ブロック化された画像も参照画像バッファ５２０へ書き込まれ、フィルタパラメータは対応する画像とともにそこへ記憶される。１つの実施形態においては、参照画像が参照画像バッファ５２０から削除されれば、対応するフィルタパラメータも削除されてよい。したがって、フィルタパラメータ推定器５２５は、非ブロック化ユニット５３０からの次の画像のために同じ処理を実行する。同時に、適応ループフィルタ５１５は、参照画像バッファ５２０から、符号化する順序における前の画像とそれに対応するフィルタパラメータを取り出し、当該前の画像に当該フィルタパラメータを適用して、ＭＥ／ＭＣ処理を行う。このように、各ピクセルに対して、非ブロック化された画像および参照画像バッファ５２０へは１回アクセスするだけでよい。フィルタリングは、適応ループフィルタ５１５で実行されるため、フィルタリングされた画像は直ちにＭＥ／ＭＣユニット５１０へ送られてもよい。いくつかの実施形態において、適応ループフィルタ５１５は、ＭＥ／ＭＣ処理における補間処理に組み込まれてよい。従来技術と比較して、このフィルタリングされた画像は、参照画像バッファ５２０に記録される必要がない。しかも、参照画像バッファ５２０は、探索範囲データなどのＭＥ／ＭＣデータを決めるためにいずれにせよ読み込まれる必要があるため、適応ループフィルタ５１５による参照画像の読み込みの際には、従来技術に比べて１回の読み込みおよび１回の書き込みが節約できる。また、ＭＥ／ＭＣが実行されると同時に行われる、フィルタパラメータ推定器５２５によるＤＲＡＭへのアクセスは、ＭＥ／ＭＣデータがチップ上へ通常の通り保存されることでＤＲＡＭの待ち時間には影響しない。したがって、適応ループフィルタリングのための１パスアルゴリズムが達成される。これは図６に図示される。

加えて、この１パスアルゴリズムは、この適応的方法の適合性能を評価することによって、動作／非動作を切り替えることができる。例えば、コスト関数やレート歪み基準が、あるピクセルに対して特定の処理を実行することの利益を決定するために利用される。レート歪み基準は、
ΔＪ＝ΔＤ＋λΔＲ
として表されてよい。ここで、ΔＲはパラメータビット、ΔＤ＝Ｄ_{filter on}−Ｄ_{filter off}であり、もし、ΔＪ＜０の場合はフィルタを動作させ、そうでない場合はフィルタを動作させる必要がないこととする。

例えば、図５で示される回路とする場合、最初の画像に対するレート歪み基準は、適応フィルタリングが実行されるべきかそうでないかを決定できる。コスト関数における項Ｄ_{filter on}は、非ブロック化画像を実際にフィルタリングしなくとも適切に推定される。しかし、Ｄ_{filter on}を近似してΔＤを得るためには、自己相関行列および相互相関ベクトルを計算しなければならず、ΔＲを推定するためには、フィルタパラメータを解かなければならない。１パスアルゴリズムを使うことにより、レート歪みの決定を計算するための複雑度は有意に下がる。ある実施形態においては、フィルタパラメータ推定器は、ウィーナーフィルタパラメータを決定するためのウィーナーフィルタ生成ユニット、および適応ループフィルタを動作させるか否を決定するためのレート歪み基準を実行し、生成されたフィルタパラメータにしたがってフィルタリングを実行するためのレート歪み決定ユニットから構成される。

加えて、画像全体に対してフィルタリングの決定を行う必要はない。画像のある特定領域のみにフィルタリングを適用することが可能である。したがって、１パスアルゴリズムは、領域に基づくレート歪みの決定に極めて適している。この領域に基づくレート歪みの決定は、
ΔＪ_ｍ＝ΔＤ_ｍ＋λΔＲ_ｍ
として表されてよい。ここで、ΔＲ_ｍはパラメータビット、ΔＤ_ｍ＝Ｄ_{ｍ,filter on}−Ｄ_{ｍ,filter off}であり、もし、ΔＪ_ｍ＜０の場合はフィルタを動作させ、そうでない場合はフィルタをその領域に対して動作させる必要がないこととする。

１パス適応フィルタは、実際のフィルタリングがレート歪みの決定を行うために必要とされないことを意味するため、フィルタリング結果を保存する一時画像メモリを提供する必要はない。

従来の符号化は、符号化処理の正確さを改善するために、補間フィルタを内包することがある。補間フィルタは典型的な線形フィルタであるため、ＤＲＡＭへのさらなるアクセスを必要とすることなく、適応ループフィルタ５１５に組み込むことができる。適応ループフィルタおよび補間フィルタが、２つの連結された機能ブロックとして組み込まれている場合、適応ループフィルタは最初に整数のピクセルを処理し、次にフィルタされた整数のピクセルに関して補間が実行される。補間および適応ループフィルタリングは線形の処理であるため、これらは乗算器を共有するために、１つの複数機能ブロックにさらに組み込まれてよい。２つの組み合わせ手法のいずれも、ＤＲＡＭへ１回のアクセスしか必要としないが、再構成された画像の質を改善するように作用する。

加えて、ＤＲＡＭアクセスの待ち時間を減らすためのさまざまな手法が提供される。第１の手法は、２つの連続した画像の間の変化が有意でないことを仮定しているため、前の画像のフィルタパラメータを、現在の画像に対するパラメータとして使う。これにより、フィルタパラメータの推定および画像のフィルタリングは並行して実行できるため、フィルタパラメータ推定器および参照画像バッファによる適応ループフィルタを分離することなく、１パス画像データにアクセスすることができる。上述した１パス構造または領域に基づくフィルタリングは、このコンセプトへも適用できる。ここで、１つの適応ループフィルタだけが、フィルタパラメータの推定として１パスアルゴリズムを利用し、画像のフィルタリングが並行して実行されるため、この改良では２つの適応ループフィルタを必要としないことに注意する。図７を参照されたい。図７は、本発明の第２の実施形態に係る動画符号器７００を示す図である。動画符号器７００は、ＭＥ／ＭＣユニット７１０、画面内予測ユニット７０５、マクロブロックモード決定ユニット７５５、参照画像バッファ７１５、適応ループフィルタ７２０、フィルタパラメータ推定器７２５、再構成ユニット７３５、非ブロック化ユニット７３０、Ｔ／Ｑユニット７４０、ＩＴ／ＩＱユニット７４５、およびエントロピー符号化ユニット７５０から構成される。図から把握できるように、適応フィルタは２つの部分からなる。すなわち、第１の部分は、非ブロック化ユニット７３０および適応ループフィルタ７２０が連動するように構成されているフィルタパラメータ推定器７２５であり、第２の部分は、非ブロック化ユニット７３０および参照画像バッファ７１５が連動するよう構成されている適応ループフィルタ７２０である。非ブロック化ユニット７３０が現在の画像を出力するとき、以前に推定されたフィルタパラメータにしたがって、適応ループフィルタ７２０が現在の画像をフィルタする一方で、フィルタパラメータ推定器７２５は当該現在の画像のフィルタパラメータを推定する。これはＤＲＡＭへのアクセスが１回で済むため、１パスフィルタリングが達成される。ＤＲＡＭへのアクセス要求は図８に示される。ｋ＝１のときは符号化の順序においてｔ−１画像の、ｋ＝２のときは符号化の順序においてｔ−２画像のというように、いずれか１つの前の画像およびいずれかの事前に定義されたフィルタパラメータに対応するフィルタパラメータを適用するこの方法の変形例は、本発明の思想に従う。符号化の順序における前の画像に対応するフィルタパラメータを考慮する適応ループフィルタは、時間遅延を伴う適応ループフィルタの設計と呼ばれる。

パラメータの最適集合を得るために、現在の画像に対応するフィルタパラメータの集合をフィルタパラメータの他の集合と比較することができるなら、依然として１パス構造のための分離フィルタパラメータ推定器と適応ループフィルタ（すなわち、図５に示される装置）を使う必要があることに注意する。適応ループフィルタを選択または不能にするためのコスト関数を計算してもよく、対応するコストが複数のコストの中で最小であれば、適応ループフィルタは不能にされる。前の画像と同じように、現在の画像に対応するフィルタパラメータを考慮する適応ループフィルタは、時間シェアリングまたは時間乗算の適応ループフィルタの設計と呼ばれ、１パス（例えば図５）または２パス（例えば図１）のいずれの構造によって実現してもよい。記憶できるパラメータ集合の数の上限は、設計者の任意である。上述した領域に基づくフィルタリングは、このコンセプトにも適用できる。

上述したように、適応ループフィルタリングを実行するコストを決定するために、レート歪み基準を利用してもよい。複数の画像にそれぞれ対応する複数のフィルタリングパラメータがメモリに記憶されると、いずれの適応ループフィルタの集合が使用するのに最適な集合であるかを決定するために、すべてのパラメータ集合に対するコストを比較することができる。いくつかの実施形態においては、適応ループフィルタを不能にするためのコストも計算され、他のコストと比較され、対応するコストが複数のコストの中で最小であれば適応ループフィルタは不能にされる。

時間遅延または時間シェアリングの適応ループフィルタは、動画符号器によって生成されたビットストリームへフィルタインデクスを挿入するために、エントロピー符号化にフィルタインデクスを提供することができる。ビットストリームに挿入されるフィルタインデクスは、動画符号器において使われたパラメータ集合を選択するための、動画復号器のための指標である。例えば、時間シェアリングの適応ループフィルタが、符号化の順序において現在の画像より前にある１つの画像に対応するパラメータの最適集合を選択すれば、ビットストリームに挿入されるフィルタインデクスは、現在の画像に対するｔ−１画像（符号化の順序において、現在の画像より前にある１つの画像）のパラメータの集合を選択するための動画復号器を示す。

図９は、本発明の第３の実施形態に係る動画符号器の図である。この方法では、いくつかの連続する画像においてシーンの変化がなければ、その画像の間の変化は有意でないと仮定する。したがって、現在の画像は、ＭＣ／ＭＥを参照画像に適用するために、前の画像の補間フィルタパラメータを使うことができる。このように、フィルタパラメータの推定と参照画像のフィルタリングは並行して実行でき、したがって符号化ループを２回以上実行することなく１パス符号化を達成できる。この動画符号器は、ＭＥ／ＭＣ部９１０、画面内予測部９０５、マクロブロックモード決定部９５５、参照画像バッファ９１５、適応ループフィルタ９２０、フィルタパラメータ推定器９２５、再構成ユニット９３５、Ｔ／Ｑ部９４０、ＩＴ／ＩＱ部９４５、およびエントロピー符号化ユニット９５０から構成される。図から把握できるように、適応フィルタは２つの部分からなる。すなわち、第１の部分は、マクロブロックモード決定ユニット９５５および適応補間フィルタ９２０と連動するよう構成されるフィルタパラメータ推定器９２５であり、第２の部分は、参照画像バッファ９１５およびＭＥ／ＭＣユニット９１０と連動するよう構成される適応補間フィルタ９２０である。

現在の画像が符号化処理を通過すると、フィルタパラメータ推定器９２５は、マクロブロックレベルでデータを集め、これは適応補間フィルタのパラメータを計算するために使われる。特に、モード決定の後は、ブロック分割および現在のマクロブロックのモーションベクトルが達成され、これらの情報が参照ピクセルの自己相関行列、および、原ピクセルと参照ピクセルとの相互相関ベクトルの生成に使われる。自己相関行列および相互相関ベクトルは、マクロブロックの間で累積される。すべてのマクロブロックが符号化された後は、フィルタパラメータ推定器は、各サブピクセルの位置に対してウィーナー・ホップの等式を解き、現在の画像のピクセルと予測されたピクセルとの間の予測誤差を最小化できる補間フィルタのパラメータを得る。計算されたフィルタパラメータは、符号化の順序において次の画像のために使われる。これは、時間遅延を伴う適応補間フィルタの設計と呼ばれる。適応補間フィルタ９２０は、以前に推定された補間フィルタのパラメータにしたがって参照画像を補間する。このように、全体の符号化ループは１回行うだけでよく、したがって１パス符号化が達成できる。この処理は図１０に示される。

現在の画像のフィルタパラメータは、異なる適用環境にしたがって、符号化の順序における現在の画像または次の画像のビットストリームへ書き込まれてよい。第１のケースでは、前の画像の時間遅延パラメータはあらかじめ定義されているため、フィルタパラメータは現在の画像のビットストリームへ書き込まれる。例えば、時間遅延パラメータｋが２に設定されている場合、ｔ−２画像のパラメータはｔ画像に適用され、ｔ画像のビットストリームとともに送信される。第２のケースでは、現在の画像は、符号化の順序における前の画像のいずれか１つに対応するフィルタパラメータを使うことを適応的に決定するため、フィルタパラメータは時間遅延なく送信される。例えば、ｔ−２画像のフィルタパラメータはｔ画像に適用されるが、ｔ−２画像のビットストリームとともに送信される。この場合、フィルタインデクスは、符号器におけるビットストリームへ符号化され、挿入されたエントロピーである。このフィルタインデクスは、動画符号器で使われたパラメータ集合を選択する動画復号器のための指標である。

符号化の順序において、現在の画像とそれに対応する参照画像とから導出された時刻ｔのフィルタパラメータを、時刻ｔ−ｋのフィルタパラメータと比較してもよく、これを時刻シェアリングの適応補間フィルタの設計と呼ぶことに注意する。この場合、符号化の手法はなおマルチパスの画像符号化構造を必要とする。単純な方法は、異なる符号化パスにおける異なる時刻に対応する、各候補となるフィルタパラメータ集合に適用されるため、符号化の性能を評価した後に最適な集合を選択する。コスト関数／レート歪み基準は、その符号化パスにおいて各フィルタパラメータ集合を適用することについて、フレームレベルで符号化性能の利益を決定することに利用される。

時間シェアリング処理は、計算複雑度およびデータアクセスを下げることによって単純化された２パス符号化手法も提供する。特に、最初の符号化パスの後、実際に符号化処理を実行する代わりに、候補となるフィルタパラメータ集合の符号化性能の推定に早いレート歪み基準を用いてもよい。この早いレート歪み基準は、最初の符号化パスと候補となるフィルタパラメータ集合の情報を使うだけで、符号化ビットと歪みを推定する。

この手法の１つの例は、以下の通りである。すなわち、動画符号器は、固定された標準の補間フィルタパラメータを使って最初の符号化パスを実行する。その後に、モードやモーションベクトルといった符号化情報は達成されてよい。したがって、情報はＭＣ処理を実行することによって符号化歪みを計算するための異なるフィルタパラメータ集合とともに使われる。フィルタパラメータ集合と符号化情報との間にミスマッチが発生するが、この方法によって複雑度は大幅に軽減される。最小の歪みで済むフィルタパラメータ集合を選択した後は、２回目のパスがそのフィルタパラメータ集合を適用することによって実行される。

加えて、上記で述べた領域に基づくフィルタリングは、上記で述べた手法に適用されてよい。この領域に基づくフィルタ比較の１つの例は、マクロブロックレベルの１パス時間遅延フィルタリングである。この場合、フィルタの比較はマクロブロックレベルで行われ、前の画像だけのフィルタパラメータは、１パス符号化を達成するために使われる。現在のマクロブロックの符号化が始まると、以前に計算されたフィルタパラメータのいかなる組み合わせも、レート歪みの性能を使うことによってモード決定を行うために使われてよく、既存の標準の補間フィルタを含む。その後、最適な性能を発揮するフィルタパラメータの１つの集合は、現在のマクロブロックのために選択される。各マクロブロックのインデクスも符号化され、いずれのフィルタパラメータ集合が使われたかを示すためにビットストリームに挿入されたエントロピーである。予測的な符号化処理は、インデクスを符号化するときに適用される。候補となるフィルタパラメータ集合は、同じ画像で学習された異なるフィルタパラメータ集合などの、他の方法から導出されたフィルタを含んでもよいことに注意する。候補となるフィルタパラメータ集合を拡張する手法、および対応する領域に基づくインデクスを伴う異なる領域分割手法など、本手法の変形も本発明の思想に従う。

適応ループフィルタのパラメータまたは適応補間パラメータの和は、典型的には、特定の価に非常に近くなる。この性質は、最終的に送信される際、パラメータのビットを節約するために、フィルタパラメータを符号化することに適用される。例えば、平均ピクセル強度が増加または減少することを防ぐために、パラメータの和は１．０になることが仮定され、ビットストリーム中の最後のパラメータは、１．０から残りのパラメータの和を引くことによって予測される。

図１３は、本発明の第４の実施形態に係る動画復号器を示す図である。これは、図５で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１３０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１３１０、画面内予測サンプルを生成するための画面内予測ユニット１３１５、画面間予測サンプルを生成するためのＭＣユニット１３２０、現在の画像の再構成サンプルを生成するための再構成ユニット１３３５、再構成された画像のブロックノイズを低減するための非ブロック化ユニット１３４０、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１３３０、および、参照画像バッファ１３３０およびＭＣユニット１３２０と連動され、ＭＣにサンプルを生成するため、参照画像バッファの中に記憶されている対応するフィルタパラメータを伴う参照画像をフィルタリングするための適応ループフィルタ１３２５から構成される。ＭＣの補間処理および適応ループフィルタの処理は、待ち時間のために、２つの連結する機能ブロック、または１つの複数機能ブロックに組み込まれてもよい。図５に示される符号器は、図１に示される符号器と論理的に等価であるため（すなわち、これらは正しい設定のもとで完全に同じビットストリームを生成できる）、図５に示される符号器によって生成されたビットストリームは、図１１に示される復号器によって適切に復号化される。同様に、図１に示される符号器によって生成されたビットストリームは、図１３に示される復号器によっても適切に復号される。

図１４は、本発明の第５の実施形態に係る動画復号器を示す図である。これは、図７で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１４０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１４１０、画面内予測サンプルを生成するための画面内予測ユニット１４１５、画面間予測サンプルを生成するためのＭＣユニット１４２０、現在の画像の再構成サンプルを生成するための再構成ユニット１４３５、再構成された画像のブロックノイズを低減するための非ブロック化ユニット１４４０、適応ループフィルタ１４３０とＭＣユニット１４２０と連動され、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１４２５、および、非ブロック化ユニット１４４０および参照画像バッファ１４２５と連動され、参照画像を生成するため、以前に復号されたフィルタパラメータを伴う非ブロック化画像をフィルタリングするための適応ループフィルタ１４３０から構成される。適応ループフィルタ１４３０は、前の画像のビットストリームから復号されたフィルタパラメータを記憶するためのメモリを持っている。これは、時間遅延を伴う適応ループフィルタリングと呼ばれる。符号化の順序において時刻ｔのフィルタパラメータが、符号化の順序において時刻ｔ−ｋの前の画像のフィルタパラメータと比較できる場合、これは時間シェアリングの適応ループフィルタリングと呼ばれ、適応ループフィルタ１４３０は、符号化の順序において新しく復号された時刻ｔのフィルタパラメータか、または符号化の順序において記憶されていた時刻ｔ−ｋのフィルタパラメータを選択することに注意する。

図１５は、本発明の第６の実施形態に係る動画復号器を示す図である。これは、図９で示された符号器によって生成された符号化されたビットストリームを復号するための動画復号器であり、符号化されたビットストリームを解析するためのエントロピー復号化ユニット１５０５、周波数領域から正しいスケールを持つ空間領域へ残差信号を変換するためのＩＴ／ＩＱユニット１５１０、画面内予測サンプルを生成するための画面内予測ユニット１５１５、画面間予測サンプルを生成するためのＭＣ１５２０、現在の画像の再構成サンプルを生成するための再構成ユニット１５３５、再構成された画像のブロックノイズを低減するための非ブロック化ユニット１５４０、後の画像の参照画像として非ブロック化された画像を記憶するための参照画像バッファ１５３０、および、ＭＣのサンプルを生成するため、以前に復号されたフィルタパラメータを伴う参照画像を補間し、フィルタリングするための適応補間フィルタ１５２５から構成される。適応補間フィルタ１５２５は、前の画像のビットストリームから復号されたフィルタパラメータを記憶するためのメモリを持っている。これは、時間遅延を伴う適応補間フィルタリングと呼ばれる。符号化の順序において時刻ｔのフィルタパラメータが、符号化の順序において時刻ｔ−ｋの前の画像のフィルタパラメータと比較できる場合、これは時間シェアリングの適応補間フィルタリングと呼ばれ、適応補間フィルタ１５３０は、符号化の順序において新しく復号された時刻ｔのフィルタパラメータか、または符号化の順序において記憶されていた時刻ｔ−ｋのフィルタパラメータを選択することに注意する。

まとめると、本発明は、少ないＤＲＡＭへのアクセス回数と計算資源でデータをフィルタリングできるいくつかの装置および方法を提供する。加えて、１パス構造は、レート歪みを決定することによって高い計算効率を達成可能にし、領域に基づくフィルタリング、時間遅延を伴う適応フィルタリングおよび時間シェアリングの適応ループフィルタリングは、より柔軟な選択を可能にし、より効率的にフィルタリングを実行できる。

当業者は、本発明の示唆を保持する一方で、この装置および方法の多くの変形例や代替例が作成されることが容易に分かる。したがって、上記の開示は、添付の請求項の境界や限界によってのみ限定されるものとして解釈されるべきである。

Claims (15)

1. 動画データを符号化するために適応ループフィルタリングを利用する動画符号器であって、
   原動画データおよび予測サンプルを生成するために再構成された動画データにしたがって予測技術を実行する予測ユニットと、
   前記予測ユニットと連動され、前記再構成された動画データを構成するために前記予測サンプルを再構成する再構成ユニットと、
   参照動画データとして前記再構成された動画データを記憶する参照画像バッファと、
   前記再構成ユニットと連動され、現在の画像の前記原動画データと前記現在の画像の前記再構成された動画データにしたがってフィルタパラメータを推定するフィルタパラメータ推定器と、
   前記再構成ユニットおよび前記参照画像バッファと連動され、符号化の順序における前の画像の、記憶された前記フィルタパラメータにしたがって、前記再構成された動画データをフィルタリングする適応ループフィルタとを備え、
   前記フィルタパラメータ推定器と前記適応ループフィルタとが並行して動作可能であることを特徴とする動画符号器。
2. 前記フィルタパラメータ推定器は、
   フィルタリングされる信号の自己相関、原信号と前記フィルタリングされる信号との相互相関、および、前記推定されたフィルタパラメータにしたがってフィルタリングを行うために、前記適応ループフィルタを利用するか否かを決定するにあたってレート歪み基準を用いるレート歪み決定ユニットを備えることを特徴とする請求項１に記載の動画符号器。
3. 前記レート歪み決定ユニットは、前記適応ループフィルタに利用されるフィルタパラメータの集合を決定するために、推定されたフィルタパラメータの各集合に対する前記レート歪み基準を実行することを特徴とする請求項２に記載の動画符号器。
4. 前記レート歪み決定ユニットは、前記適応ループフィルタに利用されるフィルタパラメータの集合を決定するために、符号化の順序における複数の前の画像に対応する複数のフィルタパラメータから、推定されたフィルタパラメータの各集合に対する前記レート歪み基準を実行することを特徴とする請求項２に記載の動画符号器。
5. 前記レート歪み基準は、前記現在の画像の特定の領域から決定されることを特徴とする請求項２に記載の動画符号器。
6. 前記フィルタパラメータ推定器は、前記現在の画像をフィルタリングするために、いずれのフィルタパラメータの集合が使われたかを示すための、ビットストリームに挿入されるフィルタインデクスを提供することを特徴とする請求項１に記載の動画符号器。
7. 前記フィルタパラメータ推定器は、フィルタパラメータのレートを減らすために、フィルタパラメータの和を用いることによってフィルタパラメータの予測をさらに実行することを特徴とする請求項１に記載の動画符号器。
8. 動画データの符号化方法であって、
   原動画データおよび予測サンプルを生成するために再構成された動画データにしたがって、予測技術を実行する工程と、
   前記再構成された動画データを構成するために前記予測サンプルを再構成する工程と、
   現在の画像の前記原動画データに対するフィルタパラメータを推定する工程と、
   符号化の順序における前画像の記憶されたフィルタパラメータにしたがって、前記現在の再構成された画像をフィルタリングする工程とを含み、
   符号化の順序における前記前画像の記憶されたフィルタパラメータにしたがって、フィルタパラメータを推定すること、および前記現在の再構成された画像をフィルタリングすることとが、並行して実行可能であることを特徴とする動画データの符号化方法。
9. 前記フィルタパラメータを推定する工程は、
   フィルタリングされる信号の自己相関、原信号と前記フィルタリングされる信号との相互相関、および、前記推定されたフィルタパラメータにしたがってフィルタリングを行うか否かを決定するために、レート歪み基準を利用することをさらに含むことを特徴とする請求項８に記載の動画データの符号化方法。
10. 前記レート歪み基準は、前記現在の画像の特定の領域から決定されることを特徴とする請求項９に記載の動画データの符号化方法。
11. 前記フィルタパラメータを推定する工程は、
    複数の推定されたパラメータを記憶する工程と、
    利用されるフィルタパラメータの集合を決定するために、推定されたフィルタパラメータの各集合に対する前記レート歪み基準を実行する工程とをさらに含むことを特徴とする請求項８に記載の動画データの符号化方法。
12. 利用されるフィルタパラメータの集合を示すためにビットストリームへフィルタインデクスを挿入する工程をさらに含むことを特徴とする請求項８に記載の動画データの符号化方法。
13. 前記フィルタパラメータを推定する工程は、フィルタパラメータのレートを減らすために、フィルタパラメータの和を用いることによってフィルタパラメータの予測を実行する工程をさらに含むことを特徴とする請求項８に記載の動画データの符号化方法。
14. 符号化された動画データを復号するための動画復号器であって、
    符号化されたビットストリームを解析するためのエントロピー復号ユニットと、
    前記エントロピー復号ユニットにしたがって予測技術を実行する予測ユニットと、
    前記予測ユニットと連動され、再構成された動画データを構成するために予測サンプルを再構成する再構成ユニットと、
    前記予測ユニットと連動され、フィルタリングされた画像を後続の画像の参照画像として記憶する参照画像バッファと、
    前記再構成ユニットおよび前記参照画像バッファと連動され、参照画像を生成するための以前に復号されたフィルタパラメータによって再構成された画像をフィルタリングする適応ループフィルタとを備えることを特徴とする動画復号器。
15. 動画データの復号方法であって、
    ビットストリームのエントロピー復号を実行する工程と、
    エントロピー復号の結果にしたがって予測技術を実行する工程と、
    再構成されたビデオデータを構成するために予測サンプルを再構成する工程と、
    符号化の順序における前の画像の記憶されたフィルタパラメータにしたがって、現在の再構成された画像をフィルタリングする工程とを含むことを特徴とする動画データの復号方法。

Images