JP2012533215A - 領域ベースフィルタの協調型パーティション符号化方法及び装置 - Google Patents

Abstract

領域ベースのフィルタに使用される協調型パーティション符号化の方法及び装置が提供される。装置は、映像内の複数の領域について画像データを符号化するビデオ符号化器（１００）を含む。当該ビデオ符号化器（１００）は前記複数の領域についての領域パーティション情報に基づいて前記画像データをフィルタリングする複数のフィルタを含む。前記複数の領域の領域パーティション情報は前記複数のフィルタの間で共有される。

Description

本発明は画像（ビデオ）の符号化及び復号化に関し、特に、領域ベースの（ｒｅｇｉｏｎ ｂａｓｅｄ）フィルタのための協調型パーティション符号化方法及び符号化装置に関する。

近年、領域ベースのループ内フィルタ（ｉｎ−ｌｏｏｐ ｆｉｌｔｅｒ）及びループ外フィルタ（ｏｕｔ−ｌｏｏｐ ｆｉｌｔｅｒ）（例えば、補間フィルタ、デブロッキングフィルタ／アーティファクト除去フィルタ、前処理フィルタ／後処理フィルタ、ループフィルタなど）が画像の符号化に用いられるようになり、符号化効率及び視聴品質が向上している。このようなフィルタは通常、コンテンツまたはレート歪（ＲＤ）コストに基づいてビデオフレームを複数の領域に分割する。このようにして、フィルタの構造及び／またはパラメータが、各領域の局所的なコンテンツの特性に適応できるようになる。この手法は、静的でないビデオ信号の場合、うまく機能する。しかし、領域ベースのフィルタは通常、パーティション／セグメントをコード化するためにオーバーヘッドビットを使用しなければならず、その結果、上記コンテンツへの適応により得られる性能を全体的には低下させてしまう。これは特に、複数の領域ベースのフィルタが同時に１つの符号化器／復号器に存在し、セグメント化が各フィルタごとに独立に行われる場合に顕著である。全てのフィルタのセグメントを符号化するために使用されるビットは増大し、このため、これらフィルタから得られる性能を大幅に減じてしまう可能性がある。

ブロック適応ループフィルタ（ＢＡＬＦ）
第１の従来技術の手法では、ブロックベースの適応ループフィルタが提案されており、このフィルタでは、再構築フレームをウィナーフィルタによって元のフレームに復元する。ウィナーフィルタの係数は符号化器で推定され、副次的な情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）として復号器に送信される。ウィナーフィルタにより再構築フレームは全体的には元のフレームに復元することができるが、局所的に見ると劣化する画素がある。劣化したエリアは、これ以降の符号化フレームについての予測効率を下げてしまうので、このエリアをフィルタリング処理しない方が符号化性能は向上する。ＢＡＬＦにおいては、フレームは同じサイズのブロックに分割され、スイッチフラグが各ブロックに使用されて、そのブロックをフィルタリング処理すべきか否かの制御を行う。第２の従来技術の手法では、フレームの可変サイズブロックをフィルタリング処理すべきか否かを示すためクオッドツリー方式を採用する。可変サイズブロック方式を使用すると、フィルタ性能は同じサイズのブロックによる方式よりも優れるが、ブロックのサイズ及び位置を符号化するためのオーバーヘッドが大きくなる。

時空間適応ループフィルタ（ＳＴＡＬＦ）
低密度（ｓｐａｒｓｉｔｙ）ベースのノイズ除去技術から示唆された第３の従来技術の手法として、非線形のループ内フィルタが提案されている。非線形のループ内フィルタは、過剰変換領域（ｏｖｅｒーｃｏｍｐｌｅｔｅ ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ）における係数に閾値を適用することにより得られる複数のノイズ除去された推定値の平均を取る。アーティファクト除去処理の場合、閾値等のフィルタリングパラメータの選択は重要である。適用される閾値は、フィルタのノイズ除去性能を制御する際に重要な役割を果たすと共に、より良いノイズ除去推定値を選び出すときに使用される平均化重みを計算する際にも重要な役割を果たす。この第３の従来技術の手法においては、量子化パラメータ及び符号化モード情報に基づいて画素クラス毎に選択される閾値が符号化され、副次的な情報として復号器に送信される。閾値はビデオコンテンツに基づいて調整されない。

ブロックベースのフィルタパラメータ調整方法も提案されており、これはビデオ圧縮における上記低密度ベースのアーティファクト除去フィルタの性能を向上させるのに使用する。より詳細には、フィルタパラメータの調整は、量子化パラメータ及び符号化情報だけに基づくのでなく、ビデオシーケンスの領域にも基づいて行われ、これにより時空間調整が達成される。領域情報及びパラメータは信号伝達する必要があるので、各領域において、フィルタパラメータ（例えば閾値）はレート歪コスト（ＲＤコスト）に基づいて選定される。

複数領域ベースのフィルタ
２つ以上の領域ベースのフィルタが１つの符号化器／復号器に存在する場合、フレームのパーティションまたはセグメント化は各フィルタ毎に独立して行われる。パーティション情報も、各フィルタ毎に復号器に送信する必要がある。セグメント化は通常、ビデオコンテンツに強く相関しているので、これは冗長な処理である。

従来技術の上記した課題およびその他の課題は本発明により解決される。本発明は、領域ベースのフィルタのための協調型パーティション符号化（ｃｏｌｌａｂｏｒａｔｉｖｅ ｐａｒｔｉｔｉｏｎ ｃｏｄｉｎｇ）の方法及び装置に関する。

本発明の１つの態様によれば、次のような装置が提供される。装置は、映像内の複数の領域について画像データを符号化するビデオ符号化器を含む。当該ビデオ符号化器は前記複数の領域に関する領域パーティション情報に基づいて前記画像データをフィルタリングする複数のフィルタを含む。前記複数の領域に関する領域パーティション情報は前記複数のフィルタの間で共有される。

本発明の他の態様によれば、ビデオ符号化器において使用される方法が提供される。当該方法は、映像内の複数の領域について画像データを符号化するステップを含む。画像データは、前記複数の領域に関する領域パーティション情報に基づいて複数のフィルタによってフィルタリングされる。前記複数の領域に関する領域パーティション情報は前記複数のフィルタの間で共有される。

本発明の他の態様によれば、次のような装置が提供される。当該装置は、映像内の複数の領域について画像データを復号化するビデオ復号器を含む。当該ビデオ復号器は前記複数の領域に関する領域パーティション情報に基づいて前記画像データをフィルタリングする複数のフィルタを含む。前記複数の領域に関する領域パーティション情報は前記複数のフィルタの間で共有される。

本発明の他の態様によれば、ビデオ復号器において使用される方法が提供される。当該方法は、映像内の複数の領域について画像データを復号化するステップを含む。画像データは、前記複数の領域に関する領域パーティション情報に基づいて複数のフィルタによってフィルタリングされる。前記複数の領域に関する領域パーティション情報は前記複数のフィルタの間で共有される。

本発明の上記した態様、特徴及び利点・効果並びに上記されなかった態様、特徴及び利点・効果は、添付図面を参照しつつ読まれる下記の例示的な実施形態の詳細な説明から明らかにされる。

本発明は下記の図面に基づいてより良く理解されるであろう。

本発明の一実施形態に基づいて適用された例示的なビデオ符号化器のブロック図である。 本発明の一実施形態に基づいて適用された例示的なビデオ復号器のブロック図である。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した例示的な映像データ符号化方法のフローチャートである。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した例示的な映像データ復号化方法のフローチャートである。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した他の例示的な映像データ符号化方法のフローチャートである。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した他の例示的な映像データ復号化方法のフローチャートである。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した他の例示的な映像データ符号化方法のフローチャートである。 本発明の一実施形態に基づく、領域ベースのフィルタのための協調型パーティション符号化を使用した他の例示的な映像データ復号化方法のフローチャートである。

本発明の原理は領域ベースのフィルタに用いられる協調型パーティション符号化の方法及び装置に関する。

本明細書は本発明の原理を説明するものである。よって、当業者であれば、本明細書に明記されていないし図示もされていない構成ではあるが、本発明の原理を具現化し本発明の精神及び範囲内に包含される種々の構成を考案することができるであろう。

本明細書において記載されている全ての例及び条件を示す表現は、本技術分野を進歩させるために本発明者によって考案された原理の理解の補助をするという目的のためのものであり、明記された例及び条件に限定されないと解されるべきである。

また、本明細書において本発明に係る原理・思想、アスペクト及び実施形態を説明する記載並びに特定の例を説明する記載は、それらの構造的均等物及び機能的均等物の双方を包含すると理解されるべきである。さらに、当該均等物は現在知られている均等物を含むと共に将来開発される均等物、すなわちどのような構造であるかに拘らず、同じ機能を発揮する全ての要素を含む。

よって、例えば、当業者であれば、本明細書に記載されたブロック図は本発明を具現化する例示的な回路構成の概念図を示していることが理解できるであろう。同様に、全てのフローチャート、流れ図、状態遷移図、擬似コード等は、コンピュータ可読媒体に実質的に記述されてコンピュータもしくはプロセッサによって実行される種々のプロセ・方法・手順を示していることが、コンピュータもしくはプロセッサが明示されているかどうかにかかわらず理解できるであろう。

図面に示す種々の要素の機能は、専用のハードウエアの使用、及び適切なソフトウエアと共にソフトウエアを実行することができるハードウエアの使用により、提供される。プロセッサにより機能が提供される場合、その機能は１つの専用プロセッサにより提供されるか、１つの共有プロセッサにより提供されるか、複数の個別プロセッサ、これらプロセッサの幾つかは共有プロセッサであってもよいが、によって提供される。さらに、「プロセッサ」または「コンピュータ」という用語はソフトウエアを実行することができるハードウエアだけを意味すると解釈されるべきではないし、デジタル信号プロセッサハードウエア、ソフトウエアを記憶するＲＯＭ（読み取り専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）及び不揮発性記憶装置を暗示的に含むが、これらに限定されない。

その他のハードウエア、従来のもの及び／またはカスタムメードのものも含まれる。同様に、図面に示されているスイッチは全て概念的に示されている。それらの機能は、プログラムロジックの動作・処理により、専用ロジックにより、プログラム制御と専用ロジックのインタラクションにより、または手動により、実行されてもよい。その際、状況・前後関係から考えられる特定の技術が実施者によって選択され得る。

特許請求の範囲において、特定の機能を実施する手段として表現されている要素は全て、当該機能を実施する任意のものを包含する。例えば、（ａ）機能を実行する複数の回路要素の組み合わせ、または、（ｂ）任意の形式のソフトウエア、ソフトウエアを実行して機能を発揮するように適切な回路構成に組み合わされるファームウエア、マイクロコード等を含むものを包含する。このような特許請求の範囲によって規定される本発明は、種々の手段により提供される複数の機能が特許請求の範囲に記載されているように組み合わされ結合されるところに見出すことができる。よって、このような機能を提供することができる任意の手段は、特許請求の範囲に示された手段と均等であると解釈されるべきである。

明細書において本発明の「１つの実施形態」もしくは「一実施形態」として説明されている場合及び実施形態の変形例として説明されている場合、実施形態との関連で記載されている特定の特徴、構造、特性・性質等は本発明の少なくとも１つの実施形態に含まれる。よって、「１つの実施形態において」もしくは「一実施形態において」という表現並びに実施形態の変形例においてという表現は、明細書全体の色々な箇所に出てくるが、必ずしも同一の実施形態を意味しているわけではない。

「／」、「及び（並びに）／もしくは（または）」及び「少なくとも１つ（一方）の」という表現が使用される場合（例えば、Ａ／Ｂ、Ａ及び／もしくはＢ、少なくともＡ及びＢの１つ（一方））、最初に書いた選択肢（Ａ）だけを選ぶことと、２番目に書いた選択肢（Ｂ）だけを選ぶことと、両方の選択肢（ＡとＢ）を選ぶことを包含する。別の例として、「Ａ、Ｂ及び／もしくはＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、最初に書いた選択肢（Ａ）だけを選ぶことと、２番目に書いた選択肢（Ｂ）だけを選ぶことと、３番目に書いた選択肢（Ｃ）だけを選ぶことと、最初と２番目に書いた選択肢（ＡとＢ）だけを選ぶことと、最初と３番目に書いた選択肢（ＡとＣ）だけを選ぶことと、２番目と３番目に書いた選択肢（ＢとＣ）だけを選ぶことと、３つ全ての選択肢（ＡとＢとＣ）を選ぶことを包含する。このような解釈の仕方は、当該技術分野及び関連技術分野における通常の知識を持つ者であれば容易に理解できるであろうが、書かれている選択肢がさらに多くなっても同様に適用される。

さらに、本明細書において使用されている「映像」及び「画像」という用語は、相互に置き換えることができる用語であり、ビデオシーケンスからの静止画像または映像を意味する。映像はフレームまたはフィールドであってよいことは公知のとおりである。

また、本明細書において使用されている「映像領域」（単に「領域」と略されることもある）という用語は、映像の一部を囲むものを意味し、さらに／または、例えば任意のサイズの任意の形状もしくは１つ以上のブロックから形成されたものを意味する。１つ以上のブロックとは例えば、スーパーマクロブロック、マクロブロック、マクロブロックパーティション、サブマクロブロックパーティション等に関する。

加えて、本明細書において使用する「領域パーティション情報」という用語は、映像がどのように複数の映像領域に分割されているかを示す。よって、領域パーティション情報は例えば、以下のものに限定されないが、映像が同じサイズの重ならないブロックに分割されている場合、ブロックサイズを含み、映像がオブジェクトに基づいて分割されている場合オブジェクトエッジを含む。

さらに、本明細書において使用する「信号伝達する、信号により伝える（シグナリング）」という表現は、何かを対応する復号器に示すことを意味する。例えば、符号化器は領域パーティション情報及び／またはフィルタパラメータを信号伝達し、どの領域パーティション情報及びフィルタパラメータが符号化器側で使用されたかを復号器に知らせる。このようにして、同じ領域パーティション情報及びフィルタパラメータを符号化器側と復号器側の双方で用いるようにする。従って、例えば、符号化器は領域パーティション情報及びフィルタパラメータのセットを復号器に実際に送信し、復号器は同じセットの領域パーティション情報及びフィルタパラメータを使用することもあるし、あるいは、復号器がすでにその領域パーティション情報及びフィルタパラメータを他の情報とともに持っている場合は、信号伝達を用いて（実際に情報を送信しないで）、単に復号器にその領域パーティション情報及びフィルタパラメータのセットを知らせてそれらを選択できるようにする。領域パーティション情報及びフィルタパラメータそのものを送信しないことによって、ビットの節約が実現される。信号伝達は種々の手法で実行することができる。例えば、１つ以上の構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）、フラグ等を用いて対応する復号器に情報を伝える。

また、本明細書において使用されている「高レベル構文」（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）という用語は、マクロブロック層の上に階層的に存在するビットストリームに含まれている構文を意味する。本明細書で使用される高レベル構文は例えば、これに限定されないが、スライスヘッダレベルの構文、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：ＳＥＩ）レベルの構文、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）レベルの構文、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：シーケンスパラメータセット）レベルの構文、及びネットワーク抽象化層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ：ＮＡＬ）ユニットヘッダレベルの構文を意味する。

さらに、本明細書に記載された本発明に基づく１つ以上の例は、共有セグメント情報を利用する２つのループ内フィルタ（フィルタ１とフィルタ２）に関して説明するが、本発明はこれに限定されず、本発明の精神及び範囲を維持しながら、２以外の個数のフィルタを本明細書に記載された本発明の教示内容に基づいて使用してもよい。

図１を参照すると、本発明が適用されるビデオ符号化器１００が示されている。

ビデオ符号化器１００は、結合器１８５の非反転入力部に信号通信により繋がれている出力部を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力部は変換及び量子化装置１２５の第１の入力部に信号通信により結合している。変換及び量子化装置１２５の出力部はエントロピー符号化装置１４５の第１の入力部に信号通信により結合しると共に、逆変換及び逆量子化装置１５０の第１の入力部に信号通信により結合しる。エントロピー符号化装置１４５の出力部は、結合器１９０の第１の非反転入力部に信号通信により接続している。結合器１９０の出力部は、出力バッファ１３５の第１の入力部に信号通信により接続している。

符号化器制御部１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部、逆変換及び逆量子化装置１５０の第２の入力部、映像種別決定モジュール１１５の入力部、マクロブロック種別（ＭＢ種別）決定モジュール１２０の第１の入力部、内部推定モジュール１６０の第２の入力部、パーティション最適化装置１６５の第２の入力部、動画補償装置１７０の第１の入力部、動画推定装置１７５の第１の入力部、及び基準（ｒｅｆｅｒｅｎｃｅ）映像バッファ１８０の第２の入力部に信号通信により結合している。

符号化器制御部１０５の第２の出力部は、補助拡張情報（ＳＥＩ）インサータ１３０の第１の入力部、変換及び量子化装置１２５の第２の入力部、エントロピー符号化装置１４５の第２の入力部、出力バッファ１３５の第２の入力部、及びシーケンスパラメータセット（ＳＰＳ）及び映像パラメータセット（ＰＰＳ）インサータ１４０の入力部に信号通信により結合している。

ＳＥＩインサータ１３０の出力部は結合器１９０の第２の非反転入力部に信号通信により結合している。

映像種別決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の出力部に信号通信により結合している。映像種別決定モジュール１１５の第２の出力部は、マクロブロック種別決定モジュール１２０の第２の入力部に信号通信により結合している。

シーケンスパラメータセット（ＳＰＳ）及び映像パラメータセット（ＰＰＳ）インサータ１４０の出力部は、結合器１９０の第３の非反転入力部に信号通信により結合している。

逆量子化及び逆変換装置１５０の出力部は、結合器１１９の第１の非反転入力部に信号通信により結合している。結合器１１９の出力部は、内部推定モジュール１６０の第１の入力部と分割最適化装置１６５の第１の入力部に信号通信により結合している。分割最適化装置１６５の出力部は、フィルタ１ １６６の入力部に信号通信により結合している。フィルタ１ １６６の出力部は、フィルタ２ １６７の入力部に信号通信により結合している。フィルタ２ １６７の出力部は、基準映像バッファ１８０の第１の入力部に信号通信により結合している。基準映像バッファ１８０の出力部は、動画推定装置１７５の第２の入力部と動画補償装置１７０の第３の入力部に信号通信により結合している。動画推定装置１７５の第１の出力部は、動画補償装置１７０の第２の入力部に信号通信により結合している。動画推定装置１７５の第２の出力部は、エントロピー符号化１４５の第３の入力部に信号通信により結合している。

動画補償装置１７０の出力部は、スイッチ１９７の第１の入力部に信号通信により結合している。内部推定モジュール１６０の出力部は、スイッチ１９７の第２の入力部に信号通信により結合している。マクロブロック種別決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部に信号通信により結合している。スイッチ１９７の第３の入力部は、スイッチの（制御入力、つまり第３の入力ではない）「データ」入力が動画補償装置１７０もしくは内部推定モジュール１６０によって提供されるか否かを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部と結合器１８５の反転入力部に信号通信により結合している。

フレーム順序付けバッファ１１０の第１の入力と符号化器制御部１０５の入力を符号化器１００の入力として使用し、入力映像１０１を受信する。また、補助拡張情報（ＳＥＩ）インサータ１３０の第２の入力を、符号化器１００の入力として使用し、メタデータを受信する。出力バッファ１３５の出力を符号化器１００の出力として使用し、ビットストリームを出力する。

図２を参照して、本発明が適用されるビデオ復号器２００を示す。

ビデオ復号器２００は、エントロピー復号化装置２４５の第１の入力部に信号通信により結合している出力部を有する入力バッファ２１０を備える。エントロピー復号化装置２４５の第１の出力部は、逆変換及び逆量子化装置２５０の第１の入力部に信号通信により結合している。逆変換及び逆量子化装置２５０の出力部は、結合器２２５の第２の非反転入力部に信号通信により結合している。結合器２２５の出力部は、パーティション生成器２６５の第２の入力部と内部推定モジュール２６０の第１の入力部に信号通信により結合している。パーティション生成器２６５の第２の出力部は、フィルタ１ ２６６の第１の入力部に信号通信により結合している。フィルタ１ ２６６の出力部は、フィルタ２ ２６７の第１の入力部に信号通信により結合している。フィルタ２ ２６７の出力部は、基準映像バッファ２８０の第１の入力部に信号通信により結合している。基準映像バッファ２８０の出力部は、動画補償装置２７０の第２の入力部に信号通信により結合している。

エントロピー復号化装置２４５の第２の出力部は、動画補償装置２７０の第３の入力部、デブロッキングフィルタ２６５の第１の入力部及び内部推定装置２６０の第３の入力部に信号通信により結合している。エントロピー復号化装置２４５の第３の出力部は、復号器制御部２０５の入力部に信号通信により結合している。復号器制御部２０５の第１の出力部は、エントロピー復号化装置２４５の第２の入力部に信号通信により結合している。復号器制御部２０５の第２の出力部は、逆変換及び逆量子化装置２５０の第２の入力部に信号通信により結合している。復号器制御部２０５の第３の出力部は、デブロッキングフィルタ２６５の第３の入力部、フィルタ１ ２６６の第２の入力部及びフィルタ２ ２６７の第２の入力部に信号通信により結合している。復号器制御部２０５の第４の出力部は、内部推定モジュール２６０の第２の入力部、動画補償装置２７０の第１の入力部及び基準映像バッファ２８０の第２の入力部に信号通信により結合している。

動画補償装置２７０の出力部は、スイッチ２９７の第１の入力部に信号通信により結合している。内部推定モジュール２６０の出力部は、スイッチ２９７の第２の入力部に信号通信により結合している。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部に信号通信により結合している。

入力バッファ２１０の入力を復号器２００の入力として使用し、入力ビットストリームを受信する。デブロッキングフィルタ２６５の第１の出力を復号器２００の出力として使用し、出力映像を出力する。

上記したように、本発明は領域ベースのフィルタのための協調型パーティション符号化の方法及び装置に関する。本発明者は、種々の領域ベースのフィルタからセグメントの結果得られた物の間に多くの一致点があることを見出した。その理由は、それらが符号化モードのようなビデオ符号化情報、またはビデオコンテンツそのものに基づいているからである。この見地及び知識に基づいて、本発明者は、さらに符号化効率を向上するために、領域ベースのフィルタのパーティション／セグメント情報に関する協調型符号化技術を提案する。

よって、本発明の１つもしくは複数の実施形態によれば、符号化／復号器内の複数の領域ベースのフィルタのためのパーティション情報を共同で符号化する方法及び装置が提供される。領域のループ内フィルタもしくはループ外フィルタのほとんどはビデオコンテンツ統計量に従おうとするので、ビデオコンテンツ統計量に基づくこれらのパーティションもしくはセグメントは相関関係を有しているはずである。このように、１つのフィルタのパーティション情報は他のフィルタと共有することができ、よって、より大きなオーバーヘッドビットの使用を回避することができる。

一実施形態において、パーティション化／セグメント化は映像レート歪（ＲＤ）コストに基づき、全体的に行われて最適化することができる。よって、出力されるパーティション／セグメントはＲＤの点では最適になっており、最適化に供した全てのフィルタによって使用できる。映像の各パーティションにおいて、異なるフィルタがその領域に対して異なるフィルタリングパラメータを設定することができ、これにより調整が可能となる。別の実施形態において、セグメント／パーティション情報は、符号化情報、映像コンテンツ等に基づいてパラメータ調整を統合的に考慮して決められる。

他の実施形態においては、パーティション化は１つのフィルタについて実行されて最適化される。このフィルタから出力されるパーティションが幾つかの他のフィルタに対して使用できる。このような方法はパーティション化／セグメント化の複雑な最適化処理を軽減することができるが、フィルタリング性能を低下させる可能性もある。

他の実施形態においては、複数のフィルタのいくつかが同じ１つの領域セグメント／パーティション情報を共有し、他のフィルタは自身のセグメント／パーティション情報を使用する。

領域セグメント／パーティション情報は、例えば高レベル構文または領域レベル構文を用いて、信号伝達することができる。あるいは、領域セグメント／パーティション情報は以前に符号化された領域／映像／シーケンスから推定することもできる。
構文
表１は本発明の一実施形態による例示的なスライスヘッダ構文要素を示している。

表１の構文要素の記号の意味は以下のとおりである。

ｓｈａｒｅ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが１に等しいとき、協調型パーティション方式が、そのスライスに使用される。ｓｈａｒｅ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが０に等しいときは、協調型パーティション方式が使用されず、つまり各フィルタが自身のパーティション化を採用することを意味する。

ｓｈａｒｅｄ＿ｆｉｌｔｅｒ＿ｓｅｇ＿ｉｎｆｏは、複数のフィルタの間で共有されているフィルタセグメント情報を示している。

ｆｉｌｔｅｒ＿ｓｅｇ＿ｉｎｆｏ[ｉ]は、ｉ番目のフィルタが共有セグメント情報を使用しない場合、ｉ番目のフィルタのフィルタセグメント情報を示している。

図３を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用して映像データを符号化する方法の例３００を示す。方法３００はスタートのブロック３０５を有し、このブロックの後に有限ループ（ｌｏｏｐ ｌｉｍｉｔ）ブロック３１０に進む。有限ループブロック３１０は（異なる利用可能な）セグメント化処理に渡りループを開始し、有限ループブロック３１５に進む。有限ループブロック３１５は、その（現在の）セグメント化処理方式によって各（利用可能な）パーティションに渡りループを開始し、有限ループブロック３２０に進む。有限ループブロック３２０はフィルタパラメータセットに渡りループを行い、機能ブロック３２５に進む。機能ブロック３２５は第１のフィルタ（フィルタ１）を使用してフィルタリングを行い、機能ブロック３３０に進む。機能ブロック３３０は第２のフィルタ（フィルタ２）を使用してフィルタリングを行い、有限ループブロック３３５に進む。有限ループブロック３３５において、フィルタパラメータセットに渡るループを終了し、機能ブロック３４０に進む。機能ブロック３４０はこのパーティションについて最良のフィルタパラメータを（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、有限ループブロック３４５に進む。有限ループブロック３４５において、セグメント化処理による各パーティションに渡るループを終了し、有限ループブロック３５０に進む。有限ループブロック３５０において、セグメント化処理のループは終了し、機能ブロック３５５に進む。機能ブロック３５５で最良のセグメント化を（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、機能ブロック３６０に進む。機能ブロック３６０では共有されているセグメントを符号化し、機能ブロック３６５に進む。機能ブロック３６５はパーティションのフィルタパラメータを符号化し、エンドブロック３９９に進む。

図４を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用し、映像データを復号化する方法の例４００を示す。この方法４００はスタートのブロック４０５を有し、このブロックの後に機能ブロック４１０に進む。機能ブロック４１０は現在のセグメントを解析し、機能ブロック４１５に進む。機能ブロック４１５は各パーティションについてフィルタパラメータを解析し、有限ループブロック４２０に進む。有限ループブロック４２０は各パーティションに渡りループを開始し、機能ブロック４２５に進む。機能ブロック４２５はフィルタパラメータを設定し、機能ブロック４３０に進む。機能ブロック４３０はフィルタ１を使用してフィルタリングを行い、機能ブロック４３５に進む。機能ブロック４３５はフィルタ２を使用してフィルタリングを行い、有限ループブロック４４０に進む。有限ループブロック４４０において、各パーティションに渡るループを終了し、エンドブロック４９９に進む。

図５を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用し、映像データを符号化する方法の他の例５００を示す。この方法５００はスタートのブロック５０５を有し、このブロックの後に有限ループブロック５１０に進む。有限ループブロック５１０は（異なる利用可能な）セグメント化処理に渡ってループを開始し、有限ループブロック５１５に進む。有限ループブロック５１５は、その（現在の）セグメント化処理方式によって各（利用可能な）パーティションに渡りループを開始し、有限ループブロック５２０に進む。有限ループブロック５２０はフィルタパラメータセットに渡るループを開始し、機能ブロック５２５に進む。機能ブロック５２５はフィルタ１を使用してフィルタリングを行い、有限ループブロック５３５に進む。有限ループブロック５３５において、フィルタパラメータセットに渡ってのループは終了し、機能ブロック５４０に進む。機能ブロック５４０はこのパーティションについて最良のフィルタパラメータを（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、有限ループブロック５４５に進む。有限ループブロック５４５において、セグメント化処理による各パーティションに渡るループを終了し、有限ループブロック５５０に進む。有限ループブロック５５０において、セグメント化処理のループを終了し、機能ブロック５５５に進む。機能ブロック３５５で最良のセグメントを（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、機能ブロック５６０に進む。機能ブロック５６０では共有されているセグメントを符号化し、機能ブロック５６２に進む。機能ブロック５６２は共有されているセグメントを用いてフィルタ２に対する最良のフィルタパラメータを見つけ、機能ブロック５６５に進む。機能ブロック５６５はフィルタ１及びフィルタ２のフィルタパラメータを符号化し、エンドブロック５９９に進む。

図６を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用し、映像データを復号化する方法の他の例６００を示す。この方法６００はスタートのブロック６０５を有し、このブロックの後に機能ブロック６１０に進む。機能ブロック６１０はセグメントを解析し、機能ブロック６１５に進む。機能ブロック６１５はフィルタ１及びフィルタ２の各パーティションについてフィルタパラメータを解析し、有限ループブロック６２０に進む。有限ループブロック６２０は各パーティションに渡りループを開始し、機能ブロック６２５に進む。機能ブロック６２５はフィルタパラメータを設定し、機能ブロック６３０に進む。機能ブロック６３０はフィルタ１を使用してフィルタリングを行い、機能ブロック６３５に進む。機能ブロック６３５はフィルタ２を使用してフィルタリングを行い、有限ループブロック６４０に進む。有限ループブロック６４０において、各パーティションに渡るループを終了し、エンドブロック６９９に進む。

図７を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用し、映像データを符号化する方法の他の例７００を示す。この方法７００はスタートのブロック７０５を有し、このブロックの後に有限ループブロック７１０に進む。有限ループブロック７１０は（利用可能な）セグメント化処理に渡ってループを開始し、有限ループブロック７１５に進む。有限ループブロック７１５は、その（時点の）セグメント化処理方式によって各パーティションに渡るループを開始し、有限ループブロック７２０に進む。有限ループブロック７２０はフィルタパラメータセットに渡るループを開始し、機能ブロック７２５に進む。機能ブロック７２５はフィルタ１を使用してフィルタリングを行い、機能ブロック７３０に進む。機能ブロック７３０はフィルタ２を使用してフィルタリングを行い、有限ループブロック７３５に進む。有限ループブロック７３５において、フィルタパラメータセットに渡るループは終了し、機能ブロック７４０に進む。機能ブロック７４０はこのパーティションについて最良のフィルタパラメータを（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、有限ループブロック７４５に進む。有限ループブロック７４５において、セグメント化処理による各パーティションに渡るループを終了し、有限ループブロック７５０に進む。有限ループブロック７５０において、セグメント化処理に渡るループを終了し、機能ブロック７５５に進む。機能ブロック７５５で最良のセグメントを（例えば、レート歪コスト及び／もしくはその他の条件に基づいて）設定し、機能ブロック７５８に進む。機能ブロック７５８において、フィルタ３の最良のフィルタパラメータ及びセグメント化を見つけ、機能ブロック７６０へ進む。機能ブロック７６０では、フィルタ３の共有されているセグメント及び（共有されていない）セグメントを符号化し、機能ブロック７６５に進む。機能ブロック７６５はフィルタ１、フィルタ２及びフィルタ３のフィルタパラメータを符号化し、エンドブロック７９９に進む。

図８を参照して、領域ベースのフィルタのための協調型パーティション符号化を使用し、映像データを復号化する方法の他の例８００を示す。この方法８００はスタートのブロック８０５を有し、このブロックの後に機能ブロック８１０に進む。機能ブロック８１０はフィルタ３の共有されているセグメント及び（共有されていない）セグメントを解析し、機能ブロック８１５に進む。機能ブロック８１５はフィルタ１、フィルタ２及びフィルタ３の各パーティションについてフィルタパラメータを解析し、有限ループブロック８２０に進む。有限ループブロック８２０は各パーティションに渡るループを開始し、機能ブロック８２５に進む。機能ブロック８２５はフィルタパラメータを設定し、機能ブロック８３０に進む。機能ブロック８３０はフィルタ１を使用してフィルタリングを行い、機能ブロック８３５に進む。機能ブロック８３５はフィルタ２を使用してフィルタリングを行い、有限ループブロック８３８に進む。有限ループブロック８３８において、各パーティションに渡るループを終了し、機能ブロック８４０に進む。機能ブロック８４０において、フィルタ３並びにそのセグメント及びフィルタパラメータを適用して、エンドブロック８９９に進む。

次に、本発明の多くの利点／特徴のいくつかについて説明をする。そのうちのいくつかについては上記記載においてすでに説明している。例えば、１つの利点／特徴は映像の中の複数の領域のために画像データを符号化するビデオ符号化器を有する装置である。ビデオ符号化器は複数の領域の領域分割に基づいて画像データをフィルタリングする複数のフィルタを含む。複数の領域の領域パーティション情報は前記複数のフィルタの間で共有される。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、領域パーティション情報が、符号化情報または映像コンテンツの少なくとも一方に基づいたフィルタパラメータ調整に組み合わされることである。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、領域パーティション情報及び前記複数のフィルタのフィルタパラメータの少なくとも一方が、１つ以上の高レベル構文要素もしくは１つ以上の領域レベル構文要素を用いて信号伝達されるか、または、以前に符号化された領域、以前に符号化された映像及び以前に符号化されたビデオシーケンスの少なくとも一つから対応復号器によって推測され、映像が現在符号化されているビデオシーケンスに対応していることである。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、複数のフィルタが、少なくとも１つのループ内フィルタ、少なくとも１つのループ外フィルタ、少なくとも１つの前処理フィルタ及び少なくとも１つの後処理フィルタのうちの少なくとも１つを含むことである。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、映像を複数の領域に分割する処理は複数のフィルタによって集合的に最適化され、領域パーティション情報は複数の領域に基づいていることである。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、映像を複数の領域に分割する処理は複数のフィルタのうちの１つのフィルタによって最適化され、複数のフィルタの他のフィルタによって共有され、前記領域パーティション情報は当該複数の領域に基づいていることである。

他の利点／特徴は上述したビデオ符号化器を有する装置であって、複数の領域の領域パーティション情報は複数のフィルタのうちの少なくとも２つのフィルタによって共有され、複数のフィルタの他のフィルタの少なくとも１つは自身によって使用される領域パーティション情報を別個に決定することである。

本発明による上記した利点／特徴及びその他の利点／特徴は、当業者であれば本明細書に記載された教示内容に基づいて容易に理解できるであろう。本発明は、ハードウエア、ソフトウエア、ファームウエア、専用プロセッサまたはこれらの組み合わせという種々の形態で実装することができる。

最も好ましくは、本発明の教示内容はハードウエアとソフトウエアの組み合わせとして実装される。さらに、ソフトウエアはプログラム記憶装置に具体的に表現・記憶されているアプリケーションプログラムとして実装することができる。このアプリケーションプログラムは任意の適切なアーキテクチャを含む装置にアップロードして装置によって実行され得る。好ましくは、この装置はハードウエア（例えば１つ以上の中央処理装置（ＣＰＵ）、ＲＡＭ（ランダムアクセスメモリ）、Ｉ／Ｏインターフェース（入出力インターフェース））を有するコンピュータプラットフォームに実装される。このコンピュータプラットフォームはさらに、オペレーティングシステム及びマイクロ命令コードを含む場合もある。本明細書に記載された種々のプロセス及び機能は、マイクロ命令コードの一部であるかアプリケーションプログラムの一部であってもよいし、それらの組み合わせであってもよく、ＣＰＵによって実行され得る。また、種々の周辺機器・周辺ユニット（例えば、追加のデータ記憶装置及び印刷装置）をコンピュータプラットフォームに接続してもよい。

図面に示したシステム構成コンポーネント及び方法のいくつかは、好ましくはソフトウエアにより実装されるので、システムコンポーネント間もしくはプロセス機能ブロック間の実際の接続は、本発明をプログラム化する手法に応じて異なる。本明細書に記載された教示内容を与えられたならば、当業技術分野における通常の知識を有する者は本発明の実施及び構成並びにそれらに類似した実施及び構成を理解し考えつくであろう。

本明細書においては例示的な実施形態が図面を参照して説明されたが、本発明は実施形態そのものに限定されず、色々な変更及び変形が本発明の精神及び発明の範囲から離れること無く当業者によってなされ得る。そのような変更及び変形はすべて、特許請求の範囲に記載された本発明の範囲内に含まれる。

Claims (24)

1. 映像中の複数の領域について画像データを符号化するビデオ符号化器であって、前記複数の領域の領域パーティション情報に基づいて前記画像データをフィルタリングする複数のフィルタを含み、前記複数の領域の前記領域パーティション情報は前記複数のフィルタの間で共有されるビデオ符号化器
   を備えたことを特徴とする装置。
2. 前記領域パーティション情報は、符号化情報及び映像コンテンツの少なくとも１つに基づいてフィルタパラメータ調整と組み合わされることを特徴とする請求項１記載の装置。
3. 前記複数のフィルタの前記領域パーティション情報及びフィルタパラメータの少なくとも１つは、１つ以上の高レベル構文要素もしくは１つ以上の領域レベル構文要素を用いて信号伝達されるか、または対応する復号器によって、以前に符号化された領域、以前に符号化された映像及び以前に符号化されたビデオシーケンスの少なくとも１つから推定され、前記映像は現在符号化されているビデオシーケンスに対応していることを特徴とする請求項１記載の装置。
4. 前記複数のフィルタは、少なくとも１つのループ内フィルタ、少なくとも１つのループ外フィルタ、少なくとも１つの前処理フィルタ及び少なくとも１つの後処理フィルタの少なくとも１つを含むことを特徴とする請求項１記載の装置。
5. 前記複数のフィルタは、前記映像の前記複数の領域へのパーティション化を集合的に最適化し、前記領域パーティション情報は前記複数の領域に基づいていることを特徴とする請求項１記載の装置。
6. 前記複数のフィルタうちの１つのフィルタは、前記映像の前記複数の領域へのパーティション化を最適化し、前記複数のフィルタの他のフィルタは、前記映像の前記複数の領域へのパーティション化を共有し、前記領域パーティション情報は前記複数の領域に基づいていることを特徴とする請求項１記載の装置。
7. 前記複数の領域の前記領域パーティション情報は前記複数のフィルタのうちの少なくとも２つのフィルタによって共有され、前記複数のフィルタの他のフィルタのうちの少なくとも１つは当該フィルタによって使用される領域パーティション情報を別途決定することを特徴とする請求項１記載の装置。
8. 映像内の複数の領域について画像データを符号化するステップであって、前記画像データは前記複数の領域の領域パーティション情報に基づいて複数のフィルタによってフィルタリングされ、前記複数の領域の領域パーティション情報は前記複数のフィルタによって共有される画像データを符号化するステップ
   を備えたことを特徴とするビデオ符号化器において使用される方法。
9. 前記領域パーティション情報は、符号化情報及び映像コンテンツの少なくとも１つに基づいてパラメータ調整と組み合わされることを特徴とする請求項８記載の方法。
10. 前記複数のフィルタの前記領域パーティション情報及びフィルタパラメータの少なくとも１つは、１つ以上の高レベル構文要素もしくは１つ以上の領域レベル構文要素を用いて信号伝達されるか、または対応する復号器によって、以前に符号化された領域、以前に符号化された映像及び以前に符号化されたビデオシーケンスの少なくとも１つから推定され、前記映像は現在符号化されているビデオシーケンスに対応することを特徴とする請求項８記載の方法。
11. 前記複数のフィルタは、少なくとも１つのループ内フィルタ、少なくとも１つのループ外フィルタ、少なくとも１つの前処理フィルタ及び少なくとも１つの後処理フィルタの少なくとも１つを含むことを特徴とする請求項８記載の方法。
12. 前記複数のフィルタは、前記映像の前記複数の領域へのパーティション化を集合的に最適化し、前記領域パーティション情報は前記複数の領域に基づいていることを特徴とする請求項８記載の方法。
13. 前記複数のフィルタうちの１つのフィルタは、前記映像の前記複数の領域へのパーティション化を最適化し、前記複数のフィルタの他のフィルタは、前記映像の前記複数の領域へのパーティション化を共有し、前記領域パーティション情報は前記複数の領域に基づいていることを特徴とする請求項８記載の方法。
14. 前記複数の領域の前記領域パーティション情報は前記複数のフィルタのうちの少なくとも２つのフィルタによって共有され、前記複数のフィルタの他のフィルタのうちの少なくとも１つは当該フィルタによって使用される領域パーティション情報を別途決定することを特徴とする請求項８記載の方法。
15. 映像中の複数の領域について画像データを復号化するビデオ復号器であって、前記複数の領域の領域パーティション情報に基づいて前記画像データをフィルタリングする複数のフィルタを含み、前記複数の領域の前記領域パーティション情報は前記複数のフィルタの間で共有されるビデオ復号器
    を備えたことを特徴とする装置。
16. 前記領域パーティション情報は、符号化情報及び映像コンテンツの少なくとも１つに基づいてパラメータ調整と組み合わされることを特徴とする請求項１５記載の装置。
17. 前記複数のフィルタの前記領域パーティション情報及びフィルタパラメータの少なくとも１つは、１つ以上の高レベル構文要素もしくは１つ以上の領域レベル構文要素から決定されるか、または以前に符号化された領域、以前に符号化された映像及び以前に符号化されたビデオシーケンスの少なくとも１つから推定され、前記映像は現在符号化されているビデオシーケンスに対応していることを特徴とする請求項１５記載の装置。
18. 前記複数のフィルタは、少なくとも１つのループ内フィルタ、少なくとも１つのループ外フィルタ、少なくとも１つの前処理フィルタ及び少なくとも１つの後処理フィルタの少なくとも１つを含むことを特徴とする請求項１５記載の装置。
19. 前記複数の領域の前記領域パーティション情報は前記複数のフィルタのうちの少なくとも２のフィルタによって共有され、前記複数のフィルタの他のフィルタのうちの少なくとも１つは当該フィルタによって使用される領域パーティション情報を別途決定することを特徴とする請求項１５記載の装置。
20. 映像中の複数の領域について画像データを復号化するステップであって、前記画像データは前記複数の領域の領域パーティション情報に基づいて複数のフィルタによってフィルタリングされ、前記複数の領域の領域パーティション情報は前記複数のフィルタによって共有される画像データを復号化するステップ
    を備えたことを特徴とするビデオ復号器に使用される方法。
21. 前記領域パーティション情報は、符号化情報及び映像コンテンツの少なくとも１つに基づいてパラメータ調整と組み合わされることを特徴とする請求項２０記載の方法。
22. 前記複数のフィルタの前記領域パーティション情報及びフィルタパラメータの少なくとも１つは、１つ以上の高レベル構文要素もしくは１つ以上の領域レベル構文要素から決定されるか、または以前に符号化された領域、以前に符号化された映像及び以前に符号化されたビデオシーケンスの少なくとも１つから推定され、前記映像は現在符号化されているビデオシーケンスに対応していることを特徴とする請求項２０記載の方法。
23. 前記複数の領域の前記領域パーティション情報は前記複数のフィルタのうちの少なくとも２のフィルタによって共有され、前記複数のフィルタの他のフィルタのうちの少なくとも１つは当該フィルタによって使用される領域パーティション情報を別途決定することを特徴とする請求項２０記載の方法。
24. 符号化されたビデオ信号データを有する記憶媒体であって、
    映像中の複数の領域について符号化された画像データであって、前記複数の領域の領域パーティション情報に基づいて複数のフィルタによってフィルタリングされ、前記複数の領域の領域パーティション情報は前記複数のフィルタの間で共有される画像データを含むことを特徴とする記憶媒体。

Images