JP2008544708A - 適応補間を使用する映像符号化及び復号化の方法と装置 - Google Patents

適応補間を使用する映像符号化及び復号化の方法と装置 Download PDF

Info

Publication number
JP2008544708A
JP2008544708A JP2008518451A JP2008518451A JP2008544708A JP 2008544708 A JP2008544708 A JP 2008544708A JP 2008518451 A JP2008518451 A JP 2008518451A JP 2008518451 A JP2008518451 A JP 2008518451A JP 2008544708 A JP2008544708 A JP 2008544708A
Authority
JP
Japan
Prior art keywords
filter
interpolation
block
reference index
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008518451A
Other languages
English (en)
Other versions
JP5378791B2 (ja
Inventor
フランク ジャン ボッセン，
アレクサンドロス トウラピス，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2008544708A publication Critical patent/JP2008544708A/ja
Application granted granted Critical
Publication of JP5378791B2 publication Critical patent/JP5378791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

適応補間を使用する映像符号化及び／又は復号化の方法と装置が記載されている。一実施形態では、復号化方法は、参照インデックスを復号化するステップと、動きベクトルを復号化するステップと、参照インデックスに従って参照フレームを選択するステップと、参照インデックスに従ってフィルタを選択するステップと、予測されたブロックを獲得するためにフィルタを使用して、動きベクトルにより決定された参照フレームのサンプルの組をフィルタ処理するステップとを備える。
【選択図】 図４

Description

優先権
[0001]本特許出願は、２００５年６月２４日に出願され、名称が“Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ”である対応する仮特許出願第６０／６９３，５７５号の優先権を主張し、参照として組み入れる。
発明の分野
[0002]本発明は、映像符号化及び復号化の分野に関し、特に、本発明は動き補償における適応補間の使用に関する。
発明の背景
[0003]大部分の既存の映像圧縮システム、及び、ＭＰＥＧ−２とＪＶＴ／Ｈ．２６４／ＭＰＥＧ ＡＶＣのような規格において、エンコーダ及びデコーダは、主として圧縮を実現するためにイントラ符号化及びインター符号化に依拠している。イントラ符号化では、空間予測法が使用され、インター符号化では、圧縮はピクチャ間に存在する時間的相関を利用することにより実現される。
[0004]より詳細には、予め符号化／復号化されたピクチャは将来のピクチャのための参照として使用され、動き推定及び補償は将来のピクチャ間の動きアクティビティを補償するために利用される。図１ＡはＰピクチャ（フレーム）における動き補償を説明し、図１ＢはＢピクチャ（フレーム）における動き補償を説明している。Ｈ．２６４のようなより進化したコーデックは、必要に応じてより正確な予測を生成するために（たとえば、フェードイン／アウトの間に）照明変動も考慮する。最後に、デブロッキング法がさらに予測及び量子化プロセスを通じて作成されたブロッキングアーティファクトを低減することを目的として使用される。
[0005]端数サンプル補間は、動きのより正確な表現を可能にするので、動き補償された予測の品質をさらに高めるため利用される技術のうちの１つである。参照の実際のサンプルを使用する代わりに、参照内のサンプルが最初に予め定義済みのフィルタを使用してフィルタ処理（補間）されるフィルタリングメカニズムが利用される。図２は、整数サンプル（大文字付きの陰影ブロック）と、クォータサンプルルマ補間のための端数サンプル位置（小文字付きの陰影無しブロック）とを説明している。画像獲得プロセス中に使用されるローパスフィルタの非理想的な性質のため、補間及び動き補償された予測を劣化させる可能性があるエイリアシングが生成され得る。
[0006]大部分の映像符号化アーキテクチャ、及び、ＭＰＥＧ−１／２、Ｈ．２６３及びＨ．２６４（又はＪＴＶ又はＭＰＥＧ−４ ＡＶＣ）のような符号化規格は、動き補償された予測の効率をさらに向上させるため端数サンプル動き補償を利用する。最も旧い規格は、主として、端数サンプル位置の生成のための双一次補間法に基づいている。エイリアシングを低減させる目的で、Ｈ．２６４規格（又はＪＶＴ又はＭＰＥＧ４ ＡＶＣ）は、１／４端数サンプル位置までの補間プロセス中に、フィルタ係数（１，−５，２０，−５，１）／３２を備えている６タップのウィナーフィルタを使用する。図３はＨ．２６４における補間プロセスを説明している。図３を参照すると、非適応６タップフィルタが１／２端数サンプル位置でサンプル値を生成するため使用されている。次に、非適応双一次フィルタが１／４端数サンプル位置でサンプル値を生成するため１／２端数位置でサンプルをフィルタ処理する。より詳細には、ルマの場合、フルサンプル位置（ｘＡＬ，ｙＡＬ）〜（ｘＵＬ，ｙＵＬ）でサンプル「Ａ」〜「Ｕ」を仮定すると、端数サンプル位置におけるサンプル「ａ」〜「ｓ」が導出されるべきである。これは、最初に上記のフィルタを適用することによりハーフサンプル位置（ａａ−ｈｈと、ｂ、ｈ、ｊ、ｍ及びｓ）で予測値を計算し、その後に、クォーターサンプル位置における予測値がフルサンプル位置及びハーフサンプル位置でサンプルを平均化することにより導出される。クロマの場合、これに反して、１／８サンプル位置までの双一次補間が使用される。しかし、異なる映像信号は、異なる非定常統計的特性（たとえば、エイリアシング、テクスチャ、及び、動き）を有するので、固定フィルタの使用は不十分である。
[0007]補間プロセス中にエイリアシングをより巧く考慮できる適応端数サンプル補間法が検討されている。Ｈ．２６４において使用されるフィルタのような固定６タップフィルタの代わりに、補間中に使用されるフィルタのフィルタ係数を表現する付加的な付加情報がフレーム毎に伝送される。より詳細には、｛ａ１，ａ２，ａ３，ａ３，ａ２，ａ１｝という形式の適応フィルタが全ての１／２サンプル位置を生成するために使用可能であり、その後に１／４サンプル生成用の双一次補間が続けられる。上記フィルタの対称的な性質を考えると、３つの係数（ａ１、ａ２及びａ３）だけが符号化される必要があった。この方法はより長い又はより短いタップフィルタを可能にするように容易に拡張可能である。
[0008]別の従来技術では、フィルタの係数を明示的に符号化する代わりに、フィルタのコードブックが例示的なフィルタ係数の分布に基づいて生成される。これは、エンコーダでの複雑性を減少させるとともに（先験的判定がフィルタリング係数の適当な範囲を決定するためにも使用され得るという主張がされ得るが、所定の係数の組だけがテストされるべきである）、最も重要な点は、フィルタリング係数の表現が多少改善／短縮されることであり（すなわち、フィルタリング係数を表現するために３×１２ビットを必要とする代わりに）、全フィルタが等しい確率を有するとするならば、この場合には２Ｎ通りのフィルタを表現するためにＮビットしか必要とされない。付加的な検討が、本質的にサンプル位置をインジケータとして使用する補間フィルタの適応であるとみなされる様々な１／２又は１／４サンプル位置を考慮することによって行われる。
[0009]フレーム／グローバルベースのフィルタ適応以外に、ブロックレベルでフィルタリングパラメータを適応させる可能性が検討されている。１つの従来技術では、ブロック毎に、４タップフィルタが符号化中に使用され伝送される。この方法は動き補償された予測信号を改善することが可能であるが、この方法はフィルタの付加的な伝送に起因するビットオーバーヘッドの点で著しい増加を正当化できない。さらに、隣接ブロックの補間フィルタの間に殆ど相関性が見られないことが指摘されている。したがって、この方法は非実用的であり、かつ、非効率的であると考えられている。しかし、所定の補間フィルタの組を送り、所定の補間フィルタだけを考慮するマクロブロック（ＭＢ）ベースの補間法が使用されている。これらの補間フィルタを伝送し、使用するかどうかの決定はピクチャレベルで行われている。
[0010]ある種のグローバルベースの補間法は、信号の局所特性を考慮しないので、性能が制限され得る。さらに、双予測のような複数の参照の存在下で適切な検討がなされていない。１つの従来技術では、参照毎の補間フィルタは原則的に１つの参照につき１回だけ伝送されるので、同じ補間がこのピクチャを参照するその後に続くピクチャのため使用される。しかし、動き、テクスチャなどの特性、及び、参照間の関係は時間と共に変化するので、符号化フレーム毎に、異なる補間フィルタがその参照の全てに対して必要とされると主張されることもある。たとえば、Ｐｎ＝ｆｎ，ｋ（Ｐｋ）という変換が参照ＰｋからピクチャＰｎを生成するために必要とされると仮定すると、Ｐｋは、これに反して、Ｐｊを参照するときにｆｋ，ｊ（）の使用は適切でないことを示唆するＰｊと、関係Ｐｋ＝ｆｋ，ｊ（Ｐｊ）を有する。さらに、単一予測補間フィルタが使用されない場合がある双予測された区分は考慮されていない。
[0011]これに反して、ブロックベースの方法は、補間フィルタの符号化のためのオーバーヘッドの著しい増加、又は、使用されるフィルタに関して柔軟性の不足の何れかに陥る。この場合も、双予測は考慮されていない。
[0012]よって、このような性質を考慮に入れ、フレーム毎にこのような補間フィルタを適応させる適応補間スキームが近年では提案されている。このようなスキームは、あらゆるフレームのため使用されるフィルタリングパラメータの送信を本質的に必要とし、その上、このようなパラメータの推定プロセスもまた必要である。残念ながら、提案された方法は、このような技術のための最良の動作のモードを提示しないので、オーバーヘッドの増加を招き、よって、性能の低下を招くことになる。さらに、適応はフレーム（グローバル）レベルで本質的に実行され、局所特性は考慮されていない。
発明の概要
[0013]本明細書では、適応補間を使用する映像符号化及び／又は復号化の方法及び装置が開示されている。一実施形態では、復号化方法は、参照インデックスを復号化するステップと、動きベクトルを復号化するステップと、参照インデックスに従って参照フレームを選択するステップと、参照インデックスに従ってフィルタを選択するステップと、予測されたブロックを獲得するためにフィルタを使用して、動きベクトルにより決定された参照フレームのサンプルの組をフィルタ処理するステップとを備える。
[0014]本発明は以下に記載されている詳細な説明と発明の種々の実施形態についての添付図面からより完全に理解されるが、添付図面は発明を特定の実施形態に限定するために利用されるべきではなく、説明と理解だけを目的としている。
本発明の詳細な説明
[0028]適応補間フィルタリングを含む映像符号化及び復号化アーキテクチャが開示されている。端数サンプル補間が単一のフィルタリングメカニズムを使用して実行されている従来の研究とは異なって、本明細書に記載されている符号化スキームは各区分が異なる端数サンプル補間フィルタに割り当てられている適応シグナリングメカニズムを使用する。適応シグナリングメカニズムは、動き補償された予測の性能に関してさらなる改良を可能にするので、既存の方法又は規格より符号化効率が増加する。一実施形態では、適応シグナリングメカニズムは、最初に、単一の参照インデックスだけでなく、複数のインデックスによって参照ピクチャを関連付けることによって実現される。参照インデックスのそれぞれは、次に、デコーダに知られているか、又は、デコーダへ明示的に伝送され得る異なる補間フィルタリングメカニズムとさらに関連付けられる。補間フィルタの選択は、このとき、各ブロックに関連付けられている参照インジケータに基づき、付加的なシグナリングは必要とされない。本明細書に記載されている符号化スキームは、ある程度まで、使用されるフィルタリング方法の局所適応を可能にさせるので、符号化効率の改善をもたらすであろう。
[0029]別の実施形態では、本明細書に記載されている技術は空間スケーラブル映像符号化に適用され、例示的にこのようなアプリケーションでは、ダウンサンプリングプロセス及びアップサンプリングプロセスは、ダウンサンプリング中に持ち込まれた位相シフトによる影響をかなり受ける。
[0030]さらに、本明細書に記載されている技術は、既存の重み付き予測法と組み合わされた場合でも重み付き予測の挙動をエミュレートするので、予測目的のための柔軟性をさらに増大させる。
[0031]以下の説明中、多数の細部が本発明のより完全な説明を行うために記載されている。しかし、当業者に明白であるように、本発明はこれらの特定の細部を用いることなく実施される。別の事例では、周知の構成及び装置は、本発明を分かりにくくすることを避けるために、細部にわたることなくブロック図形式で示されている。
[0032]以下の詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットへの演算の記号表現という形で提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の専門家が自分の業績の内容を他の当業者へ最も効率的に伝えるためにデータ処理技術の専門家によって使用される手段である。アルゴリズムは、本明細書中で、及び、一般的に、所望の結果につながるステップの首尾一貫したシーケンスであると考えられている。ステップは、物理量の物理的操作を必要とするステップである。通常は、不可欠ではないが、物理量は、記憶、転送、合成、比較、及び、その他の操作の対象となり得る電気的又は磁気的信号の形をとる。主として慣用法の理由で、電気的又は磁気的信号をビット、値、要素、シンボル、文字、項、番号などのように呼ぶことが時には便利であることがわかった。
[0033]しかし、上記の用語及び類似した用語は、適切な物理量と関連付けられるべきであり、電気的又は磁気的信号に適用される便宜的なラベルに過ぎないことに注意すべきである。特に断らない限り、以下の説明から明白であるように、説明の全体を通じて、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」のような用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されているデータを操作し、コンピュータシステムメモリ若しくはレジスタ内、又は、その他の情報記憶装置、伝送機器、又は、表示機器内で物理量として同様に表現される他のデータへ変換する、コンピュータシステム、又は、類似した電子コンピュータ装置の作用及びプロセスを指している。
[0034]本発明は中で演算を実行する装置にも関する。この装置は、必要な目的のため特別に構成されることがあり、或いは、この装置は、コンピュータに記憶されているコンピュータプログラムによって選択的に作動されるか、又は、再構成される汎用コンピュータを備える。このようなコンピュータプログラムは、限定されることはないが、たとえば、各々がコンピュータシステムバスに接続されているフロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び、光磁気ディスクを含むあらゆるタイプのディスクと、リードオンリーメモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、ＥＰＲＯＭと、ＥＥＰＲＯＭと、磁気又は光カードと、電子命令を記憶するため適した任意のタイプの媒体などのようなコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
[0035]本明細書に提示されているアルゴリズム及び表示は、何らかの特有のコンピュータ又はその他の装置に本質的に関係していない。様々な汎用システムが本明細書における教示によるプログラムと共に使用され、又は、要求されている方法ステップを実行するためにより特殊化された装置を構築する方が好都合であるとわかることもある。多種多様なこれらのシステムの必要とされる構成は以下の説明からわかるであろう。さらに、本発明は何らかの特有のプログラミング言語に関して記載されていない。多種多様なプログラミング言語が本明細書に記載されている発明の教示を実施するために使用されることが認められるであろう。
[0036]機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を記憶又は伝送するメカニズムを含む。たとえば、機械読み取り可能な媒体は、リードオンリーメモリ（「ＲＯＭ」）と、ランダムアクセスメモリ（「ＲＡＭ」）と、磁気ディスク記憶媒体と、光記憶媒体と、フラッシュメモリ機器と、電気的、光学的、音響的又はその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）等々を含む。
概論
[0037]適応端数サンプル補間の検討は動き補償された映像符号化に重大な利益となる。その理由は、適応端数サンプル補間が予測信号に関して品質の改善につながる可能性があるからである。本明細書に記載されているような適応技術を含む符号化プロセス及び復号化プロセスの実施例は後述されている。
[0038]図４は符号化プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0039]図４を参照すると、プロセスは、プロシングロジックが複数の参照を使用して動き補償された予測を生成することにより開始し、ここで、各参照は、フィルタパラメータの組と１つずつ関連付けられている１つ以上の参照インデックスと関連付けられ、フィルタパラメータを用いて特有の参照インデックスと関連付けられているブロックが予測されたブロックを生成するためにフィルタ処理されている（処理ブロック４０１）。一実施形態では、動き補償された予測の生成は動き補償モジュールによって実行される。
[0040]一実施形態では、参照内の各区分又はブロックは、異なる端数サンプル補間フィルタに対応する参照インデックスが割り当てられている。一実施形態では、フィルタパラメータの各組は補間フィルタに対応している。このような事例では、複数の参照が複数のフィルタに対応するフィルタパラメータの複数の組と関連付けられている。一実施形態では、補間フィルタは符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化する際に使用されるデコーダに知られている。別の実施形態では、補間フィルタは符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを符号化する際に使用されるデコーダへ明示的に送られている。
[0041]一実施形態では、フィルタは、｛１，−５，２０，２０，−５，１｝／３２という形式のパラメータと関連付けられている１つ以上の６タップフィルタと、双一次補間フィルタと、双三次補間フィルタとを含む。別の実施形態では、フィルタは１つ以上の２Ｄフィルタを含む。
[0042]一実施形態では、補間フィルタは、符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化する際に使用されるエンコーダとデコーダの両方に知られている。
[0043]一実施形態では、フィルタリングパラメータはクロマ成分の組のためにも定義されている。あるクロマ成分のためのフィルタリングパラメータは、別のクロマ成分に基づいて決定されることがある。
[0044]動き補償された予測を使用して、プロセシングロジックは、入力映像データと補償された予測との間の残差に対応するデータを含む映像データを符号化し（処理ブロック４０２）、符号化された映像データを伴うビットストリームの一部分である符号化された参照インデックスを生成するために参照インデックスを符号化する（処理ブロック４０３）。各インデックスはフィルタリングパラメータと関連付けられているので、符号化されたデータはデコーダへのフィルタリングパラメータを識別する。符号化演算は可変長エンコーダによって実行される。
[0045]復号化演算は符号化演算の逆である。図５は復号化プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0046]図５を参照すると、プロセスは、プロセシングロジックが入力映像データと動き補償された予測との間の差から生じる残差データに対応する符号化されたデータを含む符号化映像データを有するビットストリームを復号化することにより開始する（処理ロジック５０１）。一実施形態では、プロセシングロジックは動きベクトル及び参照インデックスをさらに復号化する。復号化演算は可変長デコーダによって実行されることがある。
[0047]次に、プロセシングロジックは、複数の参照を使用して動き補償された予測を生成し、ここで、各参照は、フィルタパラメータの組と１つずつが関連付けられている複数の参照インデックスと関連付けられ、フィルタパラメータを用いて特有の参照と関連付けられているブロックが端数サンプル位置を生成するためにフィルタ処理される（処理ブロック５０２）。一実施形態では、動き補償された予測の生成は、エンコーダ内の動き補償モジュール又はユニットによって実行される。
[0048]その後、プロセシングロジックは、映像データを生成するために予測を残差データと合成する（処理ブロック５０３）。合成演算はデコーダ内の加算器によって実行される。
[0049]図６は補間プロセスの一実施形態の説明図である。図６を参照すると、適応フィルタは、１／２端数サンプル位置でサンプル値を生成するために使用されている。次に、別の適応双一次フィルタが１／４端数サンプル位置にサンプル値を生成するために１／２端数位置でサンプルをフィルタ処理する。補間フィルタ２はフィルタ１又は双一次と同じでもよい。しかし、フィルタ２はフィルタ１と全く異なることもある。このような事例では、付加的なシグナリングが必要とされる。
[0050]このような補間法を知らせ、かつ、利用する効果的な方策が本明細書に記載されている。
シンタックスの実施例
[0051]Ｈ．２６４映像符号化規格は、参照記憶装置内の所与の参照を複数の参照インデックスと関連付ける柔軟性を提供する。参照ピクチャリスト並べ替えのための関連付けられたシンタックスは以下の表１に明らかにされている。
Figure 2008544708
[0052]この性質は適応端数サンプル補間の枠組み内で利用されている。一実施形態では、このような補間はいつも役立つとは限らないので、補間が使用されているかどうかを示す単一のパラメータが上位レベルで（たとえば、ピクチャ内で、又は、コーデックの均等シーケンスパラメータセット内で）通知される。たとえば、Ｈ．２６４ピクチャパラメータセットＲＢＳＰシンタックスは、ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｒｅｄ＿ｆｌａｇと呼ばれる付加的な要素を持ち込むことにより、表２のように修正される。この要素が存在しているならば、次に、下位のシンタックスレイヤにおいて、付加的な補間パラメータが伝送されてもよい。
Figure 2008544708
[0053]一実施形態では、補間予測フラグがイネーブルであるならば、補間予測テーブル（ｐｒｅｄ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｔａｂｌｅ）が通知される。表３は所定の参照のため使用される補間フィルタ情報の全部を収容している。
Figure 2008544708
Figure 2008544708
[0054]表４における予測補間テーブルシンタックスは、あらゆる参照リスト（リスト０及びリスト１）内のあらゆる参照のための補間情報の全部を収容している。より詳細には、予測補間テーブルシンタックスは、補間フィルタのタイプ（ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ）、このフィルタが（図６に示されているように）１／２画素位置だけのため適用され、双一次が１／４画素位置のため使用されるかどうか、又は、フィルタが全サンプル（ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｑｐｅｌ）と、フィルタタップ数（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｌｅｎｇｔｈ＿ＩＸ又はｌｕｍａ＿２Ｄｆｉｌｔｅｒ＿ｌｅｎｇｔｈ＿ＩＸ）と、フィルタ精度（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｄｅｎｏｍ＿ＩＸ及びｌｕｍａ＿ｆｉｌｔｅｒ＿２Ｄｄｅｎｏｍ＿ｌＸ）と、実際のフィルタ係数（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｔａｐ＿ｌＸ及びｌｕｍａ＿２Ｄｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｌＸ）のため適応されるかどうかを含むことがある。一実施形態では、フィルタ係数は可変長符号化されている（すなわち、ｕｅ（ｖ））。別の実施形態では、フィルタ係数は固定長符号化されている（ｕ（Ｎ）、すなわち、Ｎ＝８）。さらに別の実施形態では、フィルタ係数値の予測は、たとえば、Ｈ．２６４デフォルト補間フィルタと対比して選択されるので、差分符号化が使用されるならば、フィルタ係数はより効率的に符号化されるであろう。
[0055]同様のシンタックスが両方のリストのため存在するが、利用可能であるならば（たとえば、モノクロシーケンスを示唆するｃｈｒｏｍａ＿ｆｏｍａｔ＿ｉｄｃが０でないならば）、クロマ成分のためにも存在する。双予測補間フィルタを単一予測補間フィルタから分離する付加的な要素が存在する可能性もあるが、並べ替えシンタックスを通じて再びこの挙動をエミュレートすることも可能であり（すなわち、同じ参照が２つの異なる参照インデックスと関連付けられ）、一方が単一予測補間フィルタと関連付けられ、双予測重みがもう一方と関連付けられる。
Figure 2008544708
Figure 2008544708
[0056]上記表の１つの要素はフィルタタイプ（すなわち、ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ）である。この要素は、広範囲の可能な補間フィルタのうちの１つを示している。広範囲の補間フィルタを指定可能であることは、実行される補間に関して付加的な柔軟性を提供する。一実施形態では、ルマに対し、使用される補間メカニズムは以下の表５に記載されている。
Figure 2008544708
[0057]同様の検討がクロマに対して行われ得るが、一実施形態では、両方のコンポーネントが異なる補間メカニズム又は同じ補間メカニズムを使用することを指定する（すなわち、このことがｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅを使用して第２の成分のため通知される）。別の実施形態では、クロマのためより適している他のフィルタが、特に、補間は１／８画素レベルに至るまで行われることに重点を置いて使用される。たとえば、一実施形態では、第１のクロマ成分のため、ｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅのセマンティックが表６に与えられている。
Figure 2008544708
一方、第２の成分に対し、ｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ［ｉ］［１］＝０は、第１の成分のフィルタが再使用されていることを示している。一実施形態では、割り当てが表１に与えられ、又は、可能であれば、１番目のエントリーに基づいて表を適応させる。
Figure 2008544708
代替的な実施形態
[0058]一実施形態では、本明細書に記載されている技術は、重み付き予測パラメータを知らせる代替的な方法を提供する。この方法は、Ｈ．２６４のようなコーデックによってサポートされている既存の重み付きパラメータと組み合わせることがさらに可能であり（すなわち、同様に暗黙的な重み付け、並びに、適応補間フィルタの使用）、動き補償された予測の点でさらなる柔軟性及び改善された効率を提供する。エンコーダ及びデコーダの基本構造は従来型のエンコーダ及びデコーダに依然として類似している（図７及び８）。
[0059]図７はエンコーダの一実施形態のブロック図である。一実施形態では、コーダは、最初に入力ビットストリームを、マクロブロックと呼ばれる、矩形状配列に分割する。マクロブロック毎に、エンコーダは、次に、イントラフレーム符号化を使用すべきか、又は、インターフレーム符号化を使用すべきかを選択する。イントラフレーム符号化は、現在の映像フレームに収容されている情報だけを使用し、Ｉフレームと呼ばれる圧縮結果を作成する。イントラフレーム符号化は、現在フレームの前後に出現する１つ以上の他のフレームの情報を使用可能である。前フレームからのデータだけを使用する圧縮結果はＰフレームと呼ばれ、現在フレームの前及び後の両方からのデータを使用する圧縮結果はＢフレームと呼ばれる。
[0060]図７を参照すると、映像７０１はエンコーダへ入力される。動き補償無しでフレームを符号化する事例では、映像のフレームはＤＣＴ７０３へ入力される。ＤＣＴ７０３は、ＤＣＴ係数を作成するために２次元離散コサイン変換（ＤＣＴ）を実行する。係数は量子化器７０４によって量子化される。一実施形態では、量子化器７０４によって実行される量子化は、スケーラーＱＰによって重み付けされる。一実施形態では、量子化器スケーラーパラメータＱＰは１から３１までの値をとる。ＱＰ値はピクチャレベルとマクロブロックレベルの両方で修正されても構わない。
[0061]その後、量子化された係数は、ビットストリーム７２０を生成するＶＬＣ７０５で可変長符号化を受ける。一実施形態では、ＶＬＣ７０５は、ハフマン符号化のようなエントロピー符号化段においてトリプレット（ラスト、ラン、レベル）を表現するために１つのシンボルを使用することによりエントロピー符号化を実行する。
[0062]注意すべき点は、一実施形態では、ＶＬＣ７０５より前に、並べ替えが実行され、量子化されたＤＣＴ係数は、係数の２次元配列が当分野において周知の方法で係数の１次元アレイに変換されるようにジグザグ走査されることである。並べ替えの後に、各ブロックに対応する並べ替え後の量子化された係数の配列が零係数をより良く表現するために符号化されるランレングス符号化が続けられる。このような事例では、各非零係数はトリプレット（ラスト、ラン、レベル）として符号化され、ここで、「ラスト」は係数がブロックにおける最終的な非零係数であるかどうかを示し、「ラン」は先行する０係数を示し、「レベル」は係数の符号及び大きさを示している。
[0063]フレームのコピーは参照フレームとして使用するため確保されている。このことはＩフレーム又はＰフレームの場合に特にこのような状況である。そのためには、量子化器７０４から出力された量子化された係数は、逆量子化器７０６によって逆量子化される。逆ＤＣＴ変換はＩＤＣＴ７０７を使用して逆量子化された係数に適用される。結果として得られるフレームデータは、Ｐフレームの事例では動き補償（ＭＣ）ユニット７０９からの動き補償された予測に加算され、次に、結果として得られたフレームがループフィルタ７１２を使用してフィルタ処理され、参照フレームとしての使用のためフレームバッファ７１１に格納される。Ｉフレームの事例では、ＩＤＣＴ７０７から出力されたデータは、ＭＣユニット７０９からの動き補償予測に加算され、ループフィルタ７１２を使用してフィルタ処理され、フレームバッファ７１１に格納される。
[0064]Ｐフレームの事例では、Ｐフレームは、技術的には一般的に参照フレームと呼ばれている前のＩフレーム又はＰフレームからのインター予測を用いて符号化される。この事例では、インター予測は、動き推定（ＭＥ）ブロック７１０及び動き補償ユニット７０９によって実行される。この事例では、フレーム記憶装置７１１及び入力映像７０１からの参照フレームを使用して、動き推定種ニット７１０は、現在フレーム内の現在マクロブロックと最も良く一致した参照フレーム内の領域の場所を探索する。動き推定ユニット７１０のための動きベクトルは動き補償ユニット７０９へ送られる。動き補償ユニット７０９で、残差マクロブロックを生成するために減算器７０２を使用して、予測が現在マクロブロックから減算される。残差はその後に、上述されているようにＤＣＴ７０３、量子化器７０４及びＶＬＣ７０５を使用して符号化される。
[0065]動き推定ユニット７１０は、重み付きパラメータを可変長符号化７０５のためのＶＬＣ７０５へ出力する。ＶＬＣ７０５の出力はビットストリーム７２０である。
[0066]図８はデコーダの一実施形態のブロック図である。図８を参照すると、ビットストリーム８０１は、可変長復号化を実行する可変長デコーダ８０２によって受信される。可変長復号化の出力は、量子化器７０４によって実行される量子化の反対である逆量子化演算を実行する逆量子化器８０３へ送られる。逆量子化器８０３の出力は、画像データを生成するためにＩＤＣＴ８０４によって逆ＤＣＴ変換された係数からなる。Ｉフレームの事例では、ＩＤＣＴ８０４の出力はループフィルタ８２１によってフィルタ処理され、フレームバッファ８２２に格納され、最終的に出力８６０として出力される。Ｐフレームの事例では、ＩＤＣＴ８０４から出力された画像データは、加算器８０５を使用して動き補償ユニット８１０からの予測に加算される。動き補償ユニット８１０は、上述されている重み付きパラメータを含む可変長デコーダ８２２からの出力と、フレームバッファ８２２からの参照フレームとを使用する。加算器８０５から出力される結果として得られる画像データは、ループフィルタ８２１を使用してフィルタ処理され、出力８６０の一部として最終的な出力のためフレームバッファ８２２に格納される。
[0067]しかし、この場合には、単一の補間メカニズムだけでなく異なる／複数の補間メカニズムを考慮するので、参照リストがどのように取り扱われるかと、動き推定及び補償のプロセスがどのように実行されるかに関して重要な相違点が存在する。図９は、エンコーダ及び／又はデコーダの一部として参照リスト使用法への影響を説明している。参照は最初に系統立てられ、動き推定及び動き補償を考慮する前に処理される。
[0068]図９を参照すると、参照ピクチャがメモリ９０１に記憶されている。参照ピクチャはエンコーダ又はデコーダから受信される。リスト０及びリスト１はメモリ９０１に記憶されている参照ピクチャを使用して初期化される。一実施形態では、実行される初期化は、当分野において周知のＨ．２６４規格の初期化である。注意すべき点は、リスト１はＢスライスが動き推定及び補償に使用されるときに初期化されることである。初期化後、リスト０及びリスト１内の参照は、それぞれ、並べ替えモジュール９０４及び９０５を使用して並べ替えられる。一実施形態では、並べ替えは、最も頻繁に使用される参照インデックスがリストの先頭に来るように実行される。同様に、この並べ替えはＨ．２６４規格に準じて実行され、当分野において周知である。並べ替え後に、並べ替えリスト０内の各参照に一連の関数９０７が適用される。関数９０６及び９０７から結果として得られる出力は動き推定モジュール９０８及び動き補償モジュール９０９へ送られる。（本明細書の目的のため、モジュールはハードウェアでも、ソフトウェアでも、ファームウェアでも、全ての組み合わせでも構わないことに注意すべきである。）動き補償モジュール９０９は、エンコーダ及びデコーダのための生成された動き補償予測を実行するために、これらの関数９０６及び９０７の出力を、動き推定モジュール９０８の出力と共に使用する。デコーダに関しては、動き情報がビットストリームから直接的に入手可能であるので、動き推定エレメントがデコーダに含まれていないことに注意すべきである。
[0069]一実施形態では、本明細書に詳述されている技術が空間スケーラブル映像符号化に適用される。このような事例では、この技術は、基底低解像度レイヤを補間する単一のメカニズムを指定するのではなく、現在の高解像度レイヤを予測するため使用され、並べ替えコマンドを使用する補間法の完全な組を所定の低解像度参照に割り当てる。これにより参照ピクチャの新しい組が生成され、各参照ピクチャは異なる参照インデックス及び補間フィルタと関連付けられている。ブロックレベルでは、参照インデックスはこの場合も、付加的なオーバーヘッドを全く必要とすることなくアップサンプリングのため使用される補間法を示している。
[0070]図１２は空間スケーラビリティのための適応補間を説明する図である。図１２を参照すると、低解像度バッファ１２０１は低解像度デコーダ（図示せず）からレイヤを受信する。高解像度バッファは高解像度デコーダ（図示せず）から高解像度レイヤを受信する。低解像度バッファ１２０１からの低解像度レイヤは、参照初期化モジュール１２０３内で参照を初期化するため使用される。並べ替えモジュール１２０４は、並べ替えコマンドを使用して補間法の組を参照に割り当てる。一実施形態では、この割り当てはＨ．２６４規格に記述されているように行われる。その後に、並べ替えモジュール１２０４から出力されたレイヤがアップサンプラ１２０５を使用してアップサンプリングされる。アップサンプラ１２０５は、関数の組ｇ０，０（ｘ，ｙ）−ｇ０，ｎ（ｘ，ｙ）を適用する。低解像度の基底レイヤは補間され、高解像度の現在レイヤを予測するために、動き推定モジュール１２０６と連動して動き補償モジュール１２０７によって使用される。動き補償予測は高解像度デコーダ（又はエンコーダ）へ送られる。
[0071]補間フィルタは、マルチパス法を実行することにより、又は、符号化されるべき内容のある特性を考慮することにより選択される。一実施形態では、初期的な移動ベクトルの組の推定は初期フィルタを使用して行われる。次に、フィルタ係数が、これらの移動ベクトルを使用して動き補償された予測を実行するときに、予測誤差のエネルギーを最小化（又は低減）することによりブロック毎に推定される。フィルタは、その後に、ヒストグラムアプローチに基づいて分類され、必要に応じて精緻化され、その後に、最良Ｎフィルタがシグナリング及び最終的な符号化のため選択される。図１０Ａは、補間パラメータを決定するプロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0072]図１０Ａを参照すると、プロセスは、プロセシングロジックがフィルタ統計量を初期化することにより開始する（処理ブロック１００１）。一実施形態では、フィルタ統計量を初期化するステップは、ヒストグラム（ＨＩＳＴＩＮＴ）を初期化するステップを含む。一実施形態では、統計量は、各フィルタが選択された回数を明らかにする。次に、プロセシングロジックはループに入る（処理ブロック１００２）。ループ内で、プロセシングロジックはバッファ内の参照毎にデフォルト補間フィルタを設定し（処理ブロック１００３）、ブロック毎に、プロセシングロジックが動き推定を実行する別のループに入り（処理ブロック１００５）、最良動きベクトルを使用して補間フィルタを精緻化し（処理ブロック１００６）、ヒストグラムＨＩＳＴＩＮＴ内の補間統計量を更新する（処理ブロック１００７）。動き推定への結果は、最良動きベクトル（ＭＶｂｅｓｔ）が突き止められることである。
[0073]バッファ内の参照毎に各ブロックを処理した後、プロセシングロジックは処理ブロック１０１０へ移り、プロセシングロジックは全ての参照に対する最良フィルタを決定するために統計量を解析する。一実施形態では、プロセシングロジックは、全ての参照に対する最良フィルタを決定するためにＨＩＳＴＩＮＴを調べる。次に、プロセシングロジックは補間フィルタを固定することによりフレームを再符号化する（処理ブロック１０１１）。一実施形態では、フレームを再符号化するプロセスの一部として、プロセシングロジックは動き推定及び参照を精緻化する。その後に、プロセスは終了する。
[0074]より低い複雑性コストをさらに有する代替的な実施形態では、動き推定はあらゆる参照を考慮してあらゆるブロックに対して実行される。あらゆる参照からの最良動きベクトルを使用して、その参照のための最良補間フィルタもまた見つけられる。しかし、最良参照からのパラメータだけが考慮され、その間に、他の全ての参照が廃棄され、要求され得る余分な処理を回避する。図１０Ｂは補間パラメータを決定する代替的な実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0075]図１０Ｂを参照すると、プロセスは、各ブロックが処理されるループで開始する（処理ブロック１０２０）。ループ内では、プロセシングロジックは、別の内側ループを処理し始め（処理ブロック１０２１）、ループ内で、バッファ内の参照毎に、プロセシングロジックがデフォルト補間フィルタを設定し（処理ブロック１０２２）、最良動きベクトル（ＭＶｂｅｓｔ）を見つけるために動き推定を実行し（処理ブロック１０２４）、最良ベクトル（ＭＶｂｅｓｔ）を使用して補間フィルタを精緻化する（処理ブロック１０２４）。バッファ内の全参照が処理されると、内側ループが終了する。
[0076]その後に、処理は外側ループに引き継がれ、プロセシングロジックは最良参照を選択し（処理ブロック１０２７）、最良参照からの統計量に基づいてＨＩＳＴＩＮＴ内の補間統計量を更新する（処理ブロック１０２６）。外側ループは、各ブロックが処理されるまで継続し、その後、外側ループは終了する（処理ブロック１０２８）。各ブロックが処理されると、プロセシングロジックはヘッダ情報を更新し、ビットストリームを符号化及び／又は書き込む（処理ブロック１０２９）。
[0077]補間フィルタへのさらなる制約（すなわち、参照１つ当たりに許容されるフィルタの最大数、導入された新しいフィルタ毎のペナルティーの考慮など）がさらに課され、制約は最良フィルタを決定するという点で役立つ。デコーダ端では、参照インデックスに基づいて補間フィルタが直ちに決定され、他の復号化プロセスに全く影響を与えることなく補間が実行される。
[0078]図１１はデコーダによって実行される補間選択性プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0078]図１１を参照すると、プロセスは、並べ替え情報、重み付けパラメータ情報及び補間情報を含むスライス情報を復号化することにより開始する（処理ブロック１１０１）。一実施形態では、並べ替え情報は並べ替えコマンドからなる。スライス情報を復号化した後、プロセシングロジックは参照リストを作成する（処理ブロック１１０２）。次に、プロセシングロジックはブロック毎にループを実行し（処理ブロック１１０３）、ループ内で、プロセシングロジックはリストｉ毎に参照インデックスｒｉを復号化し（処理ブロック１１０４）、動きベクトル及び重み付けパラメータを含む動き情報を復号化し（処理ブロック１１０５）、ｒ０及びｒ１に基づいて補間フィルタを選択し（処理ブロック１１０６）、選択されたフィルタ及び動きベクトルパラメータを使用して動き補償を実行する（処理ブロック１１０７）。その後に、ループは終了する（処理ブロック１１０８）。ループが終了した後、プロセスが終了する。
[0080]適応端数サンプル補間が動き補償された映像符号化にさらに役立つように明らかにされている。本明細書に記載されている技術は、Ｈ．２６４のようなある種の映像符号化規格に提供されている並べ替えメカニズムの巧く利用することにより、このような適応端数サンプル補間メカニズムを効率的に考慮し表現し、シーケンスの局所特性がエイリアシングの観点で変化するときに、符号化効率を（すなわち、所定のビットレートに対するＰＳＮＲを増加させるという点で）高め、そして、空間スケーラブル映像符号化アーキテクチャの符号化効率を高めるために使用されている。
コンピュータシステムの実施例
[0081]図１３は、本明細書に記載されている１つ以上の動作を実行する例示的なコンピュータシステムのブロック図である。図１３を参照すると、コンピュータシステム１３００は、例示的なクライアント又はサーバーコンピュータシステムを備える。コンピュータシステム１３００は、情報を通信する通信メカニズム又はバス１３１１と、バス１３１１と接続され、情報を処理するプロセッサ１３１２とを備える。プロセッサ１３１２は、たとえば、Ｐｅｎｔｉｕｍ（商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）などのようなマイクロプロセッサを含むが、マイクロプロセッサには限定されない。
[0082]システム１３００は、バス１３１１に接続され、情報及びプロセッサ１３１２によって実行されるべき命令を記憶するランダムアクセスメモリ（ＲＡＭ）、又は、その他のダイナミック記憶装置１３０４（主メモリと呼ばれる）をさらに備える。主メモリ１３０４は、プロセッサ１３１２による命令の実行中に、一時変数又はその他の中間情報を記憶するためにも使用される。
[0083]コンピュータシステム１３００は、バス１３１１に接続され、静的情報及びプロセッサ１３１２のための命令を記憶するリードオンリーメモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置１３０６と、磁気ディスク又は光ディスク及びこれらのディスクに対応するディスクドライブのようなデータ記憶装置１３０７とをさらに備える。データ記憶装置１３０７はバス１３１１に接続され、情報及び命令を記憶する。
[0084]コンピュータシステム１３００は、バス１３１１に接続され情報をコンピュータユーザへ提示する陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のような表示装置１３２１にさらに接続されている。英数字キー及びその他のキーを含む英数字入力装置１３２２もまたバス１３１１に接続され、情報及びコマンド選択をプロセッサ１３１２へ通信する。付加的なユーザ入力装置は、バス１３１１に接続され、方向情報及びコマンド選択をプロセッサへ通信し、ディスプレイ１３２１上のカーソル移動を制御するマウス、トラックボール、トラックパッド、スタイラス、又は、カーソル方向キーのようなカーソル制御装置１３２３である。
[0085]バス１３１１に接続される別の装置は、紙、フィルム、又は、同様のタイプの媒体のような媒体上に情報を記録するハードコピー装置１３２４である。バス１３１１に接続される別の装置は、電話機又はハンドヘルド式パーム型装置へ通信するための有線／無線通信機能装置１３２５である。
[0086]システム１３００の何れか又は全部のコンポーネント、及び、関連したハードウェアが本発明において使用されることに注意すべきである。しかし、コンピュータシステムのその他の構造は装置の一部又は全部を含むことがわかる。
[0087]本発明の多数の代替及び変更は、おそらく上記の説明を読んだ後に当業者に明白になるが、例示のために図示され記載された特有の実施形態が制限的であるとみなされることは決して意図されていないことが理解されるべきである。したがって、様々な実施形態の細部への言及は、発明に不可欠であると考えられる特徴だけを本質的に列挙している請求項の範囲を制限することを目的としていない。
Ｐピクチャにおける動き補償の説明図である Ｂピクチャにおける動き補償の説明図である。 クォータサンプルルマ補間のための整数サンプル位置及び端数サンプル位置の説明図である。 Ｈ．２６４で使用される補間プロセスの説明図である。 符号化プロセスの一実施形態のフローチャートである。 復号化プロセスの一実施形態のフローチャートである。 補間プロセスの一実施形態の説明図である。 エンコーダの別の実施形態である。 デコーダの別の実施形態である。 補間プロセスの参照リスト使用法への影響の説明図である。 補間パラメータを決定するプロセスの代替的な実施形態のフローチャートである。 補間パラメータを決定するプロセスの代替的な実施形態のフローチャートである。 補間選択性を含む復号化プロセスの一実施形態のフローチャートである。 空間的スケーラビリティのための適応補間の検討を説明する図である。 コンピュータシステムの一実施形態のブロック図である。

Claims (9)

  1. １つ以上の参照のうちの１つずつが１つ以上の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記参照インデックスと関連付けられている区分が予測された区分を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記１つ以上の参照を使用して、動き補償された予測の前記予測された区分を生成する動き補償モジュールと、
    入力映像データと前記動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するコーダと、
    を備えるビデオエンコーダ。
  2. 複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
    入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
    を備える符号化方法。
  3. システムによって実行されたときに、
    複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
    入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
    を備える符号化方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
  4. 参照インデックス及び動きベクトルを復号化するデコーダと、
    前記参照インデックスに従って参照フレーム及び複数のフィルタのうちの１つを選択し、前記選択されたフィルタが予測されたブロックを獲得するため動きベクトルによって決定された前記参照フレームのサンプルの組をフィルタ処理する動き補償モジュールと、
    を備える装置。
  5. ビデオデコーダ内で予測されたブロックを生成する方法であって、
    参照インデックスを復号化するステップと、
    動きベクトルを復号化するステップと、
    前記参照インデックスに従って参照フレームを選択するステップと、
    前記参照インデックスに従ってフィルタを選択するステップと、
    前記予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
    を備える方法。
  6. システムによって実行されたときに、
    参照インデックスを復号化するステップと、
    動きベクトルを復号化するステップと、
    前記参照インデックスに従って参照フレームを選択するステップと、
    前記参照インデックスに従ってフィルタを選択するステップと、
    予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
    を備える予測されたブロックを生成する方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
  7. ビデオデコーダ内で予測されたブロックを生成する方法であって、
    第１の参照インデックス及び第２の参照インデックスを復号化するステップと、
    第１の動きベクトル及び第２の動きベクトルを復号化するステップと、
    前記第１の参照インデックスに応じて第１の参照フレームを選択し、前記第２の参照インデックスに従って第２の参照フレームを選択するステップと、
    前記第１の参照インデックスに応じて第１のフィルタを選択し、前記第２の参照インデックスに従って第２のフィルタを選択するステップと、
    第１のブロックを獲得するために前記第１のフィルタを使用して、前記第１の動きベクトルにより決定された前記第１の参照フレームの第１のサンプルの組をフィルタ処理するステップと、
    第２のブロックを獲得するために前記第２のフィルタを使用して、前記第２の動きベクトルにより決定された前記第２の参照フレームの第２のサンプルの組をフィルタ処理するステップと、
    前記予測されたブロックを獲得するために前記第１のブロックと前記第２のブロックを合成するステップと、
    を備える方法。
  8. １つ以上のエンハンスメントレイヤを符号化し、低解像度レイヤの補間が参照インデックスとの関連性を介して前記エンハンスメントレイヤ内のブロック毎に実行されるべき方法を指定するため、適応端数サンプル補間メカニズムを使用する空間スケーラブルエンコーダ。
  9. ビットストリームを復号化するデコーダと、
    各ブロックに割り当てられている複数の参照インデックスのうちの１つによって示されるような適応端数補間フィルタを使用して低解像度レイヤをアップサンプリングするアップサンプリングモジュールと、
    を備える空間スケーラブルデコーダ。
JP2008518451A 2005-06-24 2006-06-23 適応補間を使用する映像符号化及び復号化の方法と装置 Active JP5378791B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US69357505P 2005-06-24 2005-06-24
US60/693,575 2005-06-24
US11/452,043 2006-06-12
US11/452,043 US8208564B2 (en) 2005-06-24 2006-06-12 Method and apparatus for video encoding and decoding using adaptive interpolation
PCT/US2006/024528 WO2007002437A2 (en) 2005-06-24 2006-06-23 Method and apparatus for video encoding and decoding using adaptive interpolation

Publications (2)

Publication Number Publication Date
JP2008544708A true JP2008544708A (ja) 2008-12-04
JP5378791B2 JP5378791B2 (ja) 2013-12-25

Family

ID=37307409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008518451A Active JP5378791B2 (ja) 2005-06-24 2006-06-23 適応補間を使用する映像符号化及び復号化の方法と装置

Country Status (5)

Country Link
US (1) US8208564B2 (ja)
EP (1) EP1894418A2 (ja)
JP (1) JP5378791B2 (ja)
CN (1) CN101208957B (ja)
WO (1) WO2007002437A2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288182A (ja) * 2009-06-15 2010-12-24 Victor Co Of Japan Ltd 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
JP2010288181A (ja) * 2009-06-15 2010-12-24 Victor Co Of Japan Ltd 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
WO2011078002A1 (ja) * 2009-12-22 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011135460A (ja) * 2009-12-25 2011-07-07 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置
WO2011118946A2 (ko) * 2010-03-21 2011-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20110123699A (ko) * 2010-05-07 2011-11-15 톰슨 라이센싱 화상 시퀀스 코딩 방법, 그 대응 재구성 방법, 및 이 화상 시퀀스를 대표하는 코딩된 데이터 스트림
CN102438135A (zh) * 2011-01-14 2012-05-02 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
CN102523458A (zh) * 2012-01-12 2012-06-27 山东大学 一种适于高清图像视频无线传输的编解码方法
WO2013051897A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 영상 부호화 방법과 영상 복호화 방법
JP2013520876A (ja) * 2010-02-18 2013-06-06 クゥアルコム・インコーポレイテッド 動き補間のためのクロミナンス高精度動きフィルタ処理
WO2014050009A1 (en) * 2012-09-28 2014-04-03 Sharp Kabushiki Kaisha Picture processing in scalable video systems
JP2017153145A (ja) * 2012-09-28 2017-08-31 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングの適応型アップサンプリング
JP2018033181A (ja) * 2009-03-12 2018-03-01 トムソン ライセンシング デイーテイーヴイー アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609765B2 (en) * 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
EP1840875A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Signal coding and decoding with pre- and post-processing
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9418450B2 (en) 2006-08-31 2016-08-16 Ati Technologies Ulc Texture compression techniques
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8731311B2 (en) * 2006-09-26 2014-05-20 Panasonic Corporation Decoding device, decoding method, decoding program, and integrated circuit
KR101354659B1 (ko) * 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20090180546A1 (en) 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
KR20090094343A (ko) * 2006-11-30 2009-09-04 가부시키가이샤 엔티티 도코모 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호화 장치, 동화상 복호화 방법 및 동화상 복호화 프로그램
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9961372B2 (en) 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR20080086766A (ko) * 2007-03-23 2008-09-26 삼성전자주식회사 픽셀 단위의 컨텍스트 모델을 이용한 영상의 부호화,복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8090031B2 (en) * 2007-10-05 2012-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Method for motion compensation
WO2009046601A1 (en) * 2007-10-09 2009-04-16 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method for motion compensation
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
CN101453656B (zh) * 2007-11-29 2011-06-01 华为技术有限公司 视频编码、解码方法及装置和视频编解码系统
US8165210B2 (en) * 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
KR101648818B1 (ko) * 2008-06-12 2016-08-17 톰슨 라이센싱 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9538176B2 (en) 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
CN102210147B (zh) 2008-11-12 2014-07-02 思科技术公司 处理具有[aar]单个视频信号的多个处理后的表示的视频[aar]节目以用于重建和输出
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US8326131B2 (en) 2009-02-20 2012-12-04 Cisco Technology, Inc. Signalling of decodable sub-sequences
CN102342104B (zh) 2009-03-06 2015-07-01 汤姆森特许公司 预测图像数据块的方法、实现所述方法的解码和编码设备
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
ES2739475T3 (es) * 2009-05-11 2020-01-31 Ntt Docomo Inc Dispositivo, método y programa de codificación de imágenes en movimiento, y dispositivo, método y programa de decodificación de imágenes en movimiento
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
WO2011003326A1 (en) * 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
WO2011086836A1 (ja) * 2010-01-12 2011-07-21 シャープ株式会社 符号化装置、復号装置、および、データ構造
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
EP2375747B1 (en) 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
CN106454356B (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
CN102959873A (zh) * 2010-07-05 2013-03-06 日本电信电话株式会社 编码方法、解码方法、装置、程序及记录介质
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
US9313523B2 (en) * 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US8761245B2 (en) * 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
EP4135329A3 (en) * 2011-01-07 2023-04-05 LG Electronics Inc. Method for encoding and decoding image information and device using same
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
US20120230393A1 (en) * 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
WO2012125450A1 (en) * 2011-03-11 2012-09-20 General Instrument Corporation Interpolation filter selection using prediction index
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
US20120300844A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Cascaded motion compensation
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
KR101748810B1 (ko) * 2011-06-24 2017-06-19 가부시키가이샤 엔.티.티.도코모 모션 보상 예측을 위한 방법 및 장치
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
CA2976108C (en) * 2011-06-28 2020-06-30 Samsung Electronics Co., Ltd. Method for image interpolation using asymmetric interpolation filter and apparatus therefor
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9094689B2 (en) * 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
US9319711B2 (en) 2011-07-01 2016-04-19 Google Technology Holdings LLC Joint sub-pixel interpolation filter for temporal prediction
CN103650492B (zh) 2011-07-15 2017-02-22 Lg电子株式会社 用于处理3d服务的方法和装置
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
US9392235B2 (en) * 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US10536726B2 (en) * 2012-02-24 2020-01-14 Apple Inc. Pixel patch collection for prediction in video coding system
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US9451288B2 (en) 2012-06-08 2016-09-20 Apple Inc. Inferred key frames for fast initiation of video coding sessions
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
WO2014107066A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
WO2015093895A1 (en) * 2013-12-20 2015-06-25 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
CN105204828A (zh) * 2014-06-23 2015-12-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN105450578B (zh) * 2014-07-28 2018-12-14 联想(北京)有限公司 信号处理方法、装置及电子设备
EP3203747B1 (en) * 2014-10-01 2020-12-23 LG Electronics Inc. Method and apparatus for encoding and decoding video signal using improved prediction filter
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
KR102009634B1 (ko) * 2016-05-04 2019-08-12 한국항공대학교산학협력단 영상 보정 정보 부호화 및 복호화 방법 및 장치
WO2018117895A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd Mixed domain collaborative in-loop filter for lossy video coding
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
EP4336840A2 (en) 2017-05-31 2024-03-13 InterDigital Madison Patent Holdings, SAS A method and a device for picture encoding and decoding
WO2019093916A1 (en) 2017-11-07 2019-05-16 Huawei Technologies Co., Ltd Interpolation filter for an inter prediction apparatus and method for video coding
EP3725083A1 (en) 2017-12-14 2020-10-21 InterDigital VC Holdings, Inc. Method and apparatus for encoding a picture block
EP4221201A1 (en) 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
EP3741121A1 (en) * 2018-02-14 2020-11-25 Huawei Technologies Co., Ltd. Adaptive interpolation filter
BR112020019740A2 (pt) 2018-03-29 2021-02-17 Huawei Technologies Co., Ltd. aparelho e método de processamento de imagem
CN111937383B (zh) 2018-03-30 2023-08-01 交互数字Vc控股公司 视频编码和解码中的色度量化参数调整
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
EP4268463A1 (en) * 2021-02-08 2023-11-01 Huawei Technologies Co., Ltd. Switchable dense motion vector field interpolation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096719A (ja) * 2002-07-11 2004-03-25 Matsushita Electric Ind Co Ltd フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1365385B1 (en) * 1998-11-09 2012-06-13 Broadcom Corporation Graphics display system with processing of graphics layers, alpha blending and composition with video data
US6933986B2 (en) * 2000-04-07 2005-08-23 Harris Corporation Sharply tuned bandpass filter
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
EP1886502A2 (en) 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
US7511769B2 (en) * 2005-04-19 2009-03-31 Texas Instruments Incorporated Interframe noise reduction for video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング
JP2004096719A (ja) * 2002-07-11 2004-03-25 Matsushita Electric Ind Co Ltd フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033181A (ja) * 2009-03-12 2018-03-01 トムソン ライセンシング デイーテイーヴイー アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
JP2010288181A (ja) * 2009-06-15 2010-12-24 Victor Co Of Japan Ltd 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JP2010288182A (ja) * 2009-06-15 2010-12-24 Victor Co Of Japan Ltd 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
WO2011078002A1 (ja) * 2009-12-22 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8780995B2 (en) 2009-12-25 2014-07-15 Kddi R&D Laboratories Inc. Video encoding apparatus and video decoding apparatus
JP2011135460A (ja) * 2009-12-25 2011-07-07 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置
JP2013520876A (ja) * 2010-02-18 2013-06-06 クゥアルコム・インコーポレイテッド 動き補間のためのクロミナンス高精度動きフィルタ処理
WO2011118946A2 (ko) * 2010-03-21 2011-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
WO2011118946A3 (ko) * 2010-03-21 2011-12-15 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20110123699A (ko) * 2010-05-07 2011-11-15 톰슨 라이센싱 화상 시퀀스 코딩 방법, 그 대응 재구성 방법, 및 이 화상 시퀀스를 대표하는 코딩된 데이터 스트림
JP2011239394A (ja) * 2010-05-07 2011-11-24 Thomson Licensing ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
KR101873050B1 (ko) 2010-05-07 2018-06-29 톰슨 라이센싱 화상 시퀀스 코딩 방법, 그 대응 재구성 방법, 및 이 화상 시퀀스를 대표하는 코딩된 데이터 스트림
CN102438135A (zh) * 2011-01-14 2012-05-02 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
WO2013051897A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 영상 부호화 방법과 영상 복호화 방법
CN102523458B (zh) * 2012-01-12 2014-06-04 山东大学 一种适于高清图像视频无线传输的编解码方法
CN102523458A (zh) * 2012-01-12 2012-06-27 山东大学 一种适于高清图像视频无线传输的编解码方法
WO2014050009A1 (en) * 2012-09-28 2014-04-03 Sharp Kabushiki Kaisha Picture processing in scalable video systems
JP2017153145A (ja) * 2012-09-28 2017-08-31 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングの適応型アップサンプリング
US10218971B2 (en) 2012-09-28 2019-02-26 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding

Also Published As

Publication number Publication date
CN101208957A (zh) 2008-06-25
US8208564B2 (en) 2012-06-26
WO2007002437A2 (en) 2007-01-04
WO2007002437A3 (en) 2007-05-03
CN101208957B (zh) 2012-10-10
US20060294171A1 (en) 2006-12-28
JP5378791B2 (ja) 2013-12-25
EP1894418A2 (en) 2008-03-05

Similar Documents

Publication Publication Date Title
JP5378791B2 (ja) 適応補間を使用する映像符号化及び復号化の方法と装置
US7379496B2 (en) Multi-resolution video coding and decoding
US7830963B2 (en) Decoding jointly coded transform type and subblock pattern information
US8873623B2 (en) Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction
EP2319241B1 (en) Skip modes for inter-layer residual video coding and decoding
CN108028931B (zh) 用于视频编解码的自适应帧间预测的方法及装置
US7602851B2 (en) Intelligent differential quantization of video coding
US7120197B2 (en) Motion compensation loop with filtering
KR101279755B1 (ko) 효율적인 통합 디지털 비디오 트랜스코딩
EP1457056B1 (en) Skip macroblock coding
US7499495B2 (en) Extended range motion vectors
KR20080055826A (ko) 임의 해상도 변경 다운사이징 디코더
US8638854B1 (en) Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US7577200B2 (en) Extended range variable length coding/decoding of differential motion vector information
WO2006112642A1 (en) Method and apparatus for adaptively selecting context model for entropy coding
RU2760234C2 (ru) Кодирование и декодирование данных
US8599921B2 (en) Adaptive partition subset selection module and method for use therewith
Han et al. Estimation-theoretic delayed decoding of predictively encoded video sequences
US20100246682A1 (en) Scaled motion search section with downscaling and method for use therewith
US20150010083A1 (en) Video decoding method and apparatus using the same
EP2403250A1 (en) Method and apparatus for multi-standard video coding
US20130101023A9 (en) Video encoder with video decoder reuse and method for use therewith
Grecos et al. Audiovisual Compression for Multimedia Services in Intelligent Environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130926

R150 Certificate of patent or registration of utility model

Ref document number: 5378791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250