JP2008547324A - ハイブリッド映像圧縮のための非線形予測フィルタ - Google Patents

ハイブリッド映像圧縮のための非線形予測フィルタ Download PDF

Info

Publication number
JP2008547324A
JP2008547324A JP2008518377A JP2008518377A JP2008547324A JP 2008547324 A JP2008547324 A JP 2008547324A JP 2008518377 A JP2008518377 A JP 2008518377A JP 2008518377 A JP2008518377 A JP 2008518377A JP 2008547324 A JP2008547324 A JP 2008547324A
Authority
JP
Japan
Prior art keywords
prediction
linear
frame
block
motion compensated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008518377A
Other languages
English (en)
Other versions
JP2008547324A5 (ja
JP5259396B2 (ja
Inventor
オヌール， ジー． グレリューズ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2008547324A publication Critical patent/JP2008547324A/ja
Publication of JP2008547324A5 publication Critical patent/JP2008547324A5/ja
Application granted granted Critical
Publication of JP5259396B2 publication Critical patent/JP5259396B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

非線形予測フィルタリングの方法及び装置が開示されている。一実施形態では、方法は、前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行するステップと、動き補償された非線形予測を生成するために端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内で動き補償された予測に非線形フィルタリングを実行するステップと、残差フレームを作成するために現在フレーム内のブロックから動き補償された非線形予測を減算するステップと、残差フレームを符号化するステップとを備える。
【選択図】 図４

Description

優先権
[0001]本特許出願は、２００５年６月２１日に出願され、名称が“Ａ Ｎｏｎｌｉｎｅａｒ， Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ”である対応する仮特許出願第６０／６９２，７６７号の優先権を主張し、参照として組み入れる。
発明の分野
[0002]本発明は圧縮及び伸張の分野に関し、特に、本発明は映像圧縮及び伸張処理における非線形予測フィルタリングに関する。
発明の背景
[0003]ハイブリッド映像圧縮は、アンカー映像フレームを符号化するステップと、その後に、予測されたフレームの組を断定的に符号化するステップとにより構成されている。予測符号化は、予測誤差フレームを獲得するために、前に符号化されたフレームに関して動き補償された予測を使用し、その後にこの予測誤差フレーム（すなわち、残差フレーム）の符号化が続けられる。アンカーフレーム及び予測誤差は変換コーダを使用して符号化される。
[0004]図１はビデオエンコーダのブロック図である。図１を参照すると、動き補償（ＭＣ）予測モジュールは、前に復号化されたフレームから動き補償された予測を生成する。第１の加算器は、残差フレームを獲得するために、動き補償された予測を現在フレームから減算する。変換コーダは、たとえば、変換、量子化器、及び、エントロピーエンコーダの組み合わせを使用して、残差フレームを符号化された差分に変換する。復号化中に、変換デコーダは、たとえば、エントロピーデコーダ、逆量子化器、及び、逆変換の組み合わせを使用して、符号化された差分を再構成済みの残差フレームに変換する。第２の加算器は、再構成済みのフレームを獲得するために、再構成済みの残差フレームを動き補償された予測に加算する。遅延要素Ｚ―１は、ＭＣ予測モジュールによる将来の参照のため再構成済みのフレームを保存する。
[0005]一般的な動き補償された予測演算は、前に符号化されたフレームから直接的にブロックを使用することにより、又は、ローパスフィルタに基づくこれらのブロックの補間を使用することにより、現在フレームのための予測器を形成することに制限されている。このプロセスは時間的相関を利用する優れたメカニズムを形成する。
[0006]パラメトリック動きモデルを利用するブロックに基づく動き補償、オーバーラップ動き補償、様々なローパスフィルタに基づく補間、輝度補償アルゴリズムなどを改良する周知の技術が存在する。しかし、これらの解決策は、映像フレーム内の非常に特殊なタイプの時間変化に限定され、一般的な解決策を提供しない。たとえば、
１）Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ ｏｆ ＩＴＵ−Ｔ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １， “Ｄｒａｆｔ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ （ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ），” Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ， ＪＶＴ−Ｇ０５０， Ｍａｒｃｈ ２００３と、
２）ＭＰＥＧ４ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ， ＶＭ １４．２， ｐｐ．２６０−２６４， １９９９とを参照のこと。
[0007]関連技術の解決策には多数の問題がある。たとえば、従来の解決策は、映像フレーム間の非常に特殊なタイプの時間的依存性を利用することに限定されている。動き推定が行われ、（複数の）アンカーフレーム内の候補ブロックが見つけられるならば、これらのブロック又はこれらのブロックの様々なローパスフィルタ処理後の形は、予測されたフレーム内のブロックに対する最良予測器であると仮定されている。エッジを含むブロックの小さなラップ、時間的に独立している変動、又は、時間的に相関している高周波の豊富なブロックなどのような大部分の時間的変動は、関連技術の解決策によって明らかにされていない。これらの明らかにされていない変動は、ハイブリッドビデオコーダで利用されている変換コーダで符号化することが非常に難しい動き補償された差分を作成するので、重大な性能ペナルティーの原因になる。
[0008]その上、特定のタイプの輝度変動のようなある特定の問題がある時間的変動が最近の映像圧縮規格に組み込まれている。しかし、これらの解決策は、その解決策が設計された対象の特定の問題を越えると有効ではない。したがって、これらの解決策は一般的かつ頑強な解決策を提供しない。
[0009]さらに、一部の関連技術は、典型的に、一様な並進運動の仮定の下で区分的に滑らかなフレームモデルを進め、実際の符号化されたフレームがこれらの仮定から逸脱するときには常に問題を引き起こす。
発明の概要
[0010]非線形予測フィルタリングの方法及び装置が開示されている。一実施形態では、方法は、前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行するステップと、動き補償された非線形予測を生成するために端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内で動き補償された予測に非線形フィルタリングを実行するステップと、残差フレームを作成するために現在フレーム内のブロックから動き補償された非線形予測を減算するステップと、残差フレームを符号化するステップとを備える。
[0011]本発明は以下に記載されている詳細な説明と発明の種々の実施形態についての添付図面からより完全に理解されるが、添付図面は発明を特定の実施形態に限定するために利用されるべきではなく、説明と理解だけを目的としている。
本発明の詳細な説明
[0020]より良好なハイブリッド映像圧縮性能を可能にする映像フレームの非線形フィルタリングの方法、装置及び製品が記載されている。本明細書に記載されている技術は、周知のローパスフィルタに基づく補間より優れた非線形フィルタリング演算を提供することにより動き補償された予測プロセスを補強する。可能な動きベクトルの場所毎に、従来型のハイブリッドエンコーダは、ローパスフィルタを使用して実施される端数補間器の組のうちの１つを選択する。付加的な予測修正器は、前に符号化されたフレームから同じブロックを取り出し、現在フレームのより優れた予測器を形成するために様々な非線形フィルタを適用する。
[0021]開示された技術は、変換ドメインで実施される非線形フィルタリングの選択肢をこの組に追加する。１つ以上の実施形態では、これらの非線形予測の選択肢は、空間ドメイン内で非線形フィルタ処理された予測を導出するために、変換係数スレッショルディング、係数の大きさに基づく順位付け、及び、これらの組み合わせを利用することによって生成される。非線形フィルタリングの選択肢は、符号化されたビットストリームの一部としてデコーダへ送られるパラメータで効率的に獲得される。
[0022]本明細書に記載されている技術を使用することには多数の利益及び利点が存在する。記載されている技術は、頑強性があり、かつ、一般的であり、多数の画像領域タイプ及び多数の圧縮技術を効率的に取り扱うことが可能である。導出された非線形予測フィルタは、滑らかな画像領域にローパス選択性を作成し、高周波数領域にハイパス選択性を作成することなどによって、適応的かつ自律的に多数の画像領域タイプのための適切な周波数選択性を作り出す。
[0023]以下の説明中、多数の細部が本発明のより完全な説明を行うために記載されている。しかし、当業者に明白であるように、本発明はこれらの特定の細部を用いることなく実施される。別の事例では、周知の構成及び装置は、本発明を分かりにくくすることを避けるために、細部にわたることなくブロック図形式で示されている。
[0024]以下の詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットへの演算の記号表現という形で提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の専門家が自分の業績の内容を他の当業者へ最も効率的に伝えるためにデータ処理技術の専門家によって使用される手段である。アルゴリズムは、本明細書中で、及び、一般的に、所望の結果につながるステップの首尾一貫したシーケンスであると考えられている。ステップは、物理量の物理的操作を必要とするステップである。通常は、不可欠ではないが、物理量は、記憶、転送、合成、比較、及び、その他の操作の対象となり得る電気的又は磁気的信号の形をとる。主として慣用法の理由で、電気的又は磁気的信号をビット、値、要素、シンボル、文字、項、番号などのように呼ぶことが時には便利であることがわかった。
[0025]しかし、上記の用語及び類似した用語は、適切な物理量と関連付けられるべきであり、電気的又は磁気的信号に適用される便宜的なラベルに過ぎないことに注意すべきである。特に断らない限り、以下の説明から明白であるように、説明の全体を通じて、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」のような用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されているデータを操作し、コンピュータシステムメモリ若しくはレジスタ内、又は、その他の情報記憶装置、伝送機器、又は、表示機器内で物理量として同様に表現される他のデータへ変換する、コンピュータシステム、又は、類似した電子コンピュータ装置の作用及びプロセスを指している。
[0026]本発明は中で演算を実行する装置にも関する。この装置は、必要な目的のため特別に構成されることがあり、或いは、この装置は、コンピュータに記憶されているコンピュータプログラムによって選択的に作動されるか、又は、再構成される汎用コンピュータを備える。このようなコンピュータプログラムは、限定されることはないが、たとえば、各々がコンピュータシステムバスに接続されているフロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び、光磁気ディスクを含むあらゆるタイプのディスクと、リードオンリーメモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、ＥＰＲＯＭと、ＥＥＰＲＯＭと、磁気又は光カードと、電子命令を記憶するため適した任意のタイプの媒体などのようなコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
[0027]本明細書に提示されているアルゴリズム及び表示は、何らかの特有のコンピュータ又はその他の装置に本質的に関係していない。様々な汎用システムが本明細書における教示によるプログラムと共に使用され、又は、要求されている方法ステップを実行するためにより特殊化された装置を構築する方が好都合であるとわかることもある。多種多様なこれらのシステムの必要とされる構成は以下の説明からわかるであろう。さらに、本発明は何らかの特有のプログラミング言語に関して記載されていない。多種多様なプログラミング言語が本明細書に記載されている発明の教示を実施するために使用されることが認められるであろう。
[0028]機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を記憶又は伝送するメカニズムを含む。たとえば、機械読み取り可能な媒体は、リードオンリーメモリ（「ＲＯＭ」）と、ランダムアクセスメモリ（「ＲＡＭ」）と、磁気ディスク記憶媒体と、光記憶媒体と、フラッシュメモリ機器と、電気的、光学的、音響的又はその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）等々を含む。
概論
[0029]予測されたフレーム内で予測されるべきブロックに対し、前に符号化されたフレームからの候補ブロックが獲得される。様々なフィルタリング演算を可能にするため、この候補ブロックは予測されるべきブロックよりサイズが大きくても構わない。予測されたブロックよりサイズが大きい候補ブロックはフィルタリング演算の最後に予測されたブロックと同じサイズに縮小される。候補ブロックは、最初に変換係数を獲得するために線形変換を使用して変換される。線形変換の過完備集合もまた変換係数を生成するために使用される。候補ブロック変換係数は、Ｐ種類のブロックに対応するＰ組の係数の組を作成するために、Ｐ通りの方法で非線形的に修正される。このような係数の組の１つずつは逆変換され、その後に、おそらくは、予測されるべきブロックに対しＰ個の予測ブロックを獲得するためにサイズが縮小される。エンコーダでは、これらのＰ個の予測ブロックのうちの１つずつが予測されるべきブロックと比較される。最良予測が選択され、対応する予測パラメータが決定される。エンコーダは、その後に、この非線形予測に加えて標準的な予測の選択肢を考慮し、どれを使用すべきかをデコーダへ知らせる。この信号に基づいて、デコーダは予測プロセスを反復し、エンコーダと同じ予測ブロックを獲得する。
[0030]一実施形態では、候補ブロック係数の非線形修正は、係数のスレッショルディングと、大きさに基づく係数のソーティング及び最も大きなＲパーセントだけの保持と、係数のインデックス付け及び所定のインデックスを有する係数（又は、所与のインデックス集合に属する係数）だけの保持と、係数のスケーリングの形式をとる。少なくとも１つの非線形演算を含むこれらの演算の様々な組み合わせが適用され得る。エンコーダが非線形予測を使用することに決めた場合に、どの演算が実行されたかに関してデコーダへ送られるパラメータが決定される。このパラメータは、Ｐ通りの値を取り、すなわち、Ｐ種類の組み合わせ演算が候補ブロックに実行され得る。
[0031]一実施形態では、本明細書に記載されている技術は、予測スキャニングの形をしたパラメータオーバーヘッド制御演算を含み、除去演算は候補ブロックの重大な差を作るＰ個の演算を決定するために組み込まれている。一実施形態では、候補ブロックの重大な差を作成する演算だけがエンコーダによって考慮されている。この演算は、可能な演算の個数をＰからＱ＜＝Ｐまで削減し、デコーダによっても同じように実行され得る。したがって、エンコーダが非線形予測を利用することに決定するならば、エンコーダはＰ通りの値ではなくＱ通りの値を取るパラメータを指定するだけでよい。これは、レート歪みの意味で非線形予測を効率的に組み込むために必要なオーバーヘッドビットの量を制御する。
[0032]一実施形態では、非線形予測を使用する決定はブロックレベルで行われ、ブロックのサイズはハイブリッド映像コーダの変換符号化演算で使用される変換によって決定される。
[0033]一実施形態では、上述されているように候補ブロックに適用される線形変換は、たとえば、ブロックｎ×ｎ型ＤＣＴのような直交変換である。たとえば、非直交変換及び非ブロック変換のようなその他の変換もまた適用される。この変換は、計算が効率的に実行され得るように、高速に実施できることが望ましいが、不可欠ではない。
[0034]（Ｍ×１ベクトルに配置されている）ｘが予測されるべきブロックを表すことにする。（Ｎ×１ベクトルに配置されている）ｙがｘを予測する際に使用されるフレームからの候補ブロックを表すことにする。候補ブロックｙは、様々なフィルタリング演算及び補間演算が明確に定義されるように、ｘよりサイズが大きくてもよい。Ｈは上記段落で指定されているように線形変換（Ｎ×Ｎ行列）を表すことにする。ｙの変換係数は、ｄ＝Ｈｙによって与えられる。
[0035]従来型の動き補償された予測によって使用される端数動きに対応する補間演算はこの表記法を使用して定義される。これらの演算は、

によって与えられるｘについてのＦ個の予測を生成し、ここで、ｉ番目の予測は、

によって、所定の補間行列Ａｉ（Ｍ×Ｎ）で乗算することにより生成される。
[0036]一実施形態では、この組は、以下の非線形フィルタリングに基づいて、さらなる予測の組

を定義することによって補強される。Ｔ１，Ｔ２，．．．，ＴＫがスレッショルドの組を表し、Ｒ１，Ｒ２，．．．，ＲＬがパーセンテージの組を表すことにする。非線形予測

は、スレッショルドＴｊを用いてｄ内で係数をスレッショルディングし、逆変換を行い、必要に応じて、ｘのサイズと一致するように結果のサイズを縮小することにより生成される。非線形予測

は、大きさに関してｄ内で係数をソートし、最も小さい１００−Ｒｊパーセントを零化し、逆変換を行い、必要に応じて、ｘのサイズと一致するように結果のサイズを縮小することにより生成される。サイズの縮小は、クロッピング／サンプリングによって、又は、クロッピング／サンプリングが後に続けられるフィルタリングによって実現される。ｄを生成する際にブロック変換が使用されているならば、ソーティング及び零化が変換の各ブロックで行われ得る。さらなる予測は、スケーリング定数の組を用いてこれらの予測をスケーリングすることによって獲得される。さらに、より多くの予測を生成するために、少なくとも１つの非線形演算を使用して、様々な組み合わせで演算を適用可能である。さらなる予測は、ｙに加えて、これらの演算及び組み合わせを

に適用することにより獲得され、又は、逆に、これらの演算の結果にＡｉ，ｉ＝１，．．．，Ｆを適用することにより獲得される。一実施形態では、Ｐ個の予測が作成される。
[0037]一実施形態では、予測は、特定の反復回数が実行されるまで、生成された予測に修正項を加算し、上記演算を修正された予測に再適用することを続けることによって反復的に生成される。パラメータ（スレッショルド、パーセンテージ、インデックス集合など）は所定の方法で反復毎に変更されてもよい。
[0038]一実施形態では、重要でない予測が生成されないように、走査及び除去演算が使用される。１つのこのような演算は以下の通りである。生成された各予測は、同一予測器、すなわち、可能なサイズ縮小を除いて決してｙを修正することなく獲得された予測器のｙへの適用、予測

及び、それまで有効であることが分かっていた予測と比較される。生成された予測がこれらの予測と十分に相違するならば、生成された予測は有効予測になり、さもなければ、生成された予測は予測器の集合から削除される。残りのＱ個の予測は、集合

として形成される。
[0039]動き補償された予測プロセスの残りの部分は、デコーダが、従来の事例におけるちょうどＦ個の予測ではなく、Ｆ＋Ｑ個の予測のうちのどれを構築すべきであるかを通知されるべきである点を除いて変更されない。（走査及び除去演算は、エンコーダとデコーダの両方で利用可能であるデータだけを使用するので、デコーダは走査及び除去演算を並列に実施し、Ｑ個の付加的な予測器を決定することが可能である。）たとえば、スレッショルドの値、パーセンテージの値、及び、スケーリング係数の値のような一部のパラメータもまたデコーダへ知らせることが可能である。このようなシグナリングは当分野において周知の方法で行われる。
単一の線形変換Ｈを使用する上記のフィルタリング手順は、許容可能な性能を提供するが、より良好な性能は複数の異なる線形変換Ｈ１、Ｈ２、．．．、ＨＵを使用することによって獲得される。一実施形態では、これらの変換のそれぞれは、予測推定量

を作成するために、固有のフィルタリング手順で使用される。これらの個々の予測推定量は、その後に、各予測推定量より優れている全体的な予測

を形成するために合成される。
エンコーダ及びデコーダの実施例
[0040]一実施形態では、ビデオエンコーダは、前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行する動き補償予測モジュールと、端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内でブロックに非線形フィルタリングを実行する非線形予測フィルタと、残差フレームを作成するために現在フレーム内のブロックから動き補償された非線形予測を減算する加算器（減算器）と、残差フレームを符号化するコーダとを備える。
[0041]図２Ａは機能強化されたビデオエンコーダのブロック図である。図２Ａを参照すると、動き補償された（ＭＣ）予測モジュール２１６は、前に復号化されたフレーム２０３から動き補償された予測を生成する。本明細書に記載されているように動き補償された予測を補強する非線形予測フィルタ２１７は、符号化されるべきフレームのより良好な予測を作成する。
[0042]加算器２１１は、残差フレームを獲得するために現在フレーム２０１から補強済みの動き補償された予測を減算する。変換コーダ２１２は、たとえば、変換、量子化器、及び、エントロピーエンコーダの組み合わせを使用して、残差フレームを符号化された差分２０２に変換する。復号化中に、変換デコーダ２１３は、たとえば、エントロピーデコーダ、逆量子化器、及び、逆変換の組み合わせを使用して、符号化された差分を再構成済みの残差フレームに変換する。加算器２１４は、再構成済みのフレームを獲得するために再構成済みの残差フレームを補強済みの動き補償された予測に加算する。遅延素子Ｚ−１２１５は、ＭＣ予測モジュール２１６による将来の参照のため再構築済みのフレームを記憶する。
[0043]一実施形態では、ビデオデコーダは、前に復号化されたフレームからのブロックを使用して予測されたブロックを生成するために動き補償ユニットと、非線形予測を生成するために端数補間プロセスの一部として非線形予測フィルタを用いて変換ドメイン内で予測されたブロックに非線形フィルタリングを実行する非線形予測フィルタと、残差フレームを復号化するデコーダと、残差フレームを非線形予測に加算する加算器とを備える。
[0044]図２Ｂは機能強化されたビデオデコーダのブロック図である。図２Ｂを参照すると、ＭＣ予測モジュール２２４は前に復号化されたフレーム２３３から動き補償された予測を生成する。非線形予測フィルタ２２３は、復号化されるべきフレームのより良好な予測を作成するために動き補償された予測を補強する。この補強は符号化されたビットストリームから受信された予測パラメータ２３２に応答して行われる。変換デコーダ２２１は、たとえば、エントロピーデコーダ、逆量子化器、及び、逆変換の組み合わせを使用して、符号化された差分２３１を再構成済みの残差フレームに変換する。加算器２２２は、ビデオデコーダから出力される再構成済みのフレームを獲得するために再構成済みの残差フレームを補強済みの動き補償された予測に加算する。出力はディスプレイに送られることがある。遅延素子Ｚ−１ ２２５もまた同様にＭＣ予測モジュール２２４による将来の参照のためフィルタ処理されたフレームを記憶する。
非線形予測フィルタ演算
[0045]一実施形態では、非線形予測フィルタは、第１の変換係数の組を獲得するために動き補償された予測に変換を適用する順変換モジュールと、第１の組から第２の変換係数の組を獲得するために変換ドメイン内で非線形フィルタリング演算を実行するモジュールと、動き補償された非線形予測を生成するために第２の変換係数の組に逆変換を適用する逆変換モジュールとを備える。
[0046]一実施形態では、変換ドメイン内で非線形フィルタリング演算を実行するモジュールは、１つ以上の変換係数の組内の変換係数を変更することにより第２の変換係数の組を作成するために、スレッショルドに基づいて変換係数毎にスレッショルディングを実行し、第１の変換係数の組を変更及び修正する１つ以上の係数の組を特定するモジュールを備える。別の実施形態では、変換ドメイン内で非線形フィルタリング演算を実行するモジュールは、第２の変換係数の組を作成するために、大きさに基づいて変換係数をソートし、これらの変換係数を変更及び修正する変換係数を特定するモジュールを備える。さらに別の実施形態では、変換ドメイン内で非線形フィルタリングを実行するモジュールは、第２の変換係数の組を作成するために、ブロック中の各変換係数にパーセンテージフィルタリングを実行し、これらの変換係数を変更及び修正する１つ以上の変換係数の組を特定するモジュールを備える。さらに別の実施形態では、変換ドメイン内で非線形フィルタリング演算を実行するモジュールは、インデックスをブロック内の各変換係数に割り当て、インデックスに基づいて変更すべき１つ以上の変換係数の組を特定し、１つ以上の変換係数の組内の変換係数を変更することにより第２の変換係数の組を作成するために第１の変換係数の組を修正するモジュールを備える。さらに別の実施形態では、変換ドメイン内で非線形フィルタリング演算を実行するモジュールは、第２の変換係数の組を作成するために１つ以上の変換係数をスケーリングするモジュールを備える。
[0047]一実施形態では、線形変換は、ｎ×ｎブロックＤＣＴと、そのｎ２の空間平行移動の全部とによって与えられ、ｎは映像フレームのサイズによって定められている。ＱＣＩＦ解像度フレームの場合、ｎは４に等しく、ＣＩＦ解像度フレームの場合、ｎは４に等しいか、ｎは８に等しいか、以下同様である。一般に、ｎは映像フレームの解像度が高くなると大きくなることが予想される。
[0048]非線形予測フィルタの演算は詳細に後述されている。
[0049]図３は従来型の動き補償された予測形成プロセスのフローチャートである。図３を参照すると、このプロセスは、前に復号化されたフレームから候補ブロックｙを獲得する（処理ブロック３０１）。候補ブロックｙを使用して、プロセシングロジックは、予測されるべきブロックのＦ個の可能な補間予測

を生成する（処理ブロック３０２）。そして、補間予測

が出力される（処理ブロック３０３）。その後、プロセスは終了する。
[0050]図４は非線形予測形成を実行するプロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。一実施形態では、プロセスは非線形予測フィルタによって実行される。
[0051]図４を参照すると、プロセスは、前に復号化されたフレームから候補ブロックｙを獲得することにより開始し（処理ブロック４０１）、Ｆ個の従来型の動き補償された予測器

を獲得する（処理ブロック４０２）。前に復号化されたフレームからの候補ブロックｙを使用して、プロセシングロジックは同一予測器を獲得し（処理ブロック４０３）、同一予測器は従来型の動き補償された予測器

と共に予測辞書記憶装置４０９に記憶される。
[0052]同様に候補ブロックｙを使用して、プロセシングロジックは、Ｋ個のスレッショルディング予測

を構築し（処理ブロック４０４）、Ｌ個のパーセンテージ予測

を構築する（処理ブロック４０５）。プロセシングロジックは、スレッショルドパラメータＴ１，．．．，ＴＫ及び変換Ｈ１，．．．，ＨＵ（４０８）を使用してスレッショルディング予測を構築する。同様に、プロセシングロジックは、パーセンテージＲ１，．．．，ＲＬ及び変換Ｈ１，．．．，ＨＵ（４０６）を使用してパーセンテージ予測を構築する。
[0053]一実施形態では、スレッショルディングはｙの各変換係数をハードスレッショルディングすることにより実施される。変換係数がスレッショルドより大きいならば、変換係数は変更されず、さもなければ、変換係数は零に設定される。一実施形態では、Ｋ及びスレッショルドＴ１，．．．，ＴＫは、符号化されるべきフレーム毎にエンコーダによって決定され、デコーダへ通知される。
[0054]一実施形態では、パーセンテージフィルタリングの場合、Ｌ及びパーセンテージＲ１，．．．，ＲＬは符号化されるべきフレーム毎にエンコーダによって決定され、デコーダへ通知される。
[0055]スレッショルディング予測及びパーセンテージ予測、すなわち、予測

は処理ブロック４０７へ送られ、プロセシングロジックが構築された各予測を予測辞書記憶装置４０９に記憶されている予測と比較する。より詳細には、一実施形態では、プロセシングロジックは、差がスレッショルドＴＱ未満であるかどうかをテストする。ＴＱは量子化ステップ幅の増加関数でもよい。スレッショルドＴＱ未満でなければ、予測は無効であり、廃棄される。予測が、スレッショルドＴＱとの比較に基づいて、全ての辞書要素との差が十分であるならば、プロセシングロジックは、予測が有効であると宣言し、将来の比較で使用されるべき辞書に予測を追加する。
[0056]全ての比較が終了した後、プロセシングロジックは非線形予測

を出力し（処理ブロック４１０）、プロセスは終了する。
[0057]一実施形態では、非線形予測器は、後述されるように、同一予測器、

と、その時点までに有効であることが判明した予測器と比較される。最初に、辞書が同一予測器

を使用して構築される。各予測は、予測と辞書要素との間の平方誤差を計算することにより辞書の各要素と比較される。この平方誤差は、次に、スレッショルドＴＱと比較される、全ての辞書要素との平方誤差がそれぞれスレッショルドＴＱより大きいならば、予測は有効であることが宣言され、辞書に追加される。そうでなければ、予測は無効であり廃棄される。一実施形態では、スレッショルドＴＱは、平方された量子化器ステップ幅の倍数として決定され、それ以外の等価パラメータが使用されることもある。
[0058]図５は非線形予測プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。一実施形態では、非線形予測処理は符号化ループの内側で実行される。
[0059]図５を参照すると、処理は、プロセシングロジックが、伸張された映像フレーム５１０に応答して符号化されるべきフレームのための予測を生成するために、従来型の動き補償された予測形成（処理ブロック５０１）と、非線形形成（処理ブロック５０２）とを実行することにより開始する。プロセシングロジックは、変換Ｈ１，．．．，ＨＵ、スレッショルドＴ１，．．．，ＴＫ、及び、パーセンテージＲ１，．．．，ＲＬ（５１１）を使用して非線形予測を実行する。
[0060]予測を形成した後、プロセシングロジックは最良予測を選択する（処理ブロック５０３）。これは予測されるべきフレーム（５１２）に応答して行われる。次に、プロセシングロジックは、選択された予測５１４と予測パラメータ、すなわち、スレッショルドＴ１，．．．，ＴＫ、及び、パーセンテージＲ１，．．．，ＲＬ（５１３）とをデコーダに通知する。その後に、プロセスは終了する。
[0061]図６は非線形予測プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。一実施形態では、非線形予測プロセスはビデオデコーダの符号化ループ内で実行される。
[0062]図６を参照すると、プロセスは、プロセシングロジックが予測されるべきブロック毎にフィルタを決定することにより開始する（処理ブロック６０１）。一実施形態では、この決定は、伸張された映像フレーム６１０と、エンコーダによるビットストリームに含まれている予測パラメータ６１１とに応答して実行される。
[0063]フィルタを決定した後、プロセシングロジックは、従来型の動き補償予測形成を実行する（処理ブロック６０２）。従来型の動き補償予測形成は従来型の予測を要求するブロック６１２に関して実行される。プロセシングロジックは、非線形予測形成も実行する（処理ブロック６０３）。このような事例では、非線形予測形成は、非線形予測を要求するブロック６１３と、変換Ｈ１，．．．，ＨＵと、予測パラメータであるスレッショルドＴ１，．．．，ＴＫ及びパーセンテージＲ１，．．．，ＲＬ（６１４）とに関して実行される。
[0064]従来型の動き補償された予測形成と非線形予測形成の両方の出力は、復号化されるべきフレーム内のブロック毎の適切な予測である予測６１５からなる。
[0065]図７は非線形予測形成プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
[0066]上述されているようなプロセスは、過完備変換を使用して候補ブロックｙに関する非線形予測を生成する。本発明は、過完備変換を使用することに限定されるものではなく、その他の変換が使用されてもよい。
[0067]図７を参照すると、プロセスは、変換係数ｄｉの組を生成するために順変換を候補ブロックに適用し、係数ｄｉの組内の１つ以上の係数を修正するためにスレッショルディング（又は、たとえば、パーセンテージフィルタリングのような別のフィルタリング技術）を適用し、その後に、予測を生成するために変換係数ｄｉに逆変換を適用することにより開始する（処理ブロック７０１）。一実施形態では、この演算は、フレーム内の全ブロックに対して実行され、変換Ｈ１，．．．，ＨＵ、スレッショルドＴＫ及びパーセンテージＲＫに応答して行われる。一実施形態では、スレッショルドＴＫは、２、３．５、７．２、又は、量子化ステップ幅のα倍のある数値であり、ここで、αは、０．２、１，３．４５、２３などである。この結果は非線形予測推定量である。これは、Ｕ個の予測推定量が形成されるようにＵ回実行される。ｎ×ｎブロック変換の場合、Ｕはｎ２でもよく、ＵはＵ回の変換が平行移動に不変な分解を提供するように設定されてもよく、又は、Ｕは計算複雑性の制約に基づいて設定されてもよい。
[0068]フィルタリング演算を実行した後、プロセシングロジックは、全体的な非線形予測

を作成するために、予測推定量を合成する（処理ブロック７０２）。一実施形態では、個々の予測推定量を合成するために、合成は、個々の予測

の加重平均によって与えられる。加重平均は、等しい重みを用いて、又は、たとえば、Ｏｎｕｒ Ｇ． Ｇｕｌｅｒｙｕｚ， “Ｗｅｉｇｈｔｅｄ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｅｎｏｉｓｉｎｇ”， Ｐｒｏｃ． Ａｓｉｌｏｍａｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌｓ ａｎｄ Ｓｙｓｔｅｍｓ， Ｐａｃｉｆｉｃ Ｇｒｏｖｅ， ＣＡ， Ｎｏｖ．２００３に記載されている技術のような、当分野において周知のより高度な重み決定技術を使用して行われる。
コンピュータシステムの実施例
[0069]図８は、本明細書に記載されている１つ以上の動作を実行する例示的なコンピュータシステムのブロック図である。図８を参照すると、コンピュータシステム８００は、例示的なクライアント又はサーバーコンピュータシステムを備える。コンピュータシステム８００は、情報を通信する通信メカニズム又はバス８１１と、バス８１１と接続され、情報を処理するプロセッサ８１２とを備える。プロセッサ８１２は、たとえば、Ｐｅｎｔｉｕｍ（商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）などのようなマイクロプロセッサを含むが、マイクロプロセッサには限定されない。
[0070]システム８００は、バス８１１に接続され、情報及びプロセッサ８１２によって実行されるべき命令を記憶するランダムアクセスメモリ（ＲＡＭ）、又は、その他のダイナミック記憶装置８０４（主メモリと呼ばれる）をさらに備える。主メモリ８０４は、プロセッサ８１２による命令の実行中に、一時変数又はその他の中間情報を記憶するためにも使用される。
[0071]コンピュータシステム８００は、バス８１１に接続され、静的情報及びプロセッサ８１２のための命令を記憶するリードオンリーメモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置８０６と、磁気ディスク又は光ディスク及びこれらのディスクに対応するディスクドライブのようなデータ記憶装置８０７とをさらに備える。データ記憶装置８０７はバス８１１に接続され、情報及び命令を記憶する。
[0072]コンピュータシステム８００は、バス８１１に接続され情報をコンピュータユーザへ提示する陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のような表示装置８２１にさらに接続されている。英数字キー及びその他のキーを含む英数字入力装置８２２もまたバス８１１に接続され、情報及びコマンド選択をプロセッサ８１２へ通信する。付加的なユーザ入力装置は、バス８１１に接続され、方向情報及びコマンド選択をプロセッサ８１２へ通信し、ディスプレイ８２１上のカーソル移動を制御するマウス、トラックボール、トラックパッド、スタイラス、又は、カーソル方向キーのようなカーソル制御装置８２３である。
[0073]バス８１１に接続される別の装置は、紙、フィルム、又は、同様のタイプの媒体のような媒体上に情報を記録するハードコピー装置８２４である。バス８１１に接続される別の装置は、電話機又はハンドヘルド式パーム型装置へ通信するための有線／無線通信機能装置８２５である。
[0074]システム８００の何れか又は全部のコンポーネント、及び、関連したハードウェアが本発明において使用されることに注意すべきである。しかし、コンピュータシステムのその他の構造は装置の一部又は全部を含むことがわかる。
[0075]本発明の多数の代替及び変更は、おそらく上記の説明を読んだ後に当業者に明白になるが、例示のために図示され記載された特有の実施形態が制限的であるとみなされることは決して意図されていないことが理解されるべきである。したがって、様々な実施形態の細部への言及は、発明に不可欠であると考えられる特徴だけを本質的に列挙している請求項の範囲を制限することを目的としていない。
ビデオエンコーダのブロック図である。 機能強化されたビデオエンコーダのブロック図である。 機能強化されたビデオエンコーダのブロック図である。 従来型の動き補償された予測形成プロセスのフローチャートである。 非線形予測形成を実行するプロセスの一実施形態のフローチャートである。 非線形予測プロセスの一実施形態のフローチャートである。 非線形予測プロセスの一実施形態のフローチャートである。 非線形予測形成プロセスの一実施形態のフローチャートである。 本明細書に記載されている１つ以上の動作を実行する例示的なコンピュータシステムのブロック図である。

Claims (6)

  1. 前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行するステップと、
    動き補償された非線形予測を生成するために端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内で前記動き補償された予測に非線形フィルタリングを実行するステップと、
    残差フレームを生成するために現在フレーム内のブロックから前記動き補償された非線形予測を減算するステップと、
    前記残差フレームを符号化するステップと、
    を備える方法。
  2. 前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行する動き補償予測モジュールと、
    端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内で前記ブロックに非線形フィルタリングを実行する非線形予測フィルタと、
    残差フレームを生成するために現在フレーム内のブロックから前記動き補償された非線形予測を減算する減算器と、
    前記残差フレームを符号化するコーダと、
    を備えるエンコーダ。
  3. システムによって実行されたときに、
    前に符号化されたフレームからのブロックを使用して動き補償された予測を生成するために動き補償を実行するステップと、
    動き補償された非線形予測を生成するために端数補間プロセスの一部として非線形フィルタを用いて変換ドメイン内で前記動き補償された予測に非線形フィルタリングを実行するステップと、
    残差フレームを生成するために現在フレーム内のブロックから前記動き補償された非線形予測を減算するステップと、
    前記残差フレームを符号化するステップと、
    を備える方法を前記システムに実行させる命令を記憶する１つ以上のコンピュータ読み取り可能な媒体を有する製品。
  4. 前に復号化されたフレームからのブロックを使用して予測されたブロックを生成するステップと、
    非線形予測を生成するために端数補間プロセスの一部として非線形予測フィルタを用いて変換ドメイン内で前記予測されたブロックに非線形フィルタリングを実行するステップと、
    残差フレームを復号化するステップと、
    前記残差フレームを前記非線形予測に加算するステップと、
    を備える方法。
  5. 前に復号化されたフレームからのブロックを使用して予測されたブロックを生成する動き補償ユニットと、
    非線形予測を生成するために端数補間プロセスの一部として非線形予測フィルタを用いて変換ドメイン内で前記予測されたブロックに非線形フィルタリングを実行する非線形予測フィルタと、
    残差フレームを復号化するデコーダと、
    前記残差フレームを前記非線形予測に加算する加算器と、
    を備える装置。
  6. システムによって実行されたときに、
    前に復号化されたフレームからのブロックを使用して予測されたブロックを生成するステップと、
    非線形予測を生成するために端数補間プロセスの一部として非線形予測フィルタを用いて変換ドメイン内で前記予測されたブロックに非線形フィルタリングを実行するステップと、
    残差フレームを復号化するステップと、
    前記残差フレームを前記非線形予測に加算するステップと、
    を備える方法を前記システムに実行させる命令を記憶する１つ以上のコンピュータ読み取り可能な媒体を有する製品。
JP2008518377A 2005-06-21 2006-06-21 ハイブリッド映像圧縮のための非線形予測フィルタ Expired - Fee Related JP5259396B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US69276705P 2005-06-21 2005-06-21
US60/692,767 2005-06-21
US11/471,741 US20060285590A1 (en) 2005-06-21 2006-06-20 Nonlinear, prediction filter for hybrid video compression
US11/471,741 2006-06-20
PCT/US2006/024270 WO2007002265A2 (en) 2005-06-21 2006-06-21 A nonlinear, prediction filter for hybrid video compression

Publications (3)

Publication Number Publication Date
JP2008547324A true JP2008547324A (ja) 2008-12-25
JP2008547324A5 JP2008547324A5 (ja) 2009-07-23
JP5259396B2 JP5259396B2 (ja) 2013-08-07

Family

ID=37416278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008518377A Expired - Fee Related JP5259396B2 (ja) 2005-06-21 2006-06-21 ハイブリッド映像圧縮のための非線形予測フィルタ

Country Status (3)

Country Link
US (5) US20060285590A1 (ja)
JP (1) JP5259396B2 (ja)
WO (1) WO2007002265A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017507538A (ja) * 2014-01-01 2017-03-16 エルジー エレクトロニクス インコーポレイティド 適応予測フィルタを用いて映像信号をエンコード、デコードするための方法及び装置
JP2021530157A (ja) * 2018-07-02 2021-11-04 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおけるフィルタリングのための装置および方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285590A1 (en) * 2005-06-21 2006-12-21 Docomo Communications Laboratories Usa, Inc. Nonlinear, prediction filter for hybrid video compression
US8059902B2 (en) * 2006-10-31 2011-11-15 Ntt Docomo, Inc. Spatial sparsity induced temporal prediction for video compression
US7894550B2 (en) * 2007-01-10 2011-02-22 International Business Machines Corporation Method, apparatus, and system for source coding with iterative side information generation and decoding process
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
US10708589B2 (en) 2014-03-19 2020-07-07 Samsung Electronics Co., Ltd. Video encoding and decoding method and apparatus involving boundary filtering
CN104602025B (zh) * 2015-01-09 2018-11-20 华为技术有限公司 处理图像的方法和装置
US10602188B2 (en) 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
WO2017196128A1 (ko) * 2016-05-12 2017-11-16 엘지전자(주) 계수 유도 복원을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN106952314B (zh) * 2017-03-01 2019-06-21 西安电子科技大学 基于频域方向滤波器的递归预测图像压缩方法
CN110163892B (zh) * 2019-05-07 2023-06-20 国网江西省电力有限公司检修分公司 基于运动估计插值的学习率渐进更新方法及动态建模系统
KR20220157765A (ko) * 2021-05-21 2022-11-29 삼성전자주식회사 영상 부호화 장치 및 이의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0497681A (ja) * 1990-08-16 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 映像符号化復号化装置
JPH05219498A (ja) * 1992-02-06 1993-08-27 Fujitsu Ltd 動画像符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH1023429A (ja) * 1996-07-05 1998-01-23 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4868653A (en) * 1987-10-05 1989-09-19 Intel Corporation Adaptive digital video compression system
US20030043918A1 (en) * 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding
US20040252758A1 (en) * 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
US7352909B2 (en) * 2003-06-02 2008-04-01 Seiko Epson Corporation Weighted overcomplete de-noising
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US7280706B2 (en) * 2003-08-15 2007-10-09 Arcsoft, Inc. Better picture for inexpensive cameras
US7298925B2 (en) * 2003-09-30 2007-11-20 International Business Machines Corporation Efficient scaling in transform domain
US20050105817A1 (en) * 2003-11-17 2005-05-19 Guleryuz Onur G. Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants
US7616693B2 (en) * 2004-12-02 2009-11-10 Kolorific, Inc. Method and system for detecting motion between video field of same and opposite parity from an interlaced video source
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
US7663701B2 (en) * 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
US20060285590A1 (en) * 2005-06-21 2006-12-21 Docomo Communications Laboratories Usa, Inc. Nonlinear, prediction filter for hybrid video compression
KR101157978B1 (ko) * 2005-06-30 2012-06-25 엘지디스플레이 주식회사 액정표시패널의 제조방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0497681A (ja) * 1990-08-16 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 映像符号化復号化装置
JPH05219498A (ja) * 1992-02-06 1993-08-27 Fujitsu Ltd 動画像符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH1023429A (ja) * 1996-07-05 1998-01-23 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017507538A (ja) * 2014-01-01 2017-03-16 エルジー エレクトロニクス インコーポレイティド 適応予測フィルタを用いて映像信号をエンコード、デコードするための方法及び装置
JP2021530157A (ja) * 2018-07-02 2021-11-04 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおけるフィルタリングのための装置および方法
JP7195349B2 (ja) 2018-07-02 2022-12-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおけるフィルタリングのための装置および方法
US11805249B2 (en) 2018-07-02 2023-10-31 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding

Also Published As

Publication number Publication date
WO2007002265A3 (en) 2007-04-05
WO2007002265A2 (en) 2007-01-04
US20060285590A1 (en) 2006-12-21
US20110235718A1 (en) 2011-09-29
JP5259396B2 (ja) 2013-08-07
US20110235717A1 (en) 2011-09-29
US20110293006A1 (en) 2011-12-01
US8625682B2 (en) 2014-01-07
US20110293005A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5259396B2 (ja) ハイブリッド映像圧縮のための非線形予測フィルタ
JP5203379B2 (ja) ビデオ圧縮用の空間規約誘導時間予測
JP4988715B2 (ja) ビデオ符号化におけるノイズフィルタリング方法及び装置
JP5086422B2 (ja) 動き及び予測の重み付けパラメータを符号化する方法及び装置
JP4920599B2 (ja) ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ
JP2618083B2 (ja) イメージ回復方法及び装置
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
JP6900547B2 (ja) 動き補償予測のための方法及び装置
JP3385077B2 (ja) 動きベクトル検出装置
JP5529537B2 (ja) 複数経路ビデオ符号化及び復号化のための方法及び装置
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8000539B2 (en) Geometrical image representation and compression
US20150201213A1 (en) Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method
WO2005032137A1 (en) Video encoding methods and devices
JP2007501555A (ja) ビデオエンコードおよびデコードの方法および対応する装置
EP1629436B1 (en) Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
JP2008547288A (ja) 重複変換符号化及び復号化の方法と装置
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
Segall et al. Super-resolution from compressed video
KR20100136907A (ko) 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치
KR20120033546A (ko) 영상의 구조적 정보를 이용한 적응적 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP6700877B2 (ja) 画像復号装置、画像復号プログラム及びチップ
JP2021190718A (ja) 画像符号化装置、画像復号装置及びこれらのプログラム
KR20040014047A (ko) 이산여현변환 방법과 이를 이용한 영상압축방법
JP2000125304A (ja) 画像階層符号化方法及びこの方法を記録した記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5259396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees