JP2011507421A - ビデオ符号化に対する改善された画素予測 - Google Patents

ビデオ符号化に対する改善された画素予測 Download PDF

Info

Publication number
JP2011507421A
JP2011507421A JP2010538372A JP2010538372A JP2011507421A JP 2011507421 A JP2011507421 A JP 2011507421A JP 2010538372 A JP2010538372 A JP 2010538372A JP 2010538372 A JP2010538372 A JP 2010538372A JP 2011507421 A JP2011507421 A JP 2011507421A
Authority
JP
Japan
Prior art keywords
prediction block
local structure
block
reconstructed
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010538372A
Other languages
English (en)
Other versions
JP5417342B2 (ja
Inventor
ケニス アンデション，
ペル フレイエ，
クリントン プリドル，
ヨナタン サムエルソン，
リカルド スイェベルイ，
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Publication of JP2011507421A publication Critical patent/JP2011507421A/ja
Application granted granted Critical
Publication of JP5417342B2 publication Critical patent/JP5417342B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

入力ビデオフレームを符号化ビデオフレームに符号化する方法。方法は、入力ビデオフレームを複数の画素ブロックに逆アセンブルするステップと、現在のブロックであるブロック毎に、既に再構成された画素から対応する予測ブロックを生成するステップと、現在のブロックから予測ブロックを減算することにより残差ブロックを生成するステップと、残差ブロック及び予測ブロックから再構成ブロックを生成するステップと、残差ブロックから符号化ビデオフレームを生成するステップと、予測ブロックの領域において再構成画素の局所的な構造を作成するステップと、位置合わせ予測ブロックを生成するために予測ブロックを局所的な構造に位置合わせするステップとを含む。位置合わせ予測ブロックは、残差ブロックを生成するステップ及び対応する再構成ブロックを生成するステップにおいて使用される。符号化ビデオフレームを復号化ビデオフレームに復号化する対応する方法は、予測ブロックの領域において再構成画素の局所的な構造を作成し且つ位置合わせ予測ブロックを生成するために予測ブロックを局所的な構造に位置合わせするステップを更に使用する。

Description

本発明は、ビデオフレームを符号化ビデオフレームに符号化する方法、ビデオ復号方法、ビデオ符号化装置、ビデオ復号装置、ビデオ符号装置に対するコンピュータプログラムを含むコンピュータ可読媒体及びビデオ復号装置に対するコンピュータプログラムを含むコンピュータ可読媒体に関する。本発明は、特に、ブロック予測を含むビデオ符号化及びビデオ復号に関する。
ビデオ符号化／復号において、入力ビデオフレームは格納又は送信するために符号化ビデオフレームに符号化され、符号化ビデオフレームは元のビデオ信号の再構成を取得するために復号される。符号化することにより、元のビデオ信号の圧縮が可能になり、圧縮ビデオ信号は、元のビデオ信号が元のビデオ信号を送信するのに必要とされる帯域幅と比較してはるかに小さな帯域幅、すなわちはるかに少ないビット数の送信を要求する別のデバイスに格納又は送信される場合に必要とされる記憶容量の何分の１かの記憶容量を必要とする記憶媒体に格納されることが可能になる。
ビデオ符号化の従来技術（本明細書に参考として取り入れられるＨ．２６４［非特許文献７］、Ｈ．２６３、ＭＰＥＧ２、ＭＰＥＧ４）において、符号器は入力ビデオ信号を圧縮するのに必要な全てのステップを実行し且つ全ての決定を行なう。その後、符号化処理に関して符号器により行なわれる全ての決定は、復号器により受信するために送信されるか又は検索するために格納され、伸張処理において使用される。復号器は、この点に関して受動的であり、自身で決定を行なわず、符号器に依存して動作する。国際電気通信連合（ＩＴＵ）のビデオ符号化専門家グループ（ＶＣＥＧ）の最近の寄与として、適応フィルタが提案されている［非特許文献１、２］。これらのフィルタはフレーム毎に最適化され、係数は符号化される。これらのフィルタは、例えばビデオ圧縮規格Ｈ．２６４で使用されるフィルタより良い符号化効率を提供する。
テンプレートマッチング［非特許文献３、４、５、６］を使用して復号器に更なる自由度が与えられた。ここで、テンプレートは、符号化されるブロックに隣接し、先に復号された画素の領域を示す。これら全ての試みは、ビデオ符号化／復号を更に改善し、更に高い圧縮率及び／又は改善された知覚される再構成画像品質を達成することである。予測を更に改善する試みにおいて、解決策は局所的に予測を適応するために研究された。
しかし、局所的に予測を適応するには、多くのビットが必要とされ、十分なビデオ符号化を行なう余裕がない。更に局所的な適応により、予測誤差が潜在的に低減される。フレーム間予測のための局所的な適応フィルタはこの目的を達成できるが、符号化フィルタ係数のコストのために実現するのが困難であり、格納又は送信時に多くのビットを必要とする。
Y. Vatis、B. Edler、D. T. Nguyen、J. Ostermannの「Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC」VCEG-Z17、ITU-T、Study group 16、Question 6、２００５年４月 「Separable Adaptive Interpolation Filter」COM16-C219、Matsushita、２００７年７月 「Decoder side MV derivation」VCEG-AG16、２００７年１０月 「Inter Frame Coding with Template Matching Averaging」In Proc. IEEE Int. Conf. Image Processing ICIP、San Antonio、Tx、USA、２００７年９月 「Intra prediction by Averaged Template Matching Predictors」In Proc. IEEE Consumer Communications and Networking Conference CCNC、２００７年１月 「Intra prediction based on displacement and template matching」VCEG-AE11、２００７年１月 ＩＴＵ−Ｔ勧告Ｈ．２６４／ＩＳＯ／ＩＥＣ ＭＰＥＧ １４４９６−１０、２００３年
テンプレートマッチングは、副情報なしで予測を更に局所的に適応する１つの方法であるが、マッチング探索においては、予測ブロック外の領域が使用される。換言すると、テンプレートマッチング探索は、最も一致するものに従って実際の予測に対して使用された画素以外の再構成画素に基づく。通信チャネル誤差又は符号化誤差のために起こる先に復号された領域の誤差は、調整されずに予測ブロックに伝播する可能性がある。従って、本発明の目的は、予測の精度、すなわち予測ブロックの精度を向上し、その一方で帯域幅の増加、すなわち必要とされるビット容量又は符号化されるビットを保存又は制限することである。
その目的は、本発明の第１の態様に従って、入力ビデオフレームを符号化ビデオフレームに符号化する方法において達成される。方法は、
入力ビデオフレームを複数の画素ブロックに逆アセンブルするステップと；
現在のブロックであるブロック毎に、
既に再構成された画素から対応する予測ブロックを生成するステップと；
現在のブロックから予測ブロックを減算することにより残差ブロックを生成するステップと；
残差ブロック及び予測ブロックから現在の再構成ブロックを生成するステップと；
残差ブロックから符号化ビデオフレームを生成するステップとを実行するステップとを有し、更に方法は：
予測ブロックの領域において再構成画素の局所的な構造を作成するステップと；
位置合わせ予測ブロックを生成するために予測ブロックを局所的な構造に位置合わせするステップとを有し、
位置合わせ予測ブロックは、残差ブロックを生成するステップ及び対応する再構成ブロックを生成するステップにおいて使用されることを特徴とする。
目的は、本発明の第２の態様に従って、符号化ビデオフレームを復号ビデオフレームに復号する方法において達成される。本発明の第２の態様に係る方法は：
符号化ビデオフレームから逆変換／逆量子化残差ブロックを生成するステップと；
生成された逆変換／逆量子化残差ブロック毎に、
既に再構成された画素から予測ブロックを生成するステップと；
符号化ビデオフレーム及び予測ブロックから再構成フレームを生成するステップとを実行するステップとを含み、更にこの方法は：
予測ブロックの領域において再構成画素の局所的な構造を作成するステップと；
位置合わせ予測ブロックを得るために予測ブロックを局所的な構造に位置合わせするステップとを有し、
位置合わせ予測ブロックは、対応する再構成ブロックを生成するステップにおいて使用されることを特徴とする。
予測ブロックの領域において再構成画素の局所的な構造を作成することにより、先行の再構成画素がまだ利用可能でない場合に予測ブロックが位置合わせされる元の合成ブロックが作成される。局所的な構造の画素は、テンプレートマッチングのように予測ブロックの領域外ではなく領域内にある。再構成画素の局所的な構造は、先行の再構成画素から導出又は拡張されるため、先行の再構成画素の情報はより効率的に使用される。再構成画素の局所的な構造の作成及びその次の予測ブロックの位置合わせにより、予測ブロックの予測は向上される。局所的な構造の作成及び位置合わせが符号化及び復号内で別個に行なわれてもよいため、符号化処理から復号処理に対して又は符号器から復号器に対して、更なるビット容量は必要とされない。すなわち、更なるビットが符号化される必要はない。符号化ビデオフレームに対するビット容量が減少され、知覚される再構成ビデオ品質が改善される。
局所的な構造、すなわち元の合成ブロックの展開により、領域毎に予測ブロックの局所的な変更が可能になる。予測ブロックが予測ブロックに隣接する先行の再構成画素と位置合わせされるため、符号化及び復号におけるロバスト性及び更に詳細には通信チャネル誤差に対するロバスト性は向上する。局所的な構造における先行の再構成画素と予測とがより適切にマッチングするため、Ｈ．２６４のようなインループ非ブロック化フィルタの使用は減少される。
本発明に係る一実施形態において、予測ブロックを生成するステップは、フレーム間予測情報を使用して先行の再構成フレームの再構成画素から予測ブロックを生成するステップを有する。
本発明に係る別の実施形態において、予測ブロックを生成するステップは、フレーム内予測情報を使用して現在の再構成フレームの再構成画素から予測ブロックを生成するステップを有する。従って、本発明はフレーム間予測ブロック及びフレーム内予測ブロックの双方に適用可能である。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、現在の再構成フレームの再構成画素を使用して局所的な構造の画素を生成するステップ（フレーム内予測）を有する。
これは、局所的な構造に周知のパターン及びテクスチャを空間的に拡張するために有利に使用されるフレーム内予測に類似する。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、先行の再構成フレームの先行の再構成画素を使用して局所的な構造の画素を生成するステップを有する。これはフレーム間予測に類似し、これにより、再構成画素は時間的に局所的な構造に拡張する。しかし、時間的拡張及び空間的拡張は、局所的な構造を作成するために組み合わされてもよい。
実質的に本発明によると、任意の予測ブロック、すなわちフレーム間又はフレーム内予測ブロックは、現在の再構成フレーム又は先行の再構成フレームから予測を生成する任意の他の方法から作成されてもよい局所的な構造に位置合わせされる。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、現在の再構成フレーム又は先行の再構成フレームの再構成画素を予測ブロックの領域に補間するステップを有する。
現在の再構成フレームの予測ブロックの領域の周囲の再構成画素は、フレーム内予測の別の方法である線形補間又は多項式補間によりまだ再構成されていない画素を補間して局所的な構造を作成するために使用される。あるいは、先行の再構成フレームの再構成画素が局所的な構造を作成するために更に補間される。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、再構成画素を予測ブロックの領域に外挿することにより局所的な構造の画素を生成するステップを有する。
現在の再構成フレーム又は先行の再構成フレーム又は複数の先行の再構成フレームの画素は外挿される。これには、予測ブロックの画素位置まで局所的な構造を拡張し、局所的な構造に対する予測ブロックの位置合わせを改善できるという効果がある。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、隣接ブロックのフレーム間予測情報に従って別の先行の再構成フレームの再構成画素を現在の再構成フレームの領域に適用するステップを有する。これには、隣接ブロックの局所的な構造を拡張し、局所的な構造に対する予測ブロックの位置合わせを改善できるという効果がある。
再構成画素の局所的な構造を作成する任意の方法は、例えば画素値の間の補間により又は各方法の画素の間の空間的な補間により再構成画素の局所的な構造を作成する少なくとも１つの他の方法と組み合わされる。これは、精度が複数の方法を使用することにより更に向上されるという利点を有する。
本発明の別の実施形態によると、予測ブロックの領域において再構成画素の局所的な構造を作成するステップは、予測ブロックの行及び／又は列を予測するための伝達関数を判定するステップを有する。伝達関数は、画素の少なくとも１つの行及び／列の画素から予測ブロックに隣接する再構成画素の少なくとも１つの次の行及び／又は列まで判定されてもよい。
予測されるブロックの領域に隣接する再構成画素に伝達関数を適用することにより、予測ブロックの領域におけるまだ再構成されていない画素が予測されてもよい。これには、局所的な構造が行毎又は列毎にどのように変化するかをモデル化するという効果がある。従って、局所的な構造は、予測ブロックの領域まで拡張され、局所的な構造に対する予測ブロックの位置合わせが改善される。伝達関数は、時間的及び空間的特性を有してもよい。
本発明の別の実施形態によると、予測ブロックを局所的な構造に位置合わせするステップは、予測ブロックの少なくとも一部分の画素の特性を局所的な構造の画素の対応する特性とマッチングするステップと、最も一致するものに基づいて予測ブロックの特性を局所的な構造の対応する特性に適応させるステップとを有する。
これには、位置合わせ予測ブロックの視覚的な品質の改善を可能にし且つ残差符号化と組み合わせて位置合わせ予測ブロックを使用して残差誤差を減少する局所的な構造の部分に基づいて予測ブロックの位置合わせを判定するという効果がある。位置合わせは、広義では対応させるものと解釈され、局所的な構造に対して予測ブロックの位置に限定されない。しかし、輝度、色度、テクスチャ及び更にはスペクトル内容、位相関係等の局所的な構造及び予測ブロックの画素に関連する任意の特性が位置合わせされてもよい。特性は、それらに限定されない。
本発明の別の実施形態によると、予測ブロックの少なくとも一部分の画素の特性を局所的な構造の画素の対応する特性とマッチングするステップは、予測ブロックの少なくとも一部分の画素の特性の値と局所的な構造の画素の対応する特性の値との平方誤差和又は絶対値誤差和を確立するステップを有し、最も一致するものは最小の和により判定されることを特徴とする。
これには、種々の一致するものが評価されてもよいという効果がある。ここで、最小の誤差を与えるものが選択される。
本発明の別の実施形態によると、予測ブロックの少なくとも一部分の画素の特性を局所的な構造の画素の対応する特性とマッチングするステップは、予測ブロックの少なくとも一部分と局所的な構造との間の空間伝達関数を判定するステップを有し、最も一致するものに基づいて予測ブロックの特性を局所的な構造の対応する特性に適応させるステップは、位置合わせ予測ブロックを取得するために空間伝達関数を予測ブロックに適用するステップを有する。
これには、予測ブロックを変更するための変更を確立し且つその変更を適用して局所的な構造と同様の特性を得るという効果がある。特性のいくつかの例には、変位だけでなく平滑化／鮮鋭化がある。尚、予測ブロックの生成に使用される再構成画素は、本発明に従って位置合わせ予測ブロックを生成するステップにおいてそのまま使用される。
本発明の別の実施形態によると、予測ブロックの一部分と局所的な構造との間の空間伝達関数を判定するステップは、所定の空間伝達関数の集合から１つの空間伝達関数を選択することにより実行される。
これは、空間伝達関数が例えばＨ．２６４［非特許文献７］規格に従って既に存在する伝達関数から選択されてもよいという利点を有する。係数を計算する代わりに集合から伝達関数を選択することにより、計算時間は節約されるだろう。
本発明の別の実施形態によると、最も一致するものの場所に予測ブロックを位置合わせするステップは、局所的な構造に対して予測ブロックの副画素値マッチング及び位置決めを可能にするために局所的な構造又は予測ブロックの画素を副画素値補間するステップを有する。
これには、例えば予測ブロックを垂直及び水平に変位することにより又は予測ブロックを回転することにより局所的な構造に対する予測ブロックの位置合わせを更に微調整し、局所的な構造の特性とより一致するものを得られるという効果がある。
本発明の別の実施形態によると、予測ブロックの少なくとも一部分の画素の特性を局所的な構造の画素の対応する特性とマッチングするステップ及び最も一致するものに基づいて予測ブロックの特性を局所的な構造の対応する特性に適応させるステップは、予測ブロックから得られる画素に対して実行される。
これは、予測ブロックを実際に生成せずに単一の計算ステップにおいて予測ブロックが位置合わせされ、計算時間を節約するという利点を有する。
本発明の別の実施形態によると、予測ブロックの少なくとも一部分の画素の特性及び局所的な構造の画素の対応する特性は、局所的な構造の画素の変換に基づき、予測ブロックは、最も一致するものに基づいて局所的な構造の画素の変換に従って適応される。
これには、例えばエッジ、位相領域特性、例えば位相領域における線表現又は視覚的な誤差等の高周波数特性を強調する等の例えば周波数領域に従って位置合わせを可能にする効果がある。
本発明の別の実施形態によると、予測ブロックの少なくとも一部分の画素の特性を局所的な構造の画素の対応する特性とマッチングするステップは、再構成画素の局所的な構造の画素値と最も一致する予測ブロックの画素値の位置を判定するステップを有し、予測ブロックの特性を局所的な構造の対応する特性に適応させるステップは、再構成画素の局所的な構造の画素値と最も一致する予測ブロックの画素値の位置に予測ブロックを位置決めするステップを有する。
これにより、局所的な構造に対する予測ブロックの正確な位置決めが可能になる。
本発明の目的は、本発明の第３の態様において、入力ビデオフレームを受信する入力インタフェース、符号化ビデオフレームを出力する出力インタフェース及び処理手段、並びにメモリ及び／又は上述した方法のステップ及び実施形態を実行するように構成される専用ハードウェア手段を含むビデオ符号化装置で達成される。
更に本発明の目的は、本発明の第４の態様において、符号化ビデオフレームを受信する入力インタフェース、復号ビデオフレームを出力する出力インタフェース及び処理手段、並びにメモリ及び／又は上述した方法のステップ及び関連する実施形態を実行するように構成される専用ハードウェア手段を含むビデオ復号装置で達成される。
また、本発明の目的は、本発明の第５の態様において、上述の符号化装置のメモリにロードされ且つプロセッサにより処理させることで、上述した方法のステップ及び関連する実施形態を実行させるコンピュータ命令を格納したコンピュータ可読媒体で達成される。
本発明の目的は、本発明の第６の態様において、上述の復号装置のメモリにロードされ且つプロセッサにより処理させることで、上述した方法のステップ及び関連する実施形態を実行させるコンピュータ命令を格納したコンピュータ可読媒体で達成される。
添付の図面を参照して、本発明を以下に更に詳細に説明する。
図１Ａは、従来技術に従って元のビデオフレームを符号化する処理を示すブロック図である。 図１Ｂは、従来技術に従って符号化ビデオフレームを再構成ビデオフレームに復号する処理を示すブロック図である。 図２Ａは、従来技術に従って入力ビデオフレームを符号化する際の予測ブロック生成の一例を示すブロック図である。 図２Ｂは、従来技術に従って符号化ビデオフレームを復号する際の予測ブロック生成のサブ処理を示すブロック図である。 図３Ａは、本発明の一実施形態に従って元のビデオ信号を符号化ビデオフレームに復号する処理を示すブロック図である。 図３Ｂは、本発明の一実施形態に従って符号化ビデオフレームを再構成ビデオ信号に復号する処理を示すブロック図である。 図４Ａは、従来技術に従って再構成フレームに適合される予測ブロックの一例を示す図である。 図４Ｂは、本発明の一実施形態に従って現在の再構成フレームから作成される画素の局所的な構造の一例を示す図である。 図４Ｃは、本発明の一実施形態に従って図４Ｂの局所的な構造と位置合わせされた図４Ａの予測ブロックを示す図である。 図５Ａは、本発明の例示的な一実施形態に係る符号化装置を示すブロック図である。 図５Ｂは、本発明の例示的な一実施形態に係る復号装置を示すブロック図である。
例示的な実施形態により本発明を以下に詳細に説明する。添付の図面を参照して説明を読むことにより、本発明はより理解されるだろう。図中、各ブロックはデータ及び／又は制御情報を入力及び／又は出力として有する処理ステップを表す。データは、実線の矢印により表され、画素のブロック又はフレームであってもよい。制御情報は、破線の矢印により表される。図中、同様の図中符号は同様の特徴に対して使用される。
しかし、図中の各ブロックは、専用ハードウェアプロセッサにおいて実現されてもよい。同様に、データ及び制御情報は、種々のハードウェアプロセッサ間で通信し且つ種々のハードウェアプロセッサをそれぞれ制御するために使用される電子信号としてハードウェアで実現されてもよい。
一般的なビデオ符号化のコンセプトは、入力ビデオフレームを種々のサイズの画素のブロック、例えば４×４、８×８又は１６×１６に分割（disassemble)するステップを含む処理を基礎にするものであり、これにより、入力ビデオフレームの現在のブロックから予測ブロックを減算することで差分又は残差ブロックが生成される。残差ブロックは、符号化ビデオフレームへと符号化される。残差ブロックは、予測ブロック及び残差ブロックから再構成ブロックを作成するために使用される。再構成ブロックは、先行の再構成ブロックと共にアセンブルされて再構成フレームになり、再構成フレームから予測ブロックが生成される。
符号化処理と同様の方法で再構成フレームを生成する復号処理又は復号方法を提供することにより、再構成フレームは復号処理において生成され、後処理後に復号ビデオフレームとして出力されてもよい。
符号化処理及び復号処理の双方が現在の再構成フレームを生成し、その再構成フレームから予測ブロックが生成されるため、復号処理は符号化処理に追従でき、元の入力ビデオフレームに類似する復号ビデオフレームを生成できる。
図１Ａは、従来技術（Ｈ．２６ｘ、ＭＰＥＧ２、ＭＰＥＧ４）に従って入力ビデオフレーム４７を符号化する処理を示すブロック図である。図中、入力ビデオフレーム４７は複数のブロック１に分割され（４６）、それにより、各分割ブロック１は、処理サイクルで引き続き処理される。入力ビデオフレーム４７から分割されて生成されたブロックのうちの１つである現在のブロック１は、符号化ビデオフレーム１８に符号化され、図１Ｂに示すように復号処理に送信される。従って、入力ビデオフレーム４７はブロック毎に符号化され、復号処理に転送される。入力ビデオフレーム４７を連続的に符号化することにより、ストリーミングビデオが連続的な符号化ビデオフレーム１８に符号化されることは明らかである。符号化と復号との間に、例えばコンパクトディスク（ＣＤ）又はデジタル汎用ディスク（ＤＶＤ）又は任意の他の記憶媒体等に符号化形式で中間記憶される。
図１Ａにおいて、符号化処理の或るサイクルにおいて、現在のブロック１に対する予測ブロック９が、現在のブロック１から予測ブロック９を減算すること（２）により残差ブロック３を生成するために使用される。現在のブロック１の対応する画素の画素値から予測ブロック９の画素の画素値を減算することにより、予測ブロック９が現在のブロック１から減算されてもよい（２）。残差ブロック３は、オプションとして変換ブロック６に変換／量子化され（４）（オプションのブロックは破線により示される）、符号化ビデオフレーム１８を生成するために符号化される（５）。オプションとして残差ブロック３を変換ブロック６への変換／量子化４のステップは、例えば離散コサイン変換（ＤＣＴ）を含んでもよい。残差ブロック３を変換するステップ４は、変換残差ブロック６の可能な値の数を制限するために結果として得られる変換ブロックの量子化を更に含んでもよい。これは、符号化ステップ５の作業負荷を軽減する。符号化５は、デジタル送信に必要とされるビット量を減少するためにエントロピー符号化、すなわち例えばハフマン符号化又は任意の他の符号化方式を含んでもよい。
変換ブロック６は、オプションとして逆変換／逆量子化残差ブロック２５に逆変換及び／又は逆量子化される（７）。残差ブロック３を表す逆変換／逆量子化残差ブロック２５は、予測ブロック９に加算され（８）、再構成ブロック４３を生成する。この再構成ブロック４３は、先行する再構成ブロック４３と共にアセンブルされ（４４）、現在の再構成フレーム１０の少なくとも一部分を形成する。これは、次のサイクルでフレーム内予測に使用される。現在の再構成フレーム１０は、先行の再構成フレーム１２を提供するために格納される。以下の説明において、完璧にするために、オプションの変換／量子化ステップ４及び逆変換ステップ７は所定の位置に存在すると仮定される。
予測ブロック９は、先行の再構成フレーム１２を使用するフレーム間予測により又は現在の再構成フレーム１０を使用するフレーム内予測により従来技術に従って生成される（４２Ａ）。
予測生成ステップ４２Ａからの予測制御情報４５は、符号化ビデオフレーム１８に含まれる変換残差ブロック６と共に符号化されてもよい（５）。予測制御情報４５の例としては、フレーム間予測の場合、ブロック区分情報、動きベクトル、予測ブロック９が得られる先行の再構成ビデオフレーム１２を示す基準フレーム番号があり、フレーム内予測の場合、ブロック区分情報及びフレーム内予測モードがあるが、それらに限定されない。
現在の再構成フレーム１０は、非ブロック化され（１１）且つ格納されて、先行の再構成フレーム１２を作成してもよい。これにより、ブロックの境界は、閲覧者にとって明らかでなくなるように除去される。尚、この一般的な方法に対して変形例が可能である。
図１Ｂは、従来技術に従って符号化ビデオフレーム１８を復号ビデオフレーム２９に復号する処理を示すブロック図である。
図１Ｂにおいて、復号処理を右から左に示される。符号化ビデオフレーム１８はまず復号され（１９）、逆変換／逆量子化残差ブロック２５に逆変換される（７）。予測ブロック９は、逆変換／逆量子化残差ブロック２５に加算され（８）、再構成ブロック４３を生成する。加算９は、逆変換／逆量子化残差ブロック２５の予測ブロックの画素の画素値を予測ブロック９の画素値に加算することにより行なわれてもよい。再構成ブロック４３は、先行の再構成ブロック４３と共にアセンブルされ（４４）、現在の再構成フレーム１０を形成する。現在の再構成フレーム１０が更に格納され、先行の再構成フレーム１２を提供する。
図１Ａのように、現在の再構成フレーム１０は、非ブロック化され（１１）且つ格納されて、先行の再構成フレーム１２を作成してもよい。これにより、ブロックの境界は、閲覧者にとって明らかでなくなるように除去され、結果として得られる復号ビデオフレーム２９を生成する。復号ビデオフレーム２９は、例えば閲覧するためにディスプレイに転送される。
予測ブロック９は、先行の再構成フレーム１２を使用するフレーム間予測により又は現在の再構成フレーム１０を使用するフレーム内予測により従来技術に従って生成される（４２Ｂ）。符号化処理における予測生成ステップ４２Ａからの予測制御情報４５は、予測ブロック生成４２Ｂにおいて使用される符号化変換残差ブロック６と共に復号されてもよい（１９）。
符号化処理及び復号処理の双方が現在の再構成フレーム１０及び先行の再構成フレーム１２を生成する必要があり、それらのフレームから予測ブロック９がフレーム間予測又はフレーム内予測により生成されるという点で、符号化ビデオフレーム１８を復号する処理は符号化処理と類似する。図１Ａの符号化処理及び図１Ｂの復号処理における対応するサイクル毎に予測ブロック９は同一であることが保証される必要がある。もし符号化処理及び復号処理の予測ブロック生成４２Ａ／４２Ｂが異なる場合、結果として得られる復号ビデオフレーム２９は入力ビデオフレーム４７の正確な表現ではなくなる。
図２Ａは、従来技術に従う符号化処理における予測ブロック生成４２Ａの一例を示している。フレーム間予測及びフレーム内予測の双方が実行可能である。フレーム間予測において、動き推定１３は、先行の再構成フレーム１２に対する現在のブロックに関して実行される。動き推定１３の結果であるフレーム間予測情報２３は、動きベクトル及び先に格納されたフレーム１２のどのブロックが使用されるかの指示であってもよい。フレーム間予測ブロック３１は、先行の再構成フレーム１２及びフレーム間予測情報２３を使用してフレーム間予測補償１４により生成される。
フレーム内予測において、フレーム内予測モードは、現在のブロック１を現在の再構成フレーム１０の既に再構成された画素と比較することによりステップ１５で判定される。フレーム内予測モードは、フレーム内予測に使用されるブロックを示す指示と共にフレーム内予測情報２４を形成する。フレーム内予測ブロック３２は、フレーム内予測生成１６のステップを実行することにより現在の再構成フレーム１０及びフレーム内予測情報２４に基づいて生成される。
選択ステップ１７Ａにおいて、予測ブロック９及び対応する予測情報４５を結果として与える更なる処理のために、最も一致する予測が選択される。
図２Ｂにおいて、復号処理に対する予測生成４２Ｂの一例を示す。選択ステップ１７Ｂは、復号予測情報４５に依存して、図２Ａの予測ブロック生成４２Ａにおいて確立された予測を選択する。フレーム間予測が選択され、動き補償１４が動き予測情報２３を使用して実行され、それにより先行の再構成フレーム１２を使用してフレーム間予測ブロック３１を生成する。あるいは、フレーム内予測が選択され、フレーム内予測ブロック生成１６を実行するためにフレーム内予測情報２４が提供され、それによりフレーム内予測情報２４及び現在の再構成フレーム１０に基づいてフレーム内予測ブロック３２を生成する。結果として得られる予測ブロック９は、図１Ｂの復号処理において使用される。
図３Ａは、本発明の一実施形態に従って入力ビデオフレーム４７を符号化ビデオフレーム１８に符号化する処理を示すブロック図である。図３Ａの処理は、現在のブロック１毎に、予測ブロック９及び本発明に従う位置合わせブロック２２が使用され、現在のブロック１から位置合わせ予測ブロック２２を画素毎に減算すること（２）により残差ブロック３を生成するという点で図１Ａの処理に類似する。残差ブロック３は、変換ブロック６に変換され（４）、符号化ビデオフレーム１８を生成するために符号化される（５）。残差ブロック３を変換ブロック６に変換するステップ４は、例えば離散コサイン変換（ＤＣＴ）及び／又は変換残差ブロックの可能な値の数を制限するための結果として得られる変換の量子化を含んでもよい。これにより、符号化ステップ５の作業負荷が軽減される。符号化５は、デジタル送信に必要とされるビット量を減少するためにエントロピー符号化、すなわち例えばハフマン符号化又は任意の他の符号化方式を含んでもよい。
変換ブロック６は、逆変換／逆量子化残差ブロック２５に逆変換される（７）。残差ブロック３を表す逆変換／逆量子化残差ブロック２５は、位置合わせ予測ブロック２２に加算され（８）、再構成ブロック４３を生成する。この再構成ブロック４３は、先行の再構成ブロック４３と共にアセンブルされ（４４）、現在の再構成フレーム１０の少なくとも一部分を形成する。これは、次のサイクルでフレーム内予測に使用される。現在の再構成フレーム１０は、先行の再構成フレーム１２を提供するために格納される。
位置合わせ予測ブロック２２は、予測ブロック９の改善されたバージョンである。予測ブロック９は、図２Ａに更に詳細に示される予測ブロック生成４２Ａを実行することにより従来技術に従って生成される。しかし、本発明によると、この予測ブロック９は、再構成画素３０の局所的な構造に位置合わせされ（２１）、結果として位置合わせ予測ブロック２２を与える。
本発明によると、再構成画素３０の局所的な構造を作成するステップ２０は、予測ブロック９の領域において実行され、現在の再構成フレームのまだ再構成されていない画素が作成される。再構成画素３０の局所的な構造の目的は、予測ブロック９の領域の少なくともある側面又は少なくとも一部分の画素値の可能な限り適切な表現を作成することである。
まだ再構成されていない画素の領域は、現在の再構成フレーム１０及び／又は先行の再構成フレーム１２の再構成画素を使用して予測ブロック９と重なり合う。これは、一般に再構成画素３０の局所的な構造が予測ブロック９の範囲を超えて延在してもよいことを意味する。再構成画素３０の局所的な構造の作成２０のいくつかの例について、以下に更に詳細に説明する。
予測ブロック９は、位置合わせステップ２１において再構成画素３０の局所的な構造と位置合わせされ、結果として位置合わせ予測ブロック２２を与える。これにより、予測ブロック９の微調整が可能になる。その後、位置合わせ予測ブロック２２を現在のブロック１から減算すること（２）により残差ブロック３を生成するステップにおいて使用されるのは、この位置合わせ予測ブロック２２である。位置合わせ予測ブロック２２が再構成画素３０の局所的な構造に対して微調整されるため、結果として得られる再構成ブロック４３及びその後結果として得られる現在の再構成フレーム１０及び最終的に結果として得られる非ブロック化復号ビデオフレーム２９が従来技術に従って得られる結果より良い品質を有することは明らかである。
図３Ｂは、本発明の一実施形態に従って符号化ビデオフレームを再構成ビデオ信号に復号する処理を示すブロック図である。予測ブロック９を生成するステップ４２Ｂは、図１Ｂで説明される従来技術と同様に実行される。更に図３Ａに示す本発明に係る符号化処理と同様に、再構成画素３０の局所的な構造は、予測ブロック９に対応する領域において作成される（２０）。予測ブロック９は、再構成画素３０の局所的な構造と位置合わせされ（２１）、位置合わせ予測ブロック２２を生成する。再構成ブロック４３を生成するステップは、加算器８が画素毎に逆変換／逆量子化残差ブロック２５を位置合わせ予測ブロック２２に加算することにより実行され、そのように形成された再構成ブロック４３を現在の再構成フレーム１０にアセンブルする（４４）。逆変換／逆量子化残差ブロック２５は、図１Ｂのように符号化ビデオフレーム１８を復号することにより生成された。
本発明の更なる改善例において、上述したように不図示の入力ビデオフレーム４７を符号化する処理における再構成画素３０の局所的な構造を作成するステップ２０及び／又は再構成画素３０の局所的な構造に対して予測ブロック９を位置合わせするステップ２１は、図３Ｂに示し且つ上述したように対応する復号処理に対して予測情報と共に作成情報及び位置合わせ情報を信号で伝送してもよい。このように、符号器は、どのブロックに対して本発明に係る再構成画素３０の局所的な構造の作成２０及び位置合わせ２１が使用されるべきかを選択できる。対応する復号処理は、対応する命令を作成情報及び位置合わせ情報に組み込むことにより本発明に従う再構成画素３０の局所的な構造の作成２０の実行方法及び予測ブロック９の位置合わせ２１の実行方法を事前に通知される。これにより、復号処理の作業量を制限でき、再構成画素３０の局所的な構造を最適に作成し且つ／又は位置合わせ２１が最適に適用される場所を認識するために復号処理に対する更なる指示が与えられる。符号化ビデオフレーム１８を生成するために符号化ステップ５においていくつかの追加のビットが必要とされる場合があるが、現在の再構成フレーム１０の品質は向上される。
図４Ａは、従来技術に従って現在の再構成フレーム１０に適合される予測ブロック９の一例を示す。予測ブロック９は、フレーム間予測又はフレーム内予測により生成されてもよい（４２Ａ又は４２Ｂ）。予測ブロック９が現在の再構成フレーム１０の周囲の画素と完全に適合するわけではないことは、図３Ａから明らかである。
図４Ｂは、本発明の一実施形態に従って現在の再構成フレーム１０の画素を使用して再構成画素３０の局所的な構造を作成する（２０）一例を示す。この例における再構成画素３０の局所的な構造は、例えばフレーム内予測を使用して現在の再構成フレーム１０の既に再構成された画素の拡張特性に基づいてもよい。
図４Ｃは、本発明の一実施形態に従って、位置合わせ予測ブロック２２を結果として与える図３Ｂの再構成画素３０の局所的な構造に位置合わせされる（２１）図３Ａの予測ブロック９を示す。予測ブロック９は、図３Ｂの再構成画素３０の局所的な構造の対応する画素と最も一致する画素に従って位置決めされた。
以下の節において、再構成画素の局所的な構造の作成２０及び位置合わせ２２の実施形態を更に詳細に説明する。
空間伝達関数(Spatial transfer functions)
再構成画素３０の局所的な構造の作成２０及び再構成画素３０の局所的な構造に対して予測ブロックを位置合わせするステップにおいて、空間伝達関数が使用され、数学的モデルを提供する。
フレーム間予測及びフレーム内予測の技術において、空間伝達関数は、予測ブロック９を取得するために現在の再構成フレーム１０又は先行の再構成フレーム１２等の基準フレームの画素に適用される。空間伝達関数の目的は、基準フレームの予測情報に従う基準フレームの画素を現在のブロック１の画素位置に再位置決めすることである。式１において、２次元空間伝達関数を適用する一般的な例を説明する。
Figure 2011507421
式中、P(k, l)は予測ブロックの行k及び列lの画素であり、Ｒは基準フレームであり、f(i, j)は位置(i, j)のＮ行及びＭ列の２次元空間伝達関数の値であり、k1及びl1は基準フレームの現在のブロック１の位置に対応するブロックを位置付けるオフセットであり、vl及びvkは予測情報４５、すなわち現在のブロック１の位置からの水平方向（行に沿う）及び垂直方向（列に沿う）のそれぞれの変位であり、int(x)はxの切り捨てられた整数値であり、wは変倍因子であり、oはＤＣオフセットである。
基準フレームは、フレーム内予測の場合には現在の再構成フレーム１０であってもよく、あるいはフレーム間予測の場合には先行の再構成フレーム１２であってもよい。その一方で、予測情報は、それぞれフレーム内予測情報２４及びフレーム間予測情報２３である。
空間伝達関数の使用は［非特許文献７］から周知であり、画素の変位に関連する空間伝達関数の集合が規定されている。空間伝達関数の２つの例を以下に示す。式２において、垂直方向及び水平方向の双方に格子点のちょうど中間の位置から双線形補間により規則的に離間された格子に画素値を再位置付けする伝達関数を示す。
Figure 2011507421
式３において、再位置決めせずに画素値をフィルタリングする伝達関数を示す。
Figure 2011507421
フレーム適応伝達関数は、従来技術において展開されている。非特許文献１、２を参照。この場合、フレーム適応空間伝達関数は、予測情報４５に従って再位置決めする種々のカテゴリのために判定される。適応空間伝達関数は、変更可能な係数を有する空間伝達関数である。適応空間伝達関数の係数を変更することにより、結果として得られる画素は、基準画素である先行の再構成フレーム１２の既に再構成された画素とマッチングされる。現在の入力フレーム４７の現在のブロックと予測ブロック９との間の平方誤差を最小化するカテゴリごとの適応伝達関数は、例えば最小二乗最小化を使用して符号化処理により選択される。判定されたフレーム適応伝達関数は符号化され、選択的に使用されて予測ブロック９を生成する。符号化された適応空間伝達関数は、復号され（１９）、復号処理により使用されてもよい。
再構成画素の局所的な構造の作成
再構成画素３０の局所的な構造を作成する（２０）いくつかの例示的な実施形態について以下に説明する。本発明の一実施形態によると、再構成画素３０の局所的な構造の作成２０は、予測ブロック９の生成４２Ａ／４２Ｂと同様に、予測技術、すなわちフレーム間予測及び／又はフレーム内予測を使用して実行される。
一般に、再構成画素３０の局所的な構造の作成２０は、予測ブロック９の生成（４２Ａ／４２Ｂ）とは異なる方式に従って実行されるため、予測ブロック９の位置合わせステップ２１は、予測ブロック９自体の画素とは異なるように作成された（２０）再構成画素３０の局所的な構造に対して実行される。従って、フレーム間予測により生成される予測ブロック９は、フレーム内予測技術により作成される再構成画素３０の局所的な構造と位置合わせされてもよい（２１）。また、その逆も成り立ち、フレーム内予測技術により生成される予測ブロック９は、フレーム間予測技術を使用して再構成画素３０の局所的な構造と組み合わされてもよい。すなわち、先行の再構成フレーム１２から導出されてもよい。
しかし、使用される技術が異なる限り、再構成画素３０の局所的な構造を作成するステップ２０及びフレーム間予測又はフレーム内予測を使用する予測ブロック生成４２Ａ／４２Ｂの双方を実行できる。
再構成画素３０の局所的な構造の作成２０は、種々の方法で実行可能である。最初に、現在の再構成フレーム１０の画素情報を使用する再構成画素３０の局所的な構造の作成２０を説明する。上述したように、現在の再構成フレーム１０は、現在の処理サイクル及び先行する処理サイクルからの再構成ブロック４３をアセンブルすることにより作成される。現在の再構成フレーム１０は、フレーム内予測と同様に再構成画素になると予測するために使用される先行の再構成画素を含む。実際には、フレーム内予測の任意の方法が使用可能である。
予測ブロックの領域における再構成画素３０の局所的な構造を形成するこれから再構成される画素は、例えば１つ以上の再構成ブロック４３の既に再構成された画素の１つ以上の行又は列から、あるいは生成されるブロック外の１つ以上の再構成ブロック４３の先行の再構成画素の行及び／又は列から画素値を外挿することにより作成される。
予測ブロック９の領域において局所的な構造３０を作成する（２０）ために、変位に対する空間伝達関数（画素の再位置付けを含む補間を使用する式２又は画素を再位置付けしない式３を参照）が使用可能である。この例において、現在の再構成フレーム１０の既に再構成された画素の１つの列の画素値は、式４に示すように、例えば局所的な構造３０の一部分を形成する隣接する列である別の列の画素を判定するために使用される。
Figure 2011507421
式中、L(k, l)は、行k及び列lにおける局所的な構造３０の画素であり、a(i)は位置iの伝達関数の値であり、R(k-i+int(N/2, l-1)は現在の再構成フレーム１０の画素を表す。
このように、予測ブロック９の領域における再構成画素３０の局所的な構造は、現在の再構成フレーム１０の近傍の画素値に従って生成される。別の実施形態において、伝達関数は、局所的な構造３０の別の行を生成するために現在の再構成フレームの画素の１つの行に適用される。
一実施形態において、空間伝達関数は、所定の空間伝達関数の集合から選択され、現在の再構成フレーム１０の対応する画素と局所的な構造との間の平方誤差又は絶対値誤差を最小にする。そのような空間伝達関数の集合は、画素の変位に関連する空間伝達関数が規定されている［非特許文献７］により当業者には周知であるが、それに限定されない。特に副画素値の補間及び／又は種々の程度のローパスフィルタリングと組み合わせて変位を実行する空間伝達関数は、本発明の本実施形態に従って有利に利用される。
別の実施形態において、適応伝達関数は、以下の式５の誤差関数の最小二乗最小化により判定される。
Figure 2011507421
式中、Eは計算された誤差であり、Kは最小化で使用される画素位置の数であり、R(k, l)は現在の再構成フレーム１０の画素を表す。この場合、列毎の伝達関数に対する誤差関数を示す（kは0, ..., Kの範囲である）。
例えばＨ．２６４［非特許文献７］で入手可能であるような空間伝達関数の集合に対して平方誤差和を評価することにより最小二乗最小化を実行して空間伝達関数を選択するために式が使用される。
あるいは、単一の空間伝達関数の係数に対して導関数を取得し且つ結果をゼロに設定することにより、一次方程式の集合が取得され、その集合から位置合わせ伝達関数の係数が数値的に解かれる。
伝達関数の係数に対して導関数を取得し且つ結果をゼロに設定することにより、一次方程式の集合が取得され、その集合から伝達関数の係数が数値的に解かれる。
既に復号された画素の一部分に対してこの最適化を実行し且つ生成されるブロックに近接する別の部分においてそれをテストすることにより、再構成画素３０の局所的な構造の生成ブロックはテスト結果に依存して使用されてもよい。方法のロバスト性は、誤差関数においていくつかの再構成列を考慮することにより向上される。同様に、行毎の伝達関数が判定される。
別の例において、再構成画素３０の局所的な構造の作成２０は、現在の再構成フレーム１０から先行の再構成画素の多項式モデリングにより実行される。多項式モデルは、領域の全ての画素値に対して一定である基本的な空間伝達関数及び水平位置（ｘ）及び垂直位置（ｙ）のある特定の累乗までの多項式を使用する領域の画素値の表現である。式６を参照。多項式モデル又は任意の他の平滑化モデルは、局所的な外挿法と組み合わせて使用され、現在の再構成フレーム１０の先行の再構成画素から強いエッジ及び線を維持する再構成画素３０の局所的な構造が作成されることを可能にする。
再構成画素の局所的な構造は、式６の多項式モデルにより以下に表される。
Figure 2011507421
式中、L(k, l)は行k及び列lの局所的な構造３０の画素であり、a(q, p)は各多項式係数の値であり、P及びQは各方向の多項式の次数である。多項式係数は、式５と同様に、最小二乗最小化を使用して現在の再構成フレーム１０から近傍の画素において判定される。

多項式モデリング及び外挿の再構成画素３０の局所的な構造の作成２０の上記方法は、現在の再構成フレーム１０の既に再構成された画素を使用する。あるいは、フレーム間予測と同様に、１つ以上の先行の再構成フレーム１２の画素から再構成画素３０の局所的な構造を作成できる（２０）。
再構成画素３０の局所的な構造の作成２０は、フレーム間予測情報２３又は予測ブロック９に対応する動き補償ブロック３１（図２Ａ及び図２Ｂには示さない）を使用してフレーム間予測により実行される。
同様に、再構成画素３０の局所的な構造の作成２０は、隣接するブロックのフレーム間予測情報を使用して現在の予測ブロックのフレーム間予測により実行される。
画素の変動の特徴に依存して、現在の再構成フレーム１０及び先行の再構成フレーム１２の画素の組合せを使用すること、あるいは再構成画素３０の局所的な構造を作成する（２０）時にそれらを単純に切り替えることは有利である。一例は、現在の再構成フレーム１０の現在のブロック外の画素と先行の再構成フレーム１２の対応する画素との間の絶対値誤差和（ＳＡＤ）が予測ブロック９と現在の再構成フレーム１０から生成された再構成画素３０の局所的な構造との間のＳＡＤより大きい場合に現在の再構成フレーム１０を使用することである。
更に、予測するのが困難であり且つ位置合わせするのが重要である領域は、局所的な構造３０に加算される残差副情報を符号化し、元のデータとより適切に一致してもよい。この残差副情報は、符号化処理において生成され、復号処理において使用するために符号化される。
作成された局所的な構造３０が基礎となる画素格子と完全に一致しない場合、再サンプリング又は補間は、再構成画素３０の局所的な構造の作成２０の一部であってもよい。補間及び再サンプリングは、例えば従来技術において周知の双線形補間を使用してこの不一致を解決する。
位置合わせ(Alignment)
位置合わせ２１は、予測ブロック９の画素及び再構成画素３０の局所的な構造の対応する画素の最も一致するものの場所に従って、局所的な構造に対して予測ブロック９を位置決めすることにより本発明の一実施形態に従って達成される。位置決めは、再構成画素３０の局所的な構造に対して任意の方向に予測ブロック９を平行移動すること及び／又は回転することを含んでもよい。位置合わせ予測ブロック２２を達成するために、以下において、予測ブロック９の位置合わせ２１の例示的な実施形態について説明する。
本発明の一実施形態によると、上記の規定された集合（［非特許文献７］を参照）からの画素変位に対する空間伝達関数は、予測ブロック９を局所的な構造３０に位置合わせする（２１）ために適用される。これは、符号器及び復号器の双方において実行されるため、選択された位置合わせ伝達関数はステップ５で符号化される必要はないが、図３Ｂの復号処理を高速化するために符号化されてもよい（５）。
本発明の一実施形態において、位置合わせ伝達関数は、式７に示すように予測ブロック９に適用される。
Figure 2011507421
式中、A(k, l)は位置合わせ予測ブロック２２の行k及び列lの画素であり、a(i, j)は位置(i, j)における空間位置合わせ伝達関数であり、waは位置合わせ変倍因子であり、oaは位置合わせオフセットである。尚、一般に予測ブロック９は、任意の方向の空間伝達関数a(i, j)N, Mのサイズに依存して位置合わせ予測ブロック２２の境界に近接する値を判定する時に有用なサンプル値が伝達関数係数に対して利用可能であるように、現在のブロック１よりある程度大きくされる。位置合わせ伝達関数a(i, j)を予測ブロック９に直接適用する１つの利点は、このように位置合わせ伝達関数が予測ブロック９を取得するために使用される方法に依存しないことである。例えばこれは、予測ブロック９が非線形伝達関数により取得される場合に有利である。
本発明の別の実施形態において、上述したような位置合わせ伝達関数は、予測ブロック９を取得するために基準フレームに伝達関数を適用し且つその後局所的な構造に位置合わせするために別の伝達関数を適用する代わりに、基準フレーム、すなわち現在の再構成フレーム１２又は先行の再構成フレーム１０に直接適用される。この目的の式を以下の式８に示す。
Figure 2011507421
予測ブロック９が線形伝達関数により取得される場合、位置合わせ伝達関数a(i, j)は基準フレーム、すなわち現在の再構成フレーム１０又は先行の再構成フレーム１２に直接適用される。これにより、予測ブロック９を取得するための伝達関数f(i, j)を連続して適用し且つ位置合わせ伝達関数を個別に適用することが回避される。
本発明の別の実施形態において、式９に示すように、予測情報４５により示される伝達関数f(i, j)は開始点として使用され、位置合わせ伝達関数a(i, j)は伝達関数f(i, j)を改善する。
Figure 2011507421
本実施形態の理由は、少ない数の係数を有する位置合わせ伝達関数を可能にすることである。これにより、位置合わせ伝達関数を展開する複雑さが軽減される。
上記式７〜式９において、伝達関数f(i, j)及び位置合わせ伝達関数a(i, j)の空間サポートは同一である。位置合わせ伝達関数a(i, j)の空間サポートが伝達関数f(i, j)の空間サポートと異なる場合にも当てはまる。換言すると、位置合わせ伝達関数a(i, j)は、伝達関数f(i, j)の係数の数とは異なる数の係数を有することができる。
本発明の一実施形態において、各々がローパス又はハイパス、並びに／あるいは変位等の伝達関数特性に対して異なる特性を有する所定の位置合わせ伝達関数の異なる集合が確立される。所定の位置合わせ伝達関数の各々がテストされ、局所的な構造３０と最も一致するものを与える位置合わせ伝達関数が予測ブロック９の位置合わせ２１のために選択される。
本発明の別の実施形態において、適応位置合わせ伝達関数が使用される。局所的な構造３０と最も一致するものを含む位置合わせ予測ブロック２２を与える位置合わせ伝達関数a(i, j)が選択される。最も一致するものは、局所的な構造３０と位置合わせ予測ブロック２２の対応する画素との間の平方誤差和（sum of squared difference:ＳＳＤ）又は絶対値誤差和（sum of absolute difference: ＳＡＤ）として評価される。ここで、最も一致するものは最小の和を有する伝達関数である。最も一致するものは、可視性の低い高周波数の差より可視性の高い低周波数の差をなくすためにそれらの差のフーリエ特性に従って重み付けされる。
位置合わせ予測ブロック２２と局所的な構造３０との間の最小二乗最小化は、以下に示すように使用される。
Figure 2011507421
式中、L(k, l)は行k及び列lの局所的な構造の値であり、K及びLは再構成画素３０の局所的な構造内の位置合わせにおいて使用される領域を指定し、A(k, l)は上述したように空間伝達関数を適用した後の結果として得られる位置合わせ予測ブロック２２である。一般にK及びLは、位置合わせ予測ブロック２２のサイズ以下である。
式５と同様に、式１０は、例えばＨ．２６４［非特許文献７］で入手可能であるような空間伝達関数の集合に対して平方誤差和を評価することにより最小二乗最小化を実行するために使用される。
あるいは、単一の位置合わせ伝達関数の係数に対して導関数を取得し且つ結果をゼロに設定することにより、一次方程式の集合が取得され、その一次方程式の集合から位置合わせ伝達関数の係数が数値的に解かれる。これは、［非特許文献１］において最適な伝達関数を見つける際に行なわれた処理と類似するが、この場合は式１０を最小化することにより行なわれる。
尚、位置合わせに使用される領域は不規則であってもよい。領域は、例えば予測ブロック９が位置合わせされる際に沿うエッジを含んでもよいため、局所的な構造３０のエッジの周囲の画素値が使用される。
上述の空間伝達関数のうちの１つを適用する場合、利得及び／又はオフセットの不一致が存在してもよい。本発明の一実施形態において、予測ブロック９は、上記の式８又は式９を使用してオフセットを変倍し且つ予測ブロック９に適用することにより再構成画素３０の局所的な構造に対して位置合わせされてもよい。ここで、wa及びoaは位置合わせ２１に対する変倍因子及びオフセットをそれぞれ示す。
更に空間伝達関数a(i, j)は、予測ブロック９の変換及び再構成画素３０の局所的な構造の対応する画素の変換に基づいて確立される。変換は、例えばフーリエ変換を使用して取得されてもよく、それにより予測ブロック９（の一部分）の変換位相図又は変換振幅図は、作成された局所的な構造の変換とマッチングするために使用される。これは、予測ブロック９のエッジを再構成画素３０の局所的な構造のエッジと位置合わせするために特に有用であり、これによりフーリエ変換された画像の位相図は対応するエッジの表面を位置合わせするために使用される。
変換を使用して位置合わせ２１を実行する別の例は、フーリエ周波数成分を使用するマッチングである。初期の予測ブロック９の１つの行は、再構成画素３０の局所的な構造の先行の再構成画素のフーリエ周波数成分をより適切にマッチングするために平滑化又は鮮鋭化される。例えば符号化ビデオフレーム１８において送信又は格納及び検索中に起こる可能性のある誤差のために再構成画素３０の局所的な構造と予測ブロック９との間の類似性が低い場合、平滑化は誤り耐性を向上するものとして考えられる。
予測ブロック９の画素値を使用する位置合わせ２１及び予測ブロック９の変換画素を使用する位置合わせ２１は連続して使用されてもよく、変換画素の位置合わせ２１は、先の位置合わせを更に向上するために使用される。
更に、位置合わせ２１は、再構成画素３０の局所的な構造の画素及び予測ブロック９の画素と関連する他の特性をマッチングすることにより実行される。そのような特性の例は、動きベクトル、平均画素値（ＤＣ）、色度、輝度、あるいは画素値から導出されるか又は画素値と関連付けられる任意の他の関数である。
再構成画素３０の局所的な構造の作成２０の任意の方法が、位置合わせ２１の任意の方法と組み合わされて使用される。符号化／復号中、再構成画素３０の局所的な構造を作成する（２０）ための最適な方法及び／又は位置合わせ２１のための最適な方法が選択される。大きい局所的な画像の勾配を有する再構成画素３０の局所的な構造の画素位置は、予測ブロック９の行／列／部分と最も一致するものを見つける際に小さい局所的な勾配を有する画素位置より重要であってもよい。小さい勾配は、符号化ノイズであってもよい。そのような領域は回避されてもよい。局所的な構造３０を含む予測ブロック９の画素間にマッチングするものを確立する際、より大きな勾配値を有する画素は小さい勾配を有する画素より重く重み付けされてもよい。
伝達関数は、従来技術に係るテンプレートマッチングにおいて使用されてもよい。テンプレートマッチングにおいて、最適な伝達関数は、符号器及び復号器の双方において変位伝達関数の集合から選択される。参考文献［非特許文献３］を参照。その伝達関数は、予測情報４５の垂直変位vl及び水平変位vkを使用し、伝達関数の探索に対する関心領域を選択する。その後、伝達関数は、全画素の変位の小さな変動をテストすることにより初期の変位を改善する。伝達関数は、整数変位int(vl)及びint(vk)により指示される領域外の領域に種々の再位置付け伝達関数を適用することにより判定され、例えばテンプレートである予測ブロック外の対応する領域と比較して最小の絶対値誤差を与えるものを選択する。選択された変位及び伝達関数は、予測ブロック９を生成するために使用される。一般に従来技術に係るテンプレートマッチングは、予測ブロック９の領域外の再構成画素を使用する。本発明によると、テンプレートマッチングが再構成画素３０の局所的な構造に適用される場合、テンプレートマッチングは本発明の一実施形態に従って位置合わせにおいて使用されてもよい。
実施例
以下において、再構成画素３０の局所的な構造の作成２０及び位置合わせ２１の組合せの更なる例について説明する。
現在のフレームの画素に対する位置合わせによるフレーム間予測
ここでは、符号器等のＨ．２６４のフレーム間予測を改善するために本発明に係る一実施形態が使用される方法を説明する。本発明に従って再構成画素３０の局所的な構造を作成するために、例えばＨ．２６４におけるＰ１６×１６マクロブロックタイプのような符号化するのに数ビットを必要とするフレーム間予測情報２３が選択される。選択されたマクロブロックタイプは、予測ブロック９を取得するために規格と同様に使用される。行毎及び列毎の解析は、再構成画素３０の局所的な構造を確立するために実行される。フレーム間予測されたブロック９は、再構成画素３０の局所的な構造と位置合わせされる（２１）。
再構成画素３０の局所的な構造と比較して最小ＳＡＤを与える位置合わせ伝達関数が選択される。位置合わせ２１は、予測ブロック９がフィルタリングされて適切な一致するものを取得するように実行される。位置合わせ２１の精度を向上するために、１６×１６の予測ブロック９の個々の４×４のブロックは、ブロック毎に調整及び符号化され、１６×１６のマクロブロックの調整を最高１６回行なう。レート歪み（ＲＤ）最適化は、例えば標準的なＰ１６×１６のマクロブロックモードに本発明の教示を適用する場合に標準的な例と同様に使用するマクロブロックタイプを選択するために実行される。
隣接するフレーム間予測情報に従う予測に対する位置合わせによるフレーム間予測
現在のブロック１のフレーム間予測に対して隣接するブロックからのフレーム間予測情報を適用することにより、再構成画素３０の局所的な構造が作成される（２０）。現在のフレーム間予測情報を使用する現在の再構成フレーム１０の予測ブロック９は、特に他のフレーム間予測情報が得られる隣接するブロックに対するブロック境界に沿って再構成画素３０の局所的な構造と最も一致するものを作成するために位置合わせされる（２１）。
フレーム内予測としての局所的な構造の使用
本発明の一実施形態は、Ｈ．２６Ｘのような符号器のフレーム内予測を向上するために使用される。この場合、１つのフレーム内予測情報２４、例えばＨ．２６４における内部４×４符号化モードは２つの予測の組合せを作成するために変更されている。一方の予測は標準的なフレーム内予測情報２４に従う予測ブロック９であり、他方の予測は再構成画素３０の局所的な構造になるように選択される。２つの予測は組み合わされる。すなわち、例えば加重平均することによりフレーム内予測ブロック９を再構成画素３０の局所的な構造と位置合わせする（２１）ことにより位置合わせ予測ブロック２２を生成する。
あるいは、再構成画素３０の局所的な構造は、１０における先行の再構成画素、予測ブロック９になるブロックの上の少なくとも２行及びブロックの左側の少なくとも２列を解析することにより作成される（２０）。下側の行又は左側の列を予測するための伝達関数、すなわち空間外挿関数が判定される。これは、行／列の予測と行／列の再構成された値との間の平方誤差を最小化することにより行なわれる。局所的な構造３０は、次の行／列を取得するために１行／１列に選択した伝達関数を適用することにより生成される。
レート歪み最適化は、例えば上述したように位置合わせ予測ブロック２２を１つのフレーム内予測情報２４として使用し且つ標準的な例において一般に行なわれるように、４×４のブロックである予測ブロック９毎に使用するフレーム内予測情報２４を選択するために実行される。これは、最適なＲＤ性能を与える予測が選択されることを意味し、この予測は復号処理に信号で伝送される（２４）。
フレーム間予測に対する位置合わせによるフレーム内予測
フレームのグローバルな動き又は隣接するマクロブロックからの動き等のグローバルフレーム間予測情報２３を使用するフレーム間予測により、再構成画素３０の局所的な構造が作成される（２０）。その後、フレーム内予測されたブロック９は、作成された再構成画素３０の局所的な構造と位置合わせされ（２１）、位置合わせ予測ブロック２２を取得する。フレーム内予測のみがフレーム間予測により誘導されるが、実際の予測は現在の再構成フレーム１０の先行の復号画素から実行されるため、位置合わせ予測ブロックは、潜在的にフレーム内予測ブロック９より適切であるが、依然として適切な誤り耐性特性を有する。再構成画素３０の局所的な構造のブロック境界画素がフレーム内予測ブロック９の主構造と非常に異なる場合、フレーム内予測ブロック９の位置合わせ２１を回避することにより、誤り耐性は更に向上される。
局所的な構造との位置合わせによるフレーム内予測
予測ブロック９を生成するステップにおいて、１つ以上のフレーム内予測は、任意のユーザが好む方法により生成され、方法の選択１７のためのパラメータは符号化される。本発明は、１つ以上の予測を位置合わせし（２１）、再構成画素３０の局所的な構造とより適切に位置合わせされた位置合わせ予測ブロック２２を生成するために使用される。追加のフレーム内予測情報２４は、位置合わせ予測ブロック２２の生成方法を記述するために追加される。
予測情報決定における局所的な構造の使用
再構成画素３０の局所的な構造は、符号化される現在のブロック１の全体又は一部に対して、現在の再構成フレーム１０の周囲の画素又は先行のフレーム１２の画素を使用して（隣接ブロックからのフレーム間予測情報を使用して）作成される（２０）。この再構成画素３０の局所的な構造は、フレーム内予測情報決定１６及び可能性としてフレーム間予測情報推定１３を実行する（例えば、再構成画素３０の局所的な構造に対するレート歪み最適化に基づいて）ために使用される。再構成画素３０の局所的な構造が符号化処理及び復号処理において利用可能であるため、予測情報を符号化／送信する必要はない。従って、ビットレートが節約される。
改善されたテンプレートマッチング
再構成画素３０の局所的な構造は、再構成画素３０の局所的な構造に基づくマッチングとテンプレートマッチングとを切り替えることによりテンプレートマッチングを改善するために使用される。別の方法は、テンプレートマッチングを１０における隣接する先行の復号画素と予測ブロック９の境界画素との間の類似性による予測に制約することである。テンプレートマッチング方法による予測は、再構成画素３０の局所的な構造に従って微調整され、位置合わせ予測ブロック２２を生成する。
制約されたフレーム間予測情報推定
再構成画素３０の局所的な構造は、標準的な符号化処理においてフレーム間予測情報推定を行なうために使用される。この場合、フレーム間予測情報推定は、１０における隣接する先行の復号画素と予測ブロック９の境界画素との間の類似性による予測を与えるように制約される。
隣接ブロックの相互位置合わせ
一実施形態において、本発明は、位置合わせ動作２１が符号化される現在のブロック１に対して実行されるだけでなく、構造がブロック境界を越えて円滑に再構成されるように隣接ブロックの画素にも影響を及ぼすように拡張される。位置合わせ２１は、逆変換／逆量子化残差ブロック２５を加算する前又は後に実行される。
フレーム間予測を調整するための局所的構造の使用
再構成画素３０の局所的な構造との予測ブロック９の位置合わせ２１において、伝達関数は、フレーム間予測に使用される伝達関数を局所的に調整するために判定される。
図５Ａは、本発明の例示的な一実施形態に係る符号化装置を示すブロック図である。一般に符号化装置は、入力ビデオフレーム１２を取得するための入力インタフェース３４、処理手段３５及びメモリ３７及び／又はビデオ符号化のための専用ハードウェア、並びに符号化ビデオフレーム１８を出力するための出力インタフェース３６を含む。
符号化装置は、例えば電話又は移動電話又はパーソナルコンピュータ、あるいはカメラにより撮影したビデオのデジタル通信又は格納を行なうように構成されるカメラを搭載した任意の他のデバイス又はビデオフレームを処理するための任意の他のデバイス等の通信端末に含まれてもよい。更に、デジタル化ビデオを格納、送信又はトランスコーディングするためのデバイスが該当してもよい。
上述した入力ビデオフレーム４７は、入力インタフェース３４を介して受信又は取得される。入力ビデオフレーム４７は、アナログ形式又はデジタル形式で電子ビデオ信号として受信されてもよい。アナログビデオ信号を受信する場合、入力インタフェースは、アナログデジタル変換器を搭載する。デジタルビデオ信号を受信する場合、入力インタフェースはそれに従って平均的な当業者には周知であるように構成される。例えば入力ビデオフレーム４７は、カメラ、カムコーダ、ビデオプレーヤ及びＣＤ−ＲＯＭ／ＤＶＤプレーヤ等から受信されてもよい。
処理手段３５は、プログラム命令及び専用ハードウェアを実行するのに適切なマイクロプロセッサ、ＤＳＰ、マイクロコントローラ又は任意のデバイスを含んでもよい。専用ハードウェアは、図３Ａに示すように入力ビデオフレーム４７を全体的又は部分的に符号化する一部のステップ又は全てのステップを実行するための専用集積回路及びフィールドプログラマブルゲートアレイ等を含んでもよい。
ビデオ符号化装置のプログラム命令は、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク、フロッピディスク等のコンピュータ可読媒体から又は先に格納されたプログラム命令を有する任意の他の媒体から従来技術に係る適切なインタフェースを介してメモリ３７にロードされてもよい。プログラム命令は、処理手段３５により実行される時に上述したように入力ビデオフレーム４７を符号化するステップを実行するように構成される。
入力ビデオフレーム４７の符号化の結果である符号化ビデオフレーム１８は、復号する別のデバイスに送信するために、格納するために又は任意の他の目的で、出力する目的で構成され且つ平均的な当業者には周知である出力インタフェースを介してデジタル信号として出力されてもよい。
図５Ｂは、本発明の例示的な一実施形態に係る復号装置を示すブロック図である。一般に復号装置は、符号化ビデオフレーム１８を受信する入力インタフェース３８、処理手段３９及びメモリ４１及び／又はビデオ復号のための専用ハードウェア、並びに復号ビデオフレーム２９を出力する出力インタフェース４０を有する。
復号装置は、電話又は移動電話又はパーソナルコンピュータ、あるいは符号化ビデオのデジタル通信又は表示を行なうように構成されるディスプレイを搭載した任意の他のデバイス等の通信端末であってもよいが、それらに限定されない。更に、デジタル化ビデオを格納、受信又はトランスコーディングするデバイス又はビデオフレームを処理する任意の他のデバイスが該当してもよい。復号装置は、そのようなデバイスのうちの任意の１つに含まれてもよい。
入力インタフェース３８は、符号化ビデオフレーム１８を受信するように構成され、符号化ビデオフレーム１８は、ビデオ符号化装置から出力され且つ例えば有線接続又は無線接続である通信リンクを介してビデオ復号装置に送出されてもよい。符号化ビデオフレーム１８は、ＣＤ−ＲＯＭ、ＤＶＤ、ＰＣハードディスク等の従来技術において周知の任意の記憶装置から出力されてもよい。
処理手段３９は、プログラム命令及び専用ハードウェアを実行するのに適切なマイクロプロセッサ、ＤＳＰ、マイクロコントローラ又は任意のデバイスを含んでもよい。専用ハードウェアは、図３Ｂに示すように符号化ビデオフレーム１８を全体的又は部分的に復号する一部のステップ又は全てのステップを実行するための専用集積回路及びフィールドプログラマブルゲートアレイ等を含んでもよい。
ビデオ符号化装置のプログラム命令は、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク、フロッピディスク等のコンピュータ可読媒体から又は先に格納されたプログラム命令を有する任意の他の媒体から従来技術に係る適切なインタフェースを介してメモリ４１にロードされてもよい。プログラム命令は、処理手段３９により実行される時に上述したように符号化ビデオフレーム１８を復号するステップを実行するように構成される。
復号処理の結果である復号ビデオフレーム２９は、表示するために又は任意の他の目的で復号器出力インタフェース４０を介して出力されてもよい。復号ビデオフレーム２３は、アナログビデオ信号として出力されてもよい。この目的のために、出力インタフェース４０はデジタルアナログ変換器を有してもよい。
説明及び図面における実施形態は単に例として与えられ、以下の請求の範囲により規定されるような本発明の範囲から逸脱せずに変更が行なわれてもよいことが理解される必要がある。

Claims (22)

  1. 入力ビデオフレーム（４７）を符号化ビデオフレーム（１８）に符号化する方法であって、
    前記入力ビデオフレーム（４７）を複数の画素ブロックに逆アセンブルするステップ（４６）と；
    前記入力ビデオフレーム（１２）の現在の画素ブロック（１）に対して、
    既に再構成された画素（１０、１２）から前記現在のブロック（１）に対応する予測ブロック（９）を生成するステップ（４２Ａ）と；
    前記現在のブロック（１）から前記予測ブロック（９）を減算する（２）ことにより残差ブロック（３）を生成するステップと；
    前記残差ブロック（３）及び前記予測ブロック（９）から現在の再構成フレーム（１０）を生成するステップ（４、７、８、４４）と；
    前記残差ブロック（３）から前記符号化ビデオフレーム（１８）を生成するステップとを実行するステップとを有する方法であって、更に：
    前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成するステップ（２０）と；
    位置合わせ予測ブロック（２２）を生成するため、前記予測ブロック（９）を前記局所的な構造（３０）に位置合わせするステップ（２１）とを有し、
    前記位置合わせ予測ブロック（２２）は、前記残差ブロック（３）を生成するステップ及び対応する再構成ブロック（４３）を生成するステップにおいて使用されることを特徴とする方法。
  2. 符号化ビデオフレーム（１８）を復号ビデオフレーム（２９）に復号する方法であり、
    前記符号化ビデオフレーム（１８）から逆変換／逆量子化残差ブロック（２５）を生成するステップ（１９、７）と；
    生成された逆変換／逆量子化残差ブロック（２５）毎に、
    既に再構成された画素（１０、１２）から予測ブロック（９）を生成するステップ（４２Ｂ）と；
    前記符号化ビデオフレーム（１８）及び前記予測ブロック（９）から再構成フレーム（１０）を生成するステップ（８、４４）とを実行するステップとを有する方法であって、
    前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成するステップ（２０）と；
    位置合わせ予測ブロック（２２）を得るために前記予測ブロック（９）を前記局所的な構造（３０）に位置合わせするステップ（２１）とを更に含み、
    前記位置合わせ予測ブロック（２２）は、対応する再構成ブロック（４３）を生成するステップにおいて使用されることを特徴とする方法。
  3. 予測ブロック（９）を生成する前記ステップ（４２Ａ、４２Ｂ）は：
    フレーム間予測情報（２３）を使用して先行の再構成フレーム（１２）の再構成画素から予測ブロック（９）を生成するステップ（１３、１４）を有することを特徴とする請求項１又は２に記載の方法。
  4. 予測ブロック（９）を生成する前記ステップ（４２Ａ、４２Ｂ）は：
    フレーム内予測情報（２４）を使用して前記現在の再構成フレーム（１０）の再構成画素から予測ブロック（９）を生成するステップ（１５、１６）を有することを特徴とする請求項１又は２に記載の方法。
  5. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    前記現在の再構成フレーム（１０）の再構成画素を使用して前記局所的な構造（３０）の画素を生成するステップ（フレーム内予測）を有することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
  6. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    先行の再構成フレーム（１２）の先行の再構成画素を使用して前記局所的な構造（３０）の画素を生成するステップ（フレーム間予測）を有することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
  7. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    前記現在の再構成フレーム（１０）の再構成画素を前記予測ブロック（９）の前記領域に補間するステップを有することを特徴とする請求項５に記載の方法。
  8. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    再構成画素を前記予測ブロック（９）の前記領域に外挿するステップを有することを特徴とする請求項５又は６に記載の方法。
  9. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    隣接ブロックのフレーム間予測情報に従って別の先行の再構成フレーム（１２）の再構成画素を前記現在の再構成フレーム（１０）の前記領域に適用するステップを有することを特徴とする請求項５又は６に記載の方法。
  10. 前記予測ブロック（９）の領域において再構成画素（３０）の局所的な構造を作成する前記ステップ（２０）は：
    前記予測ブロック（９）に隣接する画素の行及び／又は列を予測するための伝達関数を判定するステップと；
    前記予測ブロック（９）の前記領域における行及び／又は列のまだ再構成されていない画素を生成するために前記行及び／又は列を予測するための伝達関数を前記予測ブロックに隣接する前記画素に適用するステップとを有することを特徴とする請求項５又は６に記載の方法。
  11. 前記予測ブロック（９）を前記局所的な構造（３０）に位置合わせする前記ステップ（２１）は：
    前記予測ブロック（９）の少なくとも一部分の画素の特性を前記局所的な構造（３０）の画素の対応する特性とマッチングするステップと；
    最も一致するものに基づいて前記予測ブロック（９）の前記特性を前記局所的な構造（３０）の前記対応する特性に適応させるステップとを有することを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
  12. 前記予測ブロック（９）の少なくとも一部分の画素の特性を前記局所的な構造（３０）の画素の対応する特性とマッチングする前記ステップは：
    前記予測ブロック（９）の少なくとも一部分の画素の特性の値と前記局所的な構造（３０）の画素の前記対応する特性の値との平方誤差和又は絶対値誤差和を確立するステップを有し、最も一致するものは最小の和により判定されることを特徴とする請求項１１に記載の方法。
  13. 前記予測ブロック（９）の少なくとも一部分の画素の特性を前記局所的な構造（３０）の画素の対応する特性とマッチングする前記ステップは：
    前記予測ブロック（９）の少なくとも一部分と前記局所的な構造（３０）との間の空間伝達関数を判定するステップを有し、
    前記最も一致するものに基づいて前記予測ブロック（９）の前記特性を前記局所的な構造（３０）の前記対応する特性に適応させる前記ステップは：
    位置合わせ予測ブロック（２２）を取得するために前記空間伝達関数を前記予測ブロック（９）に適用するステップを有することを特徴とする請求項１１又は１２に記載の方法。
  14. 前記予測ブロック（９）の一部分と前記局所的な構造（３０）との間の空間伝達関数を判定する前記ステップは、所定の空間伝達関数の集合から１つの空間伝達関数を選択することにより実行されることを特徴とする請求項１３に記載の方法。
  15. 前記予測ブロック（９）を前記局所的な構造（３０）に位置合わせする前記ステップ（２１）は：
    前記局所的な構造（３０）に対して前記予測ブロック（９）の副画素値マッチング及び副画素値位置決めを可能にするために前記局所的な構造（３０）及び／又は前記予測ブロック（９）の画素を副画素値補間するステップを有することを特徴とする請求項１１乃至１４のいずれか１項に記載の方法。
  16. 前記予測ブロック（９）の少なくとも一部分の画素の特性を前記局所的な構造（３０）の画素の対応する特性とマッチングする前記ステップ及び前記最も一致するものに基づいて前記予測ブロック（９）の前記特性を前記局所的な構造（３０）の前記対応する特性に適応させる前記ステップは、前記予測ブロック（９）から得られる画素に対して実行されることを特徴とする請求項１１乃至１５のいずれか１項に記載の方法。
  17. 前記予測ブロック（９）の少なくとも一部分の画素の前記特性及び前記局所的な構造（３０）の画素の対応する特性は、前記局所的な構造（３０）の画素の変換に基づき、前記予測ブロック（９）は、前記最も一致するものに基づいて前記局所的な構造（３０）の画素の前記変換に従って適応される請求項１１乃至１６のいずれか１項に記載の方法。
  18. 前記予測ブロック（９）の少なくとも一部分の画素の特性を前記局所的な構造（３０）の画素の対応する特性とマッチングする前記ステップは：
    再構成画素（３０）の前記局所的な構造の画素値と最も一致する前記予測ブロック（９）の画素値の位置を判定するステップを有し、
    前記予測ブロック（９）の前記特性を前記局所的な構造（３０）の前記対応する特性に適応させる前記ステップは：
    再構成画素（３０）の前記局所的な構造の画素値と最も一致する前記予測ブロック（９）の画素値の位置に前記予測ブロック（９）を位置決めするステップを有することを特徴とする請求項１１乃至１７のいずれか１項に記載の方法。
  19. ビデオ符号化装置であって、入力ビデオフレーム（４７）を受信する入力インタフェース（３４）、符号化ビデオフレーム（１８）を出力する出力インタフェース（３６）、及び、処理手段（３５）、並びにメモリ（３７）、及び／又は、請求項１、３乃至１８のいずれか１項に記載の方法のステップを実行するように構成される専用ハードウェア手段を具備することを特徴とするビデオ符号化装置。
  20. ビデオ復号装置であって、符号化ビデオフレーム（１８）を受信する入力インタフェース（３８）、復号ビデオフレーム（２９）を出力する出力インタフェース（４０）、及び処理手段（３９）、並びにメモリ（４１）、及び／又は、請求項２乃至１８のいずれか１項に記載の方法のステップを実行するように構成される専用ハードウェア手段を具備することを特徴とするビデオ復号装置。
  21. 請求項１９に記載の前記符号化装置の前記メモリ（３７）にロードされ且つ前記プロセッサ（３５）により処理されることで、請求項１、３乃至１８のいずれか１項に記載の方法のステップを実行させるコンピュータ命令を格納したコンピュータ可読媒体。
  22. 請求項２０に記載の前記復号装置の前記メモリ（４１）にロードされ且つ前記プロセッサ（３９）により処理されることで、請求項２乃至１８のいずれか１項に記載の方法のステップを実行させるコンピュータ命令を格納したコンピュータ可読媒体。
JP2010538372A 2007-12-21 2008-07-16 ビデオ符号化に対する改善された画素予測 Expired - Fee Related JP5417342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US1600607P 2007-12-21 2007-12-21
US61/016,006 2007-12-21
PCT/EP2008/005895 WO2009080132A1 (en) 2007-12-21 2008-07-16 Improved pixel prediction for video coding

Publications (2)

Publication Number Publication Date
JP2011507421A true JP2011507421A (ja) 2011-03-03
JP5417342B2 JP5417342B2 (ja) 2014-02-12

Family

ID=40336397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010538372A Expired - Fee Related JP5417342B2 (ja) 2007-12-21 2008-07-16 ビデオ符号化に対する改善された画素予測

Country Status (6)

Country Link
US (1) US9049457B2 (ja)
EP (1) EP2220869A1 (ja)
JP (1) JP5417342B2 (ja)
CN (1) CN101904173B (ja)
AR (1) AR069887A1 (ja)
WO (1) WO2009080132A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090097689A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
JP5446198B2 (ja) * 2008-10-03 2014-03-19 富士通株式会社 画像予測装置及び方法、画像符号化装置、画像復号化装置
JP5869493B2 (ja) * 2009-12-08 2016-02-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
CA3208227A1 (en) * 2011-06-24 2012-12-27 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
WO2013010248A1 (en) * 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
US9948938B2 (en) 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
CN110708542B (zh) * 2012-01-18 2023-02-17 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN104380745B (zh) * 2012-06-22 2018-04-27 联发科技股份有限公司 图层间与视图间自适应帧内预测方法及其装置
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
US10264290B2 (en) 2013-10-25 2019-04-16 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
CN105684409B (zh) 2013-10-25 2019-08-13 微软技术许可有限责任公司 在视频和图像编码和解码中使用散列值来表示各块
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
RU2679981C2 (ru) 2014-09-30 2019-02-14 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Основанные на хешах решения кодера для кодирования видео
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
CN113395520B (zh) * 2019-01-02 2023-05-16 Oppo广东移动通信有限公司 解码预测方法、装置及计算机存储介质
EP3952313B1 (en) 2019-04-16 2024-05-29 LG Electronics Inc. Transform in intra prediction-based image coding
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN114025172A (zh) * 2021-08-20 2022-02-08 北京旷视科技有限公司 视频帧的处理方法、装置和电子系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074725A (ja) * 2005-09-06 2007-03-22 Samsung Electronics Co Ltd 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2010529802A (ja) * 2007-06-14 2010-08-26 サムスン エレクトロニクス カンパニー リミテッド 映像復旧を利用したイントラ予測符号化、復号化方法及び装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
US20020044696A1 (en) * 1999-11-24 2002-04-18 Sirohey Saad A. Region of interest high resolution reconstruction for display purposes and a novel bookmarking capability
WO2001049038A1 (de) * 1999-12-23 2001-07-05 Siemens Aktiengesellschaft Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN1722840A (zh) * 2004-07-15 2006-01-18 三星电子株式会社 时间分解和逆时间分解方法及视频编码器和解码器
KR100679026B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
US7593465B2 (en) * 2004-09-27 2009-09-22 Lsi Corporation Method for video coding artifacts concealment
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US20060245501A1 (en) * 2005-04-27 2006-11-02 Stephen Gordon Combined filter processing for video compression
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
GB2439984A (en) * 2006-07-11 2008-01-16 Tandberg Television Asa Motion estimation using 2D correlation in the transform domain
US7953285B2 (en) * 2006-11-03 2011-05-31 Taiwan Imagingtek Corporation Method and circuit of high performance variable length coding and decoding for image compression

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074725A (ja) * 2005-09-06 2007-03-22 Samsung Electronics Co Ltd 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2010529802A (ja) * 2007-06-14 2010-08-26 サムスン エレクトロニクス カンパニー リミテッド 映像復旧を利用したイントラ予測符号化、復号化方法及び装置

Also Published As

Publication number Publication date
JP5417342B2 (ja) 2014-02-12
US9049457B2 (en) 2015-06-02
WO2009080132A1 (en) 2009-07-02
CN101904173B (zh) 2013-04-03
AR069887A1 (es) 2010-02-24
US20110007801A1 (en) 2011-01-13
CN101904173A (zh) 2010-12-01
EP2220869A1 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
JP5417342B2 (ja) ビデオ符号化に対する改善された画素予測
WO2010143583A1 (ja) 画像処理装置および方法
EP2380351B1 (en) Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
JP5169978B2 (ja) 画像処理装置および方法
US10158880B2 (en) Method and apparatus for encoding/decoding video using high-precision filter
TWI816439B (zh) 以區塊為基礎之預測技術
KR20090116655A (ko) 비디오 신호의 디코딩 방법 및 장치
US20110200113A1 (en) Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
TW202232955A (zh) 對參考像素進行上採樣以用於視頻譯碼中的幀內預測
KR101979857B1 (ko) 비디오 신호의 디코딩 방법 및 장치
JP6641149B2 (ja) 映像符号化装置、映像復号装置及びプログラム
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20140118958A (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101767950B1 (ko) 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131118

R150 Certificate of patent or registration of utility model

Ref document number: 5417342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees