JP2014039289A - 動き補償予測のための適応フィルタリングを備えたビデオ符号化 - Google Patents

動き補償予測のための適応フィルタリングを備えたビデオ符号化 Download PDF

Info

Publication number
JP2014039289A
JP2014039289A JP2013192448A JP2013192448A JP2014039289A JP 2014039289 A JP2014039289 A JP 2014039289A JP 2013192448 A JP2013192448 A JP 2013192448A JP 2013192448 A JP2013192448 A JP 2013192448A JP 2014039289 A JP2014039289 A JP 2014039289A
Authority
JP
Japan
Prior art keywords
filter
motion compensation
video
block
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013192448A
Other languages
English (en)
Inventor
Yan Ye
ヤン・イエ
Bao Yllian
イリアン・バオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014039289A publication Critical patent/JP2014039289A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】複雑度を増すことなく、デジタルビデオ信号の映像品質を上げることができるビデオ符号化デバイスを提供する。
【解決手段】ビデオ符号化デバイスは、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュール３０、およびフィルタモード決定に基づいて第１のフィルタモードまたは第２のフィルタモードのいずれかを前記ブロックの各々に適用するように前記動き補償を適応的に調節する制御モジュール４６を含む。
【選択図】図５

Description

この開示は、デジタルビデオに関係し、より詳細には、デジタルビデオの符号化に関係する。
デジタルビデオ能力は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、携帯情報端末(PDA)、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタルレコーダ、ビデオゲーム機、セルラまたは衛星無線電話、および同様のものを含む広い範囲のデバイスに組み込まれている。デジタルビデオデバイスは、デジタルビデオ信号のより効率的な送信および受信のために、MPEG-2、MPEG-4、またはH.264/MPEG-4パート10 AVC(Advanced Video Coding)のようなビデオ圧縮技術を典型的に実装する。ビデオ圧縮技術は、ビデオ信号に本質的に内在する冗長度を低減または除去するために、空間予測および時間予測を行なう。スケーラブルビデオ符号化技術は、ベースレイヤおよび１つまたは複数のエンハンスメントレイヤによって、空間、時間および/またはSN比スケーラビリティのような追加的特徴を可能にする。
ビデオ符号化において、ビデオ圧縮は、動き推定および動き補償を一般に含んでいる。動き推定は、連続するビデオフレームの間のビデオオブジェクトの動きを追跡する。動き推定は、１つまたは複数の基準フレーム内の対応するビデオブロックに関係するビデオブロックの動きのずれを表す「動きベクトル」を生成する。動き補償は、この動きベクトルを使用して、１つまたは複数の基準フレームから予測ビデオブロックを生成する。さらに、動き補償は、オリジナルのビデオブロックから予測ビデオブロックを引くことによって、残差ビデオブロックを形成する。ビデオ符号化器は、残差ブロックのビットレートをさらに低減するために、変換、量子化およびエントロピー符号化の処理を適用する。ビデオ復号器は、各々のブロックについての動きベクトルと残差情報とを使用して、符号化されたビデオを復元するために、逆の操作を行なう。
本出願は、2006年10月13日付けの米国仮出願60/829,494号、および2007年5月15日付けの米国仮出願第60/938,151号に基づいて利益を主張する。各々の出願の全体の内容は、参照によって本明細書に組み込まれている。
一般に、本開示は、ビデオ復号器において、動き補償された予測ブロック（以下、単に「動き補償予測ブロック」という）の適応フィルタリングをサポートするビデオ符号化技術に向けられている。動き補償予測ブロックの適応フィルタリングは、予測の精度を上げるために適用されることができる。それに加えて、またはその代わりに、複雑度を低減するために、適応フィルタリングを適用することもできる。
１つの態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュールと、フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを各々のブロックに適用するように動き補償を適応的に調節する制御モジュールと、を具備するビデオ符号化デバイスを提供する。
他の態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用することと、フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを各々のブロックに適用するように動き補償を適応的に調節することと、を具備する方法を提供する。
さらなる態様において、本開示は、ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を行なう動き補償モジュールを具備するビデオ符号化デバイスであって、ここにおいて、前記動き補償モジュールは、フィルタを含み、および前記動き補償モジュールは、整数ピクセル位置を指す動きベクトルについては、前記フィルタを前記ブロックに適用することを特徴とする、ビデオ符号化デバイスを提供する。
さらなる態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュールと、フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを各々のブロックに適用するように動き補償を適応的に調節する制御モジュールと、を具備する集積回路デバイスを提供する。
他の態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュールと、フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを各々のブロックに適用するように動き補償を適応的に調節する制御モジュールと、を具備するワイアレス通信デバイスハンドセットを提供する。
他の態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を行なうことと、整数ピクセル位置を指す動きベクトルについては前記ブロックにフィルタを適用することと、を具備する方法を提供する。
さらなる態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を行なう動き補償モジュールを具備する集積回路デバイスであって、ここにおいて、前記動き補償モジュールは、フィルタを含み、および前記動き補償モジュールは、整数ピクセル位置を指す動きベクトルについては前記フィルタを前記ブロックに適用することを特徴とする、集積回路デバイスを提供する。
他の態様において、本開示は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を行なう動き補償モジュールを具備するワイアレス通信デバイスであって、ここにおいて、前記動き補償モジュールは、フィルタを含み、および前記動き補償モジュールは、整数ピクセル位置を指す動きベクトルについては前記フィルタを前記ブロックに適用することを特徴とする、ワイアレス通信デバイスを提供する。
この開示において説明される技術は、ハードウェア、ソフトウェア、ファームウェアまたはこれらのものの任意の組み合わせの中で実装されることができる。ソフトウェアの中で実装される場合、当該ソフトウェアは、マイクロプロセッサ、特定用途向けIC(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)またはデジタル信号プロセッサ(DSP)のような、１つまたは複数のプロセッサの中で実行されることができる。本技術を実行するソフトウェアは、はじめコンピュータ可読媒体の中に記憶されていて、プロセッサにロードされて実行されることができる。したがって、この開示は、ここに説明されているような技術を行なう命令を含むコンピュータ可読媒体を具備するコンピュータプログラムプロダクト（製品）をも企図している。
本開示の１つまたは複数の態様の詳細は、添付の図面と下記の説明の中で述べられる。他の特徴、対象および利点は、詳細な説明および図面から、ならびに特許請求の範囲の記載から明白なものとなるであろう。
図1は、ビデオ符号化および復号のシステムを例示するブロック図である。 図2は、ビデオ符号化器の一例を示すブロック図である。 図3は、異なる動きベクトルを備えたより小さなサブブロックによる予測ブロックの形成を例示するブロック図である。 図4は、予測ブロックを生成する適応フィルタリングをサポートするように構成されたビデオ復号器の一例を示すブロック図である。 図5は、予測ブロックを生成する適応フィルタリングをサポートするように構成されたビデオ復号器の他の例を示すブロック図である。 図6は、予測ブロックを生成する適応フィルタリングを使用して、スケーラブルビデオ符号化(SVC)をサポートするように構成されたビデオ復号器の一例を示すブロック図である。 図7は、SVCエンハンスメントレイヤ符号化における平滑化基準プロセス（smoothed reference process）の適用を例示するブロック図である。 図8は、SVCエンハンスメントレイヤ符号化における適応動き補償を使用する平滑化基準プロセスの適用を例示するブロック図である。 図9は、輝度 1/2ピクセル補間のための一次元の6タップ・フィルタの特徴例を示すブロック図である。 図10は、整数または分数のピクセル精度を備えた動きベクトル成分に適合する予測ブロックの垂直および水平次元における異なる適応フィルタの適用をサポートするように構成されたビデオ復号器の一例を示すブロック図である。 図11は、インター符号化フレームのブロックレベルにおいて適応動き補償を行なう際のビデオ復号器の例示的な動作を例示する流れ図である。 図12は、インター符号化フレームのブロックレベルにおける結合型平滑化動き補償ユニット（a combined smoothed motion compensation unit）を使用して、平滑化および動き補償を行なう際のビデオ復号器の例示的な動作を例示する流れ図である。 図13は、垂直および水平次元において異なるフィルタで適応動き補償を行なう際のビデオ復号器の例示的な動作を例示する流れ図である。
詳細な説明
一般に、本開示は、ビデオ復号器内の動き補償予測ブロックの適応フィルタリングをサポートするビデオ符号化技術に向けられる。動き補償予測ブロックの適応フィルタは、予測精度を向上し、および/または複雑度を低減するために適用される。本フィルタモードは、例えば、フレームレベル、スライスレベル、マクロブロックレベル、またはブロックレベルにおいて、動的に調節されることができる。フィルタモード決定は、符号化されたビットストリームにおいて、符号化器によって明示的にシグナルされることができる。その代わりに、同モード決定は、ビデオシーケンスの統計および/または特性に基づいて、復号器側で決定されることもできる。
第１のフィルタモードにおいて、ビデオ復号器は、動き補償予測ブロックを形成するために、正規の動き補償を適用することができる。第2のフィルタモードにおいて、ビデオ復号器は、動き補償予測ブロックに正規の動き補償プラス追加フィルタを適用することができる。追加フィルタは、異なる特性を持っていてもよい。一例として、追加フィルタは、低域通過フィルタであってもよい。なお、これは、以下の議論において平滑化フィルタと呼ばれることもある。ある場合には、平滑化フィルタは、3タップ・フィルタであってもよい。第2のフィルタモードにおいて、ビデオ復号器は、正規の動き補償フィルタを用いて、または正規の動き補償フィルタと追加フィルタとを結合する異なるフィルタを使用することによって、追加フィルタをカスケード方式で適用することができる。
ある場合において、動き補償予測ブロックの垂直および水平方向において異なるフィルタが適用されてもよい。例えば、整数ピクセル精度を備えた動きベクトル成分については、3タップ・フィルタのような平滑化フィルタが適用されることができる。その一方、分数ピクセル精度を備えた動きベクトル成分については、2タップ・フィルタ、例えばバイリニアフィルタのような補間フィルタが適用されることができる。異なるフィルタは、別個のものでもよく、または１つの結合型フィルタの部分を形成するものであってもよい。
適応フィルタリングは、映像品質および符号化効率を上げることができる。例えば、適応フィルタリングは、マクロブロックレベルまたはブロックレベルで適用されて、個々のブロックの高精細フィルタリングを提供することができる。マクロブロック(MB)は、１つのビデオフレームの16×16ピクセルエリアを指し、他方、ブロックまたはサブブロックは、それより小さなエリアを指すのに用いることができる。また、追加のまたは異なるフィルタリングは、フルタイムではなく必要なときに適用されて、複雑度を低減することができる。
さらに、ビデオ符号化技術は、シングルレイヤのビデオまたはマルチレイヤのスケーラブルビデオに適用されることができる。上で述べられたように、動き補償フィルタおよび追加フィルタは、複雑度のさらなる低減のために、カスケード方式で適用されるというよりは、むしろ結合されることができる。例えば、スケーラブルビデオ符号化のために、結合型動き補償フィルタモジュールは、カスケードされた動き補償フィルタおよび追加フィルタ(例えば平滑化フィルタ)を置換することができる。
図1は、ビデオ符号化および復号のシステム10を例示するブロック図である。図1に示されるように、システム10は、通信チャンネル16を介して、符号化されたビデオを受信デバイス14に送信するソースデバイス12を含んでいる。ソースデバイス12は、ビデオソース18、ビデオ符号化器20および送信機22を含んでもよい。いくつかの態様において、送信機22は、無線送信機であってもよい。受信デバイス14は、受信機24、ビデオ復号器26およびビデオ表示装置28を含んでもよい。いくつかの態様において、受信機24は、無線通信デバイスハンドセット中の無線受信機のような、無線受信機であってもよい。システム10は、映像品質および処理効率の両方を改善するために、動き補償予測ブロックの適応フィルタリングをサポートするように構成されることができる。
ビデオ復号器26は、予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用することができ、またフィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを適用するように動き補償を適応的に調節することができる。ビデオ復号器26は、第2のフィルタモードにおいて、いくつかのビデオブロックに追加フィルタリングを適用することができる。第1のフィルタモードにおいて、ビデオ復号器26は、正規の動き補償を適用することができる。動きベクトルが垂直次元、水平次元、または両方の次元のいずれかにおいて分数ピクセル位置を参照する場合、正規の動き補償は、補間を含んでもよい。第2のフィルタモードにおいて、ビデオ復号器26は、動き補償予測ブロックに動き補償プラス追加フィルタを適用することができる。一例として、追加フィルタは、平滑化フィルタであってもよい。その代わりに、第2のフィルタモードにおいて、ビデオ復号器26は、正規の動き補償と追加フィルタとを結合する異なるフィルタ（例えば平滑化）を適用することもできる。
ビデオ復号器26は、ブロックごと、マクロブロックごと、スライスごと、またはフレームごとをベースとして、動き補償を適応的に調節することができる。フィルタモード決定は、ビデオフレーム中の符号化された信号(例えばビデオ符号化器20によって符号化された信号)に基づいてなされてもよい。例えば、ビデオ符号化器20は、第1または第2のフィルタモードを適用するためにビデオ復号器26が動き補償を調節すべきかどうかを示すフラグ、コマンドまたは他の命令を符号化されたビデオ中に含んでもよい。その代わりに、ビデオ復号器26は、ビデオフレームの１つまたは複数の特性の分析に基づいてフィルタモード決定を行なうこともできる。例えば、ビデオ復号器26は、第2のフィルタモードが適用されるべきかどうかを決定するために、復号の後に得られる復元済みビデオブロックを分析することができる。
第1のフィルタモードにおいて、ビデオ復号器26は、例えば、分数ピクセル値を備えた動きベクトルに関する補間フィルタを用いて、正規の動き補償を適用することができる。H.264/MPEG-4のパート10(AVC (Advanced Video Coding))のスキームにおいて、例えば、1/2ピクセル位置でピクセルを補間するための動き補償フィルタは、6タップ・フィルタを含むことができる。タップの数は、フィルタを数学的に表現するために必要な係数の数を一般に示す。より高次のタップ数を備えたフィルタは、低次のタップ数を有するフィルタより複雑なフィルタを一般に包含する。したがって、2タップまたは3タップ・フィルタのいずれか１つより、6タップ・フィルタのほうがより複雑なフィルタを含む。
第2のフィルタモードにおいて、ビデオ復号器26は、平滑化フィルタのような追加フィルタを適用することができる。平滑化フィルタは、例えば、3タップ・フィルタを含んでもよい。平滑化フィルタは、例えば動き補償フィルタに加えて、追加フィルタとして、第2のフィルタモードにおいて提供されることができる。その代わりに、平滑化フィルタは、正規の動き補償のために使用される補間フィルタと結合されることもできる。動き補償において使用される結合型フィルタ（combined filter）は、それゆえ、ピクセルを部分的ピクセル位置で補間するための異なるフィルタ（例えば2タップ・フィルタ）を表すのである。典型的な2タップ・フィルタは、バイリニアフィルタである。したがって、ビデオ復号器26によって適用される第2のフィルタモードは、動き補償フィルタおよび追加平滑化フィルタの使用、または動き補償と平滑化とを結合する異なるフィルタの使用、そのいずれかの使用によって、動き補償および平滑化フィルタの両方の適用を含むことができる。各々の場合において、平滑化のような追加フィルタリングは、第2のフィルタモードにおいて提供される。
第2のフィルタモードにおいて、ビデオ復号器26は、整数ピクセル精度を有する両方の成分を備えた動きベクトルについて両方の次元に平滑化フィルタを適用することができる。その代わりに、3タップ・フィルタのような平滑化フィルタは、垂直および水平次元において整数ピクセル精度を有する動きベクトルについて水平次元または垂直次元のいずれか一方、またはその両方において適用されるかことができる。バイリニアフィルタのような2タップの動き補償フィルタは、少なくとも１つの次元において分数ピクセル精度を有するイベント動きベクトルにおいて、当該次元において補間のために適用されることができる。両次元において分数ピクセル精度を有する動きベクトルについては、垂直および水平の両次元について2タップ補間フィルタが適用されることができる。同様に、両次元において整数ピクセル精度を有する動きベクトルについては、垂直および水平の両次元について平滑化フィルタが適用されることができる。
例えば、動きベクトルが水平次元で整数ピクセル位置を指し、および垂直次元で分数ピクセル位置を指すとき、ビデオ復号器26は、水平次元で平滑化フィルタを適用し、垂直次元でバイリニアフィルタのような2タップ・フィルタを適用することができる。その代わりに、動きベクトルが垂直次元で整数ピクセル位置を指しおよび垂直方向で分数ピクセル位置を指すとき、ビデオ復号器26は、垂直次元で平滑化フィルタを適用し、水平次元でバイリニアフィルタのような２タップ・フィルタを適用することができる。その代わりに、ビデオ復号器26は、動きベクトルの整数精度または分数精度に依存して、両方の次元で平滑化フィルタまたは補間フィルタのいずれかを適用することができる。
適応フィルタ調節、例えば、フレームレベル、スライスレベル、マクロブロックレベルまたはブロックレベルでの適応フィルタ調節は、符号化効率および処理効率の両方を上げることができる。追加のまたは異なるフィルタリングは、適応フィルタリングを用いることによって、フルタイムベースではなくて、必要なときに、フレーム、スライス、マクロブロックまたはブロックに適用されることができ、それによって処理のオーバヘッドを低減することができる。特に、第2のフィルタモードが追加フィルタに符号化効率を上げることを要求する一方、第１のフィルタモードは、追加フィルタを省略することができる。上で言及されたように、いくつかの態様において、追加フィルタは、平滑化フィルタであってもよい。滑化フィルタは、動き補償予測ブロックから量子化雑音またはその他の人工物を低減または除去する上で有益でありうる。
ビデオ復号器26は、シングルレイヤのビデオまたはマルチレイヤのスケーラブルビデオに対して適応フィルタリング技術を適用することができる。ある場合において、ビデオ復号器26は、動き補償フィルタと平滑化フィルタとをカスケード方式で適用するのではなく、両者を結合し、そのことによってさらに複雑度を低減することができる。例えば、スケーラブルビデオ符号化(SVC)については、ビデオ復号器26は、単純化されたプロセスをサポートする結合型平滑化動き補償フィルタモジュールを適用するように構成されることができる。
図1の例において、通信チャンネル16は、無線周波数(RF)スペクトルまたは１つまたは複数の物理伝送ラインのような任意の無線または有線の通信媒体、または無線および有線媒体の任意の組み合わせを含むことができる。チャンネル16は、ローカルエリアネットワーク、広域ネットワークまたはグローバネットワーク（例えばインターネット）のようなパケットベースのネットワークの一部を形成することができる。通信チャンネル16は、ビデオデータをソースデバイス12から受信デバイス14へ送信するための、任意の適切な通信媒体、または異なる通信媒体の集合を一般に代表する。
ソースデバイス12は、宛先デバイス14へ送信されるビデオを生成する。しかしながら、ある場合において、デバイス12および14は、実質的に対称的なやり方で作動することができる。例えば、デバイス12および14の各々は、ビデオ符号化構成要素およびビデオ復号構成要素を含むことができる。したがって、システム10は、例えばビデオストリーミング、ビデオ放送またはビデオ電話通信のために、ビデオデバイス12、14の間の一方向または二方向のビデオ送信をサポートすることができる。
ビデオソース18は、ビデオ取り込みデバイス（例えば１つまたは複数のビデオカメラ）、過去に取り込まれたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダからのライブビデオ供給を含むことができる。さらなる代案として、ビデオソース18は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオおよびコンピュータ生成ビデオの組み合わせを生成することができる。ある場合において、ビデオソース18がカメラの場合、ソースデバイス12および受信デバイス14は、衛星またはモバイルの無線電話、または他の無線通信デバイスを含む、いわゆるカメラ電話またはビデオ電話を形成することができる。したがって、いくつかの態様において、この開示の中で説明される技術は、モバイル電話ハンドセットのようなモバイル無線通信デバイスハンドセットの内部で実装されることができる。各場合において、取り込まれるビデオ、事前に取り込まれたビデオ、またはコンピュータ生成によるビデオは、送信機22、チャネル16および受信機24を介して、ビデオソースデバイス12から、ビデオ受信デバイス14のビデオ復号器26への送信のために、ビデオ符号化器20によって符号化されることができる。表示装置28は、液晶表示(LCD)、プラズマ表示または有機EL表示のような多様な表示装置のうちの任意のものを含むことができる。
本開示のいくつかの態様において、ビデオ符号化器20およびビデオ復号器26は、空間的、時間的、および/またはSN比(SNR)スケーラビリティのためのスケーラブルビデオ符号化をサポートするように構成されることができる。符号化器20および復号器26は、ベースレイヤおよび１つまたは複数のスケーラブルエンハンスメントレイヤの符号化、送信および復号をサポートすることによって、さまざまな度合いのスケーラビリティをサポートすることができる。スケーラブル符号化のために、ベースレイヤは、最低品質のビデオデータを伝送する。１つまたは複数のエンハンスメントレイヤは、より高次の空間的、時間的またはSNRレベルをサポートするために、追加ビットストリームを伝送する。
ビデオ符号化器20およびビデオ復号器26は、MPEG-2、MPEG-4、ITU-T H.263またはITU-T H.264/MPEG-4パート10(AVC)のようなビデオ圧縮標準にしたがって作動することができる。図1には示されていないけれど、いくつかの態様において、ビデオ符号化器20およびビデオ復号器22は、それぞれオーディオ符号化器および復号器に統合されることができる。また、ビデオ符号化器20およびビデオ復号器22は、共通のデータストリームまたは個別のデータストリーム中のオーディオおよびビデオの両方の符号化を取り扱うために、適切なMUX-DEMUXユニット、または他のハードウェアおよびソフトウェアを含むことができる。適用可能な場合、MUX-DEMUXユニットは、ITUH.223マルチプレクサプロトコル、または他のプロトコル（例えばユーザデータグラムプロトコル(UDP)）に準拠することができる。
H.264標準は、ITU-Tビデオ符号化専門家グループおよびISO/IEC動画像専門家グループ（MPEG）によって、共同ビデオチーム(JVT)として知られる共同作業の成果物として開発された。H.264標準は、2005年3月付けのITU-T勧告H.264「一般的視聴覚サービスのための高度ビデオ符号化」において説明されている。これは、本件明細書において、H.264標準またはH.264仕様書、またはH.264/AVC標準または仕様書と呼ばれることがある。いくつかの態様において、この開示に説明される技術は、H.264標準に一般的に合致するデバイス、またはH.264標準に一般的に合致しないその他のデバイスに適用されることができる。
共同ビデオチーム(JVT)は、H.264/MPEG-4 AVCのスケーラブルビデオ符号化(SVC)エクステンションの作業を継続している。H.264/MPEG-4AVCおよびエボルビングSVCエクステンションの両方の仕様書は、共同ドラフト（JD）の形をとっている。JVTによって作成された共同スケーラブルビデオモデル(JSVM)は、スケーラブルビデオで使用されるツールを実装する。これは、この開示に記述される様々な符号化タスクのために、システム10の中で使用されることができる。SVCに関する詳細な情報は、共同ドラフト（JD）関連文書、その中でも特にJD7、すなわち、トマス・ウィーガント、ゲーリー・サリヴァン、ユリアヌス・ライヒェル、ハイコ・シュバルツおよびマサイアス・ウィーンによる「SVC修正(第2版)の共同ドラフト7」（JVT-T201r2）（2006年7月、クラーゲンフルト・オーストリア発行）の中に見出すことができる。
いくつかの態様において、ビデオ放送に関し、この開示は、技術標準TIA-1099（「FLO仕様書」）として近く公開される予定となっているフォワードリンクオンリー(FLO)のエアー・インターフェース仕様書「地上モバイル・マルチメディア・マルチキャストのためのフォワードリンクオンリー・エアー・インターフェース（TM3）」を用いた地上モバイル・マルチメディア・マルチキャスト・システムにおいて、リアルタイムビデオサービスを配信するための拡大H.264ビデオ符号化技術への適用を企図している。FLO仕様書は、ビットストリームのシンタックスおよびセマンティックスを規定する事例、およびFLOエアー・インターフェースにとって適切な復号プロセスを含んでいる。その代わりに、ビデオ
は、DVB-H(デジタルビデオ放送携帯機器)、ISDB-T(統合サービス・デジタル地上波放送)、またはDMB(デジタル・メディア放送)のような他の標準に準拠して放送されることも可能である。したがって、ある場合においては、ソースデバイス12は、無線通信デバイスハンドセット、ビデオストリーミングサーバ、またはビデオ放送サーバのような、移動体無線端末であることもできる。しかしながら、この開示において記述されている技術は、特定のタイプの放送、マルチキャストまたはポイント・ツー・ポイントのシステムになんら制限されるものではない。
ビデオ符号化器20およびビデオ復号器26は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェアまたはこれらのものの任意の組み合わせとして、実装されることができる。したがって、ここに記述されている技術は、１つまたは複数の集積回路デバイス−これらを全体として１つの集積回路デバイスと呼んでもよいが−の中で実装されることができる。そのような集積回路デバイスは、無線通信デバイスハンドセットのような通信デバイスの内部で提供されることができる。ビデオ符号化器20およびビデオ復号器26の各々は、１つまたは複数の符号化器または復号器の中に含まれもよく、その中のいずれかは、結合型符号化器/復号器（CODEC）の一部として、それぞれのモバイルデバイス、加入者デバイス、放送デバイス、サーバなどの中に集積化されることも可能である。さらに、ビデオソースデバイス12およびビデオ受信デバイス14は各々、無線通信をサポートするのに十分な無線周波数(RF)ワイアレス構成要素およびアンテナが適用可能な場合はこれらも含め、符号化されたビデオの送信および受信のための適切な変調、復調、周波数変換、フィルタリング、および増幅に係る構成要素も含むこともできる。ただし、例示の容易さのために、図1ではそのような構成要素は示されていない。
ビデオシーケンスは、一連のビデオフレームを含んでいる。ビデオ符号化器20は、ビデオデータを符号化するために、個々のビデオフレームの中のピクセルのブロック上で作動する。ビデオブロックは、固定サイズまたは変形サイズであってよく、またサイズは指定された符号化標準に応じて異なってもよい。一例として、ITU-T H.264標準は、様々なサイズのブロックにおいてイントラ予測をサポートするものであって、例えば、輝度成分については16×16、8×8、4×4、彩度成分については8×8をサポートし、それに加えて、インター予測についても、例えば、輝度成分について16×16、16×8、8×16、8×8、8×4、4×8、4×4、および彩度成分について対応するスケール化サイズのブロックにおいてサポートする。より小さなビデオブロックは、よりよい分解能を提供することができ、より高いレベルの詳細を含むビデオフレームのロケーションのために使用されることができる。一般に、マクロブロック、およびより小さな様々なブロックは、ビデオブロックであるとみなされてもよい。より小さなブロックは、サブブロックと呼ばれる場合もある。予測の後、8×8の残差ブロックまたは4×4の残差ブロックの上である変換が行なわれ、また、16×16のイントラ予測モードが使用される場合、輝度成分または彩度成分についての4×4ブロックのDC係数に対して追加の変換が適用されてもよい。
図2は、ビデオ符号化器20の一例を示すブロック図である。ビデオ符号化器20は、ビデオフレーム内のブロックのイントラ符号化およびインター符号化を行なってもよい。イントラ符号化は、空間予測を頼りにして、任意のビデオフレーム内のビデオ中の空間的冗長度を低減または削除する。インター符号化は、時間予測を頼りにして、隣接するフレーム内のビデオ中の時間的冗長度を低減または削除する。インター符号化のために、ビデオ符号化器20は、2つ以上の隣接するフレーム間でマッチしているビデオブロックの動きを追跡するために、動き推定を行なう。
図2に示されるように、ビデオ符号化器20は、符号化されるべきビデオフレーム内の現在のビデオブロック21を受信する。図2の例では、ビデオ符号化器20は、動き推定ユニット23、基準フレーム記憶装置25、動き補償ユニット27、ブロック変換ユニット29、量子化ユニット31、逆量子化ユニット33、逆変換ユニット35およびエントロピー符号化ユニット37を含んでいる。ビデオ符号化器20は、さらに合計器39および合計器41を含んでいる。図2は、ビデオブロックのインター符号化のための、ビデオ符号化器20の時間予測構成要素を例示する。例示の容易さのために図2には示されていないけれど、ビデオ符号化器20は、いくつかのビデオブロックのイントラ符号化のための空間予測構成要素をさらに含むこともできる。
動き推定ユニット23は、ビデオブロック21を、１つまたは複数の隣接するビデオフレームの中のブロックと比較し、そのことによって１つまたは複数の動きベクトルを生成する。隣接する1つまたは複数のフレームは、基準フレーム記憶装置25から検索されることができる。動き推定は、可変サイズのブロック、例えば16×16、16×8、8×16、8×8、またはより小さなブロックサイズのブロックについて、実行されることができる。動き推定ユニット23は、例えばレート歪みモデルに基づいて、現在のビデオブロック21と最も緊密に一致する隣接フレーム中のブロックを識別し、およびブロック間の動きのずれを決定する。これをベースにして、動き推定ユニット23は、動きのずれの大きさおよび軌線を示す動きベクトルを生成する。
動きベクトルは、1/2ピクセル位置、または1/4ピクセル位置、もしくはさらに細かいピクセル位置を持っていて、そのことによって、ビデオ符号化器20は、整数ピクセル位置より高精度の動きを追跡し、よりよい予測ブロックを得ることができる。分数ピクセル値を備えた動きベクトルが使用されるとき、動き補償ユニット27において補間操作が実行されることができる。例えば、AVC/H.264標準では、1/2ピクセル位置で輝度信号を得るために、係数(1、-5、20、20、-5、1)/32を備えた6タップのウィーナー（Wiener）フィルタが使用されることができる。1/4ピクセル位置で輝度信号を得るために、整数ピクセル位置における値および1/2ピクセル位置における補間された値に対して、バイリニアフィルタリングが使用されることができる。バイリニアフィルタは、彩度成分についての分数ピクセル補間においても使用されることができる。それは、1/8までのピクセル精度を持つことができる。
動き推定ユニット23は、レート歪みモデルを使用して、ビデオブロックのための最良の動きベクトルを識別する。結果の動きベクトルを使用して、動き補償ユニット27は、動き補償によって予測ビデオブロックを形成する。ビデオ符号化器20は、合計器39においてオリジナルの、現在のビデオブロック21から、動き補償ユニット27によって生成された予測ビデオブロックを引くことによって、残差ビデオブロックを形成する。ブロック変換ユニット29は、残差ブロックに変換を適用する。量子化ユニット31は、さらにビットレートを低減するために、その変換係数を量子化する。エントロピー符号化装置37は、もっとさらにビットレートを低減するために、その量子化後の係数に対してエントロピー符号化を適用する。ビデオ復号器26は、符号化されたビデオを復元するために、逆の操作を行なうことができる。
逆量子化ユニット33および逆変換ユニット35は、残差ブロックを復元するために逆量子化および逆変換をそれぞれ適用する。合計器41は、基準フレーム記憶装置25の中に記憶される復元ビデオブロックを生成するために、動き補償ユニット27によって生成された動き補償予測ブロックに、前記復元済み残差ブロックを加算する。後続ビデオフレーム中のブロックを符号化するために、復元済みビデオブロックは、動き推定ユニット23および動き補償ユニット27によって使用される。
現在のビデオフレーム21の任意のブロックについて動き補償を行なうとき、動き補償ユニット27は、基準フレームから基準ブロックを補間するために、フィルタの固定セットを使用することができる。現在のブロックが一方向的に予測される場合、1つの基準ブロックが必要とされ、または現在のブロックが二方向的に予測される場合、2つの基準ブロックが必要とされる。H.264では、順方向および逆方向の複数の基準フレームが使用される場合もある。動き補償ユニット27において実際に使用されるフィルタは、動きベクトルの分数部分に依存する。例えば、動きベクトルが任意の次元において基準フレーム中の1/2ピクセル位置を指す場合、当該1/2ピクセル位置の値を得るために、(1、-5、20、20、-5、1)/32のような6タップ・フィルタが、1/2のピクセル動きベクトルとともに、その次元で使用される。動きベクトルの両方の成分が整数位置を指す場合、基準フレーム記憶装置25中の基準フレームからのピクセル値は、なんら補間フィルタリング操作を行なうことなく、直接的に使用されることができる。
図3は、異なる動きベクトルを備えたブロックによる予測ブロックの形成を例示するブロック図である。図3の例において、8×16予測ブロック43は、基準フレーム49からの2つの8×8サブブロック45、47によって形成される。その各々は、異なる動きベクトル(MV)を備えている。例えば、8×8ブロック45は、(0,-6)のサブブロック動きベクトルを有し、および8×8サブブロック47は、(-2,-6)のブロック動きベクトルを有している。
上で論じたように、復元済みビデオブロックは、動き補償ユニット27によって生成された動き補償予測ビデオブロックと、逆量子化ユニット33および逆変換ユニット35によって生成された復元済み残差ブロックとの和を取ることによって形成される。必要な場合には、追加のクリッピング操作が行なわれる。復元済みブロックは、その後、将来の予測の使用のために、基準フレーム記憶装置25に記憶される。復元済みブロックは、予測ビデオブロックを生成するために直接使用されるとき、量子化雑音および余計な人工物を含む可能性がある。
予測ビデオブロックに平滑化操作を適用することは、そのような人工物の問題を緩和することができる。また、予測ビデオブロックは、例えば、図3に示されているように、異なる動きベクトルで動き補償されるサブブロックによって形成されることができる。したがって、これらのサブブロックの境界に沿って不連続性が存在する可能性がある。ループ内のデブロッキングフィルタ（例えば、AVC/H.264の中にあるような）は、当該でブロックイングフィルタ・パラメータが動き情報に依存する場合、復元済みブロック内の不連続問題を緩和することができる。しかしながら、デブロッキングフィルタは、高い計算複雑性を有する可能性がある。さらに、H.264の中にあるようなデブロッキングフィルタは、将来のフレームがよりよく予測されるようにフレームを変更する代わりに、現在のフレームの映像品質を改善するために設計されている。それゆえ、例えば低域通過フィルタを通じて、動き補償から得られる予測ブロックに平滑化操作を適用することは、現在のブロックについてよりよい予測を提供することができる。
追加の平滑化フィルタリングを適用することは、個々の予測ブロックに存在し得る雑音の性質および大きさに依存して、有益であったり、そうでなかったりする。基準フレーム内のオブジェクトと現在のフレーム内のオブジェクトは異なる空間的変換を受けるかもしれないので、基準ブロックが現在のブロックに一層緊密に一致するように基準ブロックを変えるために平滑化フィルタを適用する場合も、これ（追加の平滑化フィルタリングが有益であったり、なかったりすること）は、真実である。したがって、平滑化は、ブロックの実際の内容の関数として符号化プロセスに異なる影響を及ぼすことができる。
本開示の様々な態様にしたがって、正規のまたはフィルタされた(平滑化された)予測ブロックが使用されるべきかどうかを適応的に決定することができる。正規の予測ブロックの使用は、第1のフィルタモードによる動き補償の適用を含むことができる。適切な動きベクトルが分数ピクセル値を指定する場合、第1のフィルタモードは、補間フィルタの適用を含むことができる。予測ブロックの平滑化は、第2のフィルタモードによる追加フィルタの適用を必要とする。フィルタモード決定は、符号化されたビデオビットストリーム中で符号化されて送信されることができる。その代わりに、受信ビデオの統計および/または特性を使用して、ビデオ復号器においてフィルタモード決定を推論することもできる。
いくつかの事例において、予測ブロックの平滑化のための低域通過フィルタのような追加フィルタは、表示装置28における表示の際、デジタルビデオの結果の映像品質を改善することができる。例えば、3タップ[1、2、1]フィルタのような平滑化フィルタの適用は、量子化雑音と、予測フレームの中で生じる人工物の数とを低減することができる。また、この平滑化フィルタの適用は、基準フレームと現在のフレームとが互いによりよく一致するように、モーションブラー（motion blur）の効果を生むことができる。
システム10は、予測ブロックを生成するために補償された動きの適応フィルタリングをサポートするように構成されることができる。それは、映像品質および処理効率の両方を改善する。例えば、ビデオ復号器26は、追加フィルタリングのない第1のフィルタモードまたは追加フィルタリングのある第2のフィルタモードのいずれかを適用するように、動き補償を適応的に調節することができる。フィルタモードは、ブロックごと、マクロブロックごと、スライスごと、またはフレームごとをベースとして、適応させられることができ、またビデオフレーム中の符号化された信号か、またはビデオ信号の１つまたは複数の特性の分析かに基づいてなされてもよい。ある場合において、ビデオ復号器26は、複雑度のさらなる低減を目的として、動き補償フィルタと平滑化フィルタとをカスケード方式で適用するのではなく、両フィルタを結合して適用することができる。
図4は、予測ブロックを生成する適応フィルタリングをサポートするように構成されたビデオ復号器26aの一例を示すブロック図である。図4の例では、ビデオ復号器26aは、ビデオビットストリーム中の符号化されたフィルタモード信号によって示されるフィルタモード決定に基づく適応フィルタリングを実装している。図4に示されるように、ビデオ復号器26Aは、動き補償モジュール30、エントロピー復号モジュール32、逆量子化モジュール34、逆変換モジュール36、合計器S1、デブロッキングフィルタ38、基準フレーム記憶装置40、動き補償ユニット42、平滑化フィルタ44および制御モジュール46を含んでいる。
第1のフィルタモードにおいて、ビデオ復号器26Aは、正規の動き補償を行なう。それは、分数ピクセル値についての補間フィルタリングを含むことができる。第2のフィルタモードにおいて、ビデオ復号器26Aは、追加フィルタリングを備えた動き補償を行なう。平滑化フィルタ44は、第2のフィルタモードに適用されるべき典型的な追加フィルタを表している。しかしながら、本開示は、平滑化フィルタ44に限られるべきではなく、異なるフィルタリング特性を具備する他の追加フィルタを含むこともできる。図4には示されていないものの、ビデオ復号器26Aは、イントラ符号化（I）ブロックの復号もサポートする。しかしながら、図示の容易さのために、図4は、インター符号化（PまたはB）ブロックの復号に焦点を当てている。
図4の例において、エントロピー復号モジュール32は、符号化されたビデオにエントロピー復号を適用して、量子化された変換係数と、動きベクトルと、フィルタモード信号とを生成する。逆量子化モジュール34および逆変換モジュール36は、変換係数を残差ブロック情報に変換する。動き補償モジュール30は、合計器S1によって図示されているように、残差ブロック情報と合計される予測ブロックを形成する。デブロッキングフィルタ38は、「ブロック状」人工物を除去するために、結果の合計ブロックをフィルタする。「ブロック状」人工物は、下位のビットレートでしばしば生じる。例示的な逆量子化、逆変換およびデブロッキングフィルタ技術は、H.264/MPEG-4パート10AVC標準に記述されている。ただし、本開示において説明されている技術は、その他のビデオ圧縮標準または技術と共に使用されることもできる。デブロッキングフィルタ38によってフィルタされたビデオフレームは、基準フレーム記憶装置40に記憶される。基準フレーム記憶装置40は、さらなる予測に使用される基準フレームを記憶することができるメモリを含んでもよい。
動き補償モジュール30は、動き補償ユニット42を含む。それは、予測ブロックを生成するために、エントロピー復号モジュール32から動きベクトルを受け取り、基準フレーム記憶装置40から基準フレームを受信する。例えば、動き補償ユニット42は、一致するブロックを選択するために基準フレームに動きベクトルを適用し、合計器S1によって図示されているように、逆変換モジュール36によって生成される残差情報と合計するために予測ブロックとして選択されたブロックを提供する。動き補償ユニット42は、基準フレーム中のブロックから予測ブロックを生成するために補間フィルタを適用する場合がある。例えば、分数ピクセル位置でビデオデータを得るために、動き補償ユニット42は、補間フィルタを含むことができる。したがって、第1のフィルタモードにおいては、適用可能な動きベクトルが整数ピクセル値を指すか、または分数ピクセル値を指すかに依存して、補間フィルタリング有り、または無しで正規の動き補償が行なわれる。動き補償モジュール30は、第1のフィルタモードにおいて予測ブロックを直接提供するか、または第2のフィルタモード44において予測ブロックに平滑化フィルタ44を適用することができる。したがって、第2のフィルタモードは、第1のフィルタモードと実質的に同じものであるが、平滑化フィルタ44または他のフィルタが追加されている。
制御モジュール46は、エントロピー復号モジュール32からフィルタモード信号を受信し、および動き補償モジュール30内のスイッチ50を制御することによって、追加の平滑化フィルタ44が適用されない第1のフィルタモードか、または動き補償ユニット42によって生成された予測ブロックに対して、追加の平滑化フィルタ44が適用される第2のフィルタモードのいずれかを選択する。制御モジュール46は、符号化器が第1のフィルタモードを示しているか、または第2のフィルタモードを示しているかを決定するために、復号されたビットストリームからフィルタモード信号を取り出して、適切なフィルタモード決定を下す。
第1のフィルタモードまたは第2のフィルタモードの選択は、例示のためにスイッチ50によって表わされているが、その選択は、ソフトウェア機能によるものであってもよく、実際のスイッチによって実現される必要はない。加えて、制御モジュール46は、図4の例のエントロピー復号されたビットストリームからフィルタモード信号を取り出しているが、フィルタモード信号は、逆量子化または逆変換の前または後に、復号されたビデオ信号の統計および/または特性から決定されてもよい。
エントロピー復号モジュール32は、動きベクトルを動き補償ユニット42に送信し、動き補償ユニット42は、基準フレーム記憶装置40に記憶されている基準フレームから予測ブロックを生成するために、動き補償技術を実行する。上で説明されたように、平滑化フィルタ44は、この開示の原理にしたがって適応的に適用され得る追加フィルタの一例である。ビデオ復号器26Aは、いくつかの態様において、予測フレームのブロックレベルで、平滑化フィルタ44をフィルタモード決定に基づいて適応的に適用することができる。言いかえれば、符号化器20は、フィルタモード信号をブロックごとのベースで調節することができる。その代わりに、フレームごと、スライスごと、またはマクロブロックごとのベースでフィルタモード信号を調節することもできる。要するに、動き補償モジュール30は、フレーム、スライス、マクロブロック、またはブロックのレベルで平滑化フィルタ44を適応的に適用することができるということである。
ビデオ符号化器20は、符号化対象のデジタルビデオの１つまたは複数の特性の分析に基づいてフィルタモード決定を生成することもできる。使用されるべきフィルタモードを決定するために、予測ブロックの特別の統計が使用されることができる。例えば、予測ブロック中の低域通過周波数成分および高域通過周波数成分の量がフィルタモードを引き出すために使用されてもよい。予測ブロック中に大量の高域通過周波数成分が存在している場合、例えば平滑化を提供するために、第2のフィルタモードが適用されるかもしれない。その代わりに、予測ブロック中の高周波成分の量が大きくない場合、第1のフィルタモードが適用されるかもしれない。予測ブロックおよび/または近傍のビデオブロックのその他の統計または特性が使用されてもよい。例えば、予測ブロックが動き補償の間に小さな(例えば4×4の)ブロック区分によって形成されている場合、第2のフィルタモードが適用されてもよい。そうではなくて、予測ブロックが小さなブロック区分によって形成されていない場合、第1のフィルタモードが適用されてもよい。
フィルタモード信号が符号化済みビットストリームの中で送信されない場合、復号器側の制御モジュール46は、上で説明されたようなソースデバイス12の符号化器がビデオ符号化の際にフィルタモードを決定するために使用し得たものと実質的に同じ統計および/または特性を使用して、チャネル16を介して受信された符号化されたビデオの分析に基づいて、フィルタモード信号を推論することができる。したがって、復号器26Aは、符号化器と同じように、高周波成分および低周波成分の存在を決定するために、および/または予測ブロックが小さなブロック区分から構成されているかどうかを決定するために、予測ブロックを分析することができる。このことをベースとして、復号器26は、符号化器と実質的に同じやり方で適切なフィルタモードを選択する。一般に、符号化器20と復号器26とは、同じ情報を使用し、同じロジックに従うことによって、復号器中のドリフトを防ぐためのフィルタモードを引き出すことができる。
図5は、ビデオ復号器26Bの他の例示的態様を示すブロック図である。ビデオ復号器26Bは、図4のビデオ復号器26Aと実質的に同じものであってもよい。しかしながら、相違点として、ビデオ復号器26Bは、正規の動き補償に関連する補間フィルタリングと追加の平滑化とを結合する平滑化動き補償モジュール52をさらに含んでいる。制御モジュール46が第1のフィルタモードを示すフィルタモード決定を生成するとき、動き補償モジュール30は、追加フィルタリングなしで予測ブロックを生成するために、動き補償ユニット42を選択する。この場合、動き補償ユニット42は、正規の動き補償を行なう。このことは、分数ピクセル精度を有する動きベクトルについて補間フィルタリングを行なうことを含んでいてもよい。しかしながら、制御モジュール46が第2のフィルタモードを示すフィルタモード決定を生成するとき、動き補償モジュール30は、平滑化動き補償フィルタ52を選択する。したがって、制御モジュール46は、正規の予測ブロックが使用されるべきか、または平滑化予測ブロックが使用されるか選択する。
実際、平滑化動き補償フィルタ52は、動き補償ユニット42の特徴と平滑化フィルタの特徴とを結合することができる。このようにして、第2のフィルタモードにおいて、平滑化は、カスケード方式ではなく、補間フィルタリングとの結合によって適用されることができる。2つ以上のフィルタモジュールではなくて、１つのフィルタモジュールを使用することによって、処理の複雑度が低減されることができる。分数ピクセル位置でビデオを得るために、動き補償ユニット42は、補間フィルタの機能性を含むことができる。平滑化フィルタのような追加フィルタが適用されるとき、その追加フィルタは、動き補償ユニット42の補間フィルタとの結合によって、平滑化動き補償フィルタ48を形成し、そのことによってシステムの複雑度を低減することができる。平滑化動き補償モジュール52は、以下で説明する複数の仮定と近似とに基づいて、動き補償ユニット42の機能性と平滑化フィルタとを結合している。
補間フィルタと平滑化フィルタとのこの結合を見る代替的な見方は、平滑化予測ブロックが生成されることになっているとき、第2のフィルタモードにおいて、動き補償モジュール30が異なる、修飾フィルタ、すなわち平滑化動き補償フィルタ52を起動するという見方である。言いかえれば、S(MC(基準ブロック、動きベクトル)を生成するための平滑化フィルタSと動き補償MCとのカスケードは、S(MC())の数学的近似である結合型フィルタMC’(基準ブロック、動きベクトル)で置換されるということである。
この数学的近似は、平滑化が望まれるとき、第2のフィルタモードにおける適用のために、平滑化動き補償フィルタ52の中で具体化されることができる。平滑化動き補償フィルタ52のMC’内で使用されるフィルタを形成する方法の一例は、H.264/AVCのスケーラブルビデオ符号化(SVC)エクステンションのフレームワークから引き出されることができる。動き補償予測に追加フィルタリングを行なう本アプローチは、本件明細書では適応動き補償と呼ばれることがある。ある場合において、フィルタモード信号は、H.264/AVC標準中で指定された「smoothedPred」フラグであってもよい。特に、制御モジュール46は、「smoothedPred」フラグのステータスをフィルタモード決定の表示として解釈することができる。
図6-8は、平滑化動き補償フィルタ52の一例を引き出すためのコンテキストを例示している。しかしながら、本技術は、この例示的な導出に限られるべきでなく、上で議論された一般的フレームワークに適用されることができるものである。平滑化動きフィルタ52は、図6に関連して以下で議論される平滑化動きフィルタと実質的に同じものであってもよい。
図6は、ビデオ復号器26Cの他の例を示すブロック図である。図6において、ビデオ復号器26Cは、スケーラブルビデオ符号化(SVC)をサポートするように構成されることができる。一例として、ビデオ復号器26Cは、H.264/MPEG-4パート10AVCのSVCエクステンションに準拠するものであってもよい。ビデオ復号器26Cは、図5のビデオ復号器26Bと実質的に同じものであってもよいが、SVCをサポートするようにさらに構成されることもできる。図5の例のように、図6の例のフィルタモード信号は、H.264/MPEG-4パート10 AVC標準中で指定されている「smoothedPred」フラグであってもよい。この例において、制御モジュール46は、「smoothedPred」フラグのステータスをフィルタモード決定の指示として解釈することができる。図6の例では、以下でより詳細に説明されるように、ビデオ復号器26C は、AVC/H.264のSVCエクステンションに準拠する「ResPred」フラグを入力として受信することができるスイッチ54の機能性をさらに含んでいる。
ISO/IEC MPEGおよびITU-T VCEGからのビデオ符号化専門家から成る共同ビデオチーム(JVT)は、現在、H.264/AVCのSVCエクステンションに取り組んでいる。JSVM(共同スケーラブルビデオモデル)と呼ばれる共通ソフトウェアが参加者によって使用されている。JSVMは、結合されたスケーラビリティをサポートする。ビットストリームは、SNRスケーラビリティ、ファイン・グラニュラリティ・スケーラビリティ（FGS）、空間スケーラビリティおよび時間スケーラビリティを有することができる。空間スケーラビリティによって、ビデオ復号器26C は、SVCビットストリームからエンハンスメントレイヤのビットストリームを復号することによって、高い空間解像度のビデオ信号（例えば、4分の1共通中間フォーマット（QCIF）ではなくて、共通中間フォーマット(CIF)の信号）を復元し、表示することが可能になる。
SVCは、符号化効率を改善するための多数のインターレイヤ予測技術をサポートする。例えば、エンハンスメントレイヤのマクロブロックを符号化するとき、ベースレイヤまたは前のレイヤからの対応するマクロブロックモード、動き情報、および残差信号を使用することができる。特に、マクロブロック（MB）レベルのシンタックス要素として、「Blskip」フラグが加えられる。現在のMBがインターMBであって、「Blskip」フラグが1にセットされている場合、エンハンスメントレイヤMBは、対応するベースまたは前のレイヤMBから、MBモード、動きベクトル、および参照ピクチャインデックスを継承するであろう。
空間スケーラビリティが使用されるとき、エンハンスメントレイヤは、ベースまたは前のレイヤビットストリームより高次の空間分解能のビデオ信号を表わす。この場合、ベースまたは前のレイヤMBの情報は、インターレイヤ予測の中で使用される前にアップサンプルされる。一例として、空間スケーラビリティのファクターが2:1(二項空間スケーラビリティ)であるとき、ベースまたは前のレイヤMBの情報は、各次元において2のファクターによりアップサンプルされる。ベースまたは前のレイヤMBがMODE_8×8(4つの8×8ブロックを備えたインター予測マクロブロック)を有する場合、アップサンプルされたビデオ信号は、対応する位置でMODE_16×16を備えた4 つのマクロブロックを有するであろう。
他のインターレイヤ予測方法、残差予測も、SVCの中でサポートされる。ベースまたは前のレイヤの中のいくつかの残差ブロックは、対応するエンハンスメントレイヤ残差ブロックに関連づけられることができる。これらのブロックに関し、残差予測の適用は、エンハンスメントレイヤ残差エネルギーを削減し、符号化効率を改善することができる。SVCにおいて、残差予測が使用されるかどうかは、1ビットのフラグ「ResPred」を使用して示される。「BLskip」のように、「ResPred」もマクロブロックレベルのシンタックス要素として符号化される。「ResPred」=1の場合、エンハンスメントレイヤ残差は、当該残差からベースまたは前のレイヤ残差ブロックを引いた後に符号化される。
それゆえ、エンハンスメントレイヤを適切に符号化するために、ビデオ復号器26Cは、エンハンスメントレイヤにベースまたは前のレイヤ残差ブロックを加算することができる。図6に関し、例えば、「ResPred」=1の場合、スイッチ54は、エンハンスメントレイヤ残差(図6の中の「残差」)と予測ブロック(図6の中の「予測」)とを合計する合計器S1にベースまたは前のレイヤ残差（図6の中の「ベースレイヤ残差」)を供給する。SVCコンテキストとは対照的に、図5は、類似の技術を示しているが、この合計器にベースレイヤ残差を供給するスイッチ58の表現は、含まれていない。しかしながら、図4のスイッチ50と同様に、スイッチ54は、ただ例示目的のためのものであって、ベースレイヤ残差を提供するべきかどうかの選択は、ソフトウェアによる機能であってもよく、実際のスイッチによって実現される必要はない。
空間スケーラビリティが使用される場合、ベースまたは前のレイヤ残差信号は、インターレイヤ予測の中で使用される前にアップサンプルされる。二項空間スケーラビリティの場合、SVCは、残差信号をアップサンプルするためにバイリニアフィルタを使用する。SVCの中で使用されるインターレイヤ予測についてのさらなる詳細は、例えば、トマス・ウィーガント、ゲーリー・サリヴァン、ユリアヌス・ライヒェル、ハイコ・シュワルツおよびマサイアス・ウィーン「SVC修正(第2版)の共同ドラフト7」(JD7)（JVT-T201r2、2006年7月、クラーゲンフルト・オーストリア）の中に見出すことができる。
空間スケーラビリティについての符号化効率をさらに改善することを目的として、残差予測に基づいて、平滑化基準（SR）と呼ばれる技術がビデオ復号器において適用されることができる。SR技術の一例は、ウージン・ハン「平滑化基準による修飾イントラBL設計」（JVT-R091r1、2006年1月、バンコク・タイ発行）に記述されている。本開示において説明されているように、動き補償予測ブロックの適応フィルタリングをサポートするビデオ符号化技術は、SR技術に似てはいるが著しく低い複雑度を伴った符号化利得を達成することができる。コンテキストに関し、SVCエンハンスメントレイヤ符号化における平滑化基準（SR）の適用を例示するブロック図である図7に関連して、SR技術の一例が下記において説明される。
平滑化動き補償フィルタ52の例示的実装の導出が、本開示のある態様にしたがって、H.264/MPEG-4パート10 AVC標準を参照して、次に説明される。第1に、次の方程式(1)は、H.264/MPEG-4パート10 AVC標準のSVCエクステンションの平滑化基準操作を部分的に説明する。
O−S(P+UR(Rb)) 式(1)
ここにおいて、Oは現在の符号化レイヤの中のオリジナルのブロックを表わし、Sは平滑化フィルタの適用を表わし、Pは予測ブロックを表わし、URは現在のレイヤとベースまたは前のレイヤとの間のアップサンプリング操作を表わし、およびRbは復元済み残差ブロックを表わす。本開示にしたがって、方程式(1)は、典型的な数学的演算によって以下のように単純化され、 次の方程式(2)を生じる。
O−S(P)−S(UR(Rb)) 式(2)
アップサンプルされた復元済み残差ブロックを平滑化することの効果、すなわち方程式(2)のS(UR(Rb))の部分は、映像品質になんらかの改善があったとしても、しばしば少量しか出さないということに注目すると、方程式(2)は、下記の方程式(3)のように、さらに単純化される。SRプロセスからの実行利得は予測信号Pのみを平滑化することによって保持されることができるということが実験的に観察されている。したがって、S(UR(Rb))はUR(Rb)として適切に表わされることができるという仮定に基づいて、以下の方程式(3)が結果として導かれる。
O−S(P)−UR(Rb) 式(3)
上記の方程式(3)によれば、SVCの中の平滑化基準は、図4のビデオ復号器26Aの例示的な態様中で示される一層一般的なフレームワークの中の特別なケースと考えられることができる。カスケードされた動き補償MC()と平滑化S()とを適用するSR技術とは反対に、平滑化動き補償フィルタ52は、本明細書において平滑化動き補償と呼ばれる修飾動き補償MC’()をサポートするように構成されることができる。
図7は、SVCエンハンスメントレイヤ符号化における平滑化基準（SR）プロセスの例示的適用を例示するブロック図である。より詳細には、図7は、エンハンスメントレイヤ（レイヤN）内の前方向基準フレーム51A 、現在のフレーム51Bおよび後方向基準フレーム51C、ならびにベースまたは前のレイヤ(レイヤN-1)内の前方向基準フレーム53A、現在のフレーム53Bおよび後方向基準フレーム53Cを含むビデオ復号器中の動き補償プロセスを示している。図7は、双方向予測を例示している。しかしながら、1方向の予測が使用されてもよい。
第1に、「ResPred」フラグおよび「Blskip」フラグの両方がエンハンスメントレイヤ中で任意のMB 55Bのためにセットされるとき、追加のフラグ「SmoothedRef」が符号化器20によって送られる。「SmoothedRef」=1のとき、ベースまたは前のレイヤ（レイヤN-1）内の対応するマクロブロック57Bからのおそらくアップサンプルされた動きベクトルUmv(MVb)が、エンハンスメントレイヤ（レイヤN）の現在のビデオブロック55Bを符号化するために使用される。ここで、Umv()は動きベクトル上のアップサンプリング操作である。このステップは、図7のブロック図において、「動き再使用」59A、59Bとして示されている。もしエンハンスメントレイヤの分解能がベースレイヤの分解能と同なら、Umv(MVb)=MVbである。代替的に、アップサンプリング操作Umv()がベースレイヤ(または前のレイヤ)の空間分解能から適用可能なエンハンスメントレイヤの分解能にアップサンプルするのに必要とされる。
第2に、動き再使用操作59A、59Bにおいて導出された動き補償ベクトルを使用して、正規の動き補償フィルタリング68を備えた動き補償によって予測ブロック(P)61が生成される。第3に、ベースまたは前のレイヤ(レイヤN-1)からの対応する復元済み残差ブロック57B(Rb)は、UR(Rb)を得るためにアップサンプルされる。ここで、UR()は、残差上のアップサンプリング操作である。復元済み残差ブロック57Bは、ベースまたは前のレイヤN-1の基準フレーム53A、53C内の対応ブロック57A、57Cを指す動きベクトルから得られる。空間スケーラビリティが使用されない場合、UR(r)=rである。アップサンプルされたブロックUR(Rb)は、予測ブロック61(P)に加算される。この加算が起きるのは、「ResPred」フラグがセットされるからであって、そのフラッグがセットされることによって、ベースレイヤ残差（この具体例では、それはアップサンプルされたブロックUR(Rb)である）を合計器S1に提供することを図6のスイッチ54のようなスイッチにさせるからである。
第4に、平滑化フィルタ63(S)は、平滑ブロック65(S(P+UR(Rb)))を得るためにブロックP+UR(Rb)に適用される。一例として、係数[1、2、1]を備えた3タップ低域通過フィルタが平滑化フィルタ63として使用されてもよい。マクロブロック(MB)は、最初水平方向にフィルタされ、次に垂直方向にフィルタされる。第5に、予測残差の差O-S(P+UR(Rb))(Oは現在のレイヤ（レイヤN）中のオリジナルのブロックである)は、変形、量子化およびエントロピー符号化67のような典型的なステップにおいて符号化される。SVCにおけるような、SRプロセスは、高い複雑度を必要とする可能性がある。SRは、動き補償において使用される任意の分数ピクセル補間フィルタの上に追加フィルタ（例えば平滑化フィルタ63）を加える。このことは、非常に高い計算複雑性をもたらすかもしれない。
異なる予測ブロック、任意の異なる量および雑音タイプについて、追加の平滑化フィルタがつねに必要というわけではない。この開示のさまざまな態様にしたがって、正規の予測ブロックが使用されるべきか、それともフィルタされた(平滑化された)予測ブロックが使用されるべきか、適応的に決定することが可能である。正規の予測ブロックの使用は、第1のフィルタモードによる動き補償の適用を含んでもよい。適切な動きベクトルが分数ピクセル値を指定する場合、第1のフィルタモードは、補間フィルタの適用を含んでもよい。予測ブロックの平滑化は、第2のフィルタモードによる追加フィルタの適用を含んでもよい。この開示において説明されているように、第1または第2のフィルタモードの選択は、フィルタモード決定に基づいてなされることができる。第1または第2のフィルタモードのいずれかを選択的に適用することによって、いくつかのブロックについては計算複雑性を低減することができる。
図8は、SVCエンハンスメントレイヤ符号化において適応動き補償を使用する平滑化基準（SR）プロセスの例示的適用を示すブロック図である。より詳細には、図8は、エンハンスメントレイヤ（レイヤN）の前方向基準フレーム51A 、現在のフレーム51Bおよび後方向基準フレーム51C、ならびにベースまたは前のレイヤ(レイヤN-1)の前方向基準フレーム53A、現在のフレーム53Bおよび後方向基準フレーム53Cを含むビデオ復号器中の他の動き補償プロセスを示している。図8は、双方向の予測を例示している。しかしながら、1方向の予測が使用されてもよい。図8に示される動き補償プロセスは、図7に示される動き補償プロセスと実質的に同じものであってもよい。しかしながら、図8においては、動き補償プロセスは、適応動き補償(MC)フィルタリング69を具備し、これは、図7の正規の動き補償フィルタリング68および平滑化フィルタ63を置換している。
上で説明されたように、適応動き補償フィルタリング69は、2つのフィルタ、例えば補間フィルタと平滑化フィルタとの結合を表わす異なるフィルタを適用することができる。適応動き補償フィルタによって提供される異なるフィルタは、例えば、図5または図6の事例における平滑化動き補償フィルタ52のように使用されることができる。数学的にいうと、図8の例では、S(MC(基準ブロック、動きベクトル))を生成する平滑化フィルタ63と正規の動き補償フィルタリングとのカスケードが、結合型フィルタMC’（基準ブロック、動きベクトル）またはS(MC())の数学的近似である高度動き補償フィルタリング69、またはカスケードされた正規の動き補償フィルタリング68および平滑化フィルタ63に置換されている。 これらの2つのフィルタの適用を結合することによって、ビデオ復号器の複雑度を低減するとともに、それにもかかわらず、図7に関連して上で生成された同じ予測視覚的ブロックと同等またはそれ以上の映像品質の予測ビデオブロックをおそらく生成することができる。
平滑化動き補償フィルタ52を適用する適応動き補償フィルタ69は、例示的なケース、二項空間スケーラビリティについての考察を通じて以下においてさらに説明される。二項空間スケーラビリティにおいて、ベースまたは任意の前のレイヤ内の1/4ピクセル動きベクトルは、エンハンスメントレイヤにおいて1/2ピクセル動きベクトルになるためにアップサンプルされる。1/2ピクセル精度の動きベクトルに関し、H.264/MPEG-4パート10AVCおよびSVC動き補償プロセスMC()において6タップ・フィルタが使用される。
図9は、輝度1/2ピクセル補間のための一次元の6タップ・フィルタの一例を示すブロック図である。図9において、灰色の箱は、整数ピクセル位置を表わし、黒色の箱は、1/2ピクセル位置を表わし、白色の箱は、1/4ピクセル位置を表わしている。a、bおよびcによって表示される1/2ピクセル位置を補間するために、次の方程式(4)が使用されることができる。
a = (A-5*B+20*C+20*D-5*E+F+16)>>5
b = (B-5*C+20*D+20*D-5*F+G+16)>>5
c = (C-5*D+20*E+20*F-5*G+H+16)>>5 式 (4)
ここで、A、B、C、D、E、F、GおよびHは、整数ピクセル位置を表わす。
SVCエクステンションの中で定義されている通常の[1、2、1]フィルタの代わりに係数[1、4、1]を備えたわずかに異なる平滑化フィルタが使用されると仮定すると、中央の1/2ピクセル位置、すなわちbに関する方程式は、次のような方程式(5)になる。
b’ = (a+4*b+c+3)/6
= (A-B+C+95*D+95*E+F-G+H+16+96)/192
= 約（D+E+1）>>1 式(5)
上記の方程式(5)および下記の方程式(6)および(7)において、一般性を失うことなく議論を単純にするために、四捨五入による相殺は省略されている。実際の実装では、四捨五入による相殺は、方程式(5)-(7)の各々において割り算が行なわれる前に使用されることができる。方程式(5)は、結果として、複雑度の低い２タップ・フィルタ：(D + E)/2になる。この２タップ・フィルタは、1/2ピクセル補間のための結合型平滑化動き補償フィルタMC’()において使用されることができる。整数ピクセル動きベクトルについては、平滑化動き補償フィルタMC’()は、平滑化効果を得るために、3タップ[1、2、1]平滑化フィルタを適用することができる。このようにして、MC’()において使用されるフィルタ、すなわち平滑化動き補償フィルタ52、の複雑度は、追加の平滑化操作、すなわち平滑化フィルタ44、とカスケードされる通常の動き補償フィルタMC()、すなわち動き補償ユニット42内の動き補償フィルタの結合複雑度に比べて、著しく小さくすることができる。要約すると、平滑化動き補償モジュール52内の平滑化動き補償フィルタMC’()は、次のフィルタ機能を提供するように構成されることができる。
(1) ベース動きベクトル(アップサンプリング後)の両方の成分（垂直および水平）が整数精度を有している場合、平滑化フィルタは、垂直および水平方向に適用される。
(2) ベース動きベクトルの1つの成分が整数精度を有し、他方の成分が分数（例えば1/2）ピクセル精度を有している場合、先に1/2ピクセル成分についてバイリニアフィルタのような2タップ・フィルタによる補間が実行され、それと同時に平滑化フィルタが他の次元において他の成分に対して適用される。
(3) ベース動きベクトルの両方の成分が分数ピクセル精度を有している場合、２タップ・フィルタを備えた補間が両方の次元（垂直、水平）において実行される。
SVCは、エクステンション空間スケーラビリティ(ESS)をさらにサポートすることができる。ここで、ベースレイヤのビデオ次元とエンハンスメントレイヤのビデオ次元との間のスケーリングファクタは、任意に決めることができる。ESSについては、ベースまたは前のレイヤ動きベクトルは、スケーリングファクタによってアップサンプルされ、直近の1/4ピクセル位置に四捨五入されることができる。1/4ピクセル精度の動きベクトルについては、補間の際、バイリニアフィルタが使用されることができる。上記の方程式(5)と同じように、MC’()におけるバイリニアフィルタとS()における平滑化フィルタとの結合は、下記の方程式(6)にしたがって、MC’()における加重平均フィルタによって荒く近似されることができる。平滑化フィルタが1/2ピクセル補間においてバイリニアフィルタと結合されるので、平滑化フィルタは、1/4ピクセル補間においてもバイリニアフィルタと結合されることができて、次の方程式で定義されるMC’()中の加重平均フィルタを生じる。
e’ = (d+4*e+f+3)/6
= (223*D+127*E+33*C+F-B-G+A+H+192)/384
= 約(7*D+4*E+C+6)/12
= 約(2*D+E+3)/6 式(6)
ここで、e'は、近似されるべき1/4ピクセル位置を表わし、およびd、e、およびfは、1/4ピクセル位置を表わす。再び、カスケードされたフィルタリング操作は、２タップ・フィルタを用いた補間によって近似されることができる。この加重平均フィルタは、映像品質を改善することができるが、この改善は、加重平均フィルタによって複雑度の追加が当然に持ち込まれることの正当理由となるものではない。したがって、ある場合には、平滑化動き補償モジュール52は、この加重平均フィルタを実装しない可能性がある。代わりに、平滑化動き補償モジュール52は、次の方程式(7)によって定義されるバイリニアフィルタのような実装の複雑度の低い２タップ・フィルタを実装することができる。
e’ = 約(3*D+E)/4 式(7)
この場合、部分的ピクセル位置での補間に使用される２タップ・フィルタは、ESSの場合の1/2ピクセル位置および1/4ピクセル位置の両方のためのバイリニアフィルタになる。SVCにおける空間スケーラビリティの上記の例は、図5および6に示されたように、平滑補償モジュール52の結合型MC’()の中で使用されることができるフィルタを例示する一例としての役目を果たすだけのものであって、本発明の範囲を制限することは意図されていないことに留意するべきである。局所的適応動き補償フィルタおよび上で議論された特別の特性を備えたフィルタの概念は、一般的なシングルレイヤまたはマルチレイヤのビデオ符号化システムに適用されることができる。
図10は、整数または分数ピクセル精度を備えた動きベクトル成分に適合するために、予測ブロックの垂直次元および水平次元における異なるフィルタの適用をサポートするように構成されたビデオ復号器26Dの他の例示的態様を示すブロック図である。図10のビデオ復号器26Dは、図6の例におけるビデオ復号器26Cと実質的には同じものであるが、整数および分数ピクセル精度動きベクトル(例えば、垂直次元および水平次元で)について異なるフィルタ関数を適用することをさらに例示している。図10の例では、一方の次元の動きベクトルが整数ピクセル位置を指し、他方の次元の動きベクトルが分数ピクセル位置を指すとき、ビデオ復号器26Dは、予測ブロックの水平および垂直次元において異なるフィルタ関数を適応的に適用することによって適応動き補償を実装する。例えば、平滑化動き補償フィルタ52によって実装された結合型フィルタは、事実上、整数ピクセル精度を有する動きベクトル成分については、平滑化フィルタを適用し、および分数ピクセル精度を有する動きベクトル成分については、バイリニアフィルタであり得る2タップ・フィルタのような補間フィルタを適用する。したがって、図10は、例えば、平滑化動き補償フィルタMC’()に関して上で説明されたように、平滑化動き補償フィルタ52の操作をさらに例示する。
図6に示されるビデオ復号器26Cと同じように、図10のビデオ復号器26Dは、動き補償モジュール30、エントロピー復号モジュール32、逆量子化モジュール34、逆変換モジュール36、デブロッキングフィルタ38、基準フレーム記憶装置40、動き補償ユニット42、およびスイッチ54を具備している。上で説明されたように、復号器26DがSVCビデオストリームの復号において使用され、および残差予測モードが使用され、かつ追加フィルタリングが示される場合、ベースレイヤ（または前のレイヤ）残差は、ベースレイヤの分解能がエンハンスメントレイヤの分解能と異なるときは適切なアップサンプリングが行なわれた上で、現在のレイヤ内の復元残差および予測に加えられ、もって復元ビデオを得ることができる。これらの実施形態において、ビデオ復号器26Dは、H.264/MPEG 4パート10のSVCエクステンションにしたがって、エンハンスメントレイヤ残差および予測ブロックとの合計のためにベースレイヤ残差を供給するスイッチ54の機能性を含むことができる。
加えて、図10の例において、動き補償モジュール30は、平滑化動き補償フィルタ52を含んでいる。図10の例において、平滑化動き補償フィルタ52は、平滑化フィルタ56および２タップ・フィルタ58をさらに含んでいる。ここで、２タップ・フィルタ58は、バイリニアフィルタであってもよい。平滑化フィルタ56は、3タップ・フィルタによって形成されてもよい。
制御ユニット46は、符号化されたビデオビットストリームから得られたフィルタモード信号に基づいてフィルタモード決定を生成する。フィルタモード決定は、動き補償ユニット42を介して正規の動き補償を適用するか、または平滑化動き補償フィルタ52を介して平滑化フィルタ56または2タップ・フィルタ58によって表わされる動き補償プラス追加フィルタリングを適用するために、ブロックごとをベースとして変化することができる。特に、第2のフィルタモードについては、符号化されたビデオストリーム中のフィルタモード信号が追加フィルタリングが行なわれるべきであることを示すとき、または、いくつかの代替的な実装において、制御モジュール46が受信ビデオの分析から追加フィルタリングが適用されるべきであることを推論するとき、制御モジュール46は、平滑化動き補償フィルタ52を介して、追加フィルタ56、58の一方または両方を適応的に適用する。第2のフィルタモードが選択されるとき、平滑化動き補償フィルタ52は、予測ブロックの適切な次元において、バイリニアフィルタのような２タップ・フィルタ58および平滑化フィルタ56を適用する。
第2のフィルタモードにおける平滑化フィルタ56および２タップ・フィルタ58の適用は、予測ブロックに関連する動きベクトルに依存する。例えば、基準フレーム記憶装置40に記憶されている基準信号の水平次元において動きベクトルが分数ピクセル位置を指し、かつ第2のフィルタモードが選択されている場合、平滑化動き補償フィルタ52は、予測ブロックの水平次元の水平フィルタとして2タップ・フィルタ58（例えばバイリニアフィルタ）を適用する。しかしながら、基準フレームの水平次元において動きベクトルが整数ピクセル位置を指し、かつ第2のフィルタモードが選択されている場合、平滑化動き補償フィルタ52は、予測ブロックの水平次元の水平フィルタとして平滑化フィルタ（例えば3タップ・フィルタ)を適用する。
基準フレームの垂直次元において動きベクトルが分数ピクセル位置を指し、かつ第２のフィルタモードが選択されている場合、平滑化動き補償フィルタ52は、予測ブロックの垂直次元の垂直フィルタとして2タップ・フィルタ58(例えばバイリニアフィルタ)を適用する。さらに、基準フレームの垂直次元において動きベクトルが整数ピクセル位置を指し、かつ第2のフィルタモードが選択されている場合、平滑化動き補償フィルタ52は、垂直次元の垂直フィルタとして平滑化フィルタ56を予測ブロックに適用する。したがって、平滑化動き補償フィルタ52は、（ア）水平次元で2タップ・フィルタ58（例えばバイリニアフィルタ）および垂直次元で平滑化フィルタ（例えば、低域通過フィルタ）を適用し、（イ）水平次元で平滑化フィルタ56（例えば、低域通過フィルタ）およびを垂直次元で2タップ・フィルタ（例えば、バイリニアフィルタ）を適用し、（ウ）水平および垂直の両方の次元で2タップ・フィルタ（例えば、バイリニアフィルタ）を適用し、または（エ）水平および垂直の両方の次元で平滑化フィルタ（例えば、3タップ低域通過フィルタ）を適用することができる。
このようにして、第2のフィルタモードにおいて、ビデオ復号器26Dは、動きベクトルが分数または整数ピクセル位置を指すかに基づいて予測ブロックの水平次元および垂直次元において異なるフィルタを適応的に適用することができる。第1のフィルタモードにおいて、動き補償ユニット42は、追加フィルタリングなしで正規の動き補償を適用する。第1のフィルタモードにおける正規の動き補償は、ある場合には、例えば、分数精度動きベクトル成分のために、補間フィルタリングを含むことができる。第2のフィルタモードにおいて、追加フィルタリングは、ブロックレベルにおいて異なる次元において平滑化動き補償フィルタ52を適応的に用いることによって達成され、特定の事例に適合させられることができるので、図10のビデオ復号器26Dは、従来のビデオ復号器に比べて、改善された符号化効率および処理効率を提供することができる。
要約すると、第2のフィルタモードに関し、動きベクトルの両方の成分(垂直および水平)が整数精度を有する場合、平滑化動き補償フィルタ52は、垂直および水平の両方の次元で平滑化フィルタ56を適用する。ベース動きベクトルの1つの成分が整数精度を有し、他方が分数ピクセル精度を有する場合、平滑化動き補償フィルタ52は、一方の次元の分数ピクセル成分については2タップ・フィルタ58を適用し、および平滑化フィルタ56は、他方の次元の他方の整数ピクセル成分について適用される。動きベクトルの両方の成分が分数ピクセル精度を有する場合、平滑化動き補償フィルタ52は、両方の次元、すなわち垂直および水平の次元で２タップ・フィルタ58を適用する。かくして、水平または垂直次元の適切な動きベクトル成分が分数または整数ピクセル精度を有するかどうかにしたがって、水平フィルタリングは、2タップ・フィルタ58または平滑化フィルタ56のうちの1つを具備し、かつ垂直フィルタリングは、２タップ・フィルタまたは平滑化フィルタのうちの1つを具備することができる。水平フィルタリングは、垂直フィルタリングの適用の前に適用されることができる。そのまた逆も可能である。
図11は、インター符号化フレームのブロックレベルにおいて適応動き補償を行なう際の図4のビデオ復号器26Aの例示的動作を示す流れ図である。図11に示されるように、ビデオ復号器26Aは、符号化されたデジタルビデオを例えばチャネル16経由で受信し(70)、および予測ブロックを形成するために動き補償を行なう(72)。動きベクトルが分数ピクセル位置を指す場合、第1のフィルタモードにおける動き補償は、デジタルビデオとともに受信される動きベクトルを使用する1つまたは複数の基準フレームの中の対応ブロックの選択と、補間フィルタリングとを含むかもしれない。量子化雑音または他の人工物を除去するための平滑化フィルタ44による平滑化のような追加フィルタリングは、正規の動き補償とともに、第2のフィルタモードにおいて適応ベースで予測ブロックに適用されることができる。追加フィルタリングは、正規の動き補償フィルタの後に追加フィルタを適用することによって、または正規の動き補償および追加フィルタリング（例えば平滑化）の両方を結合する異なるフィルタを適用することによって、達成されることができる。ただし、図4の例では、追加フィルタリングは、例えばカスケード方式をベースとして、動き補償ユニット42と共起する平滑化フィルタ44の適用によって達成されている。
上で記述されたように、動き補償モジュール30は、符号化されたデジタルビデオとともに提供されるフィルタモード信号に基づいて、第1のフィルタモードまたは第2のフィルタモードのいずれかを適応的に適用することができる。ある場合には、フィルタモード信号は、例えば共同ドラフト7(JD7)において指定されているような「smoothed_reference」フラグのような符号化された信号であってもよい。このようにして、ビデオ復号器26Aは、ビデオ符号化器20によって指図されるようなフィルタモード決定を下すことができる。その代わりに、ビデオ復号器26は、追加フィルタモードが適用されるべきかどうか判断するために、符号化されたデジタルビデオの特性を分析することもできる。
第1のフィルタモードは、例えばなんらかの必要な補間フィルタとともに正規の動き補償を含み、その一方、第2のフィルタモードは、正規の動き補償プラス追加フィルタリング（例えば平滑化）を含むことができる。一例として、補間は、２タップ・フィルタを使用して適用されることができ、また平滑化は、3タップ・フィルタの使用により適用されることができる。第2のフィルタモードが示された場合(74)、動き補償モジュール30は、予測ブロックに追加フィルタを適用する(76)。とりわけ、フィルタモード決定は、ブロックごとをベースとしてなされることができる。ここで、「ブロック」という語は、マクロブロックまたは、サブブロックのようなより小さなブロックを指すこともある。その代わりに、フィルタモード決定がフレームレベルまたはスライスレベルでなされて、任意のフレームまたはスライスのうち適用可能なものの中のすべてのブロックに適用される、ということであってもよい。第2のフィルタモードが示されなかったときは(74)、追加フィルタリングは、適用されず、したがって、ブロックごとの適応動き補償の場合、いくつかのブロックに関する処理複雑度をセーブする。
正規の動き補償（72）または動き補償プラス追加フィルタリング(76)のうちのいずれかの後、ビデオ復号器26Aは、符号化されたデジタルビデオの中で提供される残差データと予測ブロックとを合計し(78)、その合計に基づいて、復号されたブロックを形成する(80)。ビデオ復号器がH.264/AVCのSVCエクステンションに一致する事例、例えば、ビデオ復号器が図６のビデオ復号器26Cまたは図10のビデオ復号器26Dに類似している事例において、ビデオ復号器は、例えば、S1によって示されるように合計のためにベースレイヤ残差を提供するスイッチ54の機能性をさらに含むことができる。この場合、動き補償は、SVCフレームのエンハンスメントレイヤの中のブロックに適用される。ビデオ復号器26Cは、これらの事例において、ベースレイヤ残差を予測ブロックと符号化されたデジタルビデオにおいて提供される残差データとに合計し(78)、もってその合計値に基づいて、復号されたブロックを形成することができる(80)。いずれの事例においても、合計値は、ブロッキング人工物を除去するために、デブロッキングフィルタ38によって処理されることができる。復号されたブロックは、表示装置28を駆動するビデオフレームを形成するために使用されることができ、また後続フレームの復号のための基準フレームを形成するために基準フレーム記憶装置に加えられることができる。ブロックレベルで追加フィルタリングを適用することによって、復号されたデジタルビデオは高い符号化効率を示すことができる。しかしながら、フルタイムではなく適応ベースで追加フィルタリングを適用することによって、ビデオ復号器26Cは、過度の処理複雑度を伴うことなく、顕著なパフォーマンス利得を達成することができる。
図12は、結合型平滑化動き補償ユニットを使用して平滑化と動き補償とを行なう際の図5のビデオ復号器26Bの例示的な動作を示す流れ図である。図12に示されるプロセスは、SVC符号化への適用に適合させられることができる。図12に示されているように、チャネル16経由でデジタルビデオを受信すると(82)、ビデオ符号化器26B(図5)またはビデオ復号器26C(図6)は、第2のフィルタモードが示されているかどうか決定する(84)。再び、第2のフィルタモードは、符号化されたビデオビットストリームの中に含まれるフィルタモード信号によって示されることができる。第2のフィルタモードは、フレーム、スライス、マクロブロック、またはサブブロックをベースとして示されることができる。その代わりに、デジタルビデオの１つまたは複数の特性の分析に基づいて第2のフィルタモードが適用されるべきかどうか決定するようにビデオ復号器26Bを構成することもできる。
第2のフィルタモードが示された場合(84)、動き補償モジュール30は、平滑化と正規の動き補償との結合、すなわち平滑化動き補償を実行し、もって予測ブロックを形成する(86)。平滑化動き補償は、図5の中の動き補償モジュール30の平滑化動き補償フィルタ52(図5または6)によって実行されることができる。第2のフィルタモードが示されなかった場合(84)、動き補償モジュール30は、追加フィルタリングなしに、例えば、動き補償モジュール30の動き補償ユニット42によって予測ブロックを形成するために正規の動き補償を行なう（88）。ビデオ復号器26Bまたは26Cは、次に、予測ブロックを残差データと合計し(90)、その合計値に基づいて復号されたブロックを形成する(92)。
再び、ビデオ復号器がH.264/AVCのSVCエクステンションに一致する事例、例えば、ビデオ復号器が図6のビデオ復号器26Cまたは図10のビデオ復号器26Dに類似している事例において、ビデオ復号器は、合計のためにベースレイヤ残差を供給するスイッチ54の機能性を含んでいる。この場合、動き補償は、SVCフレームのエンハンスメントレイヤの中のブロックに適用される。ビデオ復号器は、これらの事例において、ベースレイヤ残差を予測ブロックと符号化されたデジタルビデオ中で提供される残差とで合計し(90)、その合計値に基づいて復号されたブロックを形成する(92)。いずれの事例においても、合計値は、ブロッキング人工物を除去するためにデブロッキングフィルタタ38によって処理されることができる。復号されたブロックは、表示装置28を駆動するビデオフレームを形成するために使用されることができ、また後続フレームの復号のための基準フレームを形成するために基準フレーム記憶装置に加えられることができる。
図12は、正規の動き補償および平滑化を独立したフィルタリング操作としてカスケード方式で適用する代わりに、シングルフィルタモジュールにおいて平滑化と正規の動き補償とを結合する結合型平滑化動き補償ユニットの使用を例示する。このようにして、図12の例において、正規の動き補償と平滑化とを結合することによって、処理複雑度を低減することができる。このプロセスは、各フレーム中のブロックの上、およびビデオシーケンスに関連する複数のフレームおよびスライスの上で継続することができる。再び、平滑化動き補償ユニット52または正規の動き補償ユニット42を適用するべきかどうかのフィルタモード決定は、フレームごと、スライスごと、マクロブロックごと、またはブロックごとをベースとして決定されることができる。
図13は、垂直次元および水平次元において異なるフィルタを用いて適応動き補償を行なう際の図10のビデオ復号器26Dの例示的動作を示す流れ図である。図13の例では、ビデオ復号器26Dは、図12と同様に適応性フィルタモードに適用する。特に、動き補償モジュール30は、第1のフィルタモードにおいて正規の動き補償ユニット42を適用することができる。第2のフィルタモードにおいて、動き補償モジュール30は、平滑化動き補償フィルタ52を適用することができる。これは、正規の動き補償と追加フィルタリング(例えば平滑化)とを結合する。しかしながら、図10に示されるように、平滑化動き補償フィルタ52の適用は、水平および垂直次元において異なるフィルタ56、58を適用することをさらに含んでいる。デジタルビデオを受信すると(94)、ビデオ復号器26は、第2のフィルタモードが示されたかどうか判定する(96)。第2のフィルタモードが示されない場合、動き補償モジュール30は、例えば、動き補償ユニット42(図10)を介して正規の動き補償を適用する(98)。第2のフィルタモードが示された場合(96)、動き補償モジュール30は、平滑化動き補償フィルタ52を適用することができる。このことは、実際には、正規の動き補償および追加フィルタの両方の提供である。
追加フィルタリングは、適切な動きベクトルが整数ピクセル位置を指す次元、すなわち整数次元において、平滑化動き補償ユニット52によって適用される3タップ・フィルタのような平滑化フィルタによって提供されることができる（100）。加えて、平滑化動き補償ユニット52は、適切な動きベクトルが分数ピクセル位置を指す予測ブロックの次元、すなわち分数次元において、補間フィルタ、例えばバイリニアフィルタのような2タップ・フィルタを適用することができる(102)。したがって、平滑化動き補償ユニット52は、第2のフィルタモードが示されるとき、異なる次元において異なるフィルタを適用することができる。第2のフィルタモードが示されていない場合(96)、代わりに正規の動き補償が適用される(98)。
いずれの場合も、ビデオ復号器は、予測ブロックと適用可能な残差データとを合計し(104)、その合計に基づいて、復号されたブロックを形成する(106)。前に論じられたように、ビデオ復号器がH.264/AVCのSVCエクステンションに一致するような事例、例えば、図10のビデオ復号器26Dと同じような事例にあっては、ビデオ復号器26Dは、合計のためにベースレイヤ残差を供給するスイッチ54の機能性をさらに含むことができる。この場合、動き補償は、SVCフレームのエンハンスメントレイヤのブロックに適用される。ビデオ復号器26Dは、これらの事例において、ベースレイヤ残差を、符号化デジタルビデオにおいて提供される予測ブロックおよび残差データと合計し（104）、その合計値に基づいて、復号されたブロックを形成する（106）。いずれの事例においても、合計は、ブロッキング人工物を除去するデブロッキングフィルタ38によって処理されることができる。復号されたブロックは、表示装置28を駆動するビデオフレームを形成するために使用されることができ、また後続フレームの復号のための基準フレームを形成するために基準フレーム記憶装置に加えられることができる。上で説明されたように、平滑化動き補償フィルタ52は、動き補償および平滑化の両方を効果的に適用し、それによって、カスケード方式における各々の独立した適用に付随する複雑度を低減することができる。加えて、平滑化動き補償フィルタ52は、適用可能な動きベクトルに依存して、水平および垂直次元において異なるフィルタを適応的に適用するように構成される。 [00120] この開示において説明されている任意のデバイスは、無線電話、セルラ電話、ラップトップコンピュータ、無線マルチメディアデバイス、無線通信パーソナルコンピュータ(PC)カード、携帯情報端末(PDA)、外部または内部モデム、ゲーム機、または無線または有線チャネルを通じて通信する任意のデバイスのような、様々なタイプのデバイスを代表することができる。そのようなデバイスは、アクセスターミナル(AT)、アクセスユニット、加入者ユニット、移動局、移動体デバイス、モバイルユニット、携帯電話、モバイル、遠隔ステーション、遠隔端末、遠隔ユニット、ユーザデバイス、ユーザ設備、ハンドヘルドデバイス等々のような、多様な名前を持っている
。
１つの態様において、この開示において説明されているデバイスは、無線通信デバイスハンドセットであるか、またはその一部を形成するものであってもよい。
本明細書において説明されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらのものの任意の組み合わせにおいて実装されることができる。ソフトウェアの中で実装される場合、本技術は、コンピュータ可読媒体上の1つまたは複数の記憶または送信される命令またはコードによって、少なくとも部分的には実現されることができる。コンピュータ可読媒体は、コンピュータ記憶媒体、通信媒体またはその両方を含むことができ、またある場所から他の場所へのコンピュータプログラムの転送を促進する任意の媒体を含むこともできる。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。
例示として、かつ非制限的列挙として、そのようなコンピュータ可読媒体は、RAM、同期式ダイナミックRAM(SDRAM)、読み取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラマブルROM(EEPROM)、FLASHメモリ、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置のようなデータ記憶媒体、または他の任意のコンピュータ可読データ記憶媒体であって命令またはデータ構造の形式で所望のプログラムコードを搬送または記憶するのに使用可能でかつコンピュータによってアクセス可能な媒体を含むことができる。
さらに、任意の接続も、コンピュータ可読媒体と適切に名付けることができる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)またはワイアレス技術（例えば、赤外線、無線、およびマイクロ波）を使用して、ウェブサイト、サーバまたは他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSLまたはワイアレス技術（例えば、赤外線、無線、およびマイクロ波）は、媒体の定義に含まれる。本明細書において使用されるような、ディスク（disk and disc）の語は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル・バーサタイル・ディスク(DVD)、フレキシブルディスクおよびブルーレイ・ディスクを含んでいる。なお、diskは、通常データを磁気的に再生するものをいい、discは、データを光学的に（例えばレーザーで）再生するものをいう。上記のものの組み合わせもまた、コンピュータ可読媒体と考えられるべきである。
コンピュータプログラムプロダクトのコンピュータ可読媒体に関連するコードは、コンピュータによって、例えば、１つまたは複数のデジタル信号プロセッサ(DSP)、汎用目的プロセッサ、特定用途向けIC(ASIC)、フィールド・プログラマブル・ロジック・アレイ(FPGA)、または他の等価な集積または個別の論理回路類のような、1つまたは複数のプロセッサによって、実行されることができる。いくつかの態様において、本件明細書において説明された機能性は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュールの中で提供されることもできるし、または結合型ビデオ符号化器/復号器(CODEC)の中に組み込まれることもできる。したがって、本開示は、ここに説明されている技術を実装するように構成されている集積回路デバイスをも企図している。そのような集積回路デバイスは、無線通信デバイスハンドセット内の使用も含めて、多様なアプリケーションを有することができる。
以上、本開示の様々な態様について説明された。これら態様および他の態様は、以下のクレームの範囲の内にある。
以上、本開示の様々な態様について説明された。これら態様および他の態様は、以下のクレームの範囲の内にある。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用すること、および
フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを前記ブロックの各々に適用するように前記動き補償を適応的に調節すること
を含む方法。
［２］整数ピクセル位置を指す動きベクトルについて、前記ブロックに3タップ・フィルタを適用することをさらに含む、［１］に記載の方法。
［３］前記フィルタモード決定は、前記ビデオビットストリーム中の符号化された信号、または前記ビデオフレームの１つまたは複数の特性のうちの１つに基づいて生成することをさらに含む、［１］に記載の方法。
［４］前記ブロックは、スケーラブルビデオ符号化フレームのエンハンスメントレイヤ中のブロックを含む、［１］に記載の方法。
［５］前記第1のフィルタモードにおいては動き補償フィルタを適用し、および前記第2のフィルタモードにおいては3タップ・フィルタを適用することをさらに含む、［１］に記載の方法。
［６］前記第2のフィルタモードにおいて前記3タップ・フィルタおよび前記動き補償フィルタを適用することをさらに含む、［５］に記載の方法であって、前記動き補償フィルタは、2タップ・フィルタを含むことを特徴とする方法。
［７］前記第2のフィルタモードにおいて、前記3タップ・フィルタを補間フィルタと結合するフィルタを適用することをさらに含む、［５］に記載の方法。
［８］前記補間フィルタは、２タップ・フィルタを含む、［７］に記載の方法であって、前記方法は、前記第2のフィルタモードにおいて、水平次元および垂直次元のうちの一方において前記3タップ・フィルタを適用し、および水平次元および垂直次元のうちの他方において前記２タップ・フィルタを適用することをさらに含む方法。
［９］前記補間フィルタは、２タップ・フィルタを含む、［７］に記載の方法であって、前記方法は、前記第２のフィルタモードにおいて、下記のステップをさらに含む方法：
動きベクトルが水平次元で整数ピクセル位置を指し、および垂直次元で分数ピクセル位置を指すとき、水平次元では前記3タップ・フィルタを適用し、および垂直次元では前記２タップ・フィルタを適用するステップ、および
動きベクトルが垂直次元で整数ピクセル位置を指し、および水平次元で分数ピクセル位置を指すとき、垂直次元では前記3タップ・フィルタを適用し、および水平次元では前記２タップ・フィルタを適用するステップ。
［１０］ブロックごと、マクロブロックごと、スライスごと、またはフレームごとのうちの１つをベースとして、前記動き補償を適応的に調節することをさらに含む、［１］に記載の方法。
［１１］予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュール、および
フィルタモード決定に基づいて第１のフィルタモードまたは第２のフィルタモードのいずれかを前記ブロックの各々に適用するように前記動き補償を適応的に調節する制御モジュール
を含むビデオ符号化デバイス。
［１２］前記制御モジュールは、整数ピクセル位置を指す動きベクトルについて、前記ブロックに3タップ・フィルタを適用する、［１１］に記載のデバイス。
［１３］前記制御モジュールは、前記ビデオビットストリーム中の符号化された信号、または前記ビデオフレームの１つまたは複数の特性のうちの１つに基づいて前記フィルタモード決定を生成する、［１１］に記載のデバイス。
［１４］前記ブロックは、スケーラブルビデオ符号化フレームのエンハンスメントレイヤ中のブロックを含む、［１１］に記載のデバイス。
［１５］前記動き補償モジュールは、前記第1のフィルタモードにおいて動き補償フィルタを適用し、および前記第2のフィルタモードにおいて3タップ・フィルタを適用する、［１１］に記載のデバイス。
［１６］前記動き補償モジュールは、前記第2のフィルタモードにおいて前記3タップ・フィルタおよび前記動き補償フィルタを適用する、［１５］に記載のデバイスであって、前記動き補償モジュールは、2タップ・フィルタを含むことを特徴とする方法。
［１７］前記動き補償モジュールは、前記第2のフィルタモードにおいて、前記3タップ・フィルタを補間フィルタと結合するフィルタを適用する、［１５］に記載のデバイス。
［１８］前記補間フィルタは、２タップ・フィルタを含み、および前記動き補償モジュールは、前記第2のフィルタモードにおいて、水平次元および垂直次元のうちの一方において前記3タップ・フィルタを適用し、水平次元および垂直次元のうちの他方において２タップ・フィルタを適用する、［１７］に記載のデバイス。
［１９］前記補間フィルタは、２タップ・フィルタを含み、および
前記動き補償モジュールは、前記第2のフィルタモードにおいて、動きベクトルが水平次元において整数ピクセル位置を指し、および垂直次元において分数ピクセル位置を指すとき、水平次元で前記3タップ・フィルタを適用し、および垂直次元で前記２タップ・フィルタを適用し、および動きベクトルが垂直次元において整数ピクセル位置を指し、および水平次元において分数ピクセル位置を指すとき、垂直次元で前記3タップ・フィルタを適用し、および水平次元で前記２タップ・フィルタを適用する、［１７］に記載のデバイス。
［２０］前記制御モジュールは、ブロックごと、マクロブロックごと、スライスごと、またはフレームごとのうちの１つをベースとして、前記動き補償を適応的に調節する、［１１］に記載のデバイス。
［２１］前記デバイスは、無線通信デバイスハンドセットまたは集積回路デバイスのうちの1つである、［１１］に記載のデバイス。
［２２］予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する手段、および
フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを適用するように前記動き補償を適応的に調節する手段
を含むビデオ符号化デバイス。
［２３］整数ピクセル位置を指す動きベクトルについては、前記ブロックに３タップ・フィルタを適用する手段をさらに含む、［２２］に記載のデバイス。
［２４］プロセッサに次のことをさせる命令を含むコンピュータ可読媒体を含むコンピュータプログラムプロダクト：
予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用すること、および
フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを前記ブロックの各々に適用するように動き補償を適応的に調節すること。
［２５］整数ピクセル位置を指す動きベクトルについては、前記ブロックに3タップ・フィルタを適用することを前記プロセッサにさせる命令をさらに含む、［２４］に記載のコンピュータプログラムプロダクト。

Claims (25)

  1. 予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用すること、および
    フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを前記ブロックの各々に適用するように前記動き補償を適応的に調節すること
    を含む方法。
  2. 整数ピクセル位置を指す動きベクトルについて、前記ブロックに3タップ・フィルタを適用することをさらに含む、請求項1に記載の方法。
  3. 前記フィルタモード決定は、前記ビデオビットストリーム中の符号化された信号、または前記ビデオフレームの１つまたは複数の特性のうちの１つに基づいて生成することをさらに含む、請求項1に記載の方法。
  4. 前記ブロックは、スケーラブルビデオ符号化フレームのエンハンスメントレイヤ中のブロックを含む、請求項1に記載の方法。
  5. 前記第1のフィルタモードにおいては動き補償フィルタを適用し、および前記第2のフィルタモードにおいては3タップ・フィルタを適用することをさらに含む、請求項1に記載の方法。
  6. 前記第2のフィルタモードにおいて前記3タップ・フィルタおよび前記動き補償フィルタを適用することをさらに含む、請求項5に記載の方法であって、前記動き補償フィルタは、2タップ・フィルタを含むことを特徴とする方法。
  7. 前記第2のフィルタモードにおいて、前記3タップ・フィルタを補間フィルタと結合するフィルタを適用することをさらに含む、請求項5に記載の方法。
  8. 前記補間フィルタは、２タップ・フィルタを含む、請求項７に記載の方法であって、前記方法は、前記第2のフィルタモードにおいて、水平次元および垂直次元のうちの一方において前記3タップ・フィルタを適用し、および水平次元および垂直次元のうちの他方において前記２タップ・フィルタを適用することをさらに含む方法。
  9. 前記補間フィルタは、２タップ・フィルタを含む、請求項７に記載の方法であって、前記方法は、前記第２のフィルタモードにおいて、下記のステップをさらに含む方法：
    動きベクトルが水平次元で整数ピクセル位置を指し、および垂直次元で分数ピクセル位置を指すとき、水平次元では前記3タップ・フィルタを適用し、および垂直次元では前記２タップ・フィルタを適用するステップ、および
    動きベクトルが垂直次元で整数ピクセル位置を指し、および水平次元で分数ピクセル位置を指すとき、垂直次元では前記3タップ・フィルタを適用し、および水平次元では前記２タップ・フィルタを適用するステップ。
  10. ブロックごと、マクロブロックごと、スライスごと、またはフレームごとのうちの１つをベースとして、前記動き補償を適応的に調節することをさらに含む、請求項１に記載の方法。
  11. 予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する動き補償モジュール、および
    フィルタモード決定に基づいて第１のフィルタモードまたは第２のフィルタモードのいずれかを前記ブロックの各々に適用するように前記動き補償を適応的に調節する制御モジュールを含むビデオ符号化デバイス。
  12. 前記制御モジュールは、整数ピクセル位置を指す動きベクトルについて、前記ブロックに3タップ・フィルタを適用する、請求項11に記載のデバイス。
  13. 前記制御モジュールは、前記ビデオビットストリーム中の符号化された信号、または前記ビデオフレームの１つまたは複数の特性のうちの１つに基づいて前記フィルタモード決定を生成する、請求項11に記載のデバイス。
  14. 前記ブロックは、スケーラブルビデオ符号化フレームのエンハンスメントレイヤ中のブロックを含む、請求項11に記載のデバイス。
  15. 前記動き補償モジュールは、前記第1のフィルタモードにおいて動き補償フィルタを適用し、および前記第2のフィルタモードにおいて3タップ・フィルタを適用する、請求項11に記載のデバイス。
  16. 前記動き補償モジュールは、前記第2のフィルタモードにおいて前記3タップ・フィルタおよび前記動き補償フィルタを適用する、請求項15に記載のデバイスであって、前記動き補償モジュールは、2タップ・フィルタを含むことを特徴とする方法。
  17. 前記動き補償モジュールは、前記第2のフィルタモードにおいて、前記3タップ・フィルタを補間フィルタと結合するフィルタを適用する、請求項15に記載のデバイス。
  18. 前記補間フィルタは、２タップ・フィルタを含み、および前記動き補償モジュールは、前記第2のフィルタモードにおいて、水平次元および垂直次元のうちの一方において前記3タップ・フィルタを適用し、水平次元および垂直次元のうちの他方において２タップ・フィルタを適用する、請求項17に記載のデバイス。
  19. 前記補間フィルタは、２タップ・フィルタを含み、および
    前記動き補償モジュールは、前記第2のフィルタモードにおいて、動きベクトルが水平次元において整数ピクセル位置を指し、および垂直次元において分数ピクセル位置を指すとき、水平次元で前記3タップ・フィルタを適用し、および垂直次元で前記２タップ・フィルタを適用し、および動きベクトルが垂直次元において整数ピクセル位置を指し、および水平次元において分数ピクセル位置を指すとき、垂直次元で前記3タップ・フィルタを適用し、および水平次元で前記２タップ・フィルタを適用する、請求項17に記載のデバイス。
  20. 前記制御モジュールは、ブロックごと、マクロブロックごと、スライスごと、またはフレームごとのうちの１つをベースとして、前記動き補償を適応的に調節する、請求項11に記載のデバイス。
  21. 前記デバイスは、無線通信デバイスハンドセットまたは集積回路デバイスのうちの1つである、請求項11に記載のデバイス。
  22. 予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用する手段、および
    フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを適用するように前記動き補償を適応的に調節する手段
    を含むビデオ符号化デバイス。
  23. 整数ピクセル位置を指す動きベクトルについては、前記ブロックに３タップ・フィルタを適用する手段をさらに含む、請求項22に記載のデバイス。
  24. プロセッサに次のことをさせる命令を含むコンピュータ可読媒体を含むコンピュータプログラムプロダクト：
    予測ビデオブロックを生成するためにビデオフレーム内のブロックに動き補償を適用すること、および
    フィルタモード決定に基づいて第1のフィルタモードまたは第2のフィルタモードのいずれかを前記ブロックの各々に適用するように動き補償を適応的に調節すること。
  25. 整数ピクセル位置を指す動きベクトルについては、前記ブロックに3タップ・フィルタを適用することを前記プロセッサにさせる命令をさらに含む、請求項24に記載のコンピュータプログラムプロダクト。
JP2013192448A 2006-10-13 2013-09-17 動き補償予測のための適応フィルタリングを備えたビデオ符号化 Pending JP2014039289A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US82949406P 2006-10-13 2006-10-13
US60/829,494 2006-10-13
US93815107P 2007-05-15 2007-05-15
US60/938,151 2007-05-15
US11/869,062 US9014280B2 (en) 2006-10-13 2007-10-09 Video coding with adaptive filtering for motion compensated prediction
US11/869,062 2007-10-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009532584A Division JP5450073B2 (ja) 2006-10-13 2007-10-11 動き補償予測のための適応フィルタリングを備えたビデオ符号化

Publications (1)

Publication Number Publication Date
JP2014039289A true JP2014039289A (ja) 2014-02-27

Family

ID=39303089

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009532584A Expired - Fee Related JP5450073B2 (ja) 2006-10-13 2007-10-11 動き補償予測のための適応フィルタリングを備えたビデオ符号化
JP2013192448A Pending JP2014039289A (ja) 2006-10-13 2013-09-17 動き補償予測のための適応フィルタリングを備えたビデオ符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009532584A Expired - Fee Related JP5450073B2 (ja) 2006-10-13 2007-10-11 動き補償予測のための適応フィルタリングを備えたビデオ符号化

Country Status (7)

Country Link
US (1) US9014280B2 (ja)
EP (1) EP2092753A2 (ja)
JP (2) JP5450073B2 (ja)
KR (1) KR101065227B1 (ja)
CN (1) CN101523922B (ja)
TW (1) TWI399099B (ja)
WO (1) WO2008048864A2 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN101711481B (zh) * 2006-10-18 2013-01-09 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR20090104050A (ko) * 2006-12-21 2009-10-05 톰슨 라이센싱 비디오 이미지의 블럭을 디코딩하는 방법
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080225952A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8228991B2 (en) 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
KR20100067122A (ko) * 2007-10-05 2010-06-18 노키아 코포레이션 적응 보간 필터를 구현하는 방법, 장치 및 컴퓨터 판독가능 저장 매체
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101648818B1 (ko) * 2008-06-12 2016-08-17 톰슨 라이센싱 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
RU2494568C2 (ru) * 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
EP2306733A4 (en) * 2008-07-25 2017-03-15 Sony Corporation Image processing device and method
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
IT1394145B1 (it) * 2009-05-04 2012-05-25 St Microelectronics Srl Procedimento e dispositivo per la codifica video digitale, relativo segnale e prodotto informatico
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
CN105791831A (zh) 2009-07-07 2016-07-20 汤姆森特许公司 将协作分区编码用于基于区域的滤波器的方法及装置
KR101418101B1 (ko) 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
US8259808B2 (en) * 2010-03-25 2012-09-04 Mediatek Inc. Low complexity video decoder
US10063873B2 (en) 2010-03-25 2018-08-28 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US9172980B2 (en) * 2010-03-25 2015-10-27 Mediatek Inc. Method for adaptively performing video decoding, and associated adaptive complexity video decoder and adaptive audio/video playback system
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN106358045B (zh) 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
TWI815295B (zh) 2010-04-13 2023-09-11 美商Ｇｅ影像壓縮有限公司 樣本區域合併技術
KR102159896B1 (ko) 2010-04-13 2020-09-25 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
WO2011129100A1 (ja) 2010-04-13 2011-10-20 パナソニック株式会社 画像符号化方法および画像復号化方法
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
WO2011158867A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像復号装置、及び画像符号化装置
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
USRE49308E1 (en) * 2010-09-29 2022-11-22 Electronics And Telecommunications Research Instit Method and apparatus for video-encoding/decoding using filter information prediction
BR122020014075B1 (pt) 2010-09-30 2023-11-28 Samsung Electronics Co., Ltd Método de compensação de movimento
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
KR20120045369A (ko) * 2010-10-29 2012-05-09 에스케이 텔레콤주식회사 쿼드 트리 기반으로 블록 필터 정보를 부호화/복호화하는 영상 부호화/복호화 장치 및 방법
KR102007626B1 (ko) * 2010-12-07 2019-08-05 소니 주식회사 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
US9432693B2 (en) * 2011-01-07 2016-08-30 Nokia Technologies Oy Motion prediction in video coding
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
TW201246920A (en) * 2011-05-12 2012-11-16 Sunplus Technology Co Ltd Apparatus for refining motion vector
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
CN108337521B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
JP5649524B2 (ja) 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
BR122021004604B1 (pt) * 2011-06-28 2022-07-26 Samsung Electronics Co., Ltd Aparelho para decodificar vídeo para predição intra de uma imagem usando compensação de movimento mediante usar um filtro de interpolação, método de codificação de vídeo para predição intra uma imagem usando compensação de movimento usando um filtro de interpolação, e aparelho para codificar vídeo para predição intra de uma imagem usando compensação de movimento mediante uso de um filtro de interpolação
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
MX354287B (es) 2011-06-30 2018-02-22 Samsung Electronics Co Ltd Método de codificación de video con ajuste de profundidad de bits para conversión de punto fijo y aparato para el mismo, y método de decodificación de video y aparato para el mismo.
CN103095374B (zh) 2011-10-28 2016-04-20 富士通株式会社 偏振复用光通信系统的自适应非线性均衡的方法和装置
CN107959852A (zh) * 2011-11-08 2018-04-24 株式会社Kt 对视频信号进行解码的方法
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
WO2013109867A1 (en) * 2012-01-19 2013-07-25 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
US9225984B2 (en) * 2012-01-24 2015-12-29 Futurewei Technologies, Inc. Simplification of LM mode
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9854259B2 (en) * 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
KR20140016823A (ko) * 2012-07-24 2014-02-10 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
KR102221615B1 (ko) * 2012-09-03 2021-03-02 소니 주식회사 화상 처리 장치 및 방법
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US20150023436A1 (en) 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
JP6306884B2 (ja) * 2013-12-27 2018-04-04 日本電信電話株式会社 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
US20160050442A1 (en) * 2014-08-15 2016-02-18 Samsung Electronics Co., Ltd. In-loop filtering in video coding
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP3340621B1 (en) * 2015-08-20 2023-01-25 Nippon Hoso Kyokai Image decoding device, and programs therefor
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
AU2015409727B2 (en) 2015-09-25 2019-09-12 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
EP3354027A1 (en) 2015-09-25 2018-08-01 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052407A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
US10110926B2 (en) 2015-10-15 2018-10-23 Cisco Technology, Inc. Efficient loop filter for video codec
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
GB2572595B (en) * 2018-04-04 2023-03-22 British Broadcasting Corp Video encoding and decoding
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置，画像信号平滑化方法，画像符号化装置，画像符号化方法，画像復号化装置および画像復号化方法
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2003319398A (ja) * 2002-04-24 2003-11-07 Nec Corp 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP2005312072A (ja) * 2005-05-19 2005-11-04 Mitsubishi Electric Corp 映像信号復号化装置
JP2006254320A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
JP2001204029A (ja) 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
EP2458865A3 (en) 2001-06-29 2014-10-01 NTT DoCoMo, Inc. Apparatuses for image coding and decoding
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
BRPI0509563A (pt) 2004-04-02 2007-09-25 Thomson Licensing codificação de vìdeo de complexidade escalonável
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
KR20060043051A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20060169368A1 (en) 2004-10-05 2006-08-03 Tenaris Conncections A.G. (A Liechtenstein Corporation) Low carbon alloy steel tube having ultra high strength and excellent toughness at low temperature and method of manufacturing the same
US20060088104A1 (en) 2004-10-27 2006-04-27 Stephen Molloy Non-integer pixel sharing for video encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置，画像信号平滑化方法，画像符号化装置，画像符号化方法，画像復号化装置および画像復号化方法
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2003319398A (ja) * 2002-04-24 2003-11-07 Nec Corp 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP2006254320A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2005312072A (ja) * 2005-05-19 2005-11-04 Mitsubishi Electric Corp 映像信号復号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014039253; Ｋｈｅｅ　Ｋ．　Ｐａｎｇ　ｅｔ　ａｌ．: 'Ｏｐｔｉｍｕｍ　Ｌｏｏｐ　Ｆｉｌｔｅｒ　ｉｎ　Ｈｙｂｒｉｄ　Ｃｏｄｅｒｓ' ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．４，　Ｎｏ．２, 199404, ｐ．１５８-１６７, ＩＥＥＥ *

Also Published As

Publication number Publication date
US9014280B2 (en) 2015-04-21
CN101523922A (zh) 2009-09-02
EP2092753A2 (en) 2009-08-26
JP5450073B2 (ja) 2014-03-26
TW200835349A (en) 2008-08-16
WO2008048864A2 (en) 2008-04-24
WO2008048864A3 (en) 2008-08-07
KR101065227B1 (ko) 2011-09-16
CN101523922B (zh) 2012-09-26
JP2010507286A (ja) 2010-03-04
KR20090079939A (ko) 2009-07-22
US20080089417A1 (en) 2008-04-17
TWI399099B (zh) 2013-06-11

Similar Documents

Publication Publication Date Title
JP5450073B2 (ja) 動き補償予測のための適応フィルタリングを備えたビデオ符号化
US10944966B2 (en) Method for determining predictor blocks for a spatially scalable video codec
JP5175303B2 (ja) スケーラブルビデオコーディング用の適応アップサンプリング
JP5248523B2 (ja) 符号化ブロックパターンに関する可変長コーディング技法
KR101067308B1 (ko) 정제 계수 코딩을 위한 블록 형식 통계치에 기초한 가변 길이 코딩 테이블 선택
TWI401961B (zh) 藉由過濾器選擇之視訊編碼
TWI413419B (zh) 視訊編碼中之非零修整與預測模式選擇技術
KR101377883B1 (ko) 비디오 인코딩에서 넌-제로 라운딩 및 예측 모드 선택 기법들
US20110228854A1 (en) Apparatus and method for encoding/decoding a video signal
Turaga et al. Unconstrained motion compensated temporal filtering (UMCTF) for efficient and flexible interframe wavelet video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150303