JP7337072B2 - エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術 - Google Patents

エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術 Download PDF

Info

Publication number
JP7337072B2
JP7337072B2 JP2020537004A JP2020537004A JP7337072B2 JP 7337072 B2 JP7337072 B2 JP 7337072B2 JP 2020537004 A JP2020537004 A JP 2020537004A JP 2020537004 A JP2020537004 A JP 2020537004A JP 7337072 B2 JP7337072 B2 JP 7337072B2
Authority
JP
Japan
Prior art keywords
template
prediction
samples
inter
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020537004A
Other languages
English (en)
Other versions
JP2021518059A (ja
JPWO2019190907A5 (ja
Inventor
シウ，シャオユウ
ハ，ユーウェン
イエ，ヤン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2021518059A publication Critical patent/JP2021518059A/ja
Publication of JPWO2019190907A5 publication Critical patent/JPWO2019190907A5/ja
Application granted granted Critical
Publication of JP7337072B2 publication Critical patent/JP7337072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

動画像符号化システムは、デジタル動画像信号を圧縮して、必要な記憶容量、および／またはそうした信号の伝送帯域幅を削減するのに広く利用されている。様々なタイプの動画像符号化システム、例えばブロックによるシステム、ウェーブレットによるシステム、オブジェクトによるシステムの中で、現在では、ブロックによるハイブリッド動画像符号化システムが最も広く使用され展開されている。ブロックによる動画像符号化システムの例には、ＭＰＥＧ１／２／４ ｐａｒｔ ２、Ｈ．２６４／ＭＰＥＧ－４ ｐａｒｔ １０ ＡＶＣ、ＶＣ－１、および高能率動画像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ））と称される最新の動画像符号化規格などの動画像符号化国際規格が挙げられ、ＨＥＶＣは、ＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧやＩＳＯ／ＩＥＣ／ＭＰＥＧの、動画像符号化に関する共同作業部会（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ））によって開発されたものである。
ＨＥＶＣ規格の最初のバージョンは２０１３年１月に最終決定され、前世代の動画像符号化規格であるＨ．２６４／ＭＰＥＧ ＡＶＣと比較して同等の知覚品質で、約５０％というビットレートの節約が実現できている。ＨＥＶＣ規格では、先行技術に勝る大幅な符号化の向上が得られているものの、追加の符号化ツールを使用することによって、ＨＥＶＣに勝るさらに高い符号化能率を達成できるという証拠がある。それを踏まえて、ＶＣＥＧとＭＰＥＧは双方とも、将来の動画像符号化標準化に向けた新たな符号化技術の要素技術検証作業を開始した。２０１５年１０月、ＩＴＵ－Ｔ ＶＣＥＧとＩＳＯ／ＩＥＣ ＭＰＥＧは、動画像要素技術検証部会（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ））を結成して、ＨＥＶＣに勝る符号化能率の大幅な向上を可能にする先進技術の重要な研究を開始した。同月、将来の動画像符号化要素技術検証作業のための共同検証モデル（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ））と呼ばれる、ソフトウェアコードベースが確立された。ＪＥＭ参照ソフトウェアは、ＪＣＴ－ＶＣがＨＥＶＣ向けに開発したＨＥＶＣテストモデル（ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ））が基になっている。提案された追加のコーディングツールは、ＪＥＭソフトウェアに統合される場合があり、ＪＶＥＴ共通テスト条件（ＣＴＣ）を使用してテストされる場合がある。
例示的な実施形態は、動画像エンコーディングおよびデコーディング（総称して「符号化」）に使用される方法を含む。いくつかの実施形態では、現在の画像と、少なくとも第１の参照画像とを含む動画像をエンコーディングまたはデコーディングする方法が提供される。現在の画像内の少なくとも現在のブロックに対しては、現在のブロックに隣接するテンプレート領域内の各サンプルに対して、（例えば、動き補償された予測を使用して）予測値が生成される。テンプレートによるインター予測の少なくとも１つのパラメータは、テンプレート領域内のサンプルの少なくとも１つの部分集合の予測値を、少なくとも第１の参照画像内の少なくとも１つの参照テンプレート領域における対応するサンプル値（再構成されたサンプル値であってもよい）と比較することによって決定される。現在のブロックの、テンプレートによるインター予測は、テンプレートによるインター予測の決定されたパラメータを用いて実行される。
いくつかの実施形態では、テンプレート領域内の各サンプルの予測値の生成に応答して、テンプレートによるインター予測のパラメータを決定する処理が呼び出される。これにより、現在のブロック内のサンプル値の予測を、テンプレート領域内のサンプル値の再構成と並列に進めることができる。
いくつかの実施形態では、テンプレート領域内のサンプルのうちの少なくとも１つは、符号化された非ゼロ残差を有する。いくつかの実施形態では、テンプレートによるインター予測のパラメータが決定された後、符号化された非ゼロ残差値は、テンプレート領域内の予測値のうちの少なくとも１つに加算されて、それぞれの再構成されたサンプル値を生成する。
いくつかの実施形態では、テンプレート領域内のサンプルの部分集合は、ゼロ残差値を有するサンプルのみを含むように選択される。サンプルを含むそれぞれのブロックに対して符号化されたブロックのフラグ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ）値は、ゼロ残差値を有するそれらのサンプルを識別するのに使用されてもよい。いくつかの実施形態では、テンプレート領域は、少なくとも２つの部分領域（例えば、現在のブロックの上にあるサンプルの第１の部分領域および現在のブロックの左にあるサンプルの第２の部分領域）を有し、部分領域内のサンプルは、その部分領域内のすべてのサンプルがゼロ残差値を有する場合にのみ選択される。
いくつかの実施形態では、オーバーラップブロック動き補償（ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ（ＯＢＭＣ））が、テンプレートによるインター予測のパラメータを決定した後に、テンプレート領域内のサンプルの少なくとも一部の上で実行される。
いくつかの実施形態では、テンプレートによるインター予測のパラメータを決定するの使用されるサンプルは、テンプレート領域内のそれぞれのサンプルの見積もられた（または実際の）残差の大きさに基づいて重み付けされ、見積もり（または実際の）残差の大きさが低いほど、大きな重み付けが使用される。見積もられた（または実際の）残差の大きさは、逆量子化または逆変換を行わずに得られた情報に基づいていてもよい。いくつかの実施形態では、サンプルの残差の大きさは、それぞれのサンプルを含むブロックの符号化されたブロックのフラグ値に基づいて決定される。いくつかの実施形態では、サンプルの残差の大きさは、それぞれのサンプルを含むブロックの変換係数の全エネルギーに基づいて見積もられる。いくつかの実施形態では、見積もられた残差の大きさがゼロではないサンプルには、第１の所定の低い重みが使用され、ゼロであると見積もられた（または既知の）残差の大きさを有するサンプルには、第２の所定の高い重みが使用される。
いくつかの実施形態では、テンプレートによるインター予測のパラメータを決定するためにテンプレート領域内の予測値のみが使用される代わりに、テンプレート領域内のサンプル値の少なくとも一部が部分的に再構成されて、パラメータを決定するのに使用される。例えば、サンプル値は、予測値にＤＣ予測残差成分を加えることによって部分的に再構成される場合がある。ＤＣ成分は、逆変換を実行することなく得られる場合がある。いくつかの実施形態では、この部分的再構成は、ＤＣＴ－ＩＩまたはＤＣＴ－Ｖのいずれかを使用して符号化されたブロック内のサンプル値にのみ実行される。いくつかの実施形態では、サンプル値の部分的再構成は、ＮＳＳＴを使用して符号化されてはいないブロック内のそれらのサンプル値にのみ実行される。
いくつかの実施形態では、現在のブロックのテンプレートによるインター予測は、局所照明補償（ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ（ＬＩＣ））を使用して実行される。そのような実施形態では、テンプレートによるインター予測のパラメータは、少なくとも１つのスケーリング因子αと、少なくとも１つのオフセットβとを含む。
いくつかの実施形態では、現在のブロックのテンプレートによるインター予測は、テンプレートによるフレームレート・アップコンバージョン（ｆｒａｍｅ－ｒａｔｅ ｕｐ－ｃｏｎｖｅｒｓｉｏｎ（ＦＲＵＣ））を使用して実行される。そのような実施形態では、テンプレートによるインター予測のパラメータは、現在のブロックを予測するための動きベクトルを含む。いくつかの実施形態では、現在のブロックを予測するのにＬＩＣおよびＦＲＵＣが両方とも使用される。
本明細書に記載の追加の方法は、適応的テンプレートサイズを利用する。現在の画像と少なくとも第１の参照画像とを含む動画像をエンコーディングまたはデコーディングする、そのような一方法が提供される。現在の画像内の少なくとも現在のブロックに対しては、現在のブロックのサイズに基づいてテンプレートサイズが選択され、テンプレートによるインター予測を使用して現在のブロックの予測が生成される。例えば、現在のブロックに隣接し、選択されたテンプレートサイズを有するテンプレート領域内のサンプルを、少なくとも第１の参照テンプレート内の対応するサンプル値と比較して、テンプレートによるインター予測の少なくとも１つのパラメータを決定してもよく、決定されたパラメータは、現在のブロックのテンプレートによるインター予測を実行する際に使用してもよい。
本明細書に記載のさらなる方法は、テンプレートスライスを利用しており、この場合、１つのテンプレートスライスにおける現在のブロックのエンコーディングまたはデコーディングは、現在のブロックの、テンプレートによるインター符号化のためには、異なるテンプレートスライスにおけるサンプルを使用しないよう制約されている。それでも、テンプレートによるインター符号化以外の予測モードは、異なるテンプレートスライス内のサンプル（または他のコーディング情報、例えば動きベクトル）を利用してもよい。そのような一方法では、複数のテンプレートスライスが現在の画像において画定されて、各テンプレートスライスが複数のブロックを含む。現在のテンプレートスライス内の各ブロックを符号化するために予測モードが決定される。予測モードは、テンプレートによるインター予測の少なくとも１つのモード、およびテンプレートを基にしない予測の少なくとも１つのモードから選択される。現在のテンプレートスライス内の各ブロックに対して予測が生成されるが、この場合、テンプレートによる予測モードを用いた、現在のテンプレートスライス内のあらゆるブロックの予測は、現在の画像内にはあっても現在のテンプレートスライスの外にあるいかなるサンプルの予測にも使用しないよう制約される。テンプレートスライスの境界に関する情報は、ビットストリーム内で信号伝達されてもよい。例えば、各テンプレートスライス内の符号化ツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ（ＣＴＵ））の数、または各テンプレートスライス内のＣＴＵの行数に関する情報は、ビットストリーム内で信号伝達されてもよい。本明細書に記載のとおりのテンプレートスライスの使用により、異なるテンプレートスライスを並列にエンコードまたはデコードすることが可能になる。
さらなる実施形態は、本明細書に記載の方法を実行するように構成されたエンコーダおよびデコーダ（総称して「コーデック」）システムを含む。そのようなシステムは、プロセッサと、プロセッサ上で実行される場合に、本明細書に記載の方法を実行するよう動作可能な命令を記憶する非一過性のコンピュータ記憶媒体とを含んでいてもよい。
１つまたは複数の本開示の実施形態を実装してもよい例示的な通信システムを示すシステム図である。 一実施形態による図１Ａに例示された通信システム内で使用してもよい例示的な無線送受信ユニット（ｗｉｒｅｌｅｓｓ ｔｒａｎｓｍｉｔ／ｒｅｃｅｉｖｅ ｕｎｉｔ（ＷＴＲＵ））を例示するシステム図である。 ブロックによる動画像エンコーダの例を示す。 ブロックによる動画像デコーダの例を示す。 局所照明補償を例示する。 フレームレート・アップコンバージョン（ＦＲＵＣ）に基づくテンプレート・マッチングの例を示す。 変換係数の符号を予測するのに使用するための境界不連続性の計算に使用されるサンプルを例示する。 動きベクトル差分符号導出の例において使用される動きベクトル差分候補を例示する。 部分ブロックモードのためのオーバーラップブロック動き補償（ＯＢＭＣ）処理を例示し、この場合、ＯＢＭＣは、４つのすべての隣接ブロック（例えば、網掛けされた部分ＣＵブロックａ、ｂ、ｃ、ｄ）からのＭＶを使用して、すべての部分ＣＵブロック（例えば、部分ＣＵブロックＡ）に適用される。 ＨＥＶＣデコーダによる並列デコーディングの例を示す。 ＪＥＭにおけるデコーディングレイテンシの例を示す。 テンプレートによるインター予測技術のテンプレートとしてＭＣＰサンプル（ＯＢＭＣあり）を使用することによる、デコーディングレイテンシの減少を例示する。 テンプレートによるインター予測技術のテンプレートとしてＭＣＰサンプル（ＯＢＭＣなし）を使用することによる、デコーディングレイテンシの減少を例示する。 テンプレートによるインター予測に使用されるテンプレートサンプルの例を示す。 ＪＥＭにおいて使用される一次変換の最低周波数応答を例示する。 現在の画像を３つのテンプレートスライスに分割する例を示す。 一実施形態により、テンプレートによるインター予測を使用してブロックをエンコーディングする例示的な処理を示す。 一実施形態により、テンプレートによるインター予測を使用してブロックをデコーディングする、例示的な処理を示す。
実施形態を実装するための例示的なネットワーク
図１Ａは、１つまたは複数の開示された実施形態を実装する場合のある例示的な通信システム１００を例示する図である。通信システム１００は、音声、データ、動画像、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する多重アクセスシステムであってもよい。通信システム１００は、無線帯域幅を含むシステムリソースの共有を通じて、複数の無線ユーザがそのようなコンテンツにアクセスできるようにしてもよい。例えば、通信システム１００は、１つまたは複数のチャネルアクセス方法、例えば、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ｓｉｎｇｌｅ－ｃａｒｒｉｅｒ ＦＤＭＡ（ＳＣ－ＦＤＭＡ））、ゼロテールユニークワードＤＦＴ－スプレッドＯＦＤＭ（ｚｅｒｏ－ｔａｉｌ ｕｎｉｑｕｅ－ｗｏｒｄ ＤＦＴ－Ｓｐｒｅａｄ ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ））、ユニークワードＯＦＤＭ（ｕｎｉｑｕｅ ｗｏｒｄ ＯＦＤＭ（ＵＷ－ＯＦＤＭ））、リソースブロックフィルタリングＯＦＤＭ（ｒｅｓｏｕｒｃｅ ｂｌｏｃｋ－ｆｉｌｔｅｒｅｄ ＯＦＤＭ）、フィルタバンクマルチキャリア（ｆｉｌｔｅｒ ｂａｎｋ ｍｕｌｔｉｃａｒｒｉｅｒ（ＦＢＭＣ））、および同種のものを採用してもよい。
図１Ａに示とおり、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、ＲＡＮ１０４、ＣＮ１０６、公衆交換電話網（ｐｕｂｌｉｃ ｓｗｉｔｃｈｅｄ ｔｅｌｅｐｈｏｎｅ ｎｅｔｗｏｒｋ（ＰＳＴＮ））１０８、インターネット１１０、および他のネットワーク１１２を含んでいてもよいが、ただし、開示の実施形態が、いかなる数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク構成要素をも想定していることは理解されるであろう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境で動作および／または通信するように構成されたいかなるタイプの装置であってもよい。一例として、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、いずれも「局」および／または「ＳＴＡ」を指す場合のあるものであって、無線信号を送信および／または受信するように構成されてもよく、そして、ユーザ機器（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ（ＵＥ））、移動局、固定または移動サブスクライバユニット、サブスクリプションによるユニット、ポケットベル、携帯電話、パーソナル・デジタル・アシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（ＰＤＡ））、スマートフォン、ラップトップ、ネットブック、パーソナル・コンピュータ、無線センサ、ホットスポットまたはＭｉ－Ｆｉ装置、モノのインターネット（ＩｏＴ）装置、腕時計または他のウェアラブル機器、ヘッドマウント・ディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ（ＨＭＤ））、車両、ドローン、医療の機器およびアプリケーション（例えば遠隔手術）、産業用の装置およびアプリケーション（例えば、産業用および／または自動化処理チェーンの文脈において動作するロボットおよび／または他の無線装置）、民生用電子装置、商用および／または産業用無線ネットワーク上で動作する装置、および同種ものを含んでいてもよい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および１０２ｄのいずれも、ＵＥを交換可能に指す場合がある。
通信システム１００はまた、基地局１１４ａおよび／または基地局１１４ｂを含んでもよい。基地局１１４ａ、１１４ｂのそれぞれは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線により接続するように構成された装置であって、ＣＮ１０６、インターネット１１０、および／または他のネットワーク１１２などの１つまたは複数の通信ネットワークへのアクセスを容易にするいかなるタイプの装置であってもよい。一例として、基地局１１４ａ、１１４ｂは、基地トランシーバ局（ＢＴＳ）、ノードＢ（Ｎｏｄｅ－Ｂ）、ｅノードＢ（ｅＮｏｄｅ Ｂ）、ホームノードＢ（Ｈｏｍｅ Ｎｏｄｅ Ｂ）、ホームｅノードＢ（Ｈｏｍｅ ｅＮｏｄｅ Ｂ）、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータ、および同種のものであってもよい。基地局１１４ａ、１１４ｂは、それぞれ単一の構成要素として描かれているが、基地局１１４ａ、１１４ｂは、相互接続されたいかなる数の基地局および／またはネットワーク構成要素も含むことができることは理解されよう。
基地局１１４ａは、ＲＡＮ１０４の一部であってもよく、このＲＡＮ１０４はまた、他の基地局および／またはネットワーク構成要素（図示せず）、例えば基地局コントローラ（ｂａｓｅ ｓｔａｔｉｏｎ ｃｏｎｔｒｏｌｌｅｒ（ＢＳＣ））、無線ネットワークコントローラ（ｒａｄｉｏ ｎｅｔｗｏｒｋ ｃｏｎｔｒｏｌｌｅｒ（ＲＮＣ））、中継ノード等を含んでいてもよい。基地局１１４ａおよび／または基地局１１４ｂは、１つまたは複数のキャリア周波数上で無線信号を送信および／または受信するように構成されてもよく、これはセル（図示せず）と称される場合がある。これらの周波数は、認可されたスペクトル、認可されていないスペクトル、または認可されたスペクトルと認可されていないスペクトルとの組み合わせであってもよい。セルは、特定の地理的領域を無線サービスの対象としてもよく、この領域は、相対的に固定されていてもよいし、時間経過とともに変化してもよい。セルはさらに、セルセクタに分割されてもよい。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割されてもよい。したがって、一実施形態では、基地局１１４ａは、３つのトランシーバ、すなわち、セルの各セクタに対応するものを含んでもよい。一実施形態では、基地局１１４ａは、多重入力多重出力（ｍｕｌｔｉｐｌｅ－ｉｎｐｕｔ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ（ＭＩＭＯ））技術を採用してもよく、そしてセルの各セクタ用の複数のトランシーバを利用してもよい。例えば、所望の空間的方向に信号を送信および／または受信するためにビームフォーミングを使用してもよい。
基地局１１４ａ、１１４ｂは、エアインターフェース１１６を介して、１つまたは複数のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと通信してもよく、エアインターフェースは、いかなる適切な無線通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であってもよい。エアインターフェース１１６は、いかなる適切な無線アクセス技術（ｒａｄｉｏ ａｃｃｅｓｓ ｔｅｃｈｎｏｌｏｇｙ（ＲＡＴ））を用いて確立されてもよい。
より具体的には、上述のとおり、通信システム１００は、多重アクセスシステムであってもよく、そして１つまたは複数のチャネルアクセス方式、例えばＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡを採用してもよい。例えば、ＲＡＮ１０４の基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサル移動体通信システム（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ＵＭＴＳ））地上無線アクセス（Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（ＵＴＲＡ））などの無線技術を実装してもよく、この技術が、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１６を確立してもよい。ＷＣＤＭＡ（登録商標）は、高速パケットアクセス（Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＰＡ））および／または進化型（Ｅｖｏｌｖｅｄ ＨＳＰＡ（ＨＳＰＡ＋））などの通信プロトコルを含んでいてもよい。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ（ＤＬ）Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＤＰＡ））および／または高速ＵＬパケットアクセス（Ｈｉｇｈ－Ｓｐｅｅｄ ＵＬ Ｐａｃｋｅｔ Ａｃｃｅｓｓ（ＨＳＵＰＡ））を含んでいてもよい。
一実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、進化型ＵＭＴＳ地上無線アクセス（Ｅｖｏｌｖｅｄ ＵＭＴＳ Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ（Ｅ－ＵＴＲＡ））のような無線技術を実装してもよく、この無線技術は、ロング・ターム・エボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ））および／またはＬＴＥ－アドバンスト（ＬＴＥ－Ａｄｖａｎｃｅｄ（ＬＴＥ－Ａ））および／またはＬＴＥ－アドバンスト・プロ（ＬＴＥ－Ａｄｖａｎｃｅｄ Ｐｒｏ（ＬＴＥ－Ａ Ｐｒｏ））を使用してエアインターフェース１１６を確立してもよい。
一実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＮＲ無線アクセスなどの無線技術を実装してもよく、この無線技術が、ニュー・ラジオ（Ｎｅｗ Ｒａｄｉｏ（ＮＲ））を使用してエアインターフェース１１６を確立してもよい。
一実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装してもよい。例えば、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、実例としてはデュアル・コネクティビティ（ｄｕａｌ ｃｏｎｎｅｃｔｉｖｉｔｙ（ＤＣ））原理を使用して、ＬＴＥ無線アクセスおよびＮＲ無線アクセスを一緒に実装してもよい。したがって、ＷＲＴＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、および／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）に、そしてそれらから送られる送波によって特徴付けられてもよい。
他の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ ８０２．１１（すなわち、ワイヤレス・フィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（ＷｉＦｉ））、ＩＥＥＥ ８０２．１６（すなわち、ＷｉＭＡＸ）、ＣＤＭＡ２０００、ＣＤＭＡ２０００ ＩＸ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定基準２０００（Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ２０００（ＩＳ－２０００））、暫定規格９５（Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ９５（ＩＳ－９５））、暫定規格８５６（Ｉｎｔｅｒｉｍ Ｓｔａｎｄａｒｄ ８５６（ＩＳ－８５６））、汎欧州デジタル移動電話方式（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ））、ＧＳＭ進化型高速データレート（Ｅｎｈａｎｃｅｄ Ｄａｔａ ｒａｔｅｓ ｆｏｒ ＧＳＭ Ｅｖｏｌｕｔｉｏｎ（ＥＤＧＥ））、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）、および同種のものなどの無線技術を実装してもよい。
図１Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントであってもよく、そして、局所化された領域、例えば事業所、家庭、車両、キャンパス、産業施設、空中回廊（例えば、ドローンによる使用のためのもの）、車道、および同種のものでの無線接続を容易にするために、いかなる適切なＲＡＴを利用してもよい。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ ８０２．１１などの無線技術を実装して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立してもよい。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ ８０２．１５などの無線技術を実装して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立してもよい。さらに別の実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、携帯電話を用いたＲＡＴ（例えば、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセル（ｐｉｃｏｃｅｌｌ）またはフェムトセル（ｆｅｍｔｏｃｅｌｌ）を確立してもよい。図１Ａに示すとおり、基地局１１４ｂは、インターネット１１０に直接接続していてもよい。したがって、基地局１１４ｂは、ＣＮ１０６を介してインターネット１１０にアクセスする必要がない場合もある。
ＲＡＮ１０４は、ＣＮ１０６と通信していてもよく、ＣＮ１０６は、音声、データ、アプリケーション、および／またはボイス・オーバー・インターネット・プロトコル（ｖｏｉｃｅ ｏｖｅｒ ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ（ＶｏＩＰ））サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数に提供するように構成されたいかなるタイプのネットワークであってもよい。データは、変動するサービス品質（ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ（ＱｏＳ））の要求、例えば異なるスループットの要求、レイテンシの要求、誤り冗長性の要求、信頼性の要求、データスループットの要求、移動性の要求を有してもよい。ＣＮ１０６は、通話制御、課金サービス、モバイル位置情報サービス（ｍｏｂｉｌｅ ｌｏｃａｔｉｏｎ－ｂａｓｅｄ ｓｅｒｖｉｃｅｓ）、プリペイド通話、インターネット接続、動画像配信等を提供してもよい、および／またはユーザ認証などの高レベルのセキュリティ機能を実行してもよい。図１Ａには示されていないが、ＲＡＮ１０４および／またはＣＮ１０６は、他のＲＡＮと直接的にまたは間接的に通信していてもよく、他のＲＡＮが、ＲＡＮ１０４と同じＲＡＴまたはそれとは異なるＲＡＴを採用してもよいことは理解されよう。例えば、ＣＮ１０６は、ＮＲ無線技術を利用している場合のあるＲＡＮ１０４に接続されていることに加えて、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を採用する別のＲＡＮ（図示せず）と通信していてもよい。
また、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするための、ゲートウェイとして働いてもよい。ＰＳＴＮ１０８は、基本電話サービス（ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ（ＰＯＴＳ））を提供する回線交換電話網を含んでいてもよい。インターネット１１０は、伝送制御プロトコル（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ（ＴＣＰ））、ユーザ・データグラム・プロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ（ＵＤＰ））、および／またはＴＣＰ／ＩＰインターネット・プロトコル・スイート（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｓｕｉｔｅ）におけるインターネット・プロトコル（ＩＰ）などの共通の通信プロトコルを使用する、相互接続されたコンピュータ・ネットワークおよび装置のグローバル・システムを含んでいてもよい。ネットワーク１１２は、他のサービスプロバイダが所有および／または運営する有線および／または無線通信ネットワークを含んでいてもよい。例えば、ネットワーク１１２は、１つまたは複数のＲＡＮに接続された別のＣＮを含んでもよく、このＲＡＮは、ＲＡＮ１０４と同じＲＡＴを採用してもよいし、異なるＲＡＴを採用してもよい。
通信システム１００におけるＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの一部または全部は、マルチモード機能を含んでいてもよい（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含んでいてもよい）。例えば、図１Ａに示すＷＴＲＵ１０２ｃは、携帯電話を用いた無線技術を採用していてもよい基地局１１４ａと、そしてＩＥＥＥ ８０２無線技術を採用していてもよい基地局１１４ｂと通信するように構成されてもよい。
図１Ｂは、例示的なＷＴＲＵ１０２を例示するシステム図である。図１Ｂに示すとおり、ＷＴＲＵ１０２は、プロセッサ１１８、トランシーバ１２０、送／受信構成要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、取り外し不可能なメモリ１３０、取り外し可能なメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および／または他の周辺機器１３８を含んでいてもよい。ＷＴＲＵ１０２は、実施形態との整合性を維持しつつ、前記構成要素のいかなる部分的組み合わせも含むことができることは理解されよう。
プロセッサ１１８は、汎用プロセッサ、特定用途向けプロセッサ、従来型プロセッサ、デジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、複数のマイクロプロセッサ、ＤＳＰコアを伴う１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ））、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ））回路、他のいかなるタイプの集積回路（ＩＣ）、状態マシン、および同種のものであってもよい。プロセッサ１１８は、信号符号化、データ処理、電力制御、入／出力処理、および／またはＷＴＲＵ１０２を無線環境で動作可能にする他のいかなる機能を実行してもよい。プロセッサ１１８は、トランシーバ１２０に結合されてもよく、このトランシーバは、送／受信構成要素１２２に結合されてもよい。図１Ｂは、プロセッサ１１８およびトランシーバ１２０を別個の構成部分として描いているが、プロセッサ１１８およびトランシーバ１２０が、電子部品パッケージまたはチップ内に一体に集積されていてもよいことは理解されよう。
送／受信構成要素１２２は、エアインターフェース１１６を介して基地局（例えば、基地局１１４ａ）に信号を送信するように、またはそこから信号を受信するように構成されてもよい。例えば、一実施形態では、送／受信構成要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってもよい。一実施形態では、送／受信構成要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成されたエミッタ／検出器であってもよい。さらに別の実施形態では、送／受信構成要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成されてもよい。送／受信構成要素１２２は、いかなる組み合わせの無線信号をも送信および／または受信するように構成されてもよいことが理解されるであろう。
送／受信構成要素１２２は、単一の構成要素として図１Ｂに描かれているが、ＷＴＲＵ１０２は、いかなる数の送／受信構成要素１２２を含んでいてもよい。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を採用してもよい。よって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１６を介して無線信号を送受信するための２つ以上の送／受信構成要素１２２（例えば、複数のアンテナ）を含んでいてもよい。
トランシーバ１２０は、送／受信構成要素１２２によって送信されることになる信号を変調し、送／受信構成要素１２２によって受信された信号を復調するように構成されてもよい。上述のとおり、ＷＴＲＵ１０２は、マルチモード機能を有していてもよい。よって、トランシーバ１２０は、ＷＴＲＵ１０２が、例えばＮＲやＩＥＥＥ ８０２．１１などの複数のＲＡＴを介して通信することを可能にする複数のトランシーバを含んでいてもよい。
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されていてもよく、そしてそこからユーザ入力データを受信してもよい。また、プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８に、ユーザデータを出力してもよい。加えて、プロセッサ１１８は、取り外し不可能なメモリ１３０および／または取り外し可能なメモリ１３２などの、いかなるタイプの適切なメモリから情報にアクセスしてもよく、そしてそこにデータを記憶してもよい。取り外し不可能なメモリ１３０は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、ハードディスク、または他のいかなるタイプのメモリ記憶装置を含んでいてもよい。取り外し可能なメモリ１３２は、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ（ＳＩＭ））カード、メモリスティック、セキュアデジタル（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ（ＳＤ））メモリカードなどを含んでもよい。他の実施形態では、プロセッサ１１８は、ＷＴＲＵ１０２上、例えばサーバまたはホームコンピュータ（図示せず）上には物理的に配置されていないメモリから、情報にアクセスし、そしてそこにデータを記憶してもよい。
プロセッサ１１８は、電源１３４から電力を受け取り、ＷＴＲＵ１０２内の他の構成部分に電力を分配および／または制御するように構成されてもよい。電源１３４は、ＷＴＲＵ１０２に電力を供給するいかなる適切な装置であってもよい。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケル－カドミウム（ＮｉＣｄ）、ニッケル－亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）等）、太陽電池、燃料電池、および同種のものを含んでいてもよい。
プロセッサ１１８はまた、ＧＰＳチップセット１３６に結合されていてもよく、このチップセットは、ＷＴＲＵ１０２の現在位置に関する位置情報（例えば、経度および緯度）を提供するように構成されてもよい。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１６を介して位置情報を受信してもよい、および／または２つ以上の近くの基地局から受信されている信号のタイミングに基づいてその位置を決定してもよい。ＷＴＲＵ１０２が実施形態と整合性を保ちつつ、いかなる適切な位置決定方法によって位置情報を取得してもよいことは理解されよう。
プロセッサ１１８はさらに、他の周辺機器１３８に結合されていてもよく、これらの周辺機器は、追加の機構、機能、および／または有線もしくは無線接続を提供する、１つまたは複数のソフトウェアおよび／もしくはハードウェアモジュールを含んでいてもよい。例えば、周辺機器１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真および／または動画像用）、ユニバーサル・シリアル・バス（ＵＳＢ）ポート、振動装置、テレビジョン・トランシーバ、ハンズ・フリー・ヘッドセット（ｈａｎｄｓ ｆｒｅｅ ｈｅａｄｓｅｔ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオ・ユニット、デジタル音楽プレーヤ、メディア・プレーヤ、ビデオ・ゲーム・プレーヤ・モジュール、インターネット・ブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）装置、活動量計（ａｃｔｉｖｉｔｙ ｔｒａｃｋｅｒ）、および同種のものを含んでいてもよい。周辺機器１３８は、１つまたは複数のセンサを含んでいてもよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ；ジオロケーション・センサ；高度計、光センサ、タッチ・センサ、磁力計、気圧計、ジェスチャー・センサ（ｇｅｓｔｕｒｅ ｓｅｎｓｏｒ）、生体センサ、および／または湿度センサの１つまたは複数であってもよい。
ＷＴＲＵ１０２は、全二重無線を含んでもよく、この全二重無線に対しては、ＵＬ（例えば、送信用）およびダウンリンク（例えば、受信用）の両方用の特定のサブフレームに関連付けられた信号の一部または全部の送信および受信が、並行および／または同時であってもよい。全二重無線は、ハードウェア（例えば、チョーク（ｃｈｏｋｅ））、またはプロセッサ（例えば、別個のプロセッサ（図示せず）またはプロセッサ１１８）を介した信号処理の、いずれかを介して自己干渉を減少させる、または実質的に除去する干渉管理ユニットを含んでいてもよい。一実施形態では、ＷＲＴＵ１０２は、半二重無線を含んでいてもよく、この半二重無線に対しては、信号の一部または全部（例えば、ＵＬ（例えば、送信用）またはダウンリンク（例えば、受信用）のいずれかのための特定のサブフレームに関連付けられた信号）の送信および受信。
ＷＴＲＵは、図１Ａ～１Ｂに無線端末として記載されているが、特定の代表的な実施形態では、そのような端末が、通信ネットワークとの有線通信インターフェースを（例えば、一時的または永続的に）使用してもよいことは企図される。
図１Ａ～１Ｂ、そして図１Ａ～１Ｂに対応する記載に鑑みると、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅノード－Ｂ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ｂ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、および／または本明細書に記載のあらゆる他の装置に関して本明細書に記載される機能の、１つまたは複数またはすべては、１つまたは複数のエミュレーション装置（図示せず）によって実行されてもよい。エミュレーション装置は、本明細書に記載された機能の、１つまたは複数またはすべてをエミュレートするように構成された、１つまたは複数の装置であってもよい。例えば、エミュレーション装置は、他の装置をテストするのに、ならびに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするのに使用してもよい。
エミュレーション装置は、実験室環境および／または作業者ネットワーク環境において、他の装置の１つまたは複数のテストを実施するように設計されていてもよい。例えば、１つまたは複数のエミュレーション装置は、通信ネットワーク内の他の装置をテストすることを目的に、有線および／または無線通信ネットワークの一部として完全にまたは部分的に実装および／または配置されている間に、１つまたは複数のまたはすべての機能を実行してもよい。前記１つまたは複数のエミュレーション装置は、有線および／または無線通信ネットワークの一部として一時的に実装／配置されている間に、１つまたは複数のまたはすべての機能を実行してもよい。エミュレーション装置は、テストを目的として他の装置に直接結合されてもよい、および／または無線通信を使用してテストを実行してもよい。
１つまたは複数のエミュレーション装置は、有線および／または無線通信ネットワークの一部として実装／配置されていない間に、すべての機能を含め１つまたは複数の機能を実行してもよい。例えば、エミュレーション装置は、１つまたは複数の構成部分のテストを実現することを目的に、実験室および／または設置されていない（例えば、検証用の）有線および／または無線通信ネットワークにおけるテストシナリオにおいて利用されてもよい。１つまたは複数のエミュレーション装置は、テスト装置であってもよい。直接ＲＦ結合、および／またはＲＦ回路（例えば、１つまたは複数のアンテナを含んでいてもよいもの）を介した無線通信をエミュレーション装置が使用して、データを送／受信してもよい。
ブロックによるハイブリッド動画像符号化
ＨＥＶＣテストモデル（ＨＭ）と同様に、共同検証モデル（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ））ソフトウェアもまた、ブロックによるハイブリッド動画像符号化フレームワーク（１００）上に構築されている。図２に、ブロックによるハイブリッド動画像エンコーディングシステムのブロック図を示す。本出願では、用語「再構成された」および「デコードされた」を交換可能に使用される場合があることに留意されたい。通常、しかし必ずしもそうではないが、用語「再構成された」は、エンコーダ側で使用される一方、用語「デコードされた」は、デコーダ側で使用される。
動画像シーケンスは、デコードされる前に前処理にかけてもよく、例えば、入力カラー画像に色変換（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）を適用してもよいし、または圧縮に対してさらに復元力のある信号分布を得るために、入力画像成分のリマッピングを実行して（例えば、色成分の１つのヒストグラム均等化を使用して）もよい。メタデータを前処理に関連付けて、ビットストリームに添付してもよい。
入力動画像信号１０２は、ブロックごとに処理される。ＨＥＶＣ仕様では、「ブロック」と「ユニット」とを区別しており、この場合、「ブロック」は、サンプル配列内の特定の領域（例えば、ルマ（ｌｕｍａ）、Ｙ）をアドレスし、「ユニット」は、全てのエンコードされた色成分（例えば、Ｙ、Ｃｂ、Ｃｒ、またはモノクロ）の並置されたブロック、シンタックス要素、およびブロックに関連付けられた予測データ（例えば、動きベクトル）を含む。本出願では、用語「ブロック」は、様々なサイズのデータの配列を参照するのに使用することができ、また、Ｈ．２６４／ＡＶＣで規定されているとおりマクロブロックおよびパーティションを、ＨＥＶＣに規定されているとおり符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ（ＣＵ））、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ（ＰＵ））、変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ（ＴＵ））、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、変換ブロック（ＴＢ）のいずれかを、ＡＶ１に規定されているとおりスーパーブロック（ｓｕｐｅｒｂｌｏｃｋ）またはサブパーティショニング（ｓｕｂ－ｐａｒｔｉｔｉｏｎｉｎｇ）を、ＶＶＣ（汎用動画像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ））または他の動画像符号化規格に規定されているとおりＣＴＵ、ＣＵ、ＴＵ、ＣＢ、ＴＢを参照するのに使用することができる。
ＨＥＶＣでは、高解像度（１０８０ｐ以上）の動画像信号を能率的に圧縮するために、拡張されたブロックサイズが使用される。ＨＥＶＣでは、ＣＵは最大６４×６４ピクセルまで可能である。ＣＵはさらに予測ユニットに分割することができ、それらに対して別個の予測法が適用される。各入力動画像ブロック（ＭＢまたはＣＵ）に対して、空間的予測（１６０）および／または時間的予測（１６２）が実行されてもよい。
空間的予測（または「イントラ予測」）は、同じ動画画像／スライス内の既に符号化された隣接ブロックのサンプル（参照サンプルと呼ばれるもの）からのピクセルを使用して、現在の動画像ブロックを予測する。空間的予測は、動画像信号に固有の空間的冗長性を低減させる。
時間的予測（「インター予測」または「動き補償された予測」とも称される）は、すでに符号化された動画画像から再構成されたピクセルを使用して、現在の動画像ブロックを予測する。時間的予測は、動画像信号に固有の時間的冗長性を低減させる。所与の動画像ブロックに対する時間的予測信号は通常、現在のブロックとその参照ブロックとの間の動きの量と方向を示す１つまたは複数の動きベクトルによって信号伝達される。また、複数の参照画像がサポートされている（Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの最近の動画像符号化規格の場合のような場合）ならば、各動画像ブロックに対して、その参照画像インデックスが追加で送信され、そして、その参照インデックスを使用して、参照画像記憶部（１６４）内のどの参照画像から時間的予測信号が来るかが識別される。
空間的および／または時間的予測の後、エンコーダ内のモード決定ブロック（１８０）は、例えばレート－歪み最適化法に基づいて、最良の予測モードを選択する。次いで予測ブロックは、現在の動画像ブロック（１１６）から減算され、そして予測残差は、変換を使用して無相関化され（１０４）、量子化（１０６）される。
エンコーダは、エンコードされたブロックをデコードして、さらなる予測のための参照を提供する。量子化された残差係数は、逆量子化され（１１０）、逆変換されて（１１２）、再構成された残差を形成し、次いでこの残差は、予測ブロック（１２６）に戻って加算されて、再構成された動画像ブロックを形成する。
またエンコーダは、変換をとばして、変換されていない残差信号に直接量子化を適用することもできる。またエンコーダは、変換と量子化の両方を迂回してもよい、すなわち残差は、変換や量子化処理を適用せずに直接的に符号化される。直接的なパルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ（ＰＣＭ））符号化では、予測が適用されず、符号化ユニットのサンプルが直接的にビットストリームに符号化される。
さらなるインループ・フィルタリング（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）、例えばデブロッキング・フィルタ（ｄｅ－ｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、ＳＡＯ（サンプル・アダプティブ・オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ））フィルタ、およびアダプティブ・ループ・フィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を、再構成された動画像ブロックに適用（１６６）してから、その動画像ブロックを、参照画像記憶部内に置き（１６４）、将来の動画像ブロックを符号化するのに使用してもよい。出力動画像ビットストリーム１２０を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピー符号化ユニット（１０８）に送られ、さらに圧縮されパックされて、ビットストリームを形成する。
図３に、ブロックによる動画像デコーダ（２００）の一般的なブロック図を示す。動画像デコーダは概して、対応するエンコーディングパス（ｅｎｃｏｄｉｎｇ ｐａｓｓ）と相反するデコーディングパス（ｄｅｃｏｄｉｎｇ ｐａｓｓ）を実行し、これは動画像データのエンコーディングの一部として動画像デコーディングを行う。動画像ビットストリーム２０２は最初に、エントロピーデコーディングユニット２０８において、アンパックされ、エントロピーデコードされる。符号化モードおよび予測情報は、空間的予測ユニット２６０（イントラ符号化されている場合）または時間的予測ユニット２６２（インター符号化されている場合）のいずれかに送られて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット２１０および逆変換ユニット２１２に送られて、残差ブロックを再構成する。予測ブロックと残差ブロックは次いで、２２６で一緒に加算される。再構成されたブロックは、さらにインループ・フィルタリング（２６６）を通過してから、参照画像記憶部２６４に記憶されてもよい。参照画像記憶部内の再構成された動画像（２２０）は、将来の動画像ブロックを予測するのに使用されてもよいだけでなく、引き続き保存されても、送信されても、またはディスプレイ装置を駆動するのに使用されてもよい。
デコードされた画像はさらに後処理、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）にかけてもよく、またはエンコーディング前処理において実行されたリマッピング処理の逆を実行する逆リマッピングにかけてもよい。後処理では、エンコーディング前処理において得られ、ビットストリーム内で信号伝達されたメタデータを用いてもよい。
ＨＥＶＣおよびＪＥＭは共に、図２および図３に示すとおり、ブロックによる動き補償ハイブリッド動画像エンコーディング／デコーディングのワークフローに準拠しており、同一の機能モジュール、例えば空間的予測（すなわち、イントラ予測）、時間的予測（すなわち、インター予測）、変換、量子化、エントロピー符号化、およびループフィルタに基づいている。しかし、いくつかのインター符号化モジュール、特に動き補償された予測に関連するモジュールが、さらに拡張され改良されている。
テンプレートによるインター予測技術。
ＨＥＶＣでは、インター予測に使用される符号化パラメータ（例えば、動きベクトル（ＭＶ）、参照インデックス、重み付き予測パラメータ）は、レート－歪み（Ｒ－Ｄ）最適化によりエンコーダ内で決定され、デコーダに向け信号伝達される。したがって、それらのインター符号化パラメータを符号化するのに使用されるオーバーヘッドは、出力ビットストリームの無視できない部分を占める可能性がある。それらのパラメータの信号伝達を回避するために、テンプレートによるインター予測技術が２つ、ＪＥＭにおいて適用されており、その適用は、テンプレートサンプル、例えば、先にデコードされた、現在のブロックの再構成された隣接サンプルに基づいて、デコーダ内でそれらのインター符号化パラメータを導出することによってなされる。第１の方法は、局所照明補償（ＬＩＣ）と呼ばれている。ＬＩＣは、テンプレートサンプルに基づいて導出されたスケーリングとオフセットに基づいて、動き補償された予測を補償して、異なる画像間の局所的な照明変化の問題に対処する。第２の方法は、フレームレート・アップコンバージョン（ＦＲＵＣ）テンプレートモードと呼ばれ、このモードでは、動き情報（ＭＶおよび参照インデックス）が、テンプレート・マッチングに基づいてデコーダで導出される。
ＬＩＣやＦＲＵＣに加えて、インター予測と残差係数信号伝達との両方に適用できる、テンプレートによる他の方法が提案されている。それらの方法では、再構成された隣接サンプルを用いて現在のブロックのデコーディングを行う。以下では、テンプレートによるそれらの符号化法の態様についても簡単に説明する。
局所照明補償。
ＬＩＣは、Ｊ．Ｃｈｅｎ，Ｅ．Ａｌｓｈｉｎａ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｊ．Ｒ．Ｏｈｍ，Ｊ．Ｂｏｙｃｅ，“Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ７）”，ＪＶＥＴ－Ｇ１００１，Ｊｕｌ．２０１７，Ｔｏｒｉｎｏ，Ｉｔａｌｙに記載のとおり、時間的に隣接する画像に存在する局所的な照明変化の問題に対処するためにＪＥＭで使用される符号化ツールである。ＬＩＣは、参照サンプルにスケーリング因子とオフセットを適用して現在のブロックの予測サンプルを得るという線形モデルに基づいている。具体的には、ＬＩＣは次の式で数学的にモデル化することができる。
Ｐ（ｘ，ｙ）＝ａ・Ｐr（ｘ＋ｖx，ｙ＋ｖy）＋β・・・（１）
ここでＰ（ｘ，ｙ）は、座標（ｘ，ｙ）の位置での現在のブロックの予測信号であり、Ｐr（ｘ＋ｖx，ｙ＋ｖy）は、動きベクトル（ｖx，ｖy）の指す参照ブロックであり、αおよびβは、参照ブロックに適用される、対応するスケーリング因子とオフセットである。図４に、ＬＩＣ処理を例示する。図４では、ＬＩＣが動画像ブロックに適用される場合、線形最小平均二乗誤差（ＬＬＭＳＥ）法が採用されて、現在のブロックの隣接サンプル（図４のテンプレートＴ）と、時間的参照画像におけるそれらの対応する参照サンプル（すなわち、図４のＴ０またはＴ１のいずれか）との間の差分を最小化することによって、ＬＩＣパラメータ（αおよびβ）の値を導出し、これは例えば、
であり、ここでＮは、ＬＩＣパラメータの導出に使用されるテンプレートサンプルの数を表し；Ｔ（ｘi，ｙi）は、座標（ｘi，ｙi）の位置での現在のブロックのテンプレートサンプルであり；Ｔ0/1（ｘi＋ｖx 0/1，ｙi＋ｖy 0/1）は、現在のブロックの動きベクトル（Ｌ０またはＬ１のいずれか）に基づくテンプレートサンプルの対応する参照サンプルである。加えて、計算の複雑さを低減させるために、テンプレートサンプルと参照テンプレートサンプルの両方をサブサンプリング（２：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ））して、ＬＩＣパラメータを導出してもよく、例えば、図４の網掛けのサンプルのみを使用して、αおよびβを導出してもよい。
テンプレート・マッチングによるフレームレート・アップコンバージョン。
動き情報を信号伝達する際のオーバーヘッドを低減するために、ＪＥＭではインターブロックに対してＦＲＵＣをサポートしている。ＦＲＵＣが有効になっている場合には、現在のブロックのＭＶと参照画像インデックスとの両方を信号伝達することはなく、かわりに、それらをデコーダ側で生成する。具体的には、ＦＲＵＣの動き導出に対しては、現在のブロックの空間的、時間的に隣接するものから生成された一組の予備的なＭＶ候補をチェックし、絶対差分の最小和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ））につながる候補を初期ＭＶとして選択する。続いて、初期ＭＶのまわりの局所探索を行って、ＳＡＤが最小となるＭＶを、そのブロック全体のＭＶとして使用する。既存のＦＲＵＣでは、テンプレート・マッチングとバイラテラル・マッチング（ｂｉｌａｔｅｒａｌ－ｍａｔｃｈｉｎｇ）の２つの探索アルゴリズムがサポートされている。テンプレート・マッチングでは、現在のブロックの上および／または左の符号化された隣接サンプル（インループ・フィルタが適用されていないもの）を使用して、ブロックの動き情報を導出し、この導出は、テンプレートと、参照画像内でのその対応するブロック（例えば、テンプレートと同一のサイズを有する対応するブロック）との間の最良の一致を与えるＭＶを見つけることによって行う。図５に、テンプレート・マッチングによるＦＲＵＣを例示する。
変換係数の符号予測。
テンプレートによる符号化法のいくつかでは、変換係数に対する符号を信号伝達するオーバーヘッドを低減するために符号予測法が適用される。そのような方法の例は、Ｙ．－Ｗ．Ｃｈｅｎ，ｅｔ ａｌ，“Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ ａｎｄ ３６０° ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｑｕａｌｃｏｍｍ ａｎｄ Ｔｅｃｈｎｉｃｏｌｏｒ－ｌｏｗ ａｎｄ ｈｉｇｈ ｃｏｍｐｌｅｘｉｔｙ ｖｅｒｓｉｏｎｓ”，ＪＶＥＴ－Ｊ００２１，Ａｐｒ．２０１８，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡ；およびＡ．Ａｌｓｈｉｎ ｅｔ ａｌ，“Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ ａｎｄ ３６０° ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｓａｍｓｕｎｇ，Ｈｕａｗｅｉ，ＧｏＰｒｏ，ａｎｄ ＨｉＳｉｌｉｃｏｎ－ｍｏｂｉｌｅ ａｐｐｌｉｃａｔｉｏｎ ｓｃｅｎａｒｉｏ”，ＪＶＥＴ－Ｊ００２４，Ａｐｒ．２０１８，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡに記載されている。
符号予測法は、符号化ブロックの変換係数に複数の逆変換を行うように動作する。各逆変換に対して、非ゼロの変換係数の符号は、負または正のいずれかに設定される。現在のブロックの変換係数の符号を予測する符号予測子として、コスト関数を最小化する符号の組み合わせが選択される。この考え方を例示する一例として、現在のブロックが、非ゼロの２つの係数を含むと仮定すると、４つの可能な符号の組み合わせ、すなわち、（＋，＋）、（＋，－）、（－，＋）、（－，－）がある。４つの組み合わせすべてに対してコスト関数が計算され、最小コストの組み合わせが符号予測子として選択される。この例におけるコスト関数は、現在のブロックとその因果関係のある隣接ブロックとの間の境界にあるサンプルの不連続性の測定結果として計算される。図６に示すように、コスト関数は、現在のブロックの境界サンプルと、現在のブロックの上および左の再構成された隣接サンプルとの二次微分の絶対値の和として計算され、以下のとおりであり：
ここで、Ｒx,yは再構成された隣接サンプル、Ｐx,yは現在のブロックにおける予測値、ｒx,yは座標（ｘ，ｙ）の位置で仮定される残差である。
動きベクトル差分符号の導出。
また、動きベクトル差分（ＭＶＤ）に対する符号の信号伝達を低減させるため、テンプレート・マッチング技術も提案されている。このような技術の１つでは、受信したＭＶＤの絶対値に基づいて、ＭＶＤ候補のリストが、水平および垂直のＭＶＤのそれぞれに対して符号値の異なる組み合わせを用いて生成される。次いで、各ＭＶＤ候補のコストが、現在のブロックのテンプレートサンプル（再構成された隣接サンプル）を用いて計算される。ＭＶＤ候補は、算出されたコスト値に基づいてソートされる。最終的なＭＶＤは、ソートされた候補リストのインデックスをエンコーダからデコーダに送ることによって選択される。図７は、動きベクトル差分符号の導出の考え方を示す一例を示しており、ここで、Ａ、Ｂ、Ｃ、およびＤは、考えられる４つのＭＶＤ候補であって、受信されたＭＶＤ絶対値に対して異なる符号値を割り当てることによって生成されるものである。インデックスが信号伝達されて、４つの候補のうちの１つが識別され、識別された候補は、現在のブロックの最終的なＭＶを再構成するのに使用される。
テンプレート・マッチングによる動きベクトル予測。
いくつかの実施形態では、ＨＭおよびＪＥＭの各規則的なインター符号化されたブロックに対して、２つの動きベクトル予測子（ＭＶＰ）候補が生成され、エンコーダからデコーダへＭＶＰインデックスを信号伝達することにより、最も優れた予測品質を有する候補が選択される。Ｙ．－Ｗ．Ｃｈｅｎ ｅｔ ａｌ．（上記）では、ＭＶＰ信号伝達を回避するために、テンプレートによるＭＶＰ導出法が用いられる。具体的には、デコーダ側でのＭＶＰ導出にテンプレート・マッチングが用いられる。まず、２つのデフォルトのＭＶＰ候補がチェックされ、テンプレートとその参照と間のＳＡＤが小さくなるほうの候補が、出発点として選択される。次いで、出発点のまわりでテンプレート・マッチングによる局所探索を行い、マッチングコストが最小となるＭＶが、現在のブロックのＭＶＰとして選択される。
動き候補の並び替え。
Ｃ．－Ｗ．Ｈｓｕ ｅｔ ａｌ．，“Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＭｅｄｉａＴｅｋ”，ＪＶＥＴ－Ｊ００１８，Ａｐｒ．２０１８，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡでは、マージモードの能率を向上させる、動き候補並び替え方法が用いられている。具体的には、初期マージ候補リストが生成された後、リスト内の初期マージ候補は、テンプレート・マッチングコストに基づいて並び替えられ、このコストは、現在のＣＵのテンプレートサンプルと、そのテンプレートの対応する参照サンプルとの間で、マージ候補の動きを用いて計算される。並び替えの後、コストのより小さくなるマージ候補を、コストのより大きいマージ候補の前に置くことができる。このようにして、より良い予測品質を与えるマージ候補に費やすビットをより少なくすることにより、マージ候補インデックスの信号伝達能率を向上させることができる。
変換シンタックス並び替え。
エンハンストマルチプル変換（ｅｎｈａｎｃｅｄ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ（ＥＭＴ））および／または非分離可能型二次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ（ＮＳＳＴ））が使用される場合、複数の変換のインデックスを並べ替える際に使用される変換シンタックス並べ替えが、Ｃ．－Ｗ．Ｈｓｕ ｅｔ ａｌ．（上記）において提案されており、これらの変換は、ブロックの再構成された隣接サンプルを用いて、例えば、変換係数の符号予測に使用されるのと同じコスト関数（「変換係数の符号予測」の項で上述したとおりのもの）に基づいて、選択することができる。考えられるＥＭＴおよび／またはＮＳＳＴ変換候補は、コストに基づいて並べ替えられ、コストがより小さいものに、短いコードワードが割り当てられる。
オーバーラップブロック動き補償。
オーバーラップブロック動き補償（Ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ（ＯＢＭＣ））は、動き補償の段階でブロッキング・アーチファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除去するために、ＪＥＭ参照ソフトウェアにおいて使用される。ＪＥＭでは、ブロックの右と下の境界を除くすべてのブロック間境界にＯＢＭＣが実行される。さらに、ブロックが複数の部分ブロックに分割され、各部分ブロックがそれ自体のＭＶ（例えば、ＦＲＵＣブロック）に関連付けられている場合、ＯＢＭＣは、すべての部分ブロック境界にも実行される。図８に、ＯＢＭＣの概念を例示する。具体的には、ある部分ブロック（例えば、図８の部分ブロックＡ）にＯＢＭＣを適用する場合、現在の部分ブロックのＭＶに加えて、隣接する４つの部分ブロックのＭＶも使用して、現在の部分ブロックの予測信号を導出する。次いで、隣接する部分ブロックのＭＶを使用する複数の予測信号を平均化して、現在の部分ブロックの最終的な予測信号を生成する。
適応的マルチプルコア変換（Ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）。
ＨＥＶＣで使用されるＤＣＴ－ＩＩおよびＤＳＴ－ＶＩＩコア変換に加えて、ＪＥＭにおいて、インターブロックおよびイントラブロックの残差を符号化するために、適応的マルチプルコア変換（ＡＭＴ）ツールが使用される。具体的には、ＡＭＴは、ＤＣＴ－ＶＩＩＩ、ＤＣＴ－Ｖ、ＤＳＴ－ＶＩＩ、ＤＳＴ－Ｉを含め、ＤＣＴ／ＤＳＴ変換群から４つの追加のコア変換を導入する。ＡＭＴは、幅と高さが６４以下のすべての符号化ブロックに適用され、ＡＭＴが有効になったかどうかを示すフラグが信号伝達される。フラグが０に等しい場合には、これは、ブロックの変換としてＤＣＴ－ＩＩが使用されることを示し、そうでない場合（すなわち、フラグが１に等しい場合）には、３つの変換部分集合（それぞれ、表１で指定された２つの異なるＡＭＴコア変換を含む）が定義される。ＡＭＴがイントラブロックに適用される場合、まず、ブロックのイントラ予測方向に基づいて変換部分集合が選択される。次いで、２つの追加フラグが信号伝達されて、どちらかの変換（選択された変換部分集合内の２つのコア変換のうちから）が、水平変換と垂直変換としてそれぞれ使用されるかを表示する。インターブロックでは、ＤＣＴ－ＶＩＩＩとＤＳＴ－ＶＩＩからなる変換部分集合＃０のみが使用される。
モードに依存する分離不可能型二次変換。
一般に、空間的な隣接サンプルどうしの間の相関は時間領域のそれよりも小さいため、イントラ予測によって生成された残差サンプル内に強い相関が存在することが多い。イントラ符号化能率をさらに向上させるために、ＪＥＭでは、分離不可能な変換をイントラブロックの変換係数に適用することにより、モードに依存する分離不可能型二次変換（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ（ＮＳＳＴ））と呼ばれるツールが適用される。具体的には、ブロックの幅と高さの両方が８以上である場合には、ブロックの二次元変換係数配列の左上８×８領域に、８×８の分離不可能型変換を適用し、そうでない場合（すなわち、幅または高さのいずれかが、ＪＥＭにおける最小符号化ブロックサイズである４に等しい場合）には、ブロックの変換係数配列の左上領域（ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）のサイズ）に４×４の分離不可能型変換を適用する。ＮＳＳＴを例示するために、入力Ｘを、以下に指定されるとおり４×４のブロックと仮定する。
ＮＳＳＴを適用するために，入力ブロックは、以下のとおりベクトルに変換される。
次いで、ＮＳＳＴが以下によって適用され、
ここで、
は、変換係数ベクトルであり、Ｔは１６×１６のＮＳＳＴ変換行列を示す。１６×１の係数ベクトル
は、そのブロックの走査順序（水平、垂直、または対角）を用いて、４×４ブロックとして再編成される。ＪＥＭでは、行列乗算を使用する代わりに、バタフライ実装に基づくハイパーキューブギブンス変換（ｈｙｐｅｒｃｕｂｅ－ｇｉｖｅｎｓ ｔｒａｎｓｆｏｒｍ（ＨｙＧＴ））を使用して、分離不可能型変換の計算の複雑さを低減している。
例示的な実施形態で対処される課題。
ＨＥＶＣ規格は、従来の規格と同様に、動き補償された予測（ＭＣＰ）を採用しており、画像間の時間的冗長性を効率的に低減することで、高いインター符号化能率を実現している。ＭＣＰは、既にデコードされた画像からのサンプルのみを用いて現在の画像のサンプルを予測するので、空間的な隣接ブロックのＭＣＰ間に依存性がない。このことは、同一画像／スライス内のインターブロックのＭＣＰが互いに独立していることを意味する。よって、現在の画像内の複数のインターブロックのデコーディング処理は、並列に行うことができ、例えば、それらの処理は、異なるスレッドに割り当てて並列化を利用することができる。
上述のとおり、テンプレートによるインター予測法のいくつか（例えば、テンプレート・マッチングによるＦＲＵＣやＬＩＣ）が、ＪＥＭにおいて適用される。符号化パラメータの信号伝達を回避するために、テンプレートによるインター予測法は、現在のブロックの空間的な隣接ブロックの既に再構成されたサンプルを使用して、エンコーダおよびデコーダの両方でそれらのパラメータを導出する。よって、テンプレートによるそれらのインター予測技術の１つによってブロックが符号化される場合、そのデコーディング処理は、その隣接ブロックのサンプル（現在のブロックのテンプレートサンプル）が完全に再構成されるまで待機する。これは、パイプライン設計を、特にデコーダ側で複雑にする可能性があり、したがって、ハードウェア実装にとって複雑さの大幅な増加につながる。
テンプレートによるインター予測法に起因する並列処理の課題を理解するために、図９および図１０に、ＨＥＶＣとＪＥＭのデコーディング処理を比較する例を示す。説明を容易にするために、図中の等しいブロックサイズの４つの連続した符号化ブロックを例として使用するが、各符号化ブロックは、個別のデコーディングスレッドによってデコードされており、各個別のデコーディングモジュール（例えば、ＭＣＰ、ＯＢＭＣ、逆量子化、および逆変換）のデコーディングの複雑さは、これら４つの符号化ブロックに対して同一であると仮定する。加えて、ＪＥＭの例におけるすべての符号化ブロックは、テンプレートによるインター予測技術のうちの１つに基づいて符号化されると仮定する。図９および図１０において、ブロックは、ＭＣＰ、ＯＢＭＣ、逆量子化、および逆変換のデコーディング処理を表し、変数ＴMCP、ＴOBMC、Ｔde-quant、およびＴinv-transは、これら４つのモジュールのデコーディング時間である。図９に示すとおり、４つのデコーディングブロックは並列にデコードすることができるので、ＨＥＶＣの全デコーディング時間は、１つの符号化ブロックのデコーディング時間、すなわち、ＴMCP＋Ｔde-quant＋Ｔinv-transに等しい。
テンプレートによる予測技術によって持ち込まれる依存性に起因して、ＪＥＭのデコーディング処理に対しては（図１０に示すように）、各個々の符号化ブロックのデコーディングは、その空間的な隣接ブロックが完全に再構成されるまで呼び出すことができない。したがって、ＪＥＭの全デコーディング時間は、４つのブロックのデコーディング時間の和、すなわち、Ｔtotal＝４＊（ＴMCP＋ＴOBMC＋Ｔde-quant＋Ｔinv-trans）に等しい。図１０の例では、ＯＢＭＣの使用を前提としているが、ＯＢＭＣを使用しない場合でもレイテンシの同一課題が存在することに留意されたい。概して言えば、ＨＥＶＣにおけるインター符号化されたブロックの再構成は、互いに独立して実行することができ、これは、ＨＥＶＣにおけるＭＣＰ処理が、既に完全に再構成されている参照画像からのサンプルしか必要としないためである。このことは、ＨＥＶＣにおけるインターブロックの再構成の並列化が容易であることを意味する。これに対して、テンプレートによる方法、例えばＪＥＭにおけるＦＲＵＣやＬＩＣを使用すると、隣接するインター符号化されたブロックどうしの間に依存性が持ち込まれる。インターブロックがこれらのモードの１つを用いて符号化される場合、そのブロックのＭＣＰは、隣接ブロックが完全に再構成されるまで開始することができず、したがって、レイテンシが大幅に増加する。
実施形態の概要
上記のレイテンシの課題に対処するために、テンプレートによるインター予測法の主な符号化利得を維持しつつ、テンプレートによるインター予測法のエンコーディング／デコーディングレイテンシを低減する方法を、本明細書に記載する。提案された方法において、テンプレートによるインター予測法の機能のいくつかは、既存の設計と同じままである。例えば、ＬＩＣに対しては、パラメータ導出と線形サンプル調整処理はそのままであり、ＦＲＵＣに対しては、テンプレート・マッチングに基づく動き探索処理はそのままである。しかし、テンプレートによるインター予測により使用されるテンプレートサンプルの生成は、隣接ブロック間の依存性が下がるように変更されて、テンプレートによるインター予測に起因するエンコーディング／デコーディングレイテンシ全体が短縮されるようにしている。具体的には、ＪＥＭにおけるテンプレートによる既存の方法と比較して、この開示において提案される変更は、以下に記載のものを含む。
ＪＥＭにおけるテンプレートによる既存のインター予測法では、符号化パラメータを導出するのに、再構成された隣接サンプルを用いるが、これと比較して、空間的な隣接ブロックの予測信号（すなわち、ＭＣＰ、および適用可能であればＯＢＭＣから生成される予測サンプル）を現在のブロックに対するテンプレートサンプルとして用いることを提案する。このようにして、テンプレートによる符号化ブロックのエンコーディング／デコーディングは、その隣接ブロックの予測信号が利用可能になるとすぐに呼び出すことができる。予測信号のみをテンプレートとして使用すると、完全に再構成された信号よりも精度が低くなる可能性があるが、これは、再構成された残差がまだ加算されていないせいである。このことは、符号化性能のある程度の劣化をもたらす可能性がある。性能損失を低減するために、追加の方法を提案しており、これは、予測信号をテンプレートサンプルの源として使用する場合に、テンプレートによるインター予測の符号化性能をさらに向上させるものである。
テンプレートによるインター予測のレイテンシを低減するために、画像／スライスを複数の「テンプレートスライス」に分割することをさらに提案するが、この分割は、テンプレートスライス内のインターブロックのデコーディングが他のテンプレートスライスとは独立に実行されるようにしてなされる。そのような並列化を達成するために、提案されることとして、符号化ブロックが、そのブロックの同じテンプレートスライス内には存在しないサンプルをテンプレートサンプルとして使用できないようにすることがある。加えて、考えられる符号化損失を低減させるために、テンプレートスライスは、テンプレートサンプル依存性を破るだけであるが、それでも、他の符号化処理（例えば、インループ・フィルタ、イントラ予測、高度な動きベクトル予測（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ（ＡＭＶＰ））など）がテンプレートスライス境界をまたいだ動作をすることを可能にしている。
一般性を損なうことなく、以下の考察では、提案された方法を説明するために、テンプレート・マッチングによるＦＲＵＣおよびＬＩＣを例として使用する。しかしながら、記載されることになるスキームは、テンプレートによる他のコーディングスキームにも適用可能であり、それらのコーディングスキームでは、ブロックの再構成された隣接サンプルが、エンコーディングおよび／またはデコーディング処理の間に使用される。
予測信号に基づく、テンプレートによるインター予測。
上で指摘したとおり、ＨＥＶＣと比較して、再構成された隣接サンプルを、テンプレートによるインター予測法のテンプレートとして使用することは、コーデック実装用の並列エンコーディング／デコーディングには使い勝手が悪いが、その理由は、テンプレートによる符号化ブロックのエンコーディング／デコーディングは、ＭＣＰ、ＯＢＭＣ（適用される場合）、逆量子化、および逆変換を通じて、因果関係を持つその隣接サンプルがすべて完全に再構成されるまで待機する必要があるためである。
エンコーディング／デコーディングレイテンシを低減するために、本開示の一実施形態では、完全に再構成された信号の代わりに、隣接ブロックからの予測信号に基づいて、テンプレートによるインター予測を実行することを提案する。一実施形態では、再構成された隣接サンプルを使用する代わりに、空間的な隣接ブロックの予測サンプルを、ＦＲＵＣ動き探索、ＬＩＣパラメータ導出、および／または他のテンプレートによるパラメータ導出において、現在のブロックのテンプレートとして使用する。そのような設計に基づいて、テンプレートによる符号化ブロックのエンコーディング／デコーディングは、その隣接ブロックの予測信号が生成された直後に開始することができ、隣接ブロックの残差の再構成まで待機することはない。隣接ブロックの逆量子化や逆変換に起因するエンコーディング／デコーディングレイテンシがここに解消されることを考えると、これにより、テンプレートによるインター予測法のレイテンシの大幅な短縮につながる可能性がある。
図９および図１０の仮定に基づいて、図１１には、本明細書において提案される方法がテンプレートによるインター予測法に適用された場合の、並列デコーディング処理を例示する。図１１に示すとおり、テンプレートによる各符号化ブロックのデコーディング処理は、その隣接ブロックのインター予測の後に直ちに呼び出すことができるので、２つの連続するブロック間のデコーディングレイテンシは、第１のブロックの予測信号を生成するためのデコーディング時間に等しい、すなわち、Ｔlatency＝ＴMCP＋ＴOBMCである。よって、４つの符号化ブロックの全デコーディング時間はここに、Ｔtotal＝４＊（ＴMCP＋ＴOBMC）＋Ｔde-quant＋Ｔinv-transにまで低減される。
図１１では、ＯＢＭＣを適用して、インターブロックの予測サンプルが生成され、次いでそれらのサンプルは、隣接ブロックに対して対応する符号化パラメータ（例えば、ＦＲＵＣ ＭＶやＬＩＣパラメータ）を導出するためのテンプレートサンプルとして、使用される。ＯＢＭＣは、実行される複数の動き補償に起因するブロッキング・アーチファクトを除去することにより、予測品質を向上させることができるものの、エンコーディング／デコーディングの複雑さの増加が持ち込まれ、それゆえ、テンプレートによるインター予測法と組み合わせた場合には、無視できないエンコーディング／デコーディングレイテンシが生じる。他方で、ＯＢＭＣは、符号化ブロックの境界サンプルを変更するだけであるため、予測信号を生成するための複雑さの増加を考えれば、導出された符号化パラメータの正確度への影響は比較的小さい。
したがって、性能／レイテンシのさらに良好なトレードオフを達成するために、いくつかの実施形態では、ＯＢＭＣの前に生成された予測信号を、テンプレートによるインター予測法のためのテンプレートサンプルとして使用することを提案する。図１２に、テンプレートによるインター予測に上述の方法が適用される場合の並列デコーディング処理を例示する。図１２に示すとおり、テンプレートによる各ブロックのデコーディングは、隣接するブロックのＭＣＰが終了した直後に開始することができるため、２つの隣接ブロック間のデコーディングレイテンシはさらに短縮されて、Ｔlatency＝ＴMCPになる。これに対応して、ここに、４つの符号化ブロックの全デコーディング時間は、Ｔtotal＝４＊ＴMCP＋ＴOBMC＋Ｔde-quant＋Ｔinv-transとなる。
図１１および図１２では、現在のブロックおよび／またはその隣接ブロックに対してＯＢＭＣが有効になっていると仮定されていることに留意されたい。これは単なる一例である。提案された、予測信号によるテンプレート・マッチング方法は、ＯＭＢＣが有効でない場合にも等しく適用可能である。
いくつかの実施形態では、イントラ符号化されたブロックの予測サンプルは、テンプレート符号化されたブロックをデコーディングするためのテンプレートサンプルとしても使用することができる。しかしながら、イントラ符号化されたブロックもまた、それぞれの空間的な隣接ブロックの再構成されたサンプルを使用して予測サンプルを生成するという事実に起因して、予測サンプルをそのように使用することは、ハードウェア設計にとっては最適ではない可能性があるが、これは、隣接するイントラ符号化されたサンプルから現在のテンプレートブロックに伝搬するエンコーディング／デコーディングレイテンシが原因である。いくつかの実施形態では、例えば、本明細書に開示のとおり、テンプレートによる方法に予測サンプルを使用する場合、イントラモードで符号化される隣接ブロックの予測サンプルは、現在のブロックのテンプレートサンプルとして使用しないよう無効にされる。具体的には、そのような実施形態では、テンプレートサンプルが、イントラ符号化された隣接ブロックからのものである場合、現在のブロックのテンプレートサンプルとして使用できないものとして扱われる。
図１１および図１２において、予測サンプル（ＯＢＭＣが適用された後またはその前のいずれかに生成されたもの）が、テンプレートによるインター予測法のためのテンプレートサンプルとして使用されて、再構成されたサンプルを置き換える。これらの方法は、エンコーディング／デコーディングレイテンシを大幅に低減することができるものの、予測サンプルと再構成されたサンプルとの間の差分（再構成された残差信号）は、テンプレートによるインター予測用に導出される符号化パラメータ（例えば、ＦＲＵＣ用の動きベクトル、またはＬＩＣ用の重み／オフセットパラメータ）の精度を低下させ、したがって、符号化性能全体に負の影響をもたらす可能性がある。テンプレートによるインター予測に予測信号が採用される場合に考えられる符号化性能低下を補償する追加の方法を、本明細書でさらに提案する。
非ゼロ残差の存在に基づいて予測サンプルを適応的に有効にすることによってなされる、テンプレートによるインター予測。
テンプレートによる予測に予測信号を使用する実施形態は、テンプレートによるインター予測の符号化利得の多くを維持することができ、特に、再構成された信号と予測信号が非常に類似している場合には、そうである。しかしながら、予測信号を使用することは、隣接するテンプレートサンプルに対して大きな予測誤差（すなわち、大きな非ゼロ残差）が存在する場合には、満足のいくものではない可能性がある。別の状況では、隣接するテンプレートサンプルがゼロ残差で符号化されている場合、再構成されたサンプルとそれらのテンプレートサンプルが同じであることを考えると、現在のブロックのテンプレートサンプルとしてそれらを使用することは依然として信頼性が高い。
いくつかの実施形態では、テンプレートによるインター予測（例えば、ＦＲＵＣおよび／またはＬＩＣ）が適用される場合に、ゼロ残差に関連付けられた予測サンプルのみをテンプレートサンプルとして使用することを提案する。いくつかの実施形態では、非ゼロ残差を予測サンプルが有するか否かの決定は、ビットストリーム内で信号伝達される、符号化されたブロックのフラグ（ＣＢＦ）に基づいて行われ、このＣＢＦは、非ゼロの変換係数をブロックが含むか否かを示すものである。このフラグが１に等しい場合、これは、現在のブロックに非ゼロ残差があることを意味し、したがって、その予測サンプルは、テンプレートによるインター予測に使用するには信頼性が低い可能性がある（そして、この場合、テンプレートサンプルとしてそのような予測サンプルを使用するのを無効にしてもよい）。そうでなければ（すなわち、ＣＢＦが０に等しい場合には）、これは、現在のブロックに関連するすべての残差がゼロであることを信号伝達するものであり、これに対応して、テンプレートによるインター予測に予測サンプルを使用しても安全である（そして、この場合、テンプレートサンプルとしてそのような予測サンプルを使用することを有効にしてもよい）。
図１３に、そのような方法を例示する一例を示す。図１３において、Ａ0およびＡ1と標識された隣接サンプル位置、およびＬ0からＬ3と標識された隣接サンプル位置は、それぞれ、上の隣接ブロックＢｌｋ０および左の隣接ブロックＢｌｋ２に属しており、両方ともＣＢＦが０に等しい。これら２つの隣接ブロックに対してはゼロ残差しかないので、Ａ0およびＡ1と標識された位置、およびＬ0からＬ3まで標識されたそれらの位置での予測サンプルは、テンプレートによる方法（例えば、ＦＲＵＣおよび／またはＬＩＣ）においてテンプレートサンプルとして使用することができる。しかしながら、Ａ2およびＡ3と標識された隣接サンプル位置は、ＣＢＦが１に等しい上の隣接ブロックＢｌｋ１からのものであるので、対応する予測サンプルは、いくつかの実施形態では、テンプレートサンプルとして使用されない場合があり、その理由は、それらが、再構成されたサンプル値とは異なるため、精度がそれほど良くないと考えられる場合があるからである。
いくつかのそのような方法では、残差がすべてゼロであるかどうかの決定は、隣接する各サンプルに対して行われ、同じテンプレート内のサンプル上での決定が互いに異なっていてもよい。サンプルによるそのような差分は、実用的なハードウェア実装には使い勝手が悪い場合があり、例えば、テンプレート内のサンプルが残差を有するか否かに基づいて異なる扱いを受けるＦＲＵＣのＳＡＤ計算およびＬＩＣパラメータ導出処理には、特別な注意が必要である可能性がある。
このような煩雑さを回避するために、現在のブロックよりも上または左のいずれかのテンプレート部分領域のサンプルを完全に有効／無効する方法を提案する。具体的には、そのような方法によって、ブロックのテンプレート部分領域（左のテンプレート部分領域または上のテンプレート部分領域のいずれか）のサンプルを、そのテンプレート部分領域のすべてのサンプルに関連付けられたすべての残差がゼロである場合にのみ、テンプレートサンプルとして使用することが可能になる。図１３の同一の例に基づくと、左のテンプレート部分領域（すなわち、Ｌ0からＬ3）内のすべてのサンプルが、ＣＢＦが０である同一の隣接ブロックからのものであるので、左のテンプレート部分領域は、テンプレートによるインター予測のために有効にされる。他方で、サンプルＡ2、Ａ3を含む隣接ブロックには残差があるので、上テンプレート部分領域全体（すなわち、Ａ0からＡ3）は、テンプレートサンプルとして使用されることはない。
重み付き予測サンプルに基づく、テンプレートによるインター予測。
上述のとおり、残差があるかどうかは、予測サンプルと再構成されたサンプルとがどれだけ類似しているかを決定する因子である。いくつかの実施形態では、残差が小さい予測サンプルは、テンプレートによるインター予測のための符号化パラメータの正確な見積もりを達成するのには、残差が大きい予測サンプルよりも重要な役割を果たす。いくつかのそのような実施形態では、それらの残差の値に基づいて、異なる予測サンプルに不均等な重みを適用することを提案する。
再び、図１３の同一の例を使用すると、予測サンプルＡ0およびＡ1、ならびにＬ0からＬ3には残差がないので、それらは信頼性がさらに高いと考えられる。これらのサンプルを用いてテンプレートパラメータを見積もる場合、それらのサンプルにはより大きな重みが割り当てられてもよい。逆に、予測サンプルＡ2およびＡ3は、残差がゼロではないので、それらのサンプルをテンプレートサンプルとして使用する場合には、より小さな重みが与えられる。重み付き予測サンプルは、テンプレートパラメータを見積もるための入力として使用されることになる。具体的には、重み付きテンプレートサンプルをＦＲＵＣテンプレート・マッチングに組み込むことで、ブロックのテンプレートサンプルと、参照画像内のそのマッチングサンプルとの間の重み付きＳＡＤは、以下のとおり計算される。
ここで、Ｔ（ｘi，ｙi）は、座標（ｘi，ｙi）におけるテンプレートサンプル；Ｔr（ｘi＋ｖx，ｙi＋ｖy）は、参照画像の動きベクトル（ｖx，ｖy）に基づくテンプレートサンプルの対応する参照サンプル；ｗiは、Ｔ（ｘi，ｙi）に割り当てられた重みである。加えて、これらの重みをスケーリング因子とＬＩＣのオフセットの導出とに一体化すると、（２）式と（３）式は、次のようになる。
ｗiの値を計算するにはさまざまな方法を使用することができる。一実施形態では、各予測サンプルの残差の大きさにしたがって、各予測サンプルの重み値を計算することを提案する。具体的には、この方法では、テンプレートサンプルに割り当てられた重みは、以下のとおり計算される。
ここでＷ（ｘi，ｙi）は、テンプレートサンプルＴ（ｘi，ｙi）の規格化されていない重み因子であり、テンプレートサンプルの残差Ｒｅｓ（ｘi，ｙi）の大きさに基づいて以下のとおり導出される。
ＪＥＭにおいて適用される一次変換および二次変換はすべて直交変換であるため、符号化ブロックの残差信号の全エネルギーは、変換／逆変換の前後で保存される。したがって、変換／逆変換における浮動小数点演算の固定小数点演算への変換によって生じる丸め誤差に起因する若干の影響を除けば、ブロックの残差サンプルの全エネルギーは、ブロックの変換係数のそれと実質的に同一である。そのような特性に基づいて、エンコーディング／デコーディングレイテンシを低減させるために、式（１０）で用いられる大きさの比を、逆量子化や逆変換を適用せずに変換領域で計算してもよい。
別の実施形態では、２つの固定された重みｗ0およびｗ1が使用され（ここで、ｗ0＞ｗ1、そしてｗ0＋ｗ1＝１）；ｗ0は、ゼロ残差であるすべての予測サンプルに使用され、ｗ1は、非ゼロ残差であるすべての予測サンプルに使用される。
予測サンプルにＤＣオフセットを加算することに基づく、テンプレートによるインター予測。
図２および図３に示すとおり、ＨＥＶＣ及びその先行規格と同様に、２Ｄ変換及び２Ｄ逆変換もまた、ＪＥＭにおいて使用され、予測残差上で良好なエネルギー集中性を達成している。ほとんどの場合、水平変換および／または垂直変換の後、符号化ブロックにおける信号エネルギーの大部分は、一部の低周波係数に集中する。特に、強い方向性のエッジ、テクスチャ、および／または高速移動する物体のない領域において対象範囲とされる特定の符号化ブロックに対しては、元の信号とブロックの予測信号との間の誤差（すなわち、ブロックの残差）は、ブロック内の異なるサンプル位置全体を通して比較的一定である場合もあるし、またはゆっくりと変動している場合もある。そのような場合、２Ｄ変換は、残差のエネルギーを、変換領域内で１つの単一係数（例えば、ＨＥＶＣおよび以前の規格で使用されている従来のＤＣＴ－ＩＩ変換に対するＤＣ係数）に集中化させることさえあり得る。
上に考察のとおり、導出されたテンプレートパラメータの正確度は、テンプレートサンプルの予測信号と再構成された信号との間の類似度に依存する。ＦＲＵＣの動き探索がどのように実行され、ＬＩＣパラメータの導出がどのように実行されるかをつぶさに調べると、テンプレートサンプルの値は、集団的に（ＳＡＤの形で、または、式（２）および（３）にしたがって）見積もられることの多いことがわかる。これは、テンプレート信号内の高周波数成分が、テンプレートの低周波数成分よりも、重要性がはるかに低い可能性のあることを意味している。いくつかの実施形態では、テンプレートによるインター予測法のためのテンプレートサンプルとして予測サンプルを使用する前に、それらの予測サンプルにＤＣ成分だけを加算することによって、予測信号を補正することを提案する。これを行うことにより、テンプレートサンプルの最も重要な周波数（すなわち、ＤＣ成分）が、レイテンシの発生なしに補正されることになるが、これは、ＤＣ成分の再構成が比較的容易であり、逆変換を必要としないことが理由である。
ブロックによる動画像符号化では、有損失符号化が適用される場合、変換係数（ＤＣ係数を含む）は、エンコーダからデコーダに送られる前に量子化される必要がある。したがって、いくつかの実施形態では、残差（ＤＣrec）の正しいＤＣ値を取得するために、ビットストリームから解析されるＤＣ係数（ＤＣcoef）は、予測信号に加算される前に、例えば以下のとおり逆量子化される。
ここで、ｒｏｕｎｄ（・）は、入力された浮動小数点値をそれに最も近い整数に丸める関数であり、Ｑstepは、量子化ステップサイズであり、ＱＰは量子化パラメータである。さらに、２Ｄ直交変換（例えば、ＤＣＴ／ＤＳＴ群のコア変換）によりダイナミックレンジが増大するので、算されたＤＣ値が正しいダイナミックレンジにあることを保証するために、式（１１）に別の因子を導入する。具体的には、提案された方法では、以下のＤＣオフセットが予測サンプルに加算される。
ここで、ｎＴhおよびｎＴvは、ブロックに適用されている水平変換および垂直変換のサイズである。式（１２）は、浮動小数点演算である。実際には、式（１２）中の除算および乗算は、スケーリング因子を乗算した後に適切なビットを右シフトすることによって近似することができる。そのような考えに基づいて、一実施形態では、式（１２）は、以下のとおりになる。
ここでＭBsizeとＬBSizeは、スケーリング因子、および右シフト用のビット数であって（
の右シフトとともに）使用して、
の値を近似するものであり、それらは、以下のとおりに計算される。
式（１４）に示すとおり、２Ｄ変換のサイズに起因するダイナミックレンジの増加を純粋に右シフトでは実現できない場合にＭBsizeとＬBSizeを導入して、０．５ビットの右シフトを補償する。ＨＥＶＣおよびＪＥＭにおける既存の量子化設計に基づき、量子化ステップサイズは、ＱＰの各増分で約２1/6倍に増加し、ＱＰの３つ分の各増分で約２0.5倍に増加する。したがって、別の実施形態では、スケーリングに基づく方法（式（１４）のとおりのもの）に代えて、２Ｄ変換のダイナミックレンジの増加が、２という指数に正確に等しくない場合に、ＱＰ値を３だけ減少させて、０．５ビットの右シフトを近似させる方法を提案する。具体的には、この方法では、ＤＣオフセットは以下のとおり計算される。
ここで、ＱＰoffsetは以下に等しい。
従来のＤＣＴ－ＩＩコア変換に加えて、他の変換基底、例えば、ＤＣＴ－ＶＩＩＩ、ＤＣＴ－Ｖ、ＤＳＴ－ＶＩＩ、ＤＳＴ－Ｉ、およびＫＬＴによるＮＳＳＴ変換基底が、現在のＪＥＭにおいて一次変換段階および二次変換段階の両方で使用されており、変換符号化能率をさらに向上させている。これらの変換基底関数の特性が異なることに起因して、最低周波数での変換係数が真のＤＣ値に対応していない場合がある。
図１４に、現在のＪＥＭで使用されている一次変換関数の最低周波数応答を例示するが、各副図は、一対の水平変換と垂直変換に対応している。図１４に示すとおり、変換ＤＣＴ－ＩＩ＋ＤＣＴ ＩＩおよびＤＣＴ－Ｖ＋ＤＣＴ－Ｖを除いて、他のコア変換基底関数の最低周波数応答は、実ＤＣ値を近似するには正確さにほど遠い。このような観察に基づいて、一実施形態では、ＤＣオフセット（例えば、式（１２）において計算されるオフセット）を、ＤＣＴ－ＩＩまたはＤＣＴ－Ｖのいずれかの一次変換を使用してブロックが符号化される場合にのみ、予測信号に加算することを提案しており、他の一次変換関数を使用するブロックに対しては、予測信号は、オフセットを加算することなく、テンプレートサンプルとして直接使用されることになる。
別の実施形態では、ＤＣオフセットを、あるブロックがＮＳＳＴを適用せずに符号化される場合にのみ、予測信号に加算することを提案しており、ＮＳＳＴを適用してコードされるブロックに対しては、予測信号は、オフセットを加算することなく、テンプレートサンプルとして直接使用されることになる。他の実施形態では、どのような一次変換関数が使用されているかに、そしてＮＳＳＴが適用されているか否かに関わらず、全てのブロックの予測信号にＤＣオフセットを加算することを提案する。
別の実施形態では、ＡＭＴまたはＮＳＳＴを有効にしてブロックが符号化される場合に、別のＤＣスケーリング因子を導入して、最低周波数変換係数と実ＤＣ値との間の差分を補償することを提案する。このようなスケーリング因子を組み込むと、式（１２）はさらに以下のとおりになる。
ここでＳｃａｌｅDCは、ＤＣスケーリング因子であり、最低周波数応答が真のＤＣである場合のＤＣＴ－ＩＩ変換の信号エネルギーに対する、適用された変換関数（例えば、図１４に示されているもの）の最低周波数応答の信号エネルギーの比として計算される。１つの特別な場合として、ＤＣＴ－ＩＩが一次変換として使用される場合、ＳｃａｌｅDCの値は１に等しい、すなわち、スケーリングは適用されていない。
適応的テンプレートサイズに基づく、テンプレートによるインター予測。
現在のＪＥＭにおける、テンプレートによるインター予測法では、固定のテンプレートサイズ（例えば、ＦＲＵＣテンプレート・マッチングモードに対しては４行／列の隣接サンプル、ＬＩＣに対しては１行／列の隣接サンプル）が使用されている。しかしながら、そのような設計は最適ではない可能性があり、これは、符号化ブロックのサンプルとそのテンプレートサンプルとの間の相関が、選択されたテンプレートサイズに依存することに起因する。例えば、大きいテンプレートサイズを選択すると、テンプレートのサンプルが対象ブロックから遠くなる傾向があるという欠点がある。したがって、現在のブロックとそのテンプレートとの間の相関が不十分である場合がある。他方で、大きいテンプレートサイズはまた、ノイズ（例えば、動画像キャプチャノイズおよび符号化処理によって生じるノイズ）の存在下でより信頼性の高い見積もりを与えることができるという意味で、有利であることもある。いくつかの実施形態は、異なるブロックサイズに対して適切なテンプレートサイズを選択するように動作するが、このサイズは、ノイズに対して充分大きいものでありつつ、テンプレートと対象ブロックとの間の充分な相関関係を確保するためにサイズ制限を超えないのが望ましい。
一実施形態では、幅または高さのいずれかが８以下であるブロックには、２というテンプレートサイズが使用される。そうでなければ（幅と高さの両方が８より大きい）、４（すなわち、Ｌ＝４）というさらに大きいテンプレートサイズが使用される。別の実施形態では、テンプレートサイズは、エンコーダで適応的に選択され、デコーダに向け信号伝達されてもよい。そうするために、追加のシンタックス要素を、例えばシーケンス、画像、および／またはスライスレベルで導入して、異なるブロックサイズに使用される対応するテンプレートサイズを指定してもよい。様々な方法をエンコーダで適用して、最適なテンプレートサイズを（例えば、所定のブロックサイズに対して）決定してもよい。例えば、エンコーダで解析を行って、元の動画像に含まれるノイズのみならず、（例えば、ＱＰ値に基づいて）エンコーディング処理が持ち込む可能性のある符号化ノイズを決定してもよい。ノイズレベルが高い場合には、ノイズを打ち消すために大きいテンプレートサイズを選択してもよく；そうでない場合（すなわち、ノイズレベルが小さい場合）には、現在のブロックのサンプルとテンプレートが充分相関していることを保証するために小さいテンプレートサイズを選択してもよい。
テンプレートスライスに基づく、テンプレートによるインター予測。
上述のとおり、テンプレートによるインター予測法とってのエンコーディング／デコーディングレイテンシの１つの原因は、テンプレートによる符号化ブロックのＭＣＰと、その隣接サンプルの再構成との間の依存性である。さらに、図１０に示すとおり、テンプレートによる予測によって持ち込まれる最悪の場合のエンコーディング／デコーディングレイテンシは、テンプレートによるインター予測法によって符号化される連続したブロックの最大数に直接関連する。
いくつかの実施形態では、「テンプレートスライス」が、テンプレートによるインター予測技術の最大エンコーディング／デコーディングレイテンシを制限するのに使用される。具体的には、テンプレートスライスの使用により、画像／スライスが複数の別個のセグメント（すなわちテンプレートスライス）に分割され、セグメント内の各ブロックの符号化されたサンプルは、同一セグメント内の他のブロックのテンプレートによる符号化のためのテンプレートサンプルとしてのみ使用することができ、他のセグメント内のブロックのテンプレートによる符号化のためのテンプレートサンプルとしては使用することができない。このようにして、各テンプレートスライス内のブロックのエンコーディング／デコーディングは、他のテンプレートスライスから完全に独立したものとすることができる。
さらに、複数の実施形態では、従来のスライスとは異なり、テンプレートスライスは、テンプレートによるインター予測の依存性を破るだけであり、他のデコーディング処理には影響を与えない。例えば、インループ・フィルタ、イントラ予測、およびＡＭＶＰは、テンプレートスライス境界をまたいで依然として動作することができる。このようにして、テンプレートスライス間のテンプレートサンプル依存性の除去に起因して考えられる符号化損失を最小化することができる。図１５に、提案されたテンプレートスライスの概念を例示する一例を示す。図１５に例示するとおり、複数のテンプレートスライスのデコーディング処理は、異なるスレッドにそれらを割り当てることにより、ここに並列に行うことができる。
ＨＥＶＣやＪＥＭにおける他の並列化ツール（例えばスライス、タイル、および波面並列処理（ｗａｖｅ－ｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ（ＷＰＰ）））との類推により、テンプレートスライスに対しては、テンプレートスライスの数や画像／スライス内の各テンプレートスライスの位置は、エンコーダによって自由に選択でき、デコーダに向け信号伝達することができる。様々な選択肢（例えば、テンプレートスライスの数だけでなく、それらのサイズおよび位置）により、符号化性能とエンコーディング／デコーディング並列化との間の異なるトレードオフが生じ得る。概して、より多くのテンプレートスライスを有することによって、並列化は向上するが、符号化能率は低下する。
テンプレートスライスの信号伝達に関して、シーケンスおよび／または画像レベルでシンタックス要素が追加されてもよい。例えば、各テンプレートスライス内のＣＴＵの数は、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））および／または画像パラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））内で信号伝達されてもよい、またはスライスヘッダーにおいて信号されてもよい。シンタックス要素の他の変形例を使用してもよく、例えば、ＣＴＵ行の数を使用してもよく、各画像内のテンプレートスライスの数を使用してもよい。テンプレートスライスが使用されているかどうかをシーケンスまたは画像レベルで示すために、フラグを信号伝達してもよい。
別の実施形態では、各テンプレートスライスのＣＴＵまたはＣＴＵ行の数は、互いに異なっていてもよい。例えば、シンタックス要素をまず、ＳＰＳ、ＰＰＳおよび／またはスライス内で信号伝達して、現在のシーケンス、画像またはスライス内のテンプレートスライスの数を表示してもよく、続いて、各テンプレートスライス内のＣＴＵまたはＣＴＵ行の対応する数をそれぞれ指定する一組の他のシンタックス要素を信号伝達してもよい。さらに、上の考察にでは、各テンプレートスライスの境界は常にＣＴＵの境界と整列している（テンプレートスライスのサイズがＣＴＵのサイズの倍数であるようになっている）。別の実施形態では、テンプレートスライスを構成するのに使用される基本ユニットのサイズ（これは、ＳＰＳにおいて規定される最小符号化ブロックサイズの倍数でなければならない）を、ビットストリーム内で信号伝達することを提案する。
提案された、テンプレートによる方法を、テンプレートによる他の符号化方法に適用すること。
上の考察では、提案された、テンプレートによる方法、例えば、上述の「予測信号に基づくテンプレートによるインター予測」および「テンプレートスライスに基づくテンプレートによるインター予測」の項に記載された方法を例示する例として、ＦＲＵＣテンプレート・マッチングおよびＬＩＣを使用している。しかしながら、いくつかの実施形態では、提案された方法は、テンプレートによる他の符号化スキームに適用される。上に考察した、提案された方法は、再構成された隣接サンプルを現在のブロックのエンコーディング／デコーディングに使用する、テンプレートによる他の符号化方法、例えば、変換係数符号予測、動きベクトル差分符号導出、テンプレートによる動きベクトル予測、マージ候補並び替え、および変換シンタックス並び替えなどの、テンプレートによるコーディング方法に適応させることができる。
例えば、再構成された隣接サンプルに代えて、提案されたテンプレートサンプル導出を、予測サンプルに基づく、テンプレートによるそれらの符号化方法に用いる場合には、予測サンプル（ＤＣ成分を加算してもしなくても）を使用してコスト関数を算出し、このコスト関数を使用して、符号値（例えば、変換係数の符号予測や動きベクトル差分符号導出）や動きベクトル（例えば、テンプレートによる動き予測やマージ候補の並べ替え）を選択する。一例として、変換係数の符号予測に、予測によるテンプレート導出を適用する場合、式（４）に記述されるコスト関数は、以下のとおりとなる。
ここで、Ｐｒｅｄは隣接サンプルの予測信号、Ｐは現在のブロックの予測信号、ｒは仮定される残差である。
さらに一般的には、複数の予測技術（例えば、ＨＥＶＣ、ＦＲＵＣ、ＬＩＣ、テンプレートによるＭＶＤ符号予測、テンプレートによるＭＶ予測、テンプレートによる符号予測、およびＯＢＭＣに類似したＡＭＶＰまたはマージモード）が利用可能である場合、１つまたは複数の予測技術を使用して、隣接ブロックに対して或るバージョンの予測信号を生成することができる。この初期バージョンを、１つまたは複数の他の予測技術に基づいてさらに調整して、予測信号を改良してもよく、この予測信号は、隣接ブロックに対する予測残差に加算することができて、隣接ブロックを再構成する。エンコードまたはデコードされることになる現在のブロックに対しては、テンプレートによるインター予測を現在のブロックに適用する場合に、隣接ブロックの予測信号（初期バージョンまたは調整されたもの）を使用してテンプレートを形成することができる。
図９～１２に示す例では、予測処理（ＭＣＰ、ＯＢＭＣ）は、予測残差生成処理（逆量子化処理、逆変換処理）の前に実行されることが想定されている。しかし、予測処理は、予測残差生成処理とは独立に実行されてもよく、予測ブロックと予測残差ブロックは、前記のものとは異なる順序で得られてもよい。隣接予測サンプルを使用して、テンプレートによるインター予測を現在のブロックに行うという本技術は、残差ブロックが異なる順序で生成される場合にも適用可能であることに留意されたい。
図１６に、一実施形態による、テンプレートによるインター予測を使用してブロックをエンコーディングする例示的な方法１６００を示す。方法１６００は、初期化ステップ１６０５から始まる。初期化ステップでは、テンプレートを形成するのに使用することができる隣接ブロックの予測サンプル、および隣接ブロックのＣＢＦにエンコーダがアクセスする場合がある。ステップ１６１０では、現在のブロックのテンプレートが、隣接ブロックの予測サンプルに基づいて形成される。前記のとおり、テンプレートは、上および左の隣接ブロックからの隣接サンプルによって形成されてもよいし、隣接サンプルがゼロ残差または非ゼロ残差に対応するかどうかを示す情報をさらに使用して形成されてもよい。また、テンプレートのサイズは、ブロックサイズまたはノイズレベルに合わせてもよい。テンプレートに使用される予測サンプルは、インター予測処理の一部または全部を実行した後に得てもよい。次いで、再構成されたサンプルを用いて、参照画像内の対応するテンプレートが形成される。
次いで、そのテンプレートを用いて、テンプレートによるインター予測が実行される。ステップ１６２０では、ＦＲＵＣが実行されて、動きベクトルが得られる。ステップ１６３０では、ＬＩＣのための重みおよびオフセットが得られる。ステップ１６２０および１６３０で得られたパラメータを使用して、ステップ１６４０で現在のブロックに対する予測を生成してもよい。予測を生成する際に、他の予測技術、例えばＯＢＭＣを使用してもよい。ステップ１６５０で、現在のブロックに対する予測残差を、元のブロックから予測ブロックを減算することによって生成することができる。次いで、予測残差を量子化し、変換し、そしてエントロピー符号化することができる。
図１７に、一実施形態による、テンプレートによるインター予測を使用してブロックをデコーディングする例示的な方法１７００を示す。方法１７００は、初期化ステップ１７０５から始まる。初期化ステップでは、テンプレートを形成するのに使用することができる隣接ブロックの予測サンプルと、隣接ブロックのＣＢＦと、現在のブロックに対する量子化変換係数とにデコーダがアクセスしてもよい。ステップ１７１０では、現在のブロックに対するテンプレートが、隣接ブロックの予測サンプルに基づいて形成される。ビットストリームが正しくデコードされるためには、デコーダ側のテンプレートもエンコーダ側と同様にして形成されるのが望ましい。次いで、再構成されたサンプルを用いて、参照画像における対応するテンプレートが形成される。
次いで、そのテンプレートを用いて、テンプレートによるインター予測が実行される。ステップ１７２０では、ＦＲＵＣが実行されて、動きベクトルが得られる。ステップ１７３０では、ＬＩＣのための重みおよびオフセットが得られる。ステップ１７２０および１７３０で得られたパラメータを使用して、ステップ１７４０で現在のブロックに対する予測を生成してもよい。予測を生成する際に、他のインター予測技術、例えばＯＢＭＣを使用してもよい。ステップ１７５０で、現在のブロックの予測残差に予測ブロックを加算することにより、現在のブロックをデコードしてもよい。
図１６および図１７の例では、予測ブロックを生成するために、ＦＲＵＣおよびＬＩＣが使用される。現在のブロックの予測（および／または再構成）に役立てることを目的として、他のテンプレートによる符号化技術も実行してよい。エンコーディングまたはデコーディング方法は、ＦＲＵＣのみ（ＬＩＣなし）、ＬＩＣのみ（ＦＲＵＣなし）、ＦＲＵＣおよびＬＩＣの両方、またはさらに一般的には、前記のとおりのテンプレートによる符号化方法のあらゆる実行可能な組み合わせで進めてもよいことに留意されたい。
本出願に記載の様々な方法および他の態様を使用して、モジュール、例えば、図２および図３に示すように、インター予測、ならびに／または動画像エンコーダ１００およびデコーダ２００の変換モジュール（１６２、１０４、１１２、２６２、２１２）を修正することができる。さらに、本態様は、ＶＶＣまたはＨＥＶＣに限定されるものではなく、例えば、他の規格および勧告、ならびにいかなるそのような規格および勧告の拡張版にも適用することができる。
本出願では様々な数値、例えば、テンプレートサイズを決定するのに使用されるブロックサイズが使用される。特定の値は、例示的な目的のために提供され、記載された態様は、これらの特定の値には限定されない。
様々な実装がデコーディングに関与する。「デコーディング」は、本出願で使用されるとおり、ディスプレイに適した最終出力を生成することを目的に、例えば、受信されたエンコード済みシーケンス上で実行される処理のすべてまたは一部を包含することができる。様々な実施形態では、そのような処理は、例えば、エントロピーデコーディング、逆量子化、逆変換、差分デコーディングなど、デコーダによって典型的に実行される１つまたは複数の処理を含む。句「デコーディング」が、動作の部分集合を具体的に指すことを意図しているか、または一般的に、より広範なデコーディング処理を指しているかどうかは、特定の記載の文脈に基づいて明瞭になるであろうし、当業者には良く理解されているものと考えられる。
様々な実装では、エンコーディングが関与する。上に考察した「デコーディング」に関する議論と同様にして、本出願で使用される「エンコーディング」は、エンコードされたビットストリームを生成することを目的に、例えば入力動画像シーケンス上で実行される処理のすべてまたは一部を包含することができる。様々な実施形態では、そのような処理は、例えば、分割、差分エンコーディング、変換、量子化、エントロピーエンコーディングなど、エンコーダによって典型的に実行される１つまたは複数の処理を含む。
機構および構成要素は、特定の組み合わせで上記されているものの、当業者であれば、各機構または構成要素は単独で、または他の機構および構成要素とのいかなる組み合わせでも使用することができることは理解されよう。加えて、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行されるよう、コンピュータ読み取り可能な媒体に組み込まれた、コンピュータプログラム、ソフトウェア、またはファームウェアに実装されてもよい。非一過性のコンピュータ読み取り可能な記憶媒体の例には、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、レジスタ、キャッシュ・メモリ、半導体メモリ装置、磁気媒体、例えば内蔵ハードディスクやリムーバブルディスク、磁気光学媒体、ＣＤ－ＲＯＭディスクなどの光学媒体、およびデジタル多目的ディスク（ＤＶＤ）などが挙げられるが、これらに限定されるものではない。プロセッサをソフトウェアと連携させて使用して、ＵＥ、ＷＴＲＵ、端末、基地局、ＲＮＣ、またはあらゆるホストコンピュータで使用するための、無線周波数トランシーバ、動画像エンコーダ、動画像デコーダまたはその両方を実装してもよい。
さらに、上記の実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他の装置が言及されている。これらの装置は、少なくとも１つの中央処理装置「ＣＰＵ」）およびメモリを含んでいてもよい。コンピュータプログラミング分野の業者の実務に準拠して、作用、および演算または命令の記号的表現への参照を、様々なＣＰＵおよびメモリが実行してもよい。そのような作用、および動作または命令は、「実行される」、「コンピュータにより実行される」または「ＣＰＵにより実行される」ことを指す場合がある。
当業者は、作用、および記号的表現された動作または命令が、ＣＰＵによる電気信号の操作を含むことを理解するであろう。電気システムは、電気信号の結果的な変形または低減を生じさせ得るデータビットを表し、そして、メモリシステム内の記憶場所にデータビットを維持することによりＣＰＵの動作を再構成する、またはそうでなければ変更することだけなく、信号の他の処理をも表す。データビットが維持される記憶場所は、データビットに対応する、またはそれを表す特定の電気的、磁気的、または光学的特性を有する物理的場所である。例示的な実施形態が、上述のプラットフォームまたはＣＰＵに限定されないこと、そして他のプラットフォームおよびＣＰＵが、提供された方法をサポートしてもよいと理解されるのが望ましい。
また、データビットは、コンピュータ読み取り可能な媒体上、例えば、磁気ディスク、光ディスク、およびＣＰＵによって読み取り可能なあらゆる他の揮発性（例えば、ランダム・アクセス・メモリ（「ＲＡＭ」））または不揮発性（例えば、リード・オンリー・メモリ（「ＲＯＭ」））の大容量記憶システム上に保持されてもよい。コンピュータ読み取り可能な媒体は、協働するまたは相互接続されたコンピュータ読み取り可能媒体を含んでいてもよく、これらの媒体は、処理システム上だけに存在するか、またはその処理システム対してローカルでもリモートであってもよい複数の相互接続された処理システム間に分散している。代表的な実施形態が上述のメモリに限定されないこと、そして他のプラットフォームおよびメモリが記載の方法をサポートしてもよいことが理解される。
例示的な実施形態では、本明細書に記載の動作、処理等はいずれも、コンピュータ読み取り可能な媒体に記憶されたコンピュータ読み取り可能な命令として実装されてもよい。そのコンピュータ読み取り可能な命令は、モバイルユニットのプロセッサ、ネットワーク構成要素、および／または他のいかなる計算装置によって実行されてもよい。
ハードウェアを使用するかソフトウェアを使用するかは、概して（しかし常にではなく、特定の文脈では、ハードウェアとソフトウェアとの間で選択が重要になる場合がある）、コスト対能率のトレードオフを表す設計上の選択肢となる。本明細書に記載の処理および／またはシステムおよび／または他の技術を奏効させる可能性のある様々な手段（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）が存在する可能性があり、その好ましい手段は、それらの処理および／またはシステムおよび／または他の技術を展開する文脈とともに変化する場合がある。例えば、実装者が、速度および正確度が最も重要であると判断する場合、その実装者は、主にハードウェアおよび／またはファームウェアという手段を選択してもよい。柔軟性が最も重要である場合、実装者は、主にソフトウェアによる実装を選択してもよい。あるいは、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのいくつかの組み合わせを選択してもよい。
先の詳細な記載では、ブロック図、流れ図、および／または実施例を使用しつつ、装置および／または処理の様々な実施形態を示してきた。そのようなブロック図、流れ図、および／または実施例が、１つまたは複数の機能および／または動作を含む限り、当業者であれば、そのようなブロック図、流れ図、または実施例の範囲内での各機能および／または動作が、様々なハードウェア、ソフトウェア、ファームウェア、またはそれらの実質的にいかなる組み合わせによっても、個別に、および／または集合的に実装できることは理解されるであろう。好適なプロセッサには、例として、汎用プロセッサ、特定用途向けプロセッサ、従来型プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアを伴う１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け汎用品（ＡＳＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）回路、他のあらゆるタイプの集積回路（ＩＣ）、および／または状態マシンなどが挙げられる。
機構および構成要素が、特定の組み合わせで上に提供されているが、当業者であれば、各機構または構成要素が、単独で、または他の機構および構成要素とのいかなる組み合わせでも使用できることを理解するであろう。本開示は、様々な態様の例示として意図された、本出願に記載の特定の実施形態の観点から限定されるものではない。多くの修正例および変形例が、その趣旨および範囲から逸脱することなくなされてもよく、これは、当業者には明らかとなろう。本出願の記載において使用されるいかなる構成要素、作用、または命令も、本発明にとって根本的に重要または本質的なものとして明示的に提供されているのでない限り、そう解釈されないのが望ましい。本開示の範囲内の機能的に等価な方法および装置は、本明細書に列挙されたものに加えて、前記から当業者には明らかとなろう。そのような修正例および変形例は、添付の特許請求の範囲内に収まることが意図される。本開示は、添付の特許請求の範囲の用語によって、そしてそれとともに、そのような特許請求の範囲が権利を有する均等物の最大限の範囲によってのみ限定されることが意図される。この開示は、特定の方法またはシステムに限定されないものと理解される。
また、本明細書で使用される用語は、特定の実施形態を説明する目的のためだけにあり、限定することを意図していないものと理解される。
特定の代表的な実施形態では、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、および／または他の集積化された形式を通じて実装してもよい。しかしながら、本明細書に開示された実施形態のいくつかの態様が一部または全体として、１つまたは複数のコンピュータ上で実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはそれらの実質的にあらゆる組み合わせとして、集積回路に等しく実装されてもよいこと、そして、そのソフトウェアおよび／もしくはファームウェア用の回路の設計、ならびに／またはそれ用のコードの記述が、この開示に照らしてまさしく当業者の範囲内となることを、当業者であれば理解するであろう。加えて、本明細書に記載される主題のメカニズムを、様々な形態のプログラム製品として配布してもよいこと、そして本明細書に記載される主題の例示的な実施形態が、実際に配布を実行するのに使用される信号担持媒体の特定のタイプに関係なく適用されることを、当業者であれば理解するであろう。信号担持媒体の例には、以下のとおり、フロッピーディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ等の記録可能なタイプの媒体、およびデジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などの伝送タイプの媒体などが挙げられるが、これらに限定されるものではない。
本明細書に記載の主題は時として、異なる他の構成部分の中に含まれる、またはそれらの構成部分と接続された異なる構成部分を例示することがある。描写されたそのような構成は単なる例示であること、そして実際には、同一の機能性を達成する他の多くの構成を実装してもよいことは理解されよう。概念的な意味では、同一の機能性を達成するためのいかなる配置の構成部分も、所望の機能性が達成され得るようにして実質的に「関連付けられている」。よって、特定の機能性を達成するために本明細書において組み合わせられたいかなる２つの構成部分も互いに「関連付けられて」いて、構成、または介在する構成部分に関係なく、所望の機能性が達成されるようになっていると見なすことができる。同様に、そのように関連付けられたいかなる２つの構成部分も、所望の機能性を達成するために互いに「動作可能に接続されている」、または「動作可能に結合されている」と見なすことができ、そのように関連付け可能ないかなる２つの構成部分も、所望の機能性を達成するために互いに「動作可能に結合されている」と見なすこともできる。動作可能に結合可能である特定の例には、物理的に嵌合可能である、および／または物理的に相互作用している構成部分、および／または無線により相互作用している、および／または無線により相互可能である、および／または論理的に相互作用している、および／または論理的に相互作用可能である構成部分が挙げられるが、これらに限定されるものではない。
本明細書おいて実質的にいかなる複数形および／または単数形の用語を使用することに関しても、当業者は、文脈および／または用途に応じて適切に、複数形から単数形に、および／または単数形から複数形に解釈することができる。様々な単数形／複数形の置き換えが、明快にするために本明細書において明示的に記載されている場合がある。
概して、本明細書、特に添付の特許請求の範囲（例えば、添付の請求項の本体部分）において使用される用語は、概して「非限定的な」用語として意図されている（例えば、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語は、「含んでいるが、これに限定されるものではない」と解釈されるのが望ましく、「有している（ｈａｖｉｎｇ）」という用語は、「少なくとも有している」と解釈されるのが望ましく、「含む（ｉｎｃｌｕｄｅｓ）」という用語は、「含むが、これに限定されるものではない」と解釈されるのが望ましい、等）ことは、当業者には理解されるであろう。導入された請求項記載に特定の数が意図されている場合には、そのような意図がその請求項において明示的に記載され、そのような記載が存在しない場合には、そのような意図が存在しないことは、当業者にはさらに理解されるであろう。例えば、１つの項目のみが意図されている場合には、用語「単一」、または類似の言語を使用してもよい。理解の助けとしては、以下の添付の特許請求の範囲および／または本明細書の記載は、請求項記載を導入するための「少なくとも１つ」および「１つまたは複数の」という導入句の使用を含んでいる場合がある。しかしながら、そのような語句が使用されているからといって、不定冠詞「ａ」または「ａｎ」によって請求項記載を導入することが、導入されたそのような請求項記載を含むいかなる特定の請求項をも、そのような記載をただ１つ含む実施形態に限定することを示唆しているわけではないと解釈されるのが望ましく、これは、同一請求項が、導入句「１つまたは複数の」または「少なくとも１つ」、および不定冠詞「ａ」または「ａｎ」を含む（例えば、「ａ」および／または「ａｎ」が、「少なくとも１つ」または「１つまたは複数の」を意味すると解釈されるのが望ましい）場合であってさえ、そう解釈されるのが望ましい。請求項記載を導入するのに使用される定冠詞の使用に対しても同一である。加えて、導入された請求項記載に特定の数が明示的に記載されている場合であっても、当業者は、そのような記載が、記載された少なくともその数を意味する（例えば、他の修飾語がない裸の記載である「２つの記載」は、少なくとも２つの記載、または２つ以上の記載を意味する）と解釈されるのが望ましいことを認識するであろう。さらに、「Ａ、Ｂ、およびＣの少なくとも１つ等」に類似する規定が使用される実例では、概してそのような構文は、当業者がその規定について理解しているであろう意味（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを共に、ＡとＣを共に、ＢとＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に有するシステム等を含むが、これらに限定されるものではない）であることが意図される。「Ａ、Ｂ、またはＣの少なくとも１つ等」に類似する規定が使用される実例では、概してそのような構文は、当業者がその規定について理解しているであろう意味（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを共に、ＡとＣを共に、ＢとＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に有するシステム等を含むが、これらに限定されるものではない）であることが意図される。２つ以上の二者択一性の用語を表す実質的にいかなる離接的な単語および／または語句であっても、本明細書、特許請求の範囲、または図面のいずれにおいてであれ、それらの用語の１つ、それらの用語のいずれか、または両方の用語を含む可能性を企図すると理解されるのが望ましいことは、当業者にはさらに理解されるであろう。例えば、「ＡまたはＢ」という語句は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むと理解されるであろう。さらに、本明細書で使用されるとおり、複数の項目および／または複数の項目の範疇の列挙があとに続く用語「いずれかの」は、「いずれかの」、「いずれかの組み合わせの」、「いずれか複数の」、および／または「いずれかの組み合わせの複数の」項目および／または項目の範疇を、他の項目および／または他の項目の範疇と併せて含むことが意図される。さらに、本明細書において使用されるとおり、用語「群」は、ゼロを含め、いかなる数の項目をも含むことが意図される。加えて、本明細書において使用されるとおり、用語「数」は、ゼロを含め、いかなる数をも含むことが意図される。
加えて、本開示の機構または態様がマーカッシュ群の観点で記載されている場合、当業者は、それによって本開示がマーカッシュ群のあらゆる個々の要素、または要素の部分群の観点からも記載されていることを認識するであろう。
当業者によって理解されるとおり、一切の目的のために、例えば、記述による説明を提供するという観点から、本明細書に開示されているすべての範囲は、考えられる部分範囲およびその部分範囲の組み合わせの一切を包含する。列挙されたいかなる範囲も、少なくとも均等な半分、３分の１、４分の１、５分の１、１０分の１等に分割された同一の範囲を充分に記述し、それらを可能にするものとして容易に認識することができる。非限定的な例として、本明細書で考察された各範囲は、下側３分の１、中央３分の１、上側３分の１などに容易に分割することができる。当技術者によって理解されるとおり、「最高で」、「少なくとも」、「より大きい」、「より小さい」などのすべての言語は、引用された数字を含んでおり、上に考察したように部分範囲に分解することができる範囲を指す。最後に、当業者によって理解されるとおり、範囲は、それぞれ個々の要素を含む。したがって、例えば、１～３つのセルを有する群は、１、２、または３つのセルを有する群を指す。同様に、１～５つのセルを有する群は、１、２、３、４、または５つのセルを有する群を指す。
さらに、特許請求の範囲は、その旨が記載されていない限り、提供された順序または構成要素に限定されるものと解釈されるのは望ましくない。加えて、いかなる請求項においても、「の手段（ｍｅａｎｓ ｆｏｒ）」という用語を使用することは、米国特許法第１１２条第６項、すなわちミーンズ・プラス・ファンクション・クレーム形式を援用することを意図しており、「の手段」という用語のないいかなる請求項も、そのようには意図されない。
システムは、マイクロプロセッサ／汎用コンピュータ（図示せず）上にソフトウェアで実装されてもよいことが企図される。特定の実施形態では、様々な構成部分の１つまたは複数の機能は、汎用コンピュータを制御するソフトウェアに実装されてもよい。
加えて、本発明は、特定の実施形態を参照しつつ本明細書に例示され記載されているものの、示された細部に本発明が限定されることは意図してはいない。むしろ、本発明から逸脱することなく、特許請求の範囲の均等物の限度および広がりの内で、様々な修正を細部に加えてもよい。

Claims (18)

  1. 現在の画像と、少なくとも第１の参照画像とを含む動画像をエンコーディングまたはデコーディングする方法であって、前記現在の画像内の少なくとも現在のブロックに対して、
    前記現在のブロックに隣接するテンプレート領域内の各サンプルに対してそれぞれの予測値を生成することと、
    （１）前記テンプレート領域内のサンプルの少なくとも部分集合の予測値と、（２）少なくとも前記第１の参照画像内の少なくとも１つの参照テンプレート領域内の対応するサンプル値と、を用いて、前記現在のブロックに対して、テンプレートによるインター予測を実行することと、
    前記テンプレート領域内の予測値の少なくとも１つに、それぞれの非ゼロ残差値を加算して、それぞれの再構成されたサンプル値を生成することと、
    を含み、
    前記テンプレート領域内のサンプル値を再構成することと、前記現在のブロックに対してテンプレートによるインター予測を実行することとが並列に実行される、方法。
  2. 前記テンプレートによるインター予測が、
    少なくとも１つの、テンプレートによるインター予測のパラメータを決定することであって、前記テンプレートによるインター予測が、前記決定された、テンプレートによるインター予測のパラメータを使用して実行されることと、
    テンプレートによるインター予測の複数の利用可能なパラメータをソートし、前記テンプレートによるインター予測を、前記利用可能な、テンプレートによるインター予測パラメータのうち選択された１つを使用して現在のブロックに対して実行し、前記利用可能な、テンプレートによるインター予測のパラメータのうちの選択された１つを示すインデックスが、ビットストリーム内で信号伝達されることと、
    少なくとも２つの動きベクトル予測子候補の中から、テンプレートによる選択を実行して、テンプレートによる探索を、選択された動きベクトル予測子候補の周りで局所的に実行して、動きベクトル予測子を選択することと、
    のいずれかを含む、請求項１に記載の方法。
  3. 前記テンプレート領域内の各サンプルのそれぞれの予測値が、動き補償された予測を用いて生成される、請求項１に記載の方法。
  4. 前記テンプレート領域内の各サンプルのそれぞれの予測値が、動き補償された予測、およびオーバーラップブロック動き補償（ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ（ＯＢＭＣ））を用いて生成される、請求項１に記載の方法。
  5. 前記テンプレート領域内のサンプルの部分集合を選択して、ゼロ残差値を有するサンプルのみを含むようにすることをさらに含む、請求項１に記載の方法。
  6. 前記サンプルの部分集合を選択することが、各ブロック内のサンプルのうち、それぞれのブロックに対して符号化された残差がないことを表示するフラグを有するサンプルのみを選択することを含む、請求項５に記載の方法。
  7. 前記テンプレート領域が少なくとも２つの部分領域を含み、部分領域内のサンプルが、その部分領域内のすべてのサンプルがゼロ残差値を有する場合にのみ選択される、請求項５に記載の方法。
  8. 前記現在のブロックに対する、テンプレートによるインター予測のパラメータの少なくとも１つが、前記テンプレート領域内のサンプルの少なくとも部分集合の予測値に関連付けられた重みを適用することによって決定され、前記重みが、前記テンプレート領域内のそれぞれのサンプルの残差の大きさに基づいており、残差の大きさが低いほど重みが大きい、請求項１に記載の方法。
  9. 第１の重みが、非ゼロ残差の大きさを有するサンプルに使用され、第２の重みが、ゼロ残差の大きさを有するサンプルに使用され、前記第２の重みが、前記第１の重みよりも高い、請求項８に記載の方法。
  10. 前記テンプレート領域内のサンプルの少なくとも部分集合の予測値を調整することをさらに含み、前記調整された予測値が、前記現在のブロックに対してテンプレートによるインター予測を実行する際に使用される、請求項１に記載の方法。
  11. 前記調整が、前記予測値にＤＣ予測残差成分を加算することを含む、請求項１０に記載の方法。
  12. 前記予測値の調整が、ＤＣＴ－ＩＩまたはＤＣＴ－Ｖのいずれかを使用して符号化されたブロック内のそれらのサンプル値に対してのみ実行される、請求項１０に記載の方法。
  13. プロセッサとメモリとを含む動画像エンコーディング又は動画像デコーディングの装置であって、
    現在のブロックに隣接するテンプレート領域内の各サンプルに対するそれぞれの予測値を生成し、
    （１）前記テンプレート領域内のサンプルの少なくとも部分集合の予測値と、（２）少なくとも第１の参照画像内の少なくとも１つの参照テンプレート領域内の対応するサンプル値と、を使用して、前記現在のブロックに対して、テンプレートによるインター予測を実行し、
    前記テンプレート領域内の予測値の少なくとも１つに非ゼロ残差値を加算して、それぞれの再構成されたサンプル値を再構成するように構成され
    前記テンプレート領域内のサンプル値を再構成することと、前記現在のブロックに対してテンプレートによるインター予測を実行することとが並列に実行される、装置。
  14. 前記テンプレート領域内のサンプルの部分集合を選択して、ゼロ残差値を有するサンプルのみを含むようにすることをさらに含む、請求項１３に記載の装置。
  15. 前記現在のブロックに対する、テンプレートによるインター予測のパラメータの少なくとも１つが、前記テンプレート領域内のサンプルの少なくとも部分集合の予測値に関連付けられた重みを適用することによって決定され、前記重みが、前記テンプレート領域内のそれぞれのサンプルの残差の大きさに基づいており、残差の大きさが低いほど重みが大きい、請求項１３に記載の装置。
  16. 第１の重みが、非ゼロ残差の大きさを有するサンプルに使用され、第２の重みが、ゼロ残差の大きさを有するサンプルに使用され、前記第２の重みが、前記第１の重みよりも高い、請求項１５に記載の装置。
  17. 前記テンプレート領域内のサンプルの少なくとも部分集合の予測値を調整することをさらに含み、前記調整された予測値が、前記現在のブロックに対してテンプレートによるインター予測を実行する際に使用される、請求項１３に記載の装置。
  18. 前記調整が、前記予測値にＤＣ予測残差成分を加算することを含む、請求項１７に記載の装置。
JP2020537004A 2018-03-30 2019-03-22 エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術 Active JP7337072B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862650956P 2018-03-30 2018-03-30
US62/650,956 2018-03-30
US201862656247P 2018-04-11 2018-04-11
US62/656,247 2018-04-11
PCT/US2019/023557 WO2019190907A1 (en) 2018-03-30 2019-03-22 Template-based inter prediction techniques based on encoding and decoding latency reduction

Publications (3)

Publication Number Publication Date
JP2021518059A JP2021518059A (ja) 2021-07-29
JPWO2019190907A5 JPWO2019190907A5 (ja) 2022-03-25
JP7337072B2 true JP7337072B2 (ja) 2023-09-01

Family

ID=66041754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537004A Active JP7337072B2 (ja) 2018-03-30 2019-03-22 エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術

Country Status (6)

Country Link
US (2) US11317085B2 (ja)
EP (1) EP3777167A1 (ja)
JP (1) JP7337072B2 (ja)
CN (1) CN112106367B (ja)
TW (1) TWI799554B (ja)
WO (1) WO2019190907A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188466A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
US20210076058A1 (en) * 2018-05-07 2021-03-11 Interdigital Vc Holdings, Inc. Data dependency in encoding/decoding
CN113170152B (zh) * 2019-01-18 2023-07-07 华为技术有限公司 用于预测译码的局部亮度补偿的方法和装置
US11533491B2 (en) * 2019-08-28 2022-12-20 Qualcomm Incorporated Picture and sub-picture boundary processing for combined bilateral filter and Hadamard transform domain filter as in-loop filters
US11412264B2 (en) * 2019-09-24 2022-08-09 Qualcomm Incorporated Parameter set signaling for video coding
JP7397213B2 (ja) 2020-02-24 2023-12-12 バイトダンス インコーポレイテッド サブピクチャレベルに基づいたパーティション計算
CN115211125A (zh) * 2020-03-03 2022-10-18 字节跳动有限公司 视频编解码中的低频不可分变换信令通知
US20220248047A1 (en) * 2021-01-29 2022-08-04 Qualcomm Incorporated Model-based motion vector difference derivation and template matching prediction for video coding
CN117321992A (zh) * 2021-04-09 2023-12-29 抖音视界有限公司 自适应运动候选列表
US20220417500A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated Merge candidate reordering in video coding
CA3232975A1 (en) * 2021-09-27 2023-03-30 Karam NASER Template-based syntax element prediction
US20230094825A1 (en) * 2021-09-28 2023-03-30 Qualcomm Incorporated Motion vector difference sign prediction for video coding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230140628A1 (en) * 2021-11-04 2023-05-04 Meta Platforms, Inc. Novel buffer format for a two-stage video encoding process
US20230164322A1 (en) * 2021-11-22 2023-05-25 Tencent America LLC Constrained template matching
US20230328227A1 (en) * 2022-04-07 2023-10-12 Tencent America LLC Systems and methods for joint coding of motion vector difference using template matching based scaling factor derivation
WO2023194600A1 (en) * 2022-04-08 2023-10-12 Interdigital Ce Patent Holdings, Sas Latency constrained template-based operations
WO2023195824A1 (ko) * 2022-04-08 2023-10-12 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023202569A1 (en) * 2022-04-19 2023-10-26 Mediatek Inc. Extended template matching for video coding
WO2024012460A1 (en) * 2022-07-12 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20240022763A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Intra block copy (ibc) candidate list construction with motion information of intra template-matching prediction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095560A1 (ja) 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法
JP2010268259A (ja) 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011511541A (ja) 2008-04-11 2011-04-07 華為技術有限公司 フレーム間予測符号化の方法、装置、およびシステム
JP2013513333A (ja) 2009-12-08 2013-04-18 トムソン ライセンシング ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
WO2016192073A1 (zh) 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置
JP2017536725A (ja) 2014-10-31 2017-12-07 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像予測方法および関連する装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
RU2487489C2 (ru) 2011-10-18 2013-07-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ поиска векторов перемещений в динамических изображениях
CN108933943B (zh) * 2012-07-02 2020-12-25 太阳专利托管公司 图像编码方法及图像编码装置
JP6322713B2 (ja) * 2014-01-02 2018-05-09 ヴィド スケール インコーポレイテッド スクリーンコンテンツコーディングのための２次元パレットコーディング
KR102319384B1 (ko) * 2014-03-31 2021-10-29 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치
WO2016019207A1 (en) 2014-08-01 2016-02-04 Boston Scientific Scimed, Inc. Pressure sensing guidewires
US10999595B2 (en) 2015-11-20 2021-05-04 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
US10341297B2 (en) * 2015-12-18 2019-07-02 Nicira, Inc. Datapath processing of service rules with qualifiers defined in terms of template identifiers and/or template matching criteria
US10148696B2 (en) * 2015-12-18 2018-12-04 Nicira, Inc. Service rule console for creating, viewing and updating template based service rules
US10750172B2 (en) * 2016-04-22 2020-08-18 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
EP4060992A1 (en) * 2016-05-13 2022-09-21 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
WO2018021585A1 (ko) * 2016-07-26 2018-02-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10390015B2 (en) 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
KR20200014913A (ko) * 2017-07-04 2020-02-11 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
US10757442B2 (en) 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
US11368676B2 (en) * 2018-01-16 2022-06-21 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation
WO2019147628A1 (en) * 2018-01-24 2019-08-01 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
US10511852B1 (en) * 2018-07-13 2019-12-17 Tencent America LLC Method and apparatus for video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511541A (ja) 2008-04-11 2011-04-07 華為技術有限公司 フレーム間予測符号化の方法、装置、およびシステム
WO2010095560A1 (ja) 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法
JP2010268259A (ja) 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
JP2013513333A (ja) 2009-12-08 2013-04-18 トムソン ライセンシング ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
JP2017536725A (ja) 2014-10-31 2017-12-07 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像予測方法および関連する装置
WO2016192073A1 (zh) 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置
US20190356914A1 (en) 2015-06-04 2019-11-21 Tsinghua University Encoding method, decoding method and device thereof

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Jianle Chen Qualcomm Inc. Elena Alshina Samsung Electronics Gary J. Sullivan Microsoft Corp. Jens-Rainer Ohm RWTH Aachen University Jill Boyce Intel，Algorithm Description of Joint Exploration Test Model 7 (JEM 7) [online]，JVET-G1001-v1，インターネット ＜URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip＞，2017年08月19日
Steffen Kamp et al.，Decoder-Side Motion Vector Derivation for Block-Based Video Coding [online]，IEEE Xplore, DOI: 10.1109/TCSVT.2012.2221528，2012年10月01日，インターネット ＜URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6317154＞
Steffen Kamp Institut fur Nachrichtentechnik RWTH Aachen University D-52056 Aachen, Germany，Description of video coding technology proposal by RWTH Aachen University[online]，JCTVC-A112，インターネット ＜URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/1_Dresden/wg11/JCTVC-A112.zip＞，2010年04月17日
Steffen Kamp Institut fur Nachrichtentechnik, RWTH Aachen University, D-52056 Aachen, Germany，Decoder Side Motion Vector Derivation [online]，VCEG-AG16，インターネット ＜URL: https://www.itu.int/wftp3/av-arch/video-site/0710_She/VCEG-AG16.zip＞，2007年10月20日
Y. Chen, W.-J. Chien, H.-C. Chuang, M. Coban, J. Dong, H. E. Egilmez, N. Hu, M. Karczewicz, A. Ramasubramonian, D. Rusanovskyy, A. Said, V. Seregin, G. Van Der Auwera, K. Zhang, L. Zhang (Qualcomm) P. Bordes, Y. Chen, C. Chevance, E. Francois, F. Galpin, F. Hiron, P. de Lagrange, F. Le Leannec, K. Naser, T. Poirier, F. Racape, G. Rath, A. Robert, F. Urban, T. Viellard (Technicolor)，Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and Samsung [online]，JVET-J0025，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0025-v2.zip＞，2018年04月03日
Y. Chen, W.-J. Chien, H.-C. Chuang, M. Coban, J. Dong, H. E. Egilmez, N. Hu, M. Karczewicz, A. Ramasubramonian, D. Rusanovskyy, A. Said, V. Seregin, G. Van Der Auwera, K. Zhang, L. Zhang (Qualcomm) P. Bordes, Y. Chen, C. Chevance, E. Francois, F. Galpin, F. Hiron, P. de Lagrange, F. Le Leannec, K. Naser, T. Poirier, F. Racape, G. Rath, A. Robert, F. Urban, T. Viellard (Technicolor)，Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor - low and high complexity versions [online]，JVET-J0021，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0021-v1.zip＞，2018年04月03日

Also Published As

Publication number Publication date
CN112106367A (zh) 2020-12-18
US20220201290A1 (en) 2022-06-23
US11317085B2 (en) 2022-04-26
EP3777167A1 (en) 2021-02-17
US11991351B2 (en) 2024-05-21
TWI799554B (zh) 2023-04-21
JP2021518059A (ja) 2021-07-29
US20200374513A1 (en) 2020-11-26
TW201943276A (zh) 2019-11-01
WO2019190907A1 (en) 2019-10-03
CN112106367B (zh) 2023-05-30
RU2020128729A (ru) 2022-05-04

Similar Documents

Publication Publication Date Title
JP7337072B2 (ja) エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術
AU2019295574B2 (en) Methods and apparatus for reducing the coding latency of decoder-side motion refinement
JP7311589B2 (ja) 双方向オプティカルフローのための複雑性低減およびビット幅制御
KR102612975B1 (ko) 광류를 사용한 인터 예측 개선을 위한 시스템, 장치 및 방법
US20240107024A1 (en) Affine motion model derivation method
US20220182634A1 (en) Methods and systems for post-reconstruction filtering
US20220286688A1 (en) Precision refinement for motion compensation with optical flow
US20230007283A1 (en) Methods and apparatus for performing real-time vvc decoding
RU2789522C2 (ru) Методики промежуточного предсказания на основе шаблона, основанные на уменьшении задержки кодирования и декодирования
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока
TWI834722B (zh) 雙向光流複雜度降低及位元寬度控制的裝置及方法
RU2803895C2 (ru) Уточнение прогнозирования с компенсацией движения с помощью оптического потока
US20220132136A1 (en) Inter prediction bandwidth reduction method with optical flow compensation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7337072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150