JP2019165486A - イントラブロックコピー探索 - Google Patents

イントラブロックコピー探索 Download PDF

Info

Publication number
JP2019165486A
JP2019165486A JP2019090956A JP2019090956A JP2019165486A JP 2019165486 A JP2019165486 A JP 2019165486A JP 2019090956 A JP2019090956 A JP 2019090956A JP 2019090956 A JP2019090956 A JP 2019090956A JP 2019165486 A JP2019165486 A JP 2019165486A
Authority
JP
Japan
Prior art keywords
search
block
hash
intrabc
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019090956A
Other languages
English (en)
Inventor
ユーウェン ホー
yu-wen He
ユーウェン ホー
シアオユー シウ
Xiaoyu Xiu
シアオユー シウ
イエ イエン
Yan Ye
イエ イエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of JP2019165486A publication Critical patent/JP2019165486A/ja
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】イントラブロックコピー予測を使用してビデオ信号を符号化するビデオ符号化デバイスを提供する。【解決手段】第1のピクチャの第1のピクチャ予測ユニットが識別され、第2のピクチャが符号化および識別される。第2のピクチャは、第1のピクチャと時間的に関連し、複数の第2のピクチャ予測ユニットを含み、第1のピクチャ予測ユニットと併置された第2のピクチャ予測ユニットが識別される。第1のピクチャ予測ユニットに対する予測情報が生成される。予測情報は、第1のピクチャ予測ユニットと併置された第2のピクチャ予測ユニットのブロックベクトルに基づく。【選択図】図9

Description

本願は、2015年1月29日に出願された米国特許仮出願第62/109548号の利益を主張し、それを完全に記載されているのと同様に参照により本明細書に組み込む。
本願は、画像圧縮処理の分野に関する。
近年、デスクトップおよびモバイルコンピューティングシステムの機能の進歩、ならびに対応するリモートデスクトップ、ビデオ会議、およびモバイルメディアプレゼンテーションアプリケーションの使用の増大に伴って、スクリーンコンテンツ共有アプリケーションがより普及している。そのようなアプリケーションを使用してデバイス間で共有されるコンテンツの品質は、効率的なスクリーンコンテンツ圧縮の使用に依存する。これは、より高い解像度(たとえば、高精細および超高精細)を有するデバイスが使用されるときにさらに重要である。
イントラブロックコピー探索を実行することができる。ビデオ符号化デバイスが、イントラブロックコピー予測を使用してビデオ信号を符号化してもよい。第1のピクチャの第1のピクチャ予測ユニットが識別されてもよい。第2のピクチャが符号化および識別されてもよい。第2のピクチャは、第1のピクチャに時間的に関係付けられてもよく、第2のピクチャは、第2のピクチャ予測ユニットを含んでもよい。第1のピクチャ予測ユニットと併置された第2のピクチャ予測ユニットが識別されてもよい。第1のピクチャ予測ユニットに対する予測情報が生成されてもよい。予測情報は、第1のピクチャ予測ユニットと併置された第2のピクチャ予測ユニットのブロックベクトルに基づいてもよい。
画像を探索する際に使用するために、ハッシュが生成されてもよい。視覚的コンテンツブロックがサブブロックに分割されてもよい。サブブロックの直流(DC)値が決定されてもよく、視覚的コンテンツブロックのDC値が決定されてもよい。サブブロックのDC値および視覚的コンテンツブロックのDC値が比較されてもよい。ハッシュ値が生成されてもよく、このハッシュ値は、比較に基づいている。
添付の図面とともに、例として与えられている以下の説明から、より詳細な理解を得ることができる。
例示的なスクリーンコンテンツ共有システムの図である。 例示的なビデオエンコーダのブロック図である。 例示的なビデオデコーダのブロック図である。 例示的な予測ユニットモードの図である。 例示的なフルフレームイントラブロックコピーモードの図である。 例示的な局所的領域イントラブロックコピーモードの図である。 例示的なイントラブロックコピー(IntraBC)探索の図である。 例示的な予測子ベースIntraBC探索の図である。 インターMV予測のための例示的な空間的および時間的動きベクトル(MV)予測子の図である。 例示的なブロックベクトル導出の図である。 例示的なIntraBCフルフレーム1D探索の図である。 例示的なIntraBC局所的1D探索の図である。 フルフレームIntraBC探索のための例示的なハッシュテーブルの図である。 ハッシュベース探索のハッシュ生成のための例示的な区画の図である。 CU分割なしの例示的な符号化ユニット(CU)圧縮の図である。 ハッシュベース探索のハッシュ生成のための例示的な均等区画の図である。 ハッシュベース探索のハッシュ生成のための例示的な非均等区画の図である。 例示的な積分画像計算の図である。 例示的なイントラブロック1D探索の図である。 例示的なインター予測ベースの誤り隠蔽の図である。 CU分割なしの例示的なCU圧縮の図である。 1または複数の開示されている実施形態を実装することができる例示的な通信システムのシステム図である。 図20Aに示されている通信システムにおいて使用することができる例示的な無線送信/受信ユニット(WTRU)のシステム図である。 図20Aに示されている通信システムにおいて使用することができる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図20Aに示されている通信システムにおいて使用することができる例示的な他の無線アクセスネットワークおよび例示的な他のコアネットワークのシステム図である。 図20Aに示されている通信システムにおいて使用することができる例示的な他の無線アクセスネットワークおよび例示的な他のコアネットワークのシステム図である。
次に、例示的な実施形態の詳細な説明について、様々な図を参照して説明する。この説明は可能な実装の詳細な例を提供するが、これらの詳細は例示であり、本願の範囲を限定するものではない。
デスクトップおよびモバイルコンピューティングシステムの機能の進歩、ならびに対応するリモートデスクトップ、ビデオ会議、およびモバイルメディアプレゼンテーションアプリケーションの使用の増大に伴って、スクリーンコンテンツ共有アプリケーションがより普及している。図1は、例示的な双方向スクリーンコンテンツ共有システム100の一般的なブロック図を示す。システム100は、スクリーンコンテンツ捕捉器102、エンコーダ104、および/または送信機106を含むことができるホストサブシステムを含んでもよい。システム100は、受信機108、デコーダ110、および/またはディスプレイ114(本明細書では、「レンダラ」とも称されることがある)を含むことができるクライアントサブシステムを含んでもよい。スクリーンコンテンツ符号化(「SCC」)のための1または複数の標準および/または慣行を遵守するために使用することができるアプリケーション制約が存在することがある。本明細書で使用される「スクリーンコンテンツ」は、純粋なスクリーンコンテンツ(たとえば、テキスト、曲線、グラフィック)および/または自然なビデオコンテンツ(たとえば、再生中にスクリーン上でレンダリングされるビデオおよび/または画像)からのハイブリッドの特性を含んでもよい。そのようなスクリーンコンテンツ内に、いくつかの鋭い曲線および/またはテキストを内側に含むことができる領域内に存在することがある複数の色および/または鋭いエッジを含むことができるいくつかのブロックが存在してもよい。そのようなブロック内では、スクリーンコンテンツ内に生成されるノイズが非常に少ないことがある。コンピュータによってレンダリングされる領域内での動きは、整数ピクセル移動(integer pixel movement)として表されてもよい。
高忠実度画像表示のために、赤、緑、青(「RGB」)空間内での符号化が使用されてもよい。ビデオ圧縮は、スクリーンコンテンツを符号化するために使用されてもよく、および/またはそのようなコンテンツを受信機に送信するために使用されてもよい。ビデオ圧縮は、自然なビデオ符号化のために使用されてもよく、および/または自然なビデオ以外のスクリーンコンテンツのために使用されてもよい。純粋に自然なビデオ符号化では、符号化歪みが、たとえば画像および/またはピクチャの上で分散されることがある。1または複数の大きな符号化誤差がある場合、そのような誤差は、大きな勾配値を有する「強い」エッジ(たとえば、互いに高いコントラストを有する画像および/またはピクチャのセクション間のエッジ、テキストの輪郭)の周囲に位置することがあり、関連付けられたピーク信号対雑音比(PSNR)が肝炎付けられた画像および/またはピクチャ全体に対して比較的高いときでさえ、そのような誤差に関連付けられるアーチファクトをより目に可視的なものにする。
スクリーンコンテンツ圧縮技術は、スクリーンコンテンツを圧縮することができ、および/または関連のスクリーンコンテンツ共有関連アプリケーション内で比較的高品質のサービスを提供することができる。効率的なスクリーンコンテンツ圧縮方法およびシステムは、たとえばユーザがメディアプレゼンテーションおよび/またはリモートデスクトップ使用のためにデバイスコンテンツを共有する場合、有用となることがある。モバイルデバイスのスクリーン解像度は、高精細および/または超高精細に高まっている。ビデオ符号化ツール(たとえば、ブロックベースハイブリッド符号化技術)は、自然なビデオ符号化のために最適化されてもよく、および/またはスクリーンコンテンツ符号化のために設計されてもよい。
図2は、一般的なブロックベースの単一レイヤビデオエンコーダ200のブロック図を示す。図2に示されているように、効率的な圧縮を達成するために、単一レイヤエンコーダは、空間予測202(本明細書では、イントラ予測とも称されることがある)などの技法を、1または複数の様々な予測モードおよび/または時間予測(本明細書では、インター予測または動き補償予測と称されることがある)とともに使用し、入力ビデオ信号を予測してもよい。
エンコーダは、予測の形式を選択することができるモード決定論理204を有してもよい。予測の形式を選択することは、レートおよび/または歪みの考慮すべき点の組合せなど、1または複数の基準に基づいてもよい。次いで、そのようなエンコーダは、予測残差(たとえば、入力信号と予測信号との差を表す信号)を変換(206)および/または量子化(208)してもよい。そのような量子化された残差は、モード情報(たとえば、イントラ予測またはインター予測)および/または予測情報(たとえば、ブロックベクトル、動きベクトル、参照ピクチャインデックス、イントラ予測モードなど)とともに、エントロピーコーダ210で圧縮され、および/または出力ビデオビットストリーム216内にパッキングされてもよい。図2に示されているように、そのようなエンコーダは、再構築された残差を取得するために、量子化された残差に逆量子化212および/または逆変換214を適用することによって、再構築されたビデオ信号を生成してもよく、そのような再構築された残差を予測信号に追加してもよい。そのような再構築されたビデオ信号は、ループフィルタプロセス218(たとえば、デブロッキングフィルタ、サンプル適応オフセット、適応ループフィルタ)を通じて送信されてもよく、将来のビデオ信号を予測する(222)ために使用することができる参照ピクチャバッファ220内に記憶されてもよい。
図3は、図2のシステム200に示されているものなどのエンコーダによって作成することができるビデオビットストリーム318を受信することができるブロックベースの単一レイヤデコーダ300のブロック図を示す。デコーダ300は、そのようなビデオビットストリーム318信号をデバイス上で表示するために再構築してもよい。ビデオデコーダでは、ビットストリーム318は、エントロピーデコーダ302によって構文解析されてもよい。再構築された残差信号を取得するために、残差係数が逆量子化314および/または逆変換316されてもよい。イントラ予測情報(たとえば、区画、ブロックベクトル)および/またはインター予測情報(たとえば、区画、動きベクトル)などの符号化モードは、空間予測304および/または時間予測306を適用することによって予測信号を取得するために使用されてもよい。予測信号と再構築された残差は、再構築されたビデオを取得するためにともに追加されてもよい。そのような再構築されたビデオは、ループフィルタ308に提供され、参照ピクチャバッファ310内に記憶されてもよく、その結果、再構築されたビデオは、表示され(312)、および/または将来のビデオ信号を復号するために使用されてもよい。
送信帯域幅および/または記憶を削減するために、ビデオ符号化標準(たとえば、Moving Picture Experts Group(「MPEG」)標準)が使用されてもよい。たとえば、ブロックベースハイブリッドビデオ符号化が実行されてもよい。エンコーダおよび/またはデコーダは、図2および図3のシステムに示されているように動作するように構成されてもよい。より大きなビデオブロックおよび4分木分割を使用し、ブロック符号化情報をシグナリングしてもよい。ピクチャおよび/または画像のスライスは、同じサイズ(たとえば、64×64)を有する符号化ツリーブロック(「CTB」)に分割されてもよい。各CTBは、4分木構造を有する符号化ユニット(「CU」)に分割されてもよく、各CUは、それぞれがさらに4分木構造を有することができる予測ユニット(「PU」)および変換ユニット(「TU」)にさらに分割されてもよい。各インター符号化されたCUについては、その関連のPUは、図4に示されている図400に示されている8つの分割モードの1つであってもよい。
インター符号化されたPUを再構築するために、動き補償とも称されることがある時間予測が適用されてもよい。線形フィルタを適用し、断片的位置におけるピクセル値を取得してもよい。たとえば、補間フィルタは、輝度のために7つまたは8つのタップ(tap)、および/または彩度のために4つのタップを有してもよい。デブロッキングフィルタは、コンテンツベースであってもよく、1または複数の要因(たとえば符号化モードの違い、動きの違い、参照ピクチャの違い、ピクセル値の違い、同様の要因、および/またはそれらの組合せ)に応じて、異なるデブロッキングフィルタ動作がTUおよびPU境界で適用されてもよい。エントロピー符号化の場合、ブロックレベルシンタックス要素のために、コンテキストベース適応型二値算術符号化(「CABAC」)が使用されてもよい。エントロピー符号化の場合、高レベルパラメータのためには、コンテキストベース適応型二値算術符号化(「CABAC」)が使用されなくてもよい。CABAC符号化では、1または複数のビンがコンテキストベース符号化標準的ビン(regular bin)であってもよく、および/または別の1または複数のビンがコンテキストなしのバイパス符号化ビンであってもよい。
様々なブロック符号化モードが使用されてもよい。たとえば、スクリーンコンテンツ符号化のためには、空間冗長性が使用されなくてもよい。これは、たとえば4:2:0フォーマットの連続的なトーンビデオコンテンツに焦点を合わせることによるものであることがある。モード決定および/または変換符号化ツールは、4:4:4ビデオのフォーマットで取り捕捉することができる離散的なトーンスクリーンコンテンツのために最適化されなくてもよい。
スクリーンコンテンツの構成要素(material)(たとえば、テキストおよび/またはグラフィック)は、異なる特性を示すことがある。スクリーンコンテンツ符号化の符号化効率を高めるために、1または複数の符号化ツールが使用されてもよい。たとえば、1D文字列コピー、パレット符号化、イントラブロックコピー(「IntraBC」)、適応色空間変換、および/または適応動きベクトル解像度符号化ツールが使用されてもよい。
テキストおよび/もしくはグラフィックなどのスクリーンコンテンツは、ラインセグメントおよび/もしくは小ブロックに関する反復パターンを有することがあり、ならびに/または同種の小領域(たとえば、単色領域または2色領域)を有することがある。テキストおよび/またはグラフィックスクリーンコンテンツに関連付けられる小ブロック内に、いくつかの色が存在することがある。自然なビデオに関連付けられる小ブロックには、多数の色が存在することがある。
色値(たとえば、各位置での色値)が、その上方または左/右ピクセルから反復されてもよい。1D文字列コピーは、以前に再構築されたピクセルバッファから文字列(たとえば、可変長を有する)をコピーしてもよい。位置および/または文字列長もまたシグナリングされてもよい。パレット符号化の場合、パレットテーブルを辞書として使用し、符号化ブロック内の有効色を記録してもよい。対応するパレットインデックスマップが、符号化ブロック内の各ピクセルの色値を表すために使用されてもよく、および/または、たとえばデコーダが(たとえば復号済みインデックスを有するルックアップテーブルを使用して)ピクセル値を再構築することができるようにデコーダにシグナリングするために使用されてもよい。実行値(run value)は、たとえばパレットインデックスマップの空間冗長性を低減するように、水平方向および/または垂直方向で同じパレットインデックスを有することができる連続するピクセルの長さを示すために使用されてもよい。パレット符号化は、疎らな(sparse)色を含むことがある大きなブロックにとって効率的なものとなることがある。ネイティブRGB色空間の削減は、たとえば別の色空間(たとえばYCgCo色モデル(「YCgCo」))内の信号を変換および/または符号化することができる適応色空間変換を使用することによって達成されてもよい。
イントラブロックコピー(「IntraBC」)は、たとえば同じピクチャ内でカレント符号化ブロック内における1または複数のカレント予測ユニットを予測するために、ループ内フィルタリング前に、再構築されたピクセルを使用してもよい。ブロックベクトル(「BV」)とも称されることがある変位情報が符号化されてもよい。図5は、IntraBCの例を示す図500を示す。スクリーンコンテンツ符号化拡張参照ソフトウェアは、IntraBCモードのために1または複数(たとえば、2つ)の空間探索ウィンドウ設定を有してもよい。1つの設定は、再構築されたピクセルが予測に使用されることを可能にするフルフレーム探索ウィンドウのためのものであってもよい。そのような再構築されたピクセル(たとえば、図500における破線502の右下に示されているものなど)は、(たとえば、Wavefront Parallel Processing(「WPP」)が使用されるとき)たとえば並列復号の実行を容易にするために、IntraBCのための参照ピクセルとして有効とされないことがある。探索ウィンドウ設定は、小さい局所的領域(たとえば、図6の図600に示されている領域)であってもよく、この場合、左および/またはカレント符号化ツリーユニット(「CTU」)(たとえば、図600に示されている強調されたブロック602)にある再構築されたピクセルが、IBCのための参照ピクセルとして使用されることが有効とされてもよい。
例示的なIntraBC探索700が図7に示されている。様々なIntraBC探索が使用されてもよく、たとえば予測子ベース探索702が使用されてもよい。図7に示されているように、予測子ベース探索が、使用される唯一のIntraBC探索でない場合、たとえば、空間探索706が使用されてもよい。ハッシュベース探索が使用されることになる場合(たとえば、予測子ベース探索に加えて、ハッシュベース探索が必要とされる場合)、ハッシュベース探索710が使用されてもよい。図7は、連続して使用される探索を示すが、探索(たとえば、予測子ベース探索702、空間探索706、ハッシュベース探索710など)は個々に使用されてもよく、および/または探索は1または複数の他の探索と組み合わされてもよい。たとえば、探索精度および/または計算の複雑度の間の兼ね合いを検討することによって、探索は個々に使用されてもよく、および/または探索は1または複数の他の探索と組み合わされてもよい。700で使用されるものなど、例示的な条件(たとえば、「予測子探索のみ」および「ハッシュベース探索が必要」)は、たとえば表1(ならびに、本明細書に示されている、および/または記載されている)を使用して決定されてもよい。
図8は、予測子ベースIntraBC探索800を表す例を示す。802では、1または複数のブロックベクトル(「BV」)予測子が生成され、および/または予測子リスト内に記憶されてもよい。BV予測子は、親ブロックのBV、空間的に隣接するBV、および/または導出されるBVを含んでもよい。IntraBC探索からのBVは、たとえば親BVとして、サブブロックIntraBC探索のために記憶されてもよい。たとえば、1つの16×16ブロックのIntraBC探索からのBVは、その16×16ブロックに属する4つの8×8ブロックのための予測子として使用されてもよい。空間BV予測子は、IntraBC符号化される場合、空間的に隣接するPUのブロックベクトルであってもよい。
804で、BV(たとえば、カレントブロックベクトル「currBV」)が、予測子リストから取り出されてもよい。806で、カレントブロックベクトルが、有効であるかどうか(たとえば、カレント予測ユニット符号化のために使用されてもよいかどうか)決定するために検査されてもよい。currBVが無効であると決定された場合、816で、予測子リスト内の他のBVが検査されてもよいかが決定される。たとえば、816で、予測子リスト内のすべてのBVが検査されたかが決定されてもよい。予測子リスト内のすべてのBVが検査終了していないと決定された場合、次のBVが検査されてもよい。予測子リスト内のBVが検査された場合、最適なものが選択されてもよい。たとえば、818で、最良ブロックベクトル「Best_BV」は、最良BVリスト(たとえば、リスト「N_best_BV」)内の最良BVに等しくなるように設定されてもよい。最良BVは、コストによって区分けされたBVのリスト内で発見される最適な(たとえば、第1の)BVに等しくなるように設定されてもよい。Best_BVおよびN_best_BVリストは、820で識別されてもよい。
806でcurrBVが有効であると決定された場合、808で、currBVを有する輝度成分の予測子誤差SADY(currBV)が計算されてもよい。810で、カレントBVのコスト(Cost(currBV))は、SADY(currBV)+lambda*Bits(currBV)に等しくなるように設定されてもよい。812で、currBVのコストが既存の最良BVリスト内の最後のBVのコスト以上である(Cost(currBV)>=Cost(N_best_BV[N−1]))場合、816が続いてもよい。812で、currBVのコストが既存の最良BVリスト内の最後のBVのコスト未満である(Cost(currBV)<Cost(N_best_BV[N−1]))場合、814で、カレントBV(currBV)がリスト(たとえば、リストN_best_BV)内に挿入されてもよい。currBVは、たとえばコストによって、リスト内に小さいものから挿入されてもよい。816で、予測子リスト内のBV(たとえば、すべてBV)が検査された場合、818が続いてもよい。予測子リスト内のすべてのBVが検査されていない場合、804が続いてもよい。
図9は、インターMV予測のための例示的な空間的および時間的動きベクトル(「MV」)予測子(「TMVP」)を示す。たとえば、位置「A0」「A1」「B0」「B1」および「B2」における空間的に隣接するPUは、カレントPU「X」のための空間的BV予測子候補を形成してもよい。空間的予測子について、ブロックベクトル導出プロセスが適用されてもよい。図9に示されている併置位置は、TMVP内の併置位置を含んでもよい。図9における右下の「C」とラベル付けされた予測ユニットが最初に検査されてもよい。「C」がカレントCTU行内と同じ、以前のピクチャ内のCTU行の内側にあると決定され、IntraBC符号化されている場合、そのBVが予測子として使用されてもよい。そうでない場合、図9における「D」とラベル付けされた、併置CUの中央位置などの代替の併置予測ユニットが検査され、たとえばそれがIntraBC符号化されているかを決定してもよい。そうである場合、そのBVが予測子として使用されてもよい。図9内の「C」と「D」どちらのBVも使用可能である場合、そのようなBV両方が、予測子ベース探索において予測子として使用されてもよい。「C」と「D」両方のBVが使用可能でない場合には、時間的BV予測子は追加されないことがある。ピクチャを表示順序とは異なる符号化順序で符号化することができるランダムアクセス構成などの他の符号化構成については、復号されたピクチャバッファ内の(たとえば、時間的距離で表して)最も近い以前のピクチャが使用されてもよい。カレントピクチャに対するそのような以前のピクチャの時間的距離が近く(たとえば、距離が閾値より小さい)、および/またはスライスレベルでの量子化パラメータの差が小さい(たとえば、閾値より小さい)場合、時間的に併置されたブロックからのBVが予測子として使用されてもよい。時間的BV予測子は、圧縮されたBVフィールドまたは圧縮されていないBVフィールドからのものであってもよい。BVフィールドを圧縮する決定は、BV精度要件(たとえば、所望のBV精度)および/またはエンコーダにおけるメモリ記憶容量に基づいて決定されてもよい。
図10は、BV導出1000の単純な例を示す。カレントPUの参照PUがIntraBC符号化されている場合、導出されるBVは、カレントPUのBVとその参照PUのBVの和に等しくなることがある。図8の予測子ベース探索800は、最良BVおよびコストに関して分類することができるN個の最良BVの順序付けられたリストを識別してもよい。コストは、輝度成分またはRGB符号化のための緑(G)成分の予測子誤差と識別されたBVの符号化ビットとの加重和として評価されてもよい。
N個の最良BVのリストは、IntraBC空間探索で使用されてもよい。たとえば、N個の最良BVのリストは、図8に示されている探索などの予測子ベース探索に基づいて選択されてもよい。そのような空間探索では、BVは、輝度成分の予測誤差および/またはRGB符号化のためのG成分を比較することによって、探索ウィンドウ(たとえば、フルフレームおよび/または局所的領域)内で探索されてもよい。N個の最良BVのリストが更新されてもよい(たとえば、予測子ベース探索で使用されるものと同じようにして更新される)。たとえば3つのRGB色成分のコストを比較することによって、最良BV(たとえば、最後の最良BV)がN個の最良BVのリストから取得されてもよく、コストは、そのような色成分の予測子誤差とBVの符号化ビットとの加重和として評価されてもよい。空間探索では、たとえばフルフレーム1D探索について図11Aの図1101に示されている矢印の順序で、および/または局所的1D探索について図11Bの図1102に示されている矢印の順序で、1D探索が適用されてもよい。たとえば探索ウィンドウの上部境界からカレントブロック位置までの使用可能なブロック位置が、順番に検査されてもよく、参照ピクセルが再構築されてもよい。カレントブロック位置から探索ウィンドウの左境界までの使用可能な位置が順番に検査されてもよい。
フルフレームIntraBC探索では、エンコーダでの探索の複雑度を低減するために、ハッシュベースイントラブロック探索を使用してもよい。ハッシュベース探索を使用し、ブロックサイズ(たとえば、8×8など)についてハッシュベーステーブルのセットを構築してもよい。図12は、例示的なハッシュベーステーブル1200を示す。ハッシュテーブル1200内のエントリは、同じハッシュ値を有するブロックの位置を記憶するために使用することができるリストであってもよい。同じハッシュ値を有するリスト内のK番目のブロックのブロックベクトルは、以下の式を使用して以下のように計算されてもよい。
BV.x=BlK_Pos[K].x−Curr_Blk_Pos.x (1)
BV.y=BlK_Pos[K].y−Curr_Blk_Pos.y (2)
上式で、BlK_Pos[K]は、K番目のブロックの左上隅の(x,y)座標であってよく、Curr_Blk_Posは、カレントブロックの左上隅の(x,y)座標であってもよい。
ブロックのハッシュ値は、水平および/もしくは垂直勾配、直流(「DC」)情報(たとえば、信号の平均値)、またはピクセルの巡回冗長検査(CRC)値など、ブロックの特性に基づいて生成されてもよい。SCM−3.0では、たとえば8×8輝度ブロックについての元のピクセル値に基づいて、16ビットハッシュ値が生成されてもよい。下記の式(3)では、Gradで1つの8×8ブロックの勾配を示し、DC0、DC1、DC2、およびDC3で、図13の図1300に示されているように、8×8ブロック内側の4つの4×4ブロックのDC値を示す。16ビットハッシュ値Hは、以下のように計算されてもよい。
H=(MSB(DC0,3)<<13)+(MSB(DC1,3)<<10)+(MSB(DC2,3)<<7)+(MSB(DC3,3)<<4)+MSB(Grad,4) (3)
上記式で、(MSB(X,n)は、Xのn個の最上位ビットを抽出する関数であってもよい。
ハッシュベース探索では、独立して、および/または任意の組合せでともに使用されるいくつかのプロセスがあってもよい。たとえば、プロセスは、符号化プロセスの間にハッシュテーブルを更新することを含んでもよい。プロセスは、CU符号化のためにハッシュベース探索を使用することを含んでもよい。ハッシュテーブル更新では、符号化ツリーユニット(CTU)が符号化を終了した後、再構築されたブロック(たとえば、その右下隅がCTU内にあるもの)の左上の位置が、将来のIntraBC符号化のために再構築されたブロックのハッシュ値に基づいてハッシュテーブルに追加されてもよい。ハッシュベース探索では、カレントブロック位置のハッシュ値が計算されてもよく、ハッシュテーブルが、たとえばカレントブロックのハッシュ値を使用して探索されてもよい。カレントブロックのハッシュ値がハッシュテーブル内で発見された場合、ハッシュテーブル内の対応するブロック位置のリストが、ブロックベクトル(「BV」)探索のために使用されてもよい。対応するブロック位置のリスト内のブロック位置について、元の信号と参照ブロックとの間の輝度成分の絶対差の和(「SAD」)が比較され、最初のNが最も少ないコストを有するN個の最良ブロックベクトルのリストを発見してもよい。そのようなコストは、本明細書に記載の空間探索でコストが決定されるのと同じようにして決定されてもよい。最良ブロックベクトルが、成分のコストを比較することによって決定されてもよい。たとえば、カレントブロックのハッシュ値が図12のハッシュテーブル1200内に示されているHash_1に等しい場合、ハッシュテーブル1200内でH1_blk_pos[0]、H1_blk_pos[1]などとラベル付けされたHash_1のためのブロック位置のリストが探索されてもよい。
以下の表1は、例示的な探索、ならびに、たとえばSCM−3.0で使用されてもよいものなどのIntraBC探索のためのCUサイズおよび分割タイプに関する探索ウィンドウを提供する。複雑度を低減するために、予測子ベース探索が最初に2N×2N分割に適用されてもよい。2N×2NのIntraBC符号化のための非ゼロの係数(これは、2N×2N探索が十分であることを示してもよい)がない場合には、2N×2N分割についての空間探索および/もしくはハッシュ探索、ならびに/または他の分割タイプ(たとえば、非2N×2N)についてのIntraBC探索がスキップされてもよい(たとえば、実行されないことがある)。そうでない場合には、空間探索およびハッシュベース探索での2N×2N分割を含む分割が適用されてもよい。ハッシュベース探索は、8×8CUの2N×2N分割に適用可能であってもよい。たとえばBV符号化効率を改善するために、様々なブロックベクトル予測およびブロックベクトル符号化が使用されてもよい。
IntraBC探索は、予測子ベース探索において時間的ピクチャからBV予測子を使用してもよい。たとえば、IntraBC探索は、時間的ピクチャからBV予測子を使用してもよい。スクリーンコンテンツ内に、領域(たとえば、多数の静止領域)が存在する。カレントピクチャのブロックベクトルおよび/または以前のピクチャの併置されたブロックのブロックベクトルが相関付けられてもよい(たとえば、高度に相関付けられる)。
ハッシュ生成は、IntraBC探索に影響を与えることがある。局所性鋭敏型ハッシュコード(locality sensitive hash codes)について、ハッシュ空間内の距離(たとえば、ハミング距離)が、特徴空間内の類似性距離に関連することがある。2つのブロックのハミング距離が同様である場合、たとえば、それはそれらの2つのブロックがユークリッド距離によって測定される特徴空間内でより近いことを示すことがある。そのようなブロックをクラスタ化および/または高速ブロックマッチングすることが望ましいものとなることがある。
RGB符号化の場合、たとえば輝度成分rまたはG成分について予測誤差が検査されてもよいので、ブロックベクトルの精度を改善するために、IntraBC空間探索がYCgCo空間内で実行されてもよい。G成分より多くのエネルギーが輝度成分内に集中することがあり、これによって、輝度信号がG信号より鋭くなることがある。ハッシュベース探索のためのハッシュ生成プロセスは、依然としてG成分内のサンプル値を使用してもよい。
図14は、例示的な符号化ユニット(CU)圧縮プロセスを示す。1400に示されているように、IntraBCモード検査のための早期終了条件があってもよい。たとえば、IntraBCモード検査のための早期終了条件は、1406および/または1416で発見されてもよい。1402では、インタースライス符号化が実行されてもよいかが決定されてもよい。インタースライス符号化が実行されてもよい場合、インターモードが検査されてもよい(たとえば、1404で、異なる区画を有するインターモードが検査されてもよい)。予測子ベース探索および/またはイントラ予測モード(たとえば、イントラスライス符号化における)を使用する2N×2NのIntraBCが、たとえば1406で最良モード(たとえば、現在の最良モード)の量子化された残差がすべてゼロであるかを決定するために評価されてもよい。最良モード(たとえば、現在の最良モード)の量子化された残差がすべてゼロである場合、空間探索および/もしくはハッシュベース探索を使用する2N×2N分割ならびに/または他の分割(たとえば、N×2N、2N×N、N×N)を含む残りのIntraBC符号化モードがスキップされてもよい。たとえば、IntraBCは、再構築されたブロックをコピーすることができ、ならびに/またはイントラ予測で行うことができるように、隣接するピクセルから、上の行および左の列から予測を生成しないことがあるため、IntraBCは、方向性イントラ予測に比べて改善された予測を提供することができる。
最良モード(たとえば、現在の最良モード)の量子化された残差がすべてゼロでない場合、1408で、符号化ユニット幅(たとえば、「CU_width」)が32以下であるかが決定されてもよい。CU_widthが32以下である場合、インタースライス符号化(たとえば、インターモード)では、1410で、予測子ベース探索および/またはイントラ予測モードでの2N×2NのIntraBCが検査(たとえば、最初に検査)されてもよい。1412では、最良モードの量子化された残差がすべてゼロであるかが決定されてもよい。最良モードの量子化された残差がすべてゼロである場合、空間探索および/またはハッシュベース探索での2N×2N分割ならびに他の分割(たとえば、N×2N、2N×N、N×N)を含む残りのIntraBC符号化モードが実行されないことがあり、1416が続いてもよい。IntraBC符号化は、予測方向(たとえば、前方単一予測(forward uni-prediction)、後方単一予測(backward uni-prediction)、双方向予測(bi-prediction))および/または参照インデックスをシグナリングしないことがある。ブロックベクトルが整数解像度を使用することができ、および/または動きベクトルが4分の1精度および/または整数精度を使用することができるので、ブロックベクトル符号化もまた効率的なものとなることがある。1412で、最良モードの量子化された残差がすべてゼロでないと決定された場合、1414でイントラモードが検査されてもよい。
1416で、最良モードの量子化された残差がすべてゼロであるかが決定されてもよい。最良モードの量子化された残差がすべてゼロである場合、残りのステップはスキップされてもよい。最良モードの量子化された残差がすべてゼロでない場合、1418で、CU_widthが32未満であるかが決定されてもよい。1418は、符号化の複雑度を低減させるために(たとえば、32×32および/または16×16などの大きなCUサイズについてN×2Nおよび/または2N×N分割のための複雑度を低減するために)評価されてもよい。CU_widthが32以上である場合、1426でパレットモードが検査されてもよい。大きなCUサイズについてN×2Nおよび/または2N×N分割(たとえば、32×32および/または16×16)は、評価されないことがある(たとえば、上記の表1参照)。そのようなCUサイズを評価しないことにより、符号化効率を低減させることができる。そのような分割は、たとえば符号化の複雑度を最小限に抑え、一方、符号化効率を改善するために、選択的に評価されてもよい。1418で、CU_widthが32未満である場合、1420で、2N×2NのIntraBCモードが検査、たとえば空間探索および/またはハッシュ探索で検査されてもよい。1422で、符号化ユニット深さ(たとえば、「CU_depth」)がmax_depth−1に等しいかが決定されてもよい。CU_depthがmax_depth−1に等しくない場合、1426で、パレットモードが検査されてもよい。CU_depthがmax_depth−1に等しい場合、イントラブロックコピー探索でのIntraBCモードが、分割(たとえば、他の分割、N×2N、2N×N、N×Nなど)について検査されてもよく、1426が実行されてもよい。
図11に示されているように、垂直方向における1D探索の探索順序は、探索速度に影響を与えることがある。1D水平および垂直探索では、予測子誤差が予め定義された閾値より小さい場合、関連の方向における探索が早期に終了されてもよい。
以前に符号化されたピクチャからの1または複数のBV予測子は、IntraBC探索において使用されてもよい。BV予測子は、親ブロックから、空間的に隣接するブロックから、BV導出に使用される参照ブロックから、および/または以前に符号化されたピクチャ内の併置されたブロックからのBVからを含む、1または複数の方法で生成されてもよい。イントラ符号化構成(たとえば、ピクチャがイントラピクチャとして符号化される)の場合、たとえば、カレントピクチャおよびその以前に符号化されたピクチャが時間的距離において近いことがあり、ならびに/またはカレントピクチャおよびその以前に符号化されたピクチャが、同様の量子化パラメータを使用して同様の品質で符号化されることがあるので、カレントブロックおよび/または最も近い符号化されたピクチャ内の併置されたブロックのBVの相関(たとえば、強い相関)が存在することがある。たとえば以前に符号化されたピクチャ内で時間的に併置されたブロックからの使用可能なBVが、予測子ベースIntraBC探索のための予測子生成プロセス内に追加されてもよい。たとえば、そのようなピクチャは、関連の表示順序と同じ順序で符号化されることがあり、および/またはそのようなピクチャは、同様の量子化パラメータを使用して量子化されることがあるので、そのような予測子は、そのようなイントラ符号化構成において効果的なものとなることがある。そのようなピクチャの時間的に併置された位置は、時間的動きベクトル予測(「TMVP」)と同じであってもよい。
IntraBCハッシュベース探索のためのハッシュ生成が使用されてもよい。ハッシュ生成は、より多くの局所的特徴を使用してもよい。そのような局所的特徴は、たとえば比較的小さなサブブロックに基づいて計算されてもよく、関連のブロック内の局所的特徴がハッシュ生成に使用されてもよい。局所的特徴を使用することにより、ブロックの改善されたクラスタ化が取得される。そのようなブロックの勾配など大域的特徴(global feature)もまた、ハッシュ生成で使用されてもよい。そのような大域的特徴の使用は、クラスタ化をさらに改善することができる。
ブロック(たとえば、8×8ブロック)は、図15に示されているように12個のサブブロックに分割されてもよい。そのような分割は、図15に示されているように、様々な方法で実行されてもよい。たとえば、図15Aは、サブブロックが同じサイズを有する均等分割でのブロック1501を示し、一方、図15Bは、サブブロックが様々な異なるサイズのものである非均等分割でのブロック1502を示す。
ブロックBのi番目のサブブロックSBiについて、関連のDC値は、DC(SBi)と示されてもよい。次いで、DC(B)と示されるブロックBのDC値が計算されてもよい。1ビットフラグF(SBi)が、式(4)に示されているようにDC(SBi)をDC(B)と比較することによって計算されてもよい。
ブロックBの15ビットハッシュ値は、F(SBi)によって表される局所的特徴をブロックの勾配によって表される大域的特徴と組み合わせることによって生成されてもよい。
Grad(B)は、ブロックBの勾配であってもよい。MSB(X,n)は、変数Xのn個の最上位ビットを抽出する関数であってもよい。位置(x,y)での輝度値は、L(x,y)と示されてもよい。位置(x,y)におけるピクセルpについて、関連の勾配grad(p)は、水平方向および垂直方向における勾配を決定および平均することによって計算されてもよい。
grad(p)=(|L(x,y)−L(x−1,y)|+|L(x,y)−L(x,y−1)|)/2 (6)
Grad(B)は、ブロックB内のピクセルPの勾配の平均として計算されてもよい。
ハッシュベース探索では、ピクチャ内の取り得る位置のために、ハッシュテーブルが生成されてもよい。このハッシュテーブルは、そのようなハッシュベース探索で使用されてもよい。DCおよび/または勾配のために積分画像を計算する(たとえば、最初に計算する)ことによって、ハッシュテーブルを使用する計算プロセスを加速することができる。積分画像は、1または複数の点内(たとえば、画像および/または部分画像の1または複数の点内)のピクセル値の和であってもよい。たとえば、積分画像は、カレント画像を囲む矩形内に発見されるピクセル値の和であってもよい。積分画像内の所与の点(x,y)における値は、その左上隅がカレント画像の左上であり、右下隅が所与の点(x,y)である矩形の和である。積分画像は、カレント画像を囲む矩形のピクセル値の和であってもよい。DC積分画像および/または勾配積分画像を使用して、ハッシュ値が計算されてもよい。SI(x,y)は、信号I(x,y)の積分画像を示し、これは輝度および/または勾配であってもよい。SI(x,y)は、たとえばxおよび/またはyが負である場合、ゼロと定義されてもよい。SI(x,y)は、I(x,y)と、式(7)に示されている、および図16にさらに示されている隣接する位置とを使用して計算されてもよい。
I(x,y)=SI(x,y−1)+SI(x−1,y)−SI(x−1,y−1)+I(x,y) (7)
ブロックBの左上位置は(XTL,YTL)と示され、ブロックBの右下位置は(XBR,YBR)と示され、ブロックB内のI(x,y)の和は、以下のように計算されてもよい。
sum(I(x,y)|(x,y)∈B)=SI(XBR,YBR)+SI(XTL−1,YTL−1)−SI(XTL−1,YBR)−SI(XBR,YTL−1) (8)
式(8)は、ブロックのDC値および勾配を効率的に(たとえば、より効率的に)計算するために使用されてもよい。ハッシュ値生成のための計算の複雑度を低減させることができる。そのような高速ハッシュ計算は、上記の式(3)に示されているハッシュ生成にも適用可能であってもよい。
ハッシュ生成は、一般的な方法に拡張されてもよい。領域R(たとえば、ブロックまたは楕円)が、分割規則を使用して複数の部分領域SRに分割されてもよい。部分領域SRiについて、局所的特徴L(SRi)が、たとえばその部分領域内のDCおよび/もしくは勾配として計算されてもよく、ならびに/または下記で式(9)もしくは式(10)に示されているように、局所的特徴L(SRi)の値を値大域的特徴G0(R)に比較することによって、短縮値(clipped value)F(SRi)が生成されてもよい。大域的特徴の値は、局所的特徴(たとえば、DCまたは勾配として)を計算するために使用されるものと同様にして計算されてもよい。大域的特徴の値は、領域Rに対して評価されてもよい。Mは、変数Fの最大値であってもよい。Fがpビットによって表される場合、Mは、式(9)について2p−1に等しくなるように設定されてもよく、一方、Mは、式(10)について2p-1に等しくなるように設定されてもよい。
パラメータS(i)は、部分領域のための倍率であってもよい。そのような倍率は、たとえば部分領域が等しく扱われるように、領域にわたって一定であってもよい。そのような倍率は、境界エリアおよび/または中央エリアの間の差を考慮してもよい。たとえば、領域の中央は、関連の領域全体に対して信頼性が高く(たとえば、より信頼性が高く)、および/または重要(たとえば、より重要)であってもよい。したがって、S(i)は、中央部分領域についてより大きく、および/または境界部分領域についてより小さいものとなることがある。領域Rのハッシュ値H(R)は、下記で式(11)に示されているように計算されてもよい。
上記式で、pは、変数Fについてのビット数であってもよく、qは、第2の大域的特徴G1(R)についてのビット数であってもよい。第2の特徴G1(R)の使用は、関連のアプリケーションに依存することがある。第2の大域的特徴は、省略されてもよく、および/または複数の(たとえば、複数の追加の)大域的特徴がハッシュに含まれてもよい。
ハッシュ生成は、少なくとも一部にはサブブロックから抽出される局所的特徴の使用により、改善されたクラスタ化機能を提供することができる。そのようなハッシュ生成は、たとえば、1または複数の積分画像を使用する本明細書に記載の高速実装手法により、開示されている方法によって必要とされる計算の複雑度が低い(たとえば、比較的低い)ので、様々なアプリケーションによって使用されてもよい。
より低い複雑度のハッシュ生成は、クラスタ化および/またはパッチ/ブロックマッチング関連のアプリケーションで使用されてもよい。たとえば、開示されているシステムおよび/または方法は、誤り隠蔽のために使用されてもよい。図18では、ブロック「X」が送信誤りのために破損していることがある。誤り隠蔽は、破損したブロック「X」をイントラ予測および/またはインター予測で充填してもよい。イントラ予測は、ブロックの左および/または上部の隣接するピクセルから解析することができる方向性予測で、破損したブロックを充填してもよい。インター予測は、破損したブロックの隣接するブロックをターゲットブロックとして使用して、動き推定を実行してもよい。たとえば、図18では、上部の隣接するブロックN1、左上の隣接するブロックN0、および左の隣接するブロックN3をターゲットとして使用し、対応するブロックP1、P0、およびP2を発見してもよい。参照ピクチャ内のブロックPxを使用して、ブロックXを充填してもよい。開示されているハッシュ生成を使用するハッシュベース探索を高速マッチングのために使用してもよい。ハッシュコードは、補正されるブロックの隣接するブロック(たとえば、N0、...、N8)を使用して生成されてもよい。
ビュー合成および/または深さ推定など、3Dおよび/またはマルチビュー処理における点マッチングのために、ブロックマッチング関連のアプリケーションが使用されてもよい。第1のビュー内の1つの特徴点が使用可能であるとき、別のビュー内の対応する点が発見されてもよい。ハッシュ生成を使用するハッシュベースマッチングが適用可能であってもよい。高速顔検出(fast face detection)のためには、そのようなプロセスの段階(たとえば、早期の段階)においてサンプル(たとえば、可能性の低いサンプル)を除去するために使用することができる弱い分類器が存在することがある。弱い分類器を通るサンプルは、次へとつながることができる(cascaded)1または複数の分類器によって検証されてもよい。早期除去の弱い分類器(early removal weak classifier)は、開示されている方法を使用してハッシュ値が生成されるハッシュ空間内で訓練されてもよく、処理の早期段階における複雑度を低減させ、たとえば顔検出をより速くする。
IntraBC探索は、RGB符号化のために使用されてもよい。RGBフォーマットを使用して符号化が実行される場合、空間探索および/またはハッシュベース探索で使用される色空間が異なることがある。空間探索はYCgCo空間を使用してもよく、一方、ハッシュベース探索は、RGB色空間を使用してもよい。YCgCo色空間は、輝度(Y)成分がG成分より重要な(たとえば、高周波、エッジ、テクスチャなど)情報を表してもよいので、空間探索および/またはハッシュベース探索のために使用されてもよい。
IntraBC探索早期終了(IntraBD search early termination)が使用されてもよい。たとえば、量子化された残差がゼロ(たとえば、すべてゼロ)である場合、空間/ハッシュ探索での2N×2N分割IntraBCおよび/または非2N×2N分割IntraBCが回避されてもよい。早期終了条件は、非常に肯定的であることがあり、および/または符号化効率を低下させることがある。空間/ハッシュ探索前および/または非2N×2N分割探索前の最良モードが、残差がゼロ(たとえば、すべてゼロ)に等しいIntraBC(予測子ベース探索を使用する2N×2N分割での)および/またはインタースキップモードである場合、分割(たとえば、異なる分割)を伴う残りのIntraBC探索がスキップされてもよい。空間/ハッシュ探索前および/または非2N×2N分割探索前の最良モードがイントラ予測モードおよび/または非マージインターモードである場合、残りの空間/ハッシュ探索および/または非2N×2N分割探索が依然として実行されてもよい。空間/ハッシュ探索前および/または非2N×2N分割探索前の最良モードがイントラ予測モードおよび/または非マージインターモードである場合、符号化効率を改善することができる。
図19は、残りの空間/ハッシュ探索および/または非2N×2N分割探索を実行することができる(たとえば、依然として実行することができる)例を実行するための1900を示す。
表1に示されているように、N×2Nおよび2N×N分割は、符号化の複雑度の考慮すべき点により、大きいCUサイズ(たとえば、32×32、16×16)について検査されないことがある。そのような分割は、大きいCUサイズについて予測子ベース探索を使用して検査されてもよく、これは、複雑度を増大する(たとえば、著しく増大する)ことなしに符号化効率を改善することができる。イントラスライス符号化の場合、N×2N分割が、たとえば空間/ハッシュベースの2N×2NのIntraBC検査前に予測子ベース探索を使用して、32×32CUについて検査されてもよい。CU(たとえば、大きいCU)についての2N×N分割は、イントラスライス符号化のために検査されないことがある。インタースライス符号化の場合、N×2Nおよび/または2N×N分割が、たとえば予測子ベース探索を使用して検査されてもよい。たとえば、図19は、(最良モードの量子化された残差がすべてゼロではないか)、または(最良モードがIntraBCに等しくなく、最良モードがスキップモードに等しくないか)を検査する。(最良モードの量子化された残差がすべてゼロではない)場合、または(最良モードがIntraBCに等しくなく、最良モードがスキップモードに等しくない)場合、CU_widthが32以下であるかが検査される。CU_widthが32以下である場合、N×2NのIntraBCモードが予測子探索で検査される。(inter_slice符号化が偽である)およびCU_widthが32以下である場合、2N×NのIntraBCモードが予測子探索で検査される。N×2Nおよび/または2N×N検査後、これまでの最良モードのレート歪みコスト(RDCost)が、予め定義された閾値(Th)と比較されてもよい。レート歪みコストが閾値より小さい場合、他のIntraBCモード検査がスキップされてもよい。IntraBC探索のための例示的な探索が下記で表2に示されている。
1D空間探索のための垂直探索順序は修正されてもよい。図11では、探索順序は、上部境界からカレントブロック位置までであってもよい。図17では、探索順序は逆にされてもよい。たとえば、探索順序は修正されてもよい(たとえば、探索順序がカレントブロック位置から上部境界までであってもよいなど逆にされてもよい)。探索順序は、たとえば、最良のマッチングされるブロックが、カレントブロックに近い可能性がより高いので、逆にされてもよい。探索は、カレントブロック位置からピクチャの上部境界まで実行されてもよく、それは、マッチングされるブロックをより早期に特定し、および/または潜在的には垂直IntraBC探索をより早期に終了することを可能にし、これは符号化時間を節約することができる。
図20Aは、例示的な通信システム2000の図である。通信システム2000は、たとえば音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する多元接続システムであってよい。通信システム2000は、複数の無線ユーザがそのようなコンテンツに、無線帯域幅を含むシステムリソースの共有を通じてアクセスすることを可能にすることができる。たとえば、通信システム2000は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの1または複数のチャネルアクセス方法を使用してもよい。
図20Aに示されているように、通信システム2000は、無線送信/受信ユニット(WTRU)2002a、2002b、2002c、および/または2002d(これらは一般に、またはまとめてWTRU2002と称されることがある)、無線アクセスネットワーク(RAN)2003/2004/2005、コアネットワーク2006/2007/2009、公衆電話網(PSTN)2008、インターネット2010、ならびに他のネットワーク2012を含んでもよいが、開示されている実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を意図していることを理解されたい。WTRU2002a、2002b、2002c、2002dのそれぞれは、無線環境内で動作および/または通信するように構成された任意のタイプのデバイスであってよい。例として、WTRU2002a、2002b、2002c、2002dは、無線信号を送信および/または受信するように構成されてもよく、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家庭用電化製品などを含んでもよい。
また、通信システム2000は、基地局2014aおよび基地局2014bを含んでもよい。基地局2014a、2014bのそれぞれは、WTRU2002a、2002b、2002c、2002dの少なくとも1つと無線でインターフェースし、コアネットワーク2006/2007/2009、インターネット2010、および/またはネットワーク2012などの1または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。例として、基地局2014a、2014bは、送受信基地局(BTS)、NodeB、高度化NodeB、ホームNodeB、高度化ホームNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどであってもよい。基地局2014a、2014bは、それぞれ単一の要素として示されているが、基地局2014a、2014bは、任意の数の相互接続された基地局および/またはネットワーク要素を含んでもよいことを理解されたい。
基地局2014aは、RAN2003/2004/2005の一部であってよく、RANは、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、リレーノードなどのネットワーク要素(図示せず)を含んでもよい。基地局2014aおよび/または基地局2014bは、セル(図示せず)と称されることがある特定の地理的領域内で無線信号を送信および/または受信するように構成されてもよい。セルは、さらにセルセクタに分割されてもよい。たとえば、基地局2014aに関連付けられたセルは、3つのセクタに分割されてもよい。したがって、一実施形態では、基地局2014aは、3つの送受信機を、たとえばセルの各セクタについて1つ含んでもよい。他の実施形態では、基地局2014aは、多重入力−多重出力(MIMO)技術を使用してもよく、したがってセルの各セクタについて複数の送受信機を使用してもよい。
基地局2014a、2014bは、任意の好適な無線通信リンク(たとえば、無線周波数(RF)、マイクロ波、赤外(IR)、紫外(UV)、可視光など)とすることができるエアインターフェース2015/2016/2017を介してWTRU2002a、2002b、2002c、2002dの1または複数と通信してもよい。エアインターフェース2015/2016/2017は、任意の好適な無線アクセス技術(RAT)を使用して確立されてもよい。
より具体的には、上記で指摘したように、通信システム2000は、多元接続システムであってもよく、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなど1または複数のチャネルアクセス方式を使用してもよい。たとえば、RAN2003/2004/2005内の基地局2014aおよびWTRU2002a、2002b、2002cは、広帯域CDMA(WCDMA(登録商標))を使用してエアインターフェース2015/2016/2017を確立することができるユニバーサル移動体通信システム(UMTS)地上波無線アクセス(UTRA)などの無線技術を実装してもよい。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)など、通信プロトコルを含んでもよい。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含んでもよい。
基地局2014a、およびWTRU2002a、2002b、2002cは、ロングタームエボリューション(LTE)および/または拡張LTE(LTE−A)を使用してエアインターフェース2015/2016/2017を確立することができる拡張UMTS地上波無線アクセス(E−UTRA)などの無線技術を実装してもよい。
基地局2014a、およびWTRU2002a、2002b、2002cは、IEEE802.16(すなわち、WiMAX(Worldwide Interoperability for Microwave Access))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、Interim Standard 2000(IS−2000)、Interim Standard 95(IS−95)、Standard95856(IS−856)、Global System for Mobile communications(GSM(登録商標))、Enhanced Data rates for GSM Evolution(EDGE)、GSM EDGE(GERAN)など、無線技術を実装してもよい。
図20Aにおける基地局2014bは、たとえば、無線ルータ、ホームNodeB、ホーム拡張NodeB、またはアクセスポイントであってよく、事業所、自宅、自動車、キャンパスなど、局所的な領域での無線接続性を容易にするための任意の好適なRATを使用してもよい。基地局2014b、およびWTRU2002c、2002dは、無線ローカルエリアネットワーク(WLAN)を確立するために、IEEE802.11などの無線技術を実装してもよい。基地局2014b、およびWTRU2002c、2002dは、無線パーソナルエリアネットワーク(WPAN)を確立するために、IEEE802.15などの無線技術を実装してもよい。基地局2014b、およびWTRU2002c、2002dは、ピコセルまたはフェムトセルを確立するために、セルラベースのRAT(たとえば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を使用してもよい。図20Aに示されているように、基地局2014bは、インターネット2010に対する直接接続を有してもよい。したがって、基地局2014bは、コアネットワーク2006/2007/2009を介してインターネット2010にアクセスすることが必要とされないことがある。
RAN2003/2004/2005は、コアネットワーク2006/2007/2009と通信してもよく、コアネットワークは、音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスを、WTRU2002a、2002b、2002c、2002dの1または複数に提供するように構成された任意のタイプのネットワークであってもよい。たとえば、コアネットワーク2006/2007/2009は、呼制御、課金サービス、モバイルロケーションベースサービス、プリペイドコーリング、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証などのハイレベルなセキュリティ機能を実行してもよい。図20Aには示されていないが、RAN2003/2004/2005および/またはコアネットワーク2006/2007/2009は、RAN2003/2004/2005と同じRATまたは異なるRATを使用する他のRANと直接または間接的に通信してもよいことを理解されたい。たとえば、E−UTRA無線技術を使用することができるRAN2003/2004/2005に接続されることに加えて、コアネットワーク2006/2007/2009はまた、GSM無線技術を使用する別のRAN(図示せず)と通信してもよい。
また、コアネットワーク2006/2007/2009は、WTRU2002a、2002b、2002c、2002dがPSTN2008、インターネット2010、および/または他のネットワーク2012にアクセスするためのゲートウェイとして機能してもよい。PSTN2008は、基本電話サービス(POTS/plain old telephone service)を提供する回線交換電話網を含んでもよい。インターネット2010は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、インターネットプロトコル(IP)など、一般的な通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含んでもよい。ネットワーク2012は、他のサービスプロバイダによって所有および/または運営される有線もしくは無線通信ネットワークを含んでもよい。たとえば、ネットワーク2012は、RAN2003/2004/2005と同じRATまたは異なるRATを使用してもよい1または複数のRANに接続された別のコアネットワークを含んでもよい。
通信システム2000におけるWTRU2002a、2002b、2002c、2002dの一部または全部がマルチモード機能を含んでもよく、すなわち、WTRU2002a、2002b、2002c、2002dは、異なる無線リンクを介して異なる無線ネットワークと通信するために複数の送受信機を含んでもよい。たとえば、図20Aに示されているWTRU2002cは、セルラベースの無線技術を使用することができる基地局2014a、およびIEEE802無線技術を使用することができる基地局2014bと通信するように構成されてもよい。
図20Bは、例示的なWTRU2002のシステム図である。図20Bに示されているように、WTRU2002は、プロセッサ2018、送受信機2020、送信/受信要素2022、スピーカ/マイクロフォン2024、キーパッド2026、ディスプレイ/タッチパッド2028、非取外し式メモリ2030、取外し式メモリ2032、電源2034、全世界測位システム(GPS)チップセット2036、および他の周辺機器2038を含んでもよい。WTRU2002は、前述の要素の任意のサブコンビネーションを含んでもよいことを理解されたい。基地局2014a、2014b、および/または、それだけには限らないがとりわけ送受信局(BTS)、NodeB、サイトコントローラ、アクセスポイント(AP)、ホームNodeB、拡張ホームNodeB(拡張NodeB)、ホーム拡張NodeB(HeNB)、ホーム拡張NodeBゲートウェイ、およびプロキシノードなど、基地局2014a、2014bが表すノードは、図20Bに示され本明細書に記載されている要素の一部または全部を含んでもよい。
プロセッサ2018は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連付けられた1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械などであってもよい。プロセッサ2018は、信号符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU2002が無線環境で動作することを可能にする任意の他の機能を実行してもよい。プロセッサ2018は、送受信機2020に結合されてもよく、送受信機は、送信/受信要素2022に結合されてもよい。図20Bは、プロセッサ2018と送受信機2020を別個の構成要素として示しているが、プロセッサ2018と送受信機2020は、電子パッケージまたはチップ内でともに集積されてもよいことを理解されたい。
送信/受信要素2022は、エアインターフェース2015/2016/2017を介して基地局(たとえば、基地局2014a)に信号を送信し、または基地局から信号を受信するように構成されてもよい。たとえば、送信/受信要素2022は、RF信号を送信および/または受信するように構成されたアンテナであってよい。送信/受信要素2022は、たとえばIR信号、UV信号、または可視光信号を送信および/または受信するように構成されたエミッタ/ディテクタであってよい。送信/受信要素2022は、RF信号と光信号をともに送信および受信するように構成されてもよい。送信/受信要素2022は、任意の組合せの無線信号を送信および/または受信するように構成されてもよいことを理解されたい。
さらに、送信/受信要素2022は、図20Bに単一の要素として示されているが、WTRU2002は、任意の数の送信/受信要素2022を含んでもよい。より具体的には、WTRU2002は、MIMO技術を使用してもよい。WTRU2002は、エアインターフェース2015/2016/2017を介して無線信号を送信および受信するために2つ以上の送信/受信要素2022(たとえば、複数のアンテナ)を含んでもよい。
送受信機2020は、送信/受信要素2022によって送信する信号を変調し、また送信/受信要素2022によって受信される信号を復調するように構成されてもよい。上記で指摘したように、WTRU2002は、マルチモード機能を有してもよい。したがって、送受信機2020は、たとえばUTRAおよびIEEE802.11などの複数のRATを介してWTRU2002が通信することを可能にするために複数の送受信機を含んでもよい。
WTRU2002のプロセッサ2018は、スピーカ/マイクロフォン2024、キーパッド2026、および/またはディスプレイ/タッチパッド2028(たとえば、液晶ディスプレイ(LCD)ディスプレイユニット、または有機発光ダイオード(OLED)ディスプレイユニット)に結合されてもよく、それらからユーザ入力データを受信してもよい。また、プロセッサ2018は、ユーザデータをスピーカ/マイクロフォン2024、キーパッド2026、および/またはディスプレイ/タッチパッド2028に出力してもよい。さらに、プロセッサ2018は、非取外し式メモリ2030および/または取外し式メモリ2032など、任意のタイプの好適なメモリからの情報にアクセスし、それらにデータを記憶してもよい。非取外し式メモリ2030は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、ハードディスク、または任意の他のタイプのメモリ記憶装置を含んでもよい。取外し式メモリ2032は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含んでもよい。プロセッサ2018は、サーバ上または家庭用コンピュータ(図示せず)上など、物理的にWTRU2002上に位置しないメモリからの情報にアクセスし、それにデータを記憶してもよい。
プロセッサ2018は、電源2034から電力を受信してもよく、WTRU2002内の他の構成要素に電力を分散し、および/またはその電力を制御するように構成されてもよい。電源2034は、WTRU2002に給電するための任意の好適なデバイスであってよい。たとえば、電源2034は、1または複数の乾電池(たとえば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含んでもよい。
また、プロセッサ2018は、WTRU2002の現在位置に関する位置情報(たとえば、経度および緯度)を提供するように構成することができるGPSチップセット2036に結合されてもよい。GPSチップセット2036からの情報に加えて、またはその代わりに、WTRU2002は、エアインターフェース2015/2016/2017を介して基地局(たとえば、基地局2014a、2014b)から位置情報を受信し、および/または近くの2つ以上の基地局から受信される信号のタイミングに基づいてその位置を決定してもよい。WTRU2002は、任意の好適な位置決定方法により位置情報を取得してもよいことを理解されたい。
さらに、プロセッサ2018は他の周辺機器2038に結合されてもよく、それらの周辺機器は、追加の特徴、機能、および/または有線もしくは無線接続性を提供する1または複数のソフトウェアおよび/またはハードウェアモジュールを含んでもよい。たとえば、周辺機器2038は、加速度計、電子コンパス(e-compass)、衛星送受信機、デジタルカメラ(写真またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビ送受信機、ハンズフリー用ヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザなどを含んでもよい。
図20Cは、RAN2003およびコアネットワーク2006のシステム図である。上記で指摘したように、RAN2003は、UTRA無線技術を使用し、エアインターフェース2015を介してWTRU2002a、2002b、2002cと通信してもよい。また、RAN2003は、コアネットワーク2006と通信してもよい。図20Cに示されているように、RAN2003は、NodeB2040a、2040b、2040cを含んでもよく、これらのNodeBは、それぞれが、エアインターフェース2015を介してWTRU2002a、2002b、2002cと通信するために1または複数の送受信機を含んでもよい。NodeB2040a、2040b、2040cは、それぞれがRAN2003内の特定のセル(図示せず)に関連付けられてもよい。また、RAN2003は、RNC2042a、2042bを含んでもよい。RAN2003は、任意の数のNodeBおよびRNCを含んでもよいことを理解されたい。
図20Cに示されているように、NodeB2040a、2040bは、RNC2042aと通信してもよい。さらに、NodeB2040cは、RNC2042bと通信してもよい。NodeB2040a、2040b、2040cは、Iubインターフェースを介して、それぞれのRNC2042a、2042bと通信してもよい。RNC2042a、2042bは、Iurインターフェースを介して互いに通信してもよい。RNC2042a、2042bのそれぞれは、接続されているそれぞれのNodeB2040a、2040b、2040cを制御するように構成されてもよい。さらに、RNC2042a、2042bのそれぞれは、外部ループ電力制御、負荷制御、許可制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバシティ、セキュリティ機能、データ暗号化など、他の機能を実行する、またはサポートするように構成されてもよい。
図20Cに示されているコアネットワーク2006は、メディアゲートウェイ(MGW)2044、移動交換センタ(MSC)2046、サービングGPRSサポートノード(SGSN)2048、および/またはゲートウェイGPRSサポートノード(GGSN)2050を含んでもよい。前述の要素のそれぞれはコアネットワーク2006の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外のエンティティによって所有および/または運営されてもよいことを理解されたい。
RAN2003内のRNC2042aは、IuCSインターフェースを介してコアネットワーク2006内のMSC2046に接続されてもよい。MSC2046は、MGW2044に接続されてもよい。MSC2046およびMGW2044は、WTRU2002a、2002b、2002cにPSTN2008などの回線交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cと従来の陸線通信デバイスとの間の通信を容易にすることができる。
また、RAN2003内のRNC2042aは、IuPSインターフェースを介してコアネットワーク2006内のSGSN2048に接続されてもよい。SGSN2048は、GGSN2050に接続されてもよい。SGSN2048およびGGSN2050は、WTRU2002a、2002b、2002cにインターネット2010などのパケット交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cとIP対応デバイスとの間の通信を容易にすることができる。
上記で指摘したように、コアネットワーク2006はまた、他のサービスプロバイダによって所有および/または運営される他の有線もしくは無線ネットワークを含むことができるネットワーク2012に接続されてもよい。
図20Dは、RAN2004およびコアネットワーク2007のシステム図である。上記で指摘したように、RAN2004は、E−UTRA無線技術を使用し、エアインターフェース2016を介してWTRU2002a、2002b、2002cと通信してもよい。また、RAN2004は、コアネットワーク2007と通信してもよい。
RAN2004は拡張NodeB2060a、2060b、2060cを含むが、RAN2004は、任意の数の拡張NodeBを含んでもよいことを理解されたい。拡張NodeB2060a、2060b、2060cは、それぞれが、エアインターフェース2016を介してWTRU2002a、2002b、2002cと通信するために1または複数の送受信機を含んでもよい。拡張NodeB2060a、2060b、2060cは、MIMO技術を実装してもよい。したがって、たとえば拡張NodeB2060aは、複数のアンテナを使用し、WTRU2002aに無線信号を送信し、WTRU2002aから無線信号を受信してもよい。
拡張NodeB2060a、2060b、2060cのそれぞれは、特定のセル(図示せず)に関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成されてもよい。図20Dに示されているように、拡張NodeB2060a、2060b、2060cは、X2インターフェースを介して互いに通信してもよい。
図20Dに示されているコアネットワーク2007は、モバイル管理ゲートウェイ(MME)2062、サービングゲートウェイ2064、およびパケットデータネットワーク(PDN)ゲートウェイ2066を含んでもよい。前述の要素のそれぞれはコアネットワーク2007の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外の企業体によって所有および/または運営されてもよいことを理解されたい。
MME2062は、S1インターフェースを介してRAN2004内の拡張NodeB2060a、2060b、2060cのそれぞれに接続されてもよく、制御ノードとして機能してもよい。たとえば、MME2062は、WTRU2002a、2002b、2002cのユーザを認証すること、ベアラの活性化/非活性化、WTRU2002a、2002b、2002cの初期アタッチ中に特定のサービングゲートウェイを選択することなどに関与してもよい。また、MME2062は、RAN2004と、GSMまたはWCDMAなどの他の無線技術を使用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供することができる。
サービングゲートウェイ2064は、S1インターフェースを介してRAN2004内の拡張NodeB2060a、2060b、2060cのそれぞれに接続されてもよい。サービングゲートウェイ2064は、一般に、ユーザデータパケットをWTRU2002a、2002b、2002cに/WTRU2002a、2002b、2002cからルーティングおよび転送してもよい。また、サービングゲートウェイ2064は、拡張NodeB間ハンドオーバ中にユーザプレーンをアンカリングすること、WTRU2002a、2002b、2002cにとってダウンリンクデータが使用可能であるときページングをトリガすること、ならびにWTRU2002a、2002b、2002cのコンテキストを管理および記憶することなど、他の機能を実行してもよい。
また、サービングゲートウェイ2064はPDNゲートウェイ2066に接続されてもよく、PDNゲートウェイは、WTRU2002a、2002b、2002cにインターネット2010などのパケット交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cとIP対応デバイスとの間の通信を容易にすることができる。
コアネットワーク2007は、他のネットワークとの通信を容易することができる。たとえば、コアネットワーク2007は、WTRU2002a、2002b、2002cにPSTN2008などの回線交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cと従来の陸線通信デバイスとの間の通信を容易にすることができる。たとえば、コアネットワーク2007は、コアネットワーク2007とPSTN2008との間のインターフェースとして機能するIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含んでもよく、またはIPゲートウェイと通信してもよい。さらに、コアネットワーク2007は、他のサービスプロバイダによって所有および/または運営される他の有線もしくは無線ネットワークを含むことができるネットワーク2012に対するアクセスを、WTRU2002a、2002b、2002cに提供してもよい。
図20Eは、RAN2005およびコアネットワーク2009のシステム図である。RAN2005は、エアインターフェース2017を介してWTRU2002a、2002b、2002cと通信するためにIEEE802.16無線技術を使用するアクセスサービスネットワーク(ASN)であってもよい。下記でさらに論じるように、WTRU2002a、2002b、2002c、RAN2005、およびコアネットワーク2009の異なる機能エンティティ間の通信リンクが、参照ポイントとして定義されてもよい。
図20Eに示されているように、RAN2005は、基地局2080a、2080b、2080c、およびASNゲートウェイ2082を含むが、RAN2005は、任意の数の基地局およびASNゲートウェイを含んでもよいことを理解されたい。基地局2080a、2080b、2080cは、それぞれがRAN2005内の特定のセル(図示せず)に関連付けられてもよく、それぞれが、エアインターフェース2017を介してWTRU2002a、2002b、2002cと通信するために1または複数の送受信機を含んでもよい。基地局2080a、2080b、2080cは、MIMO技術を実装してもよい。したがって、たとえば基地局2080aは、複数のアンテナを使用し、WTRU2002aに無線信号を送信し、WTRU2002aから無線信号を受信してもよい。また、基地局2080a、2080b、2080cは、ハンドオフのトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシ施行など、移動管理機能を提供してもよい。ASNゲートウェイ2082は、トラフィック集約ポイントとして機能してもよく、ページング、加入者プロファイルのキャッシング、コアネットワーク2009へのルーティングなどに関与してもよい。
WTRU2002a、2002b、2002cとRAN2005との間のエアインターフェース2017は、IEEE802.16仕様を実装するR1参照ポイントとして定義されてもよい。さらに、WTRU2002a、2002b、2002cのそれぞれは、コアネットワーク2009との論理インターフェース(図示せず)を確立してもよい。WTRU2002a、2002b、2002cとコアネットワーク2009との間の論理インターフェースは、R2参照ポイントとして定義されてもよく、認証、許可、IPホスト構成管理、および/または移動管理のために使用されてもよい。
基地局2080a、2080b、2080cのそれぞれの間の通信リンクは、WTRUハンドオーバおよび基地局間のデータの転送を容易にするためのプロトコルを含むR8参照ポイントとして定義されてもよい。基地局2080a、2080b、2080cとASNゲートウェイ2082との間の通信リンクは、R6参照ポイントとして定義されてもよい。R6参照ポイントは、WTRU2002a、2002b、2002cのそれぞれに関連する移動イベントに基づいて移動管理を容易にするためのプロトコルを含んでもよい。
図20Eに示されているように、RAN2005は、コアネットワーク2009に接続されてもよい。RAN2005とコアネットワーク2009との間の通信リンクは、たとえばデータ転送および移動管理機能を容易にするためのプロトコルを含むR3参照ポイントとして定義されてもよい。コアネットワーク2009は、移動IPホームエージェント(MIP−HA)2084と、認証、許可、アカウンティング(AAA)サーバ2086と、ゲートウェイ2088とを含んでもよい。前述の要素のそれぞれはコアネットワーク2009の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外の企業体によって所有および/または運営されてもよいことを理解されたい。
MIP−HAは、IPアドレス管理に関与してもよく、WTRU2002a、2002b、2002cが、異なるASNおよび/または異なるコアネットワーク間でローミングすることを可能にすることができる。MIP−HA2084は、WTRU2002a、2002b、2002cにインターネット2010などのパケット交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cとIP対応デバイスとの間の通信を容易にすることができる。AAAサーバ2086は、ユーザ認証、およびユーザサービスをサポートすることに関与してもよい。ゲートウェイ2088は、他のネットワークとの相互作用を容易にすることができる。たとえば、ゲートウェイ2088は、WTRU2002a、2002b、2002cにPSTN2008などの回線交換ネットワークに対するアクセスを提供し、WTRU2002a、2002b、2002cと従来の陸線通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ2088は、他のサービスプロバイダによって所有および/または運営される他の有線もしくは無線ネットワークを含むことができるネットワーク2012に対するアクセスを、WTRU2002a、2002b、2002cに提供してもよい。
図20Eには示されていないが、RAN2005は他のASNに接続されてもよく、コアネットワーク2009は他のコアネットワークに接続されてもよいことを理解されたい。RAN2005と他のASNとの間の通信リンクは、RAN2005と他のASNとの間でのWTRU2002a、2002b、2002cの移動を調整するためのプロトコルを含むことができるR4参照ポイントとして定義されてもよい。コアネットワーク2009と他のコアネットワークとの間の通信リンクは、ホームコアネットワークとアクセスされるコアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができるR5参照ポイントとして定義されてもよい。
上記では特徴および要素が特定の組合せで記載されているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組合せで使用してもよいことを、当業者なら理解するであろう。さらに、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行するためのコンピュータ可読媒体内に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアで実装されてもよい。コンピュータ可読媒体の例は、(有線接続または無線接続を介して送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、それだけには限らないが、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよび取外し式ディスクなどの磁気媒体、光磁気媒体、ならびにCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用し、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータで使用するために、無線周波数送受信機を実装してもよい。

Claims (3)

  1. ビデオデータを符号化する方法であって、
    前記ビデオデータの符号化ユニットを符号化するための第1の最良モードを識別するステップと、
    前記第1の最良モードと関連付けられた量子化された残差値の第1の組を識別するステップと、
    量子化された残差値の前記第1の組が非ゼロ値を含むかどうか、および前記第1の最良モードがイントラブロックコピー(IntraBC)モードまたはスキップモードであるかどうかを決定するステップと、
    量子化された残差値の前記第1の組が非ゼロ値を含み、または前記第1の最良モードが前記IntraBCモードでも前記スキップモードでもないと決定することに基づいて、
    前記符号化ユニットの幅が符号化幅閾値以下であるかどうかを決定するステップと、
    前記符号化ユニットの前記幅が前記符号化幅閾値以下であることを条件に、第1の予測子ベース探索を介して、前記符号化ユニットに対して2N×2N IntraBCモード検査を実行するステップと
    を備えたことを特徴とする方法。
  2. 前記符号化ユニットを符号化するための第2の最良モードを識別するステップと、
    前記第2の最良モードと関連付けられた量子化された残差値の第2の組を識別するステップと、
    量子化された残差値の前記第2の組が非ゼロ値を含むかどうか、および前記第2の最良モードが前記IntraBCモードまたは前記スキップモードであるかどうかを決定するステップと、
    量子化された残差値の前記第2の組が非ゼロ値を含み、または前記第2の最良モードが前記IntraBCモードでも前記スキップモードでもないと決定することに基づいて、
    前記符号化ユニットの前記幅が前記符号化幅閾値以下であることを条件に、第2の予測子ベース探索を介して、前記符号化ユニットに対して2N×2N IntraBCモード検査を実行するステップと
    をさらに備えたことを特徴とする請求項1に記載の方法。
  3. 前記符号化ユニットを符号化するための前記第2の最良モードおよび量子化された残差値の前記第2の組は、前記第1の予測子ベース探索をすると識別されることを特徴とする請求項2に記載の方法。
JP2019090956A 2015-01-29 2019-05-13 イントラブロックコピー探索 Ceased JP2019165486A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562109548P 2015-01-29 2015-01-29
US62/109,548 2015-01-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017540619A Division JP6527949B2 (ja) 2015-01-29 2016-01-28 イントラブロックコピー探索

Publications (1)

Publication Number Publication Date
JP2019165486A true JP2019165486A (ja) 2019-09-26

Family

ID=55697441

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017540619A Active JP6527949B2 (ja) 2015-01-29 2016-01-28 イントラブロックコピー探索
JP2019090956A Ceased JP2019165486A (ja) 2015-01-29 2019-05-13 イントラブロックコピー探索

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017540619A Active JP6527949B2 (ja) 2015-01-29 2016-01-28 イントラブロックコピー探索

Country Status (7)

Country Link
US (2) US10516882B2 (ja)
EP (1) EP3251350B1 (ja)
JP (2) JP6527949B2 (ja)
KR (1) KR102131142B1 (ja)
CN (1) CN107409220B (ja)
TW (1) TWI678102B (ja)
WO (1) WO2016123398A2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2531001B (en) * 2014-10-06 2019-06-05 Canon Kk Method and apparatus for vector encoding in video coding and decoding
CN109155858B (zh) * 2016-05-16 2022-09-13 三星电子株式会社 视频编码方法和设备、视频解码方法和设备
US20180184101A1 (en) * 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
KR101925785B1 (ko) * 2017-03-22 2018-12-06 국방과학연구소 해시 정보 기반의 화면 내 예측 기술에 관한 영상 부호화 방법
CN107396102B (zh) * 2017-08-30 2019-10-08 中南大学 一种基于Merge技术运动矢量的帧间模式快速选择方法及装置
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN110213591B (zh) * 2018-03-07 2023-02-28 腾讯科技(深圳)有限公司 一种视频运动估计方法、装置及存储介质
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
US10609403B2 (en) * 2018-07-09 2020-03-31 Tencent America LLC Method and apparatus for block partition with non-uniform quad split
WO2020073896A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Apparatuses and methods for inter prediction of a triangle partition of a coding block
US11509919B2 (en) * 2018-10-17 2022-11-22 Tencent America Reference sample memory size restrictions for intra block copy
US11758164B2 (en) * 2018-10-23 2023-09-12 Tencent America LLC Method and apparatus for video coding
CN112997493B (zh) 2018-11-13 2024-01-05 北京字节跳动网络技术有限公司 用于单一类型运动候选列表的构建方法
CN113170112B (zh) * 2018-11-22 2024-05-10 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
CN113170181B (zh) 2018-11-29 2023-12-08 北京字节跳动网络技术有限公司 块内拷贝模式中的仿射继承方法
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
WO2020135465A1 (en) 2018-12-28 2020-07-02 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
CN113383543A (zh) 2019-02-02 2021-09-10 北京字节跳动网络技术有限公司 使用用于视频编解码中的帧内块复制的额外缓冲区样点的预测
CN113366844B (zh) 2019-02-02 2023-10-03 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区中的数据存储
US11595662B2 (en) * 2019-02-06 2023-02-28 Tencent America LLC Method and apparatus for neighboring block availability in video coding
CN117714694A (zh) 2019-02-17 2024-03-15 北京字节跳动网络技术有限公司 处理视频数据的方法、装置和计算机可读记录介质
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
JP7284284B2 (ja) 2019-03-04 2023-05-30 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーの実装形態の態様
CA3120795A1 (en) * 2019-03-04 2020-09-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using ibc merge list
WO2020185964A1 (en) * 2019-03-11 2020-09-17 Beijing Dajia Internet Information Technology Co., Ltd. Intra block copy for screen content coding
AU2020309663C1 (en) 2019-07-06 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
MX2022000110A (es) 2019-07-10 2022-02-10 Beijing Bytedance Network Tech Co Ltd Identificacion de muestras para la copia intra-bloque en codificacion de video.
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
AU2020316548A1 (en) 2019-07-25 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
CN117499659A (zh) 2019-07-25 2024-02-02 北京字节跳动网络技术有限公司 帧内块复制虚拟缓冲区的尺寸限制
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
CN114342410A (zh) 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
WO2021057751A1 (en) 2019-09-23 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
WO2021185306A1 (en) 2020-03-18 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
US11190774B1 (en) * 2020-05-29 2021-11-30 Microsoft Technology Licensing, Llc Screen content encoding mode evaluation including intra-block evaluation of multiple potential encoding modes
US11595678B2 (en) * 2020-06-11 2023-02-28 Tencent America LLC Spatial displacement vector prediction for intra picture block and string copying
CN113452995A (zh) * 2021-03-31 2021-09-28 同济大学 当前串与参考串有不同扫描方向的数据编解码方法及装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW398131B (en) 1997-06-20 2000-07-11 Matsushita Electric Ind Co Ltd The image process method, the image process device and the data memory medium
US8086245B2 (en) 2002-09-12 2011-12-27 Broadcom Corporation Advertising and controlling the advertisement of wireless hot spots
CN1184795C (zh) 2002-12-30 2005-01-12 上海交通大学 脆弱数字水印嵌入与提取方法
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
KR20060122671A (ko) 2005-05-26 2006-11-30 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US9148823B2 (en) 2006-07-05 2015-09-29 Nokia Technologies Oy Ensuring quality of service for private short-range wireless networks
US8978105B2 (en) 2008-07-25 2015-03-10 Trapeze Networks, Inc. Affirming network relationships and resource access via related networks
US20120122514A1 (en) 2008-10-23 2012-05-17 Qualcomm Incorporated Selecting network service providers for multi-mode mobile devices
EP4161078A1 (en) 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
KR101623507B1 (ko) 2011-12-26 2016-05-23 구글 테크놀로지 홀딩스 엘엘씨 시간적 예측을 위해 병치된 화상의 암묵적 결정
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
US10904551B2 (en) 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
US9503715B2 (en) 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
GB2519514A (en) 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
KR102254118B1 (ko) * 2013-10-12 2021-05-20 삼성전자주식회사 인트라 블록 복사 예측을 이용한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US11076171B2 (en) 2013-10-25 2021-07-27 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
EP3061253A4 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing Llc PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
AU2014201583A1 (en) 2014-03-14 2015-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data using a block dictionary
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
US9715559B2 (en) 2014-03-17 2017-07-25 Qualcomm Incorporated Hash-based encoder search for intra block copy
US10136140B2 (en) 2014-03-17 2018-11-20 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
US20150264348A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
CN106030651B (zh) * 2014-03-21 2019-06-07 华为技术有限公司 利用改进的颜色表和索引图编码方法的高级屏幕内容编码
US10666968B2 (en) 2014-05-06 2020-05-26 Hfi Innovation Inc. Method of block vector prediction for intra block copy mode coding
KR20220079687A (ko) 2014-06-19 2022-06-13 브이아이디 스케일, 인크. 블록 벡터 도출을 이용하여 인트라 블록 복사 코딩을 위한 방법 및 시스템
US10897629B2 (en) 2014-06-19 2021-01-19 Vid Scale, Inc. Methods and systems for intra block copy search enhancement
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding

Also Published As

Publication number Publication date
EP3251350B1 (en) 2023-04-19
TW201637449A (zh) 2016-10-16
JP6527949B2 (ja) 2019-06-12
WO2016123398A2 (en) 2016-08-04
CN107409220A (zh) 2017-11-28
CN107409220B (zh) 2020-07-24
US10516882B2 (en) 2019-12-24
US20180014011A1 (en) 2018-01-11
WO2016123398A3 (en) 2016-09-22
TWI678102B (zh) 2019-11-21
KR102131142B1 (ko) 2020-07-07
JP2018509059A (ja) 2018-03-29
EP3251350A2 (en) 2017-12-06
US20200077087A1 (en) 2020-03-05
KR20170108110A (ko) 2017-09-26

Similar Documents

Publication Publication Date Title
JP6527949B2 (ja) イントラブロックコピー探索
US11036459B2 (en) Two-dimensional palette coding for screen content coding
US20200322630A1 (en) Palette coding for screen content coding
CN107431817B (zh) 用于调色板译码的方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20210323