JP2015534781A - マルチレイヤビデオコーディングの適応型アップサンプリング - Google Patents

マルチレイヤビデオコーディングの適応型アップサンプリング Download PDF

Info

Publication number
JP2015534781A
JP2015534781A JP2015534736A JP2015534736A JP2015534781A JP 2015534781 A JP2015534781 A JP 2015534781A JP 2015534736 A JP2015534736 A JP 2015534736A JP 2015534736 A JP2015534736 A JP 2015534736A JP 2015534781 A JP2015534781 A JP 2015534781A
Authority
JP
Japan
Prior art keywords
upsampling
filter
video sequence
upsampling filter
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015534736A
Other languages
English (en)
Other versions
JP6141988B2 (ja
Inventor
ジエ ドン
ジエ ドン
エンミン ルオ
エンミン ルオ
ユーウェン ホー
ユーウェン ホー
イエン イエ
イエン イエ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2015534781A publication Critical patent/JP2015534781A/ja
Priority to JP2017092559A priority Critical patent/JP6954763B2/ja
Application granted granted Critical
Publication of JP6141988B2 publication Critical patent/JP6141988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

マルチレイヤビデオコーディングの適応型アップサンプリングのシステム、方法、および手段が開示される。ビデオデータを伝達する方法は、アップサンプリングフィルタをビデオシーケンスに適用して、符号化されたエンハンスメントレイヤピクチャを生成することに関与できる。アップサンプリングフィルタをビデオシーケンスのシーケンスレベルにおいて適用して、エンハンスメントレイヤビットストリームを生成できる。アップサンプリングフィルタは、例えば、ビデオシーケンスに関係するカテゴリの知識が存在するかどうかを判定し、そしてビデオシーケンスに関係するカテゴリに対して設計された候補アップサンプリングフィルタを選択することによって、複数の候補アップサンプリングフィルタから選択され得る。アップサンプリングフィルタ情報を符号化できる。符号化されたアップサンプリング情報は、アップサンプリングフィルタの複数の係数を含むことができる。符号化されたアップサンプリングフィルタ情報および符号化されたエンハンスメントレイヤピクチャは、出力ビデオビットストリームで送信され得る。方法は、例えば、エンコーダによって実行され得る。

Description

本出願は、マルチレイヤビデオコーディングの適応型アップサンプリングに関する。
本出願は、２０１２年９月２８日に出願された米国特許仮出願第６１／７０６，９４１号明細書、および２０１３年１月１０日に出願された米国特許仮出願第６１／７５０，８８３号明細書の利益を主張するものであり、その開示内容は、参照により本明細書に組み込まれる。
ビデオコーディングシステムを使用して、デジタルビデオ信号を圧縮して、このような信号のストレージ要求および／または伝送帯域幅を低減できる。ビデオコーディングシステムは、ブロックベースのシステム、ウェーブレットベースのシステム、オブジェクトベースのシステムなどを含むことができる。ブロックベースのハイブリッドビデオコーディングシステムを使用して、展開できる。ブロックベースのビデオコーディングシステムの例は、MPEG1/2/4part2、H.264/MPEG-4part10AVCおよびVC-1規格などの、ビデオコーディングの国際標準を含むが、これらに限定されない。
スマートフォンおよびタブレットの解像度と計算能力の両方が向上するにつれ、ビデオチャット、携帯電話のビデオレコーディング・シェアリング、およびビデオストリーミングなどの、付加的なビデオアプリケーションは、異種環境でビデオデータを送信できる。さまざまな消費者デバイス（例えば、ＰＣ、スマートフォン、タブレット、ＴＶなど）を考慮に入れた３−スクリーンおよびＮ−スクリーンなどの、シナリオは、計算電力、メモリ／ストレージサイズ、表示解像度、表示フレームレートなどに関して幅広い能力を用いてデバイスのビデオ消費に対応できる。ネットワーク・伝送チャネルは、パケット損失レート、使用可能なチャネル帯域幅、バーストエラーレートなどに関して幅広い特性を有することができる。ビデオデータは、有線ネットワークと無線ネットワークとの組み合わせを介して送信されることもあり、それによって、下層の伝送チャネル特性がさらに複雑になり得る。
スケーラブルなビデオコーディングは、異種ネットワークを介して異なる能力を有するデバイス上で稼働するビデオアプリケーションの体験品質を改善するソリューションを提供できる。スケーラブルなビデオコーディングは、最高の表現（例えば、時間解像度、空間解像度、品質など）によって一度に信号を符号化することができ、そしてクライアントデバイス上で稼働するアプリケーションによって使用される特定のレートおよび表現に応じて、ビデオストリームのサブセットから復号することを可能にできる。スケーラブルなビデオコーディングは、スケーラブルでないソリューションに比べて帯域幅およびストレージを節約できる。MPEG-2Video、H.263、MPEG4VisualおよびH.264などの、ビデオ規格は、スケーラビリティの一部のモードをサポートするツールおよび／またはプロファイルを有することができるが、これらに限定されない。
マルチレイヤビデオコーディングの適応型アップサンプリングのシステム、方法、および手段が開示される。ビデオデータを伝達する方法は、アップサンプリングフィルタをビデオシーケンスに適用して、符号化されたエンハンスメントレイヤピクチャを生成することを含む。アップサンプリングフィルタ情報を符号化できる。符号化されたアップサンプリング情報は、アップサンプリングフィルタの複数の係数を含むことができる。符号化されたアップサンプリングフィルタ情報および符号化されたエンハンスメントレイヤピクチャは、出力ビデオビットストリームで送信され得る。この方法は、例えば、エンコーダによって実行され得る。
ビデオデータを伝達する方法は、符号化されたエンハンスメントレイヤピクチャおよび／または符号化されたエンハンスメントレイヤピクチャを生成するために使用されたアップサンプリングフィルタに関するアップサンプリングフィルタ情報を含む、入力ビットストリームを受信することを含む。アップサンプリングフィルタ情報を復号して、アップサンプリングフィルタを構築できる。アップサンプリングフィルタの少なくとも一部を適用して、ベースレイヤピクチャをアップサンプリングできる。例えば、アップサンプリングフィルタをシーケンスレベルにおいて適用して、ビデオシーケンスのエンハンスメントレイヤピクチャを復号できる。アップサンプリングフィルタは、ビデオシーケンスのピクチャレベルにおいて、ビデオシーケンスのスライスレベルにおいて、および／またはビデオシーケンスのブロックレベルにおいて適用され得る。アップサンプルされたベースレイヤピクチャを使用して、符号化されたエンハンスメントレイヤピクチャを復号できる。第１のアップサンプリングフィルタは、入力ビットストリーム内の第１のアップサンプリングフィルタ情報から構築され得る。第２のアップサンプリングフィルタは、入力ビットストリーム内の第２のアップサンプリングフィルタ情報から構築され得る。第１のアップサンプリングフィルタを適用して、ベースレイヤピクチャ内のピクセルの第１のセットをアップサンプルできる。第２のアップサンプリングフィルタを適用して、ベースレイヤピクチャ内のピクセルの第２のセットをアップサンプルできる。ピクセルの第１および第２のセットは、ベースレイヤピクチャ内の異なるピクセルを表す。この方法は、例えば、デコーダによって実行され得る。
アップサンプリングフィルタ情報をシグナルする方法は、複数のアップサンプリングフィルタのうちの各フィルタを固定フィルタまたはカスタムフィルタのいずれかとしてカテゴリ化することを含み、そして複数のアップサンプリングフィルタのうちのどのフィルタがビデオシーケンスの一部を符号化することに関連しているかを判定することができる。関連するフィルタの判定は、ビデオシーケンスの動きの量、ビデオシーケンスのエッジ情報の量、および／またはビデオシーケンスのエッジの方向性に基づくことができる。関連する固定フィルタに対応するインデックスを符号化できる。関連するカスタムフィルタに対応するフィルタ係数を符号化できる。符号化されたインデックスおよび符号化されたフィルタ係数を一緒に、ビデオビットストリームで送信できる。この方法は、例えば、エンコーダによって実行され得る。
ブロックベースのハイブリッドビデオ符号化システムの例を示す図である。 ブロックベースのビデオデコーダの例を示す図である。 ２つのレイヤがスケーラブルなビデオ符号化システムの例を示す図である。 ２つのレイヤがスケーラブルなビデオデコーダの例を示す図である。 マルチパス符号化に基づくピクチャ／スライスレベルのフィルタ選択の例を示すフローチャートである。 適応型アップサンプリング符号化決定に基づいてピクチャ／スライスレベルのフィルタの高速選択の例を示すフローチャートである。 開示された１または複数の例が実装され得る例示的な通信システムのシステム図である。 図７Ａに示した通信システム内で使用され得る例示的なＷＴＲＵ(wireless transmit/receive unit)のシステム図である。 図７Ａに示した通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図７Ａに示した通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。 図７Ａに示した通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。
図１は、ブロックベースのハイブリッドビデオ符号化システムの例を示す図である。入力ビデオ信号１０２は、ブロック毎に処理され得る。ビデオブロックユニットは、１６×１６ピクセルで構成できる。ブロックユニットは、マクロブロックまたはＭＢと呼ぶこともできる。ＨＥＶＣ(High Efficiency Video Coding)において、拡張ブロックサイズ（例えば、コーディングユニットまたはＣＵと呼ぶこともできる）を使用して、高解像度（例えば、１０８０ｐ以上）のビデオ信号を圧縮できる。ＨＥＶＣにおいて、ＣＵは、６４×６４ピクセルまでが可能である。ＣＵは、別個の予測実施法を適用できるようにするために、ＰＵ（予測ユニット）にさらに分割され得る。入力ビデオブロック（例えば、ＭＢまたはＣＵ）に対し、空間予測１６０および／または時間予測１６２が実行される。空間予測（例えば、イントラ予測）は、現在のビデオブロックを予測するために同じビデオピクチャ／スライス内のすでにコード化された近傍ブロックからのピクセルを使用できる。空間予測は、ビデオ信号に内在する空間的冗長性を低減できる。時間予測（例えば、インター予測または動き補償予測と呼ぶこともできる）は、現在のビデオブロックを予測するためにすでにコード化されたビデオピクチャからのピクセルを使用できる。時間予測は、ビデオ信号に内在する時間的冗長性を低減できる。所与のビデオブロックに対する時間予測信号は、１または複数の動きベクトルと、複数の参照ピクチャが使用される（例えば、参照ピクチャストア１６４内のどの参照ピクチャから時間予測信号が来ているかを特定するために使用できる）のであれば、１または複数の参照ピクチャインデックスとを含むことができる。
空間および／または時間予測の後、エンコーダ内のモード決定ブロック１８０は、例えば、レート歪み最適化の例に基づいて、予測モード、例えば、最高の予測モードを選択できる。予測ブロックは、１１６において、現在のビデオブロックから減算され得る。予測残差は、１０４において変換され、１０６において量子化され得る。量子化残差係数は、１１０において逆量子化され、そして再構築残差を形成するために１１２において逆変換され得る。この再構築残差１２６を予測ブロックに付加して、再構築ビデオブロックを形成できる。さらに、再構築ビデオブロックが参照ピクチャストア１６４に入れられる前におよび／または将来のビデオブロックをコード化するために使用される前に、デブロッキングフィルタ、および適応型ループフィルタなどの、インループフィルタリング１６６は、再構築ビデオブロックに適用され得るが、これらに限定されない。出力ビデオビットストリーム１２０を形成するために、コーディングモード（例えば、インターまたはイントラモード）、予測モード情報、動き情報、および／または量子化残差係数は、エントロピーコーディングユニット１０８に送信されて、ビットストリーム１２０を形成するために圧縮されて梱包（pack）され得る。
図２は、ブロックベースのビデオデコーダの例を示す図である。図２のブロックベースのビデオデコーダは、図１のブロックベースのビデオエンコーダに対応できる。ビデオビットストリーム２０２を開梱（unpack）して、エントロピー復号化ユニット２０８においてエントロピー復号できる。コーディングモードおよび予測情報を（例えば、イントラコード化されるのであれば）空間予測ユニット２６０および／または（例えば、インターコード化されるのであれば）時間予測ユニット２６２に送信して、予測ブロックを形成できる。残差変換係数を逆量子化ユニット２１０および／または逆変換ユニット２１２に送信して、残差ブロックを再構築できる。予測ブロックおよび残差ブロックを、２２６において一緒に付加できる。再構築ブロックは、参照ピクチャストア２６４に格納される前にインループフィルタリングをかけることができる。参照ピクチャストア内の再構築ビデオは、表示デバイスを駆動するために送信され、および／または将来のビデオブロックを予測するために使用され得る。
図３は、スケーラブルなビデオ符号化システムの例を示す図である。図３において、１つのベースレイヤと１つのエンハンスメントレイヤを有する２つのレイヤがスケーラブルなコーディングシステムを示すことができる。２つのレイヤ間の空間解像度は、異なってもよい（例えば、空間スケーラビリティを適用できる）。ベースレイヤエンコーダ（例えば、図３のＨＥＶＣエンコーダを示してもよい）は、ベースレイヤビデオ入力ストリームをブロック毎に符号化して、例えば、図１に示すように、ベースレイヤビットストリームを作成できる。エンハンスメントレイヤエンコーダは、エンハンスメントレイヤビデオ入力ストリームをブロック毎に符号化して、例えば、図１に示すように、エンハンスメントレイヤビットストリームを作成できる。
エンハンスメントレイヤビデオが符号化される時、スケーラブルなシステムのコーディング効率を改善するために、ベースレイヤ再構築ビデオからの信号相関を使用して、スケーラブルなシステムの予測精度を改善できる。例えば、図３に示すように、ベースレイヤ再構築ビデオを処理することができ、そして処理済みベースレイヤピクチャのうちの１または複数をエンハンスメントレイヤのＤＰＢ（復号化ピクチャバッファ）に挿入して、エンハンスメントレイヤビデオ入力を予測するために使用できる。ベースレイヤビデオとエンハンスメントレイヤビデオは本質的に、異なる空間解像度で表される同じビデオソースとすることができる。図３に示すように、それらのビデオは、ダウンサンプリングプロセスを経て互いに対応できる。例えば、（例えば、図３に示すような）インターレイヤ処理・管理ユニットによって実施されるＩＬＰ処理ステップは、ベースレイヤ再構築の空間解像度をエンハンスメントレイヤビデオの空間解像度に合わせるために使用されるアップサンプリング動作であってよい。ベースレイヤエンコーダとエンハンスメントレイヤエンコーダによって作り出されるベースレイヤビットストリームとエンハンスメントレイヤビットストリームに加えて、ＩＬＰ（インターレイヤ予測）情報をＩＬＰ処理・管理ユニットによって作り出すことができる。例えば、ＩＬＰ情報は、適用できるインターレイヤ処理のタイプと、（例えば、使用できる任意のアップサンプリングフィルタの）処理において使用できるパラメータとを含むことができ、それらによって１または複数の処理済みベースレイヤピクチャをエンハンスメントレイヤＤＰＢに挿入できるが、これらに限定されない。ベースレイヤビットストリームとエンハンスメントレイヤビットストリームおよびＩＬＰ情報は、スケーラブルなビットストリームを形成するために、例えば、マルチプレクサによって一緒に多重化され得る。
図４は、２つのレイヤがスケーラブルなビデオデコーダの例を示す図である。図４の２つのレイヤがスケーラブルなビデオデコーダは、図３のスケーラブルなエンコーダに対応できる。デコーダは、エンコーダの逆の動作を実行できる。例えば、スケーラブルなビットストリームは、デマルチプレクサによって逆多重化されて、ベースレイヤビットストリーム、エンハンスメントレイヤビットストリーム、およびＩＬＰ情報にすることができる。ベースレイヤデコーダは、ベースレイヤビットストリームを復号できる。ベースレイヤデコーダは、ベースレイヤ再構築を生成することができる。ＩＬＰ処理・管理ユニットは、ＩＬＰ情報を受信できる。ＩＬＰ処理・管理ユニットは、ベースレイヤ再構築を処理できる。この処理は、受信されたＩＬＰ情報に従って行うことができる。ＩＬＰ処理・管理ユニットは、処理済みベースレイヤピクチャのうちの１または複数をエンハンスメントレイヤＤＰＢに選択的に挿入できる。この挿入は、受信されたＩＬＰ情報に従って行うことができる。エンハンスメントレイヤデコーダは、例えば、時間参照ピクチャとインターレイヤ参照ピクチャ（例えば、処理済みベースレイヤピクチャ）とを組み合わせてエンハンスメントレイヤビットストリームを復号して、エンハンスメントレイヤビデオを再構築できる。
用語「インターレイヤ参照ピクチャ」と「処理済みベースレイヤピクチャ」は、同じ意味で使用できる。
例えば、図３および図４に示すような、スケーラブルなシステムにおけるピクチャレベルのＩＬＰの実行により、実装の複雑さの低減を図ることができる。これは、ベースレイヤおよびエンハンスメントレイヤのエンコーダおよびブロックレベルにおけるデコーダロジックを変更せずに再使用できるからである。処理済みベースレイヤピクチャのうちの１または複数をエンハンスメントレイヤＤＰＢに挿入することを含むハイレベル（例えば、ピクチャ／スライスレベル）のコンフィギュレーションを使用できる。ブロックレベルの変更によって、スケーラブルなシステムにおいてピクチャレベルのインターレイヤ予測に加えてブロックレベルのインターレイヤ予測を容易にさせることができる。
ベースレイヤピクチャに対する１または複数のアップサンプリングフィルタの設計および／またはアプリケーションは、インターレイヤ参照ピクチャの品質およびエンハンスメントレイヤのコーディング効率に影響を与えることができる。１つのアップサンプリングフィルタは、異なる種類のビデオコンテンツおよびビットレートに使用され得る。１つのアップサンプリングフィルタの使用は、さまざまな空間特性を効率的に活用するほど十分でない場合もある。アップサンプリングフィルタ（複数）は、ピクチャのアップサンプリングが行と列を順次アップサンプルすることによって遂行されることを示すことができる、二次元可分（2-D separable）であってよい。このタイプのフィルタは、水平でないまたは垂直でない方向に沿ったエッジ詳細を保存することができないが、二次元不可分フィルタに比べてより低い複雑度を有することができる。（例えば、適応型アップサンプリングのあるタイプであってよい）モード依存指向性アップサンプリング(mode dependent directional upsampling)を使用して、ベースレイヤピクチャのイントラブロックをアップサンプルできる。モード依存指向性アップサンプリングは、ベースレイヤビデオブロックの１または複数のイントラ予測モードに応じて適用できる、１または複数のアップサンプリングフィルタを用いることができる。このようなアップサンプリングの例は、どのフィルタが選択されるかを示す付加的なビットを使用せずにアップサンプリングフィルタをブロックレベルに適応させることができ、および／またはイントラ予測モードを使用してコード化されたアップサンプルされたベースレイヤブロックの品質を改善できる。
エンハンスメントレイヤピクチャをコード化する時のインターレイヤ参照ピクチャとインターレイヤ予測の品質に関係する例が本明細書に説明されている。複数のアップサンプリングフィルタが設計されて、シーケンスレベルにおいて、ピクチャ／スライスレベルにおいて、および／またはブロックレベルにおいて適応的に使用できる。適応のレベルは、少なくとも一部は、事前の知識、および／または計算複雑度、オーバーヘッドビットのサイズおよび／またはコーディング効率のバランスによって判定できる。本明細書に説明されている例は、任意のエッジ方向および他の空間特性に対処するように設計できる複数のアップサンプリングフィルタ、シーケンスレベル、ピクチャ／スライスレベル、および／またはブロックレベルにおいて選択的に使用できる複数のアップサンプリングフィルタ、および／またはエンコーダによって既定義またはカスタマイズできる複数のアップサンプリングフィルタを含むことができる。
開示された発明の主題は、２つのレイヤの空間スケーラブルなビデオコーディングシステムを利用して実証され得る。下層の単一レイヤエンコーダ／デコーダは、ＨＥＶＣエンコーダ／デコーダを例として使用して説明され得る。開示された発明の主題は、他のスケーラブルなシステム（例えば、３以上のレイヤ、他のタイプのスケーラビリティ、および／または他の下層の単一レイヤエンコーダ／デコーダ）に適用可能にできる。
適用型アップサンプリングの例を本明細書で説明できる。アップサンプリングフィルタは、例えば、１または複数のベースレイヤ再構築ピクチャおよび／またはコード化される１または複数のエンハンスメントレイヤ原入力ピクチャを含むことができるトレーニングデータのセットを使用する、最小二乗（ＬＳ）法を使用して、設計され、トレーニングされ得る。アップサンプリングフィルタは、１または複数のアップサンプルされたベースレイヤ再構築ピクチャと１または複数のエンハンスメントレイヤ原入力ピクチャとの間の平均二乗誤差（ＭＳＥ）を低減または最小にすることができる。１または複数のアップサンプリングフィルタをトレーニングするために、トレーニングデータの１または複数のセットを構築できる。トレーニングデータのセットは、所与のビデオシーケンスの１または複数のベースレイヤ再構築ピクチャおよび／または１または複数のエンハンスメントレイヤ原入力ピクチャを含むことができる。トレーニングされたアップサンプリングフィルタは、そのトレーニングビデオシーケンスを効率的にすることができる。ビデオシーケンスは、１または複数のカテゴリ（例えば、静止、ハイモーション、エッジリッチ、同種など）に分類され得る。１または複数のベースレイヤ再構築ピクチャおよび／または１または複数のエンハンスメントレイヤ原入力ピクチャは、対応するアップサンプリングフィルタのトレーニングデータセットからビデオシーケンスのカテゴリに分類され得る。トレーニングされたアップサンプリングフィルタは、ビデオシーケンスのあるカテゴリを効率的にすることができる。
アップサンプリングフィルタは、フィルタの周波数応答が望ましい方向性を有することを確保することによって生成され得る。例えば、方向性を持たない二次元アップサンプリングフィルタは、例えば、式（１）に示すように、窓関数によって切り取られる二次元Ｓｉｎｃ関数で表すことができる。
ここにａとｂは、周波数領域の水平方向と垂直方向でカットオフ周波数を制御する２つのパラメータとする。ある方向（例えば、方向が水平方向から角度θを有すると仮定できる）に沿ってエッジ詳細を保存するために、望ましい方向のアップサンプリングフィルタは、例えば、式（２）に示すように、原座標を角度θで反時計回りに回転させることによって取得できる。
式（１）および式（２）に基づいて、望ましい方向性を有するアップサンプリングフィルタは、例えば、式（３）に示すように導出される。
トレーニングの実装によっておよび／または理論的導出の実装によって取得されるアップサンプリングフィルタは、実数値の数を有することができる。ソフトウェアおよび／またはハードウェアによって実現される場合、実数値の数は、値、例えば、ある精度を有する整数によって近似され得る。より低い精度は、結果としてより低い実装複雑度になり得るが、アップサンプリングフィルタの性能が低下し得る。より高い精度は、結果としてアップサンプリングフィルタの性能が改善され得るが、結果としてより高い実装複雑度にもなり得る。例えば、精度は、フィルタ係数の値を２５６ステップの範囲で量子化できることを示す、８ビットとすることができる。アップサンプリングフィルタが、８ビット精度（例えば、０から２５５まで）を有することができるピクセルに適用される場合、２つの乗数である、ピクセル値とフィルタ係数は、８ビット精度を有することができ、そして積は、１６ビットの動的範囲を超えることができない。
アップサンプリングフィルタのうちの１または複数（例えば、セット）が配置された後、エンコーダは、符号化プロセス中にアップサンプリングフィルタのうちの１または複数（例えば、任意の数）に適応的に適用できる。アップサンプリングフィルタは、異なる手段によっておよび／または異なるコーディングレベル（例えば、シーケンスレベル、ピクチャ／スライスレベル、および／またはブロックレベル）において選択され得る。
エンコーダがビデオシーケンスのコンテンツの事前知識を有し、そしてビデオシーケンスまたはビデオシーケンスが帰属するカテゴリに対して設計されたアップサンプリングフィルタが存在するのであれば、エンコーダは、符号化プロセスの開始時にアップサンプリングフィルタを選択できる。エンコーダは、例えば、符号化プロセスの間中はアップサンプリングフィルタを変更できないように、維持できる。これは、シーケンスレベルの適応と呼ぶこともできる。エンコーダは、ビデオシーケンスの符号化プロセスの間中トレーニングされたアップサンプリングフィルタを使用できる。ビデオシーケンスのコンテンツおよび／またはカテゴリの事前知識を判定することは、ビデオシーケンスと関連付けられた（例えば、ビデオシーケンスの１または複数のプロパティと関連付けられた）コンテンツおよび／またはカテゴリを判定することを指す。ビデオシーケンスと関連付けられたコンテンツおよび／またはカテゴリを判定すると、エンコーダは、コンテンツおよび／またはカテゴリに基づいて（例えば、複数の候補アップサンプリングフィルタから）アップサンプリングフィルタを選択できる。
エンコーダがビデオシーケンスについての事前知識を有しないまたは信頼性がない知識を有しているのであれば、エンコーダは、トレーニングされたアップサンプリングフィルタ（例えば、すべてまたはサブセット）のうちの１または複数を、符号化プロセスの候補アップサンプリングフィルタとして使用できる。エンコーダは、ピクチャベースで候補アップサンプリングフィルタのうちの１つを選択できる。これは、ピクチャ／スライスレベルの適応と呼ぶこともできる。エンコーダは、ブロックベースで候補アップサンプリングフィルタのうちの１つを選択できる。これは、ブロックレベルの適応と呼ぶこともできる。
アップサンプリングフィルタ（複数）の選択および選択されたアップサンプリングフィルタ（複数）の適応レベルに関係する例を本明細書で説明できる。例えば、ビデオのシーケンスレベルの適応、ピクチャ／スライスレベルの適応、およびブロックレベルの適応を本明細書で説明できる。
アップサンプリングフィルタ（例えば、候補アップサンプリングフィルタ）のセットから、アップサンプリングフィルタ（例えば、サブセット）のうちの１または複数は、エンコーダによって現在のビデオシーケンスをコード化するために使用され得る。１または複数のアップサンプリングフィルタは、シーケンスヘッダ、例えば、ＳＰＳ（シーケンスパラメータセット）で表示され得る。１つのアップサンプリングフィルタがＳＰＳで表示されると、ピクチャ／スライスレベルまたはブロックレベルの適応を、例えば、有効にすることができないように無効にすることができる。これは、ビデオのシーケンスレベルの適応が有効であるので可能となる。２以上のアップサンプリングフィルタがＳＰＳで表示されると、ピクチャ／スライスレベルおよび／またはブロックレベルの適応を有効にできる。
ピクチャ／スライスレベルの適応を説明できる。ビデオシーケンスをコード化するために使用される候補アップサンプリングフィルタの数をＮとして示すことができる。図５は、マルチパス符号化に基づくピクチャ／スライスレベルのフィルタ選択の例を示すフローチャートである。ｎ番目（１≦ｎ≦Ｎ）の符号化パスにおいて、エンコーダは、ｎ番目のアップサンプリングフィルタによって処理された処理済みベースレイヤピクチャを使用して現在のエンハンスメントレイヤピクチャを符号化できる。Ｎ個のパスを符号化した後、エンコーダは、既定義の基準を使用してＮ個の符号化パスの候補アップサンプリングフィルタを選択できる。例えば、エンコーダは、アップサンプリングフィルタの符号化パスが最小のレート歪み損失（rate distortion cost）を有するアップサンプリングフィルタを選択できる。エンコーダは、選択されたアップサンプリングフィルタを使用して、現在のエンハンスメントレイヤピクチャを符号化できる。
マルチパス符号化の実行は、一部のアプリケーション、例えば、リアルタイム符号化を使用できるアプリケーションにとって時間とコストがかかる場合もある。リアルタイム符号化を使用できるアプリケーションに対し、高速のエンコーダ決定機構を使用できる。図６は、適応型アップサンプリング符号化決定に基づいてピクチャ／スライスレベルのフィルタの高速選択の例を示す図である。図６に示すように、第１の符号化パスは、図３に従って実行され得る。この符号化パスにおいて、処理済みベースレイヤ再構築を使用して、インターレイヤ予測を提供できる。処理済みベースレイヤピクチャは、filter_dfltと示される、デフォルトアップサンプリングフィルタを適用することによって取得され得る。デフォルトアップサンプリングフィルタは、Ｎ個のアップサンプリングフィルタ候補のうちの１つであってよい。デフォルトアップサンプリングフィルタは、一般設計およびより低い複雑度を有する二次元可分フィルタであってよい。第１の符号化パス中に処理済みベースレイヤピクチャを使用したエンハンスメントレイヤブロックの最適フィルタを決定するために、デフォルトフィルタを使用するブロック歪みおよび他の候補アップサンプリングフィルタのうちの１または複数を使用するブロック歪みを収集して蓄積できる。例えば、デフォルトアップサンプリングフィルタを使用して、第１の符号化パスの現在のＥＬフレームのＩＬＲ予測のために選択されたブロックは、異なる候補アップサンプリングフィルタと候補アップサンプリングフィルタの収集ブロック歪み測定を使用して、ブロック毎をベースに再符号化され得る。
蓄積された全歪みが最小であるフィルタを最適フィルタ（filter_opt）として選択できる。filter_optがfilter_dfltと同じであれば、第２の符号化パスは、例えば、実行することができないように、省略され得る。同じでなければ、ベースレイヤ再構築は、filter_optを使用して再度処理され、そして第２の符号化パスは、（例えば、図３による）新たな処理済みベースレイヤピクチャを使用して実行され得る。この高速符号化アルゴリズムは、符号化パスの数を、特に、初期フィルタ（filter_dflt）が適切に設定されていれば、削減できる。例えば、現在のピクチャコーディングは、以前のコーディング統計値によりデフォルトアップサンプリングフィルタを導出できる。
マルチパス符号化および高速のエンコーダ決定機構を利用する例は、例えば、符号化時間と性能とのバランスを考慮に入れて、組み合わせることができる。例えば、Ｎ個のアップサンプリングフィルタの中で、Ａ（Ａ＜Ｎ）個のアップサンプリングフィルタのサブセットは、コード化される所与のビデオシーケンスを効率的にすることができる。Ａ個のアップサンプリングフィルタは、マルチパス符号化に利用でき、残りのＢ（Ｎ＝Ａ＋Ｂ）個のアップサンプリングフィルタは、高速のエンコーダ決定機構に利用できる。
１または複数のアップサンプリングフィルタをブロックレベルに利用する例を本明細書で説明できる。ベースレイヤブロック（例えば、各ベースレイヤブロック）は、アップサンプリングフィルタ、例えば、Ｍ個のアップサンプリングフィルタ候補の中で最高のアップサンプリングフィルタによってアンプサンプルされ得る。アップサンプルされたブロックは、対応するエンハンスメントレイヤブロックをコード化する予測として使用され得る。ピクチャ／スライスレベルおよびブロックレベルの適応のためのアップサンプリングフィルタ候補のセットは、異なってもよい。Ｍは、Ｎとは異なってもよい。例えば、Ｍは、１ＩＬＰブロック当たりのサイド情報（例えば、どのアップサンプリングフィルタを使用できるかを示すために使用できる）を送信することが、かなり大きなビットのオーバーヘッドを招く場合があるので、Ｎよりも小さくすることができる。例えば、Ｍが２であれば、１つのビットを使用して、ブロックに使用されるアップサンプリングフィルタをシグナリングできる。Ｍが５であれば、３つのビットを使用して、ブロックに使用されるアップサンプリングフィルタをシグナリングできる。Ｍが大きすぎる場合、シグナリングオーバーヘッドは、ブロックの最適な適応型アップサンプリングフィルタを選択することによって達成可能な利得を上回る恐れがある。ピクチャ／スライスレベルの適応の場合、サイド情報は、１ピクチャ当たり１回および／または１スライス当たり１回コード化されて、使用されたビットを全ビットストリームの割合としてごくわずかにすることができる。
ブロックレベルの適応の場合、アップサンプリングフィルタのサイズＭの候補プールを異なる手段によって構築できる。例えば、Ｍ個の候補アップサンプリングフィルタを既定義にして、ＳＰＳでシグナリングすることができる。例えば、ブロックレベルの適応のためのＭ個のアップサンプリングフィルタは、ピクチャ／スライスレベルの適応のためのＮ個のアップサンプリングフィルタのサブセットであってよく、そして動的に構築され得る。ピクチャをコード化する時、（例えば、図５に示すような）マルチパス符号化および／または（例えば、図６に示すような）高速符号化アルゴリズムを実行することができ、そしてＭ個の最高のアップサンプリングフィルタは、ブロックレベルの適応のためのＭ個のアップサンプリングフィルタのプールを形成できる。例えば、Ｍ個のアップサンプリングフィルタ候補の中で、Ｋ個のフィルタを（例えば、シーケンスレベルにおいて）既定義にすることができ、そしてＬ個のフィルタを（例えば、ピクチャ／スライスレベルにおいて）動的に選択することができる。ここにＭ＝Ｋ＋Ｌである。
ピクチャ／スライスレベルの適応と同様に、ブロックレベルにおいて、１または複数の（例えば、最高の）Ｍ個のアップサンプリングフィルタ候補を異なる手段によって判定できる。例えば、ブロックのレート歪みコストを最小限にするアップサンプリングフィルタを選択できる。アップサンプルされたベースレイヤブロックと対応するエンハンスメントレイヤ原ブロックとの間の歪みは、最高ブロックレベルのフィルタを選択する時に考慮に入れることができる。ビットコストではなく歪みコストを考慮に入れることによってより高速にできる。ビデオシーケンスをコード化する時、ピクチャのうちの１または複数は、ピクチャ／スライスレベルの適応型アップサンプリングを使用してコード化される一方、他のピクチャのうちの１または複数は、ブロックレベルの適応型アップサンプリングを使用してコード化され得る。
（例えば、図３および図４に示すような）スケーラブルなシステムにおいてピクチャレベルのアップサンプリングを実行し、およびアップサンプルされたピクチャを参照ピクチャのうちの１つとして使用することは、実装複雑度を低減できる。例えば、ブロックレベルにおけるベースレイヤおよびエンハンスメントレイヤのエンコーダおよびデコーダ論理を変更せずに大部分を再使用できる。処理済みベースレイヤピクチャのうちの１または複数をエンハンスメントレイヤＤＰＢに挿入することを含むハイレベル（例えば、ピクチャ／スライスレベル）のコンフィギュレーションを利用できる。ブロックレベルのアップサンプリングの使用は、単一レイヤエンコーダ／デコーダのブロックレベルの変更を省略できる、複数の参照ピクチャによって実現され得る。例えば、Ｍ個のアップサンプリングフィルタの使用によるＭ個のアップサンプルされたベースレイヤ再構築ピクチャのそれぞれは、エンハンスメントレイヤピクチャをコード化する時、付加的なＭ個の参照ピクチャとして使用され得る。これは、参照ピクチャリストのサイズが増加して、ブロックレベルにおける参照インデックスシグナリング（例えば、時間参照ピクチャに対する参照インデックスのシグナリングオーバーヘッドを含む）のコストを増大する恐れがあるが、実装複雑度を低減できる。
複数のアップサンプリングフィルタを既定義にすることができ、そしてアップサンプリングフィルタの係数をエンコーダおよび／またはデコーダに格納できる。既定義のアップサンプリングフィルタの数は、計算リソースの制約、例えば、アップサンプリングフィルタの係数に関係し得るメモリ制約を満たすように選択され得る。アップサンプリングフィルタは、ビデオの１つのカテゴリ、例えば、静止、ハイモーション、エッジリッチ、および／または同種をコード化できる。既定義のアップサンプリングフィルタの使用は、ハイレベルのパラメータセット、例えば、ＶＰＳ（ビデオパラメータセット）および／またはＳＰＳ（シーケンスパラメータセット）の１または複数のフラグまたはインジケータを使用してシグナリングされ得る。既定義のアップサンプリングフラグ（複数）の１または複数の値は、既定義のアップサンプリングフィルタを使用できるという意味である、真に設定され得る。アップサンプリングフィルタの数は、ビットストリームのフラグ（複数）に従ってよい。
複数のアップサンプリングフィルタは、コード化されるビデオシーケンスにカスタマイズされ得る。エンコーダは、フィルタ係数をビットストリームにコード化して、それらを送信できる。デコーダ側では、フィルタ係数が受信されて、ビデオシーケンスを復号するために使用され得る。カスタマイズされたアップサンプリングフィルタの使用は、ハイレベルのパラメータセット、例えば、ＶＰＳおよび／またはＳＰＳの１または複数のフラグを使用してシグナリングされ得る。カスタマイズされたアップサンプリングフラグ（複数）の１または複数の値は、カスタマイズされたアップサンプリングフィルタを使用できるという意味である、真に設定され得る。アップサンプリングフィルタおよびアップサンプリングフィルタの係数の数は、ビットストリームのフラグ（複数）に従ってよい。アップサンプリングフィルタおよび係数は、順次フラグ（複数）に従ってよい。
既定義およびカスタマイズされたアップサンプリングは、使用される時に組み合わせることができ、その組み合わせは、現在のビデオシーケンスをコード化するために使用される複数のアップサンプリングフィルタが既定義およびカスタマイズされたフィルタおよび係数を含むことができるという意味であってよい。
表１は、既定義の適応型アップサンプリングフィルタの使用をシグナルする時に使用できるフラグおよび／または値の設定と、ＳＰＳ（シーケンスパラメータセット）でカスタマイズされたアップサンプリングフィルタの例を示している。
例として、０の値を有するフラグsps_predefined_upsampling_enabled_flagは、既定義のアップサンプリングフィルタを現在のビデオシーケンスのコード化において使用できないことを示すことができる。フラグsps_predefined_upsampling_enabled_flagが１の値を有するのであれば、例えば、それは、既定義のアップサンプリングフィルタを現在のビデオシーケンスのコード化において使用できることを示すことができる。
別の例として、０の値を有するフラグsps_customized_upsampling_enabled_flagは、カスタマイズされたアップサンプリングフィルタを現在のビデオシーケンスのコード化において使用できないことを示すことができる。フラグsps_customized_upsampling_enabled_flagが１の値を有するのであれば、例えば、それは、カスタマイズされたアップサンプリングフィルタを現在のビデオシーケンスのコード化において使用できることを示すことができる。
num_predefined_upsampling_filters_minus_1に１を加えた値は、例えば、現在のビデオシーケンスのコード化において使用できる既定義のアップサンプリングフィルタの数を示すことができる。num_customized_upsampling_filters_minus_1に１を加えた値は、例えば、現在のビデオシーケンスのコード化において使用できるカスタマイズされたアップサンプリングフィルタの数を示すことができる。num_coeff_per_filter_minus_1に１を加えた値は、例えば、１つのカスタマイズされたアップサンプリングフィルタのフィルタ係数の数を示すことができる。
num_coeff_hori_minus_1[j]に１を加えた値は、例えば、ｊ番目にカスタマイズされたアップサンプリングフィルタの水平方向の係数の数を示すことができる。num_coeff_vert_minus_1[j]に１を加えた値は、例えば、ｊ番目にカスタマイズされたアップサンプリングフィルタの垂直方向の係数の数を示すことができる。
フィルタの次元は、num_coeff_hori_minus_1[j]とnum_coeff_vert_minus_1[j]を乗じた値で示すことができ、そしてフィルタ係数の総数は、例えば、num_coeff_hori_minus_1[j]の値とnum_coeff_vert_minus_1[j]の値との積とすることができる。upsampling_filter_coeff[j][i]の値は、ｊ番目にカスタマイズされたアップサンプリングフィルタのｉ番目のフィルタ係数とすることができる。
図７Ａは、開示された１または複数の例を実装できる例示的な通信システム７００の図である。通信システム７００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムにすることができる。通信システム７００は、無線帯域幅を含むシステムリソースの共有を通じて、複数の無線ユーザがそのようなコンテンツにアクセスすることを可能にする。例えば、通信システム７００は、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＦＤＭＡ（周波数分割多元接続）、ＯＦＤＭＡ（直交ＦＤＭＡ）、ＳＣ−ＦＤＭＡ（単一キャリアＦＤＭＡ）などの、１または複数のチャネルアクセス方法を用いることができる。
図７Ａに示すように、通信システム７００は、ＷＴＲＵ（wireless transmit/receive unit）７０２ａ、７０２ｂ、７０２ｃ、７０２ｄと、ＲＡＮ（radio access network）７０３／７０４／７０５と、コアネットワーク７０６／７０７／７０９と、ＰＳＴＮ（公衆交換電話網）７０８と、インターネット７１０と、他のネットワーク７１２とを含むことができるが、開示された例は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素も企図していることが認識されよう。ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄのそれぞれを、無線環境で動作および／または通信するように構成された任意のタイプのデバイスにしてよい。例として、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄは、無線信号を送信および／または受信するように構成されてもよく、ＵＥ（ユーザ機器）、移動局、固定式または移動式加入者ユニット、ページャ、携帯電話、ＰＤＡ（携帯情報端末）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品、または圧縮ビデオ通信を受信して処理する能力がある他の端末機などを含んでよい。
通信システム７００は、基地局７１４ａと基地局７１４ｂとを含むこともできる。基地局７１４ａ、７１４ｂのそれぞれは、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄのうちの少なくとも１つとワイヤレスにインタフェースして、コアネットワーク７０６／７０７／７０９、インターネット７１０、および／またはネットワーク７１２などの、１または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプの装置としてよい。例として、基地局７１４ａ、７１４ｂを、ＢＴＳ（ベーストランシーバ基地局）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、ＡＰ（アクセスポイント）、無線ルータなどにしてよい。基地局７１４ａ、７１４ｂはそれぞれ、単一要素として示されているが、基地局７１４ａ、７１４ｂは、相互接続された任意の数の基地局および／またはネットワーク要素を含んでよいことが認識されよう。
基地局７１４ａは、ＲＡＮ７０３／７０４／７０５の一部にすることができ、ＲＡＮは、ＢＳＣ（基地局コントローラ）、ＲＮＣ（無線ネットワークコントローラ）、中継ノードなどの、他の基地局および／またはネットワーク要素（図示せず）を含むこともできる。基地局７１４ａおよび／または基地局７１４ｂは、セル（図示せず）と呼ばれる、特定の地理的領域内で無線信号を送信および／または受信するように構成されてもよい。セルをセルセクタにさらに分割できる。例えば、基地局７１４ａと関連付けられたセルを３つのセクタに分割できる。従って、例において、基地局７１４ａは、３つのトランシーバ、即ち、セルの１セクタ当たり１トランシーバを含むことができる。別の例において、基地局７１４ａは、ＭＩＭＯ（multiple-input multiple output）技術を用いることができるので、セルの１セクタ当たり複数のトランシーバを利用することができる。
基地局７１４ａ、７１４ｂは、無線インタフェース７１５／７１６／７１７を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄのうちの１または複数と通信でき、無線インタフェースを、適した任意の無線通信リンク（例えば、ＲＦ（無線周波数）、マイクロ波、ＩＲ（赤外線）、ＵＶ（紫外線）、可視光線など）にしてよい。適した任意のＲＡＴ（無線アクセス技術）を使用して、無線インタフェース７１５／７１６／７１７を確立できる。
より詳細には、上述のように、通信システム７００は、多元接続システムにすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡなどの、１または複数のチャネルアクセススキームを用いることができる。例えば、ＲＡＮ７０３／７０４／７０５内の基地局７１４ａおよびＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃは、ＷＣＤＭＡ（登録商標）（広域帯ＣＤＭＡ）を使用して無線インタフェース７１５／７１６／７１７を確立できる、ＵＴＲＡ（ＵＭＴＳ（ユニバーサル移動体通信システム）地上波無線アクセス）などの無線技術を実装できる。ＷＣＤＭＡは、ＨＳＰＡ（高速パケットアクセス）および／またはＨＳＰＡ＋（進化型ＨＳＰＡ）などの通信プロトコルを含むことができる。ＨＳＰＡは、ＨＳＤＰＡ（高速ダウンリンクパケットアクセス）および／またはＨＳＵＰＡ（高速アップリンクパケットアクセス）を含むことができる。
基地局７１４ａおよびＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃは、ＬＴＥ（Long Term Evolution）および／またはＬＴＥ−Ａ（ＬＴＥアドバンスト）を使用して無線インタフェース７１５／７１６／７１７を確立できる、Ｅ−ＵＴＲＡ（進化型ＵＭＴＳ地上波無線アクセス）などの無線技術を実装できる。
基地局７１４ａおよびＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃは、ＩＥＥＥ８０２．１６（即ち、ＷｉＭＡＸ（マイクロ波アクセスのための世界規模の相互運用））、ＣＤＭＡ２０００、ＣＤＭＡ２０００１Ｘ、ＣＤＭＡ２０００ＥＶ−ＤＯ、ＩＳ−２０００(Interim Standard 2000)、ＩＳ−９５(Interim Standard 95)、ＩＳ−８５６(Interim Standard 856)、ＧＳＭ（Global system for Mobile communication（登録商標））、ＥＤＧＥ（ＧＳＭエボリューションのための拡張データレート）、ＧＥＲＡＮ（ＧＳＭ ＥＤＧＥ）などの無線技術を実装できる。
図７Ａの基地局７１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントにすることができ、職場、住居、車、キャンパスなどの、ローカルエリアで無線接続性を容易にするのに適した任意のＲＡＴを利用してよい。基地局７１４ｂおよびＷＴＲＵ７０２ｃ、７０２ｄは、ＷＬＡＮ（無線ローカルエリアネットワーク）を確立するＩＥＥＥ８０２．１１などの、無線技術を実装できる。基地局７１４ｂおよびＷＴＲＵ７０２ｃ、７０２ｄは、ＷＰＡＮ（無線パーソナルエリアネットワーク）を確立するＩＥＥＥ８０２．１５などの、無線技術を実装できる。基地局７１４ｂおよびＷＴＲＵ７０２ｃ、７０２ｄは、セルベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立できる。図７Ａに示すように、基地局７１４ｂは、インターネット７１０に直接接続できる。従って、基地局７１４ｂは、コアネットワーク７０６／７０７／７０９経由でインターネット７１０にアクセスする必要がない。
ＲＡＮ７０３／７０４／７０５は、コアネットワーク７０６と通信でき、コアネットワーク７０６は、音声、データ、アプリケーション、および／またはＶｏＩＰ（ボイスオーバーインターネットプロトコル）サービスを、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄのうち１または複数に提供するように構成された任意のタイプのネットワークにされてもよい。例えば、コアネットワーク７０６／７０７／７０９は、呼制御、課金サービス、移動体の位置ベースのサービス、プリペイド電話、インターネット接続性、映像配信などを提供でき、および／またはユーザ認証などのハイレベルのセキュリティ機能を実行できる。図７Ａに示していないが、ＲＡＮ７０３／７０４／７０５および／またはコアネットワーク７０６／７０７／７０９を、ＲＡＮ７０３／７０４／７０５と同じＲＡＴまたは異なるＲＡＴを用いた、他のＲＡＴとの直接または間接通信にすることができることが認識されよう。例えば、コアネットワーク７０６／７０７／７０９は、Ｅ−ＵＴＲＡ無線技術を利用するＲＡＮ７０３／７０４／７０５に接続されることに加えて、ＧＳＭ無線技術を用いた別のＲＡＮ（図示せず）と通信することもできる。
コアネットワーク７０６／７０７／７０９は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄがＰＳＴＮ７０８、インターネット７１０、および／または他のネットワーク７１２にアクセスするためのゲートウェイとして機能することもできる。ＰＳＴＮ７０８は、ＰＯＳＴ（旧来の音声電話サービス）を提供する回線交換電話網を含むことができる。インターネット７１０は、ＴＣＰ／ＩＰインターネットプロトコルスイートにおけるＴＣＰ（伝送制御プロトコル）、ＵＤＰ（ユーザデータグラムプロトコル）およびＩＰ（インターネットプロトコル）などの、一般的な通信プロトコルを使用して相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク７１２は、他のサービスプロバイダによって所有および／または運用される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク７１２は、ＲＡＮ７０３／７０４／７０５と同じＲＡＴまたは異なるＲＡＴを用いることができる、１または複数のＲＡＮに接続された別のコアネットワークを含むことができる。
通信システム７００内のＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄのいくつかまたはすべては、マルチモード能力を含むことができる。即ち、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃ、７０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信する複数のトランシーバを含むことができる。例えば、図７Ａに示したＷＴＲＵ７０２ｃを、セルベースの無線技術を用いることができる基地局７１４ａと、ＩＥＥＥ８０２無線技術を用いることができる基地局７１４ｂとの通信を行うように構成できる。
図７Ｂは、例示的なＷＴＲＵ７０２のシステム図である。図７Ｂに示すように、ＷＴＲＵ７０２は、プロセッサ７１８と、トランシーバ７２０と、送信／受信要素７２２と、スピーカ／マイクロフォン７２４と、キーパッド７２６と、ディスプレイ／タッチパッド７２８と、ノンリムーバブルメモリ７３０と、リムーバブルメモリ７３２と、電源７３４と、ＧＰＳ（全地球測位システム）チップセット７３６と、他の周辺機器７３８とを含むことができる。ＷＴＲＵ７０２は、例と整合性を保った上で、上述の要素の任意の組み合わせを含んでよいことが認識されよう。また、基地局７１４ａおよび７１４ｂ、および／または基地局７１４ａおよび７１４ｂが、限定されるわけではないが、とりわけＢＴＳ（ベーストランシーバ基地局）、ノードＢ、サイトコントローラ、ＡＰ（アクセスポイント）、ホームノードＢ、ｅノードＢ（進化型ホームノードＢ）、ＨｅＮＢ（ホーム進化型ノードＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードを表すことができるノードが、図７Ｂおよび本明細書で説明される要素の一部またはすべてを含むことができることを企図している。
プロセッサ７１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、ＤＳＰ（デジタル信号プロセッサ）、ＧＰＵ(graphics processing unit)複数のマイクロプロセッサ、ＤＳＰコアと連動する１または複数のマイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）回路、その他のタイプのＩＣ（集積回路）、ステートマシンなどにすることができる。プロセッサ７１８は、信号コーディング、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ７０２が無線環境で動作することを可能にするその他の機能性を実行できる。プロセッサ７１８をトランシーバ７２０に結合でき、トランシーバ７２０を送信／受信要素７２２に結合できる。図７Ｂでは、プロセッサ７１８とトランシーバ７２０とを個別のコンポーネントとして示しているが、プロセッサ７１８とトランシーバ７２０とを電子パッケージまたはチップ内にまとめることができることが認識されよう。
送信／受信要素７２２は、無線インタフェース７１５／７１６／７１７を介して基地局（例えば、基地局７１４ａ）と信号の送受信を行うように構成できる。例えば、送信／受信要素７２２を、ＲＦ信号を送信および／または受信するように構成されたアンテナにすることができる。送信／受信要素７２２を、例えば、ＩＲ、ＵＶ、または可視光線の信号を送信および／または受信するように構成されたエミッタ／検出器にすることができる。送信／受信要素７２２を、ＲＦ信号と光信号との両方を送受信するように構成できる。送信／受信要素７２２を、無線信号の任意の組み合わせを送信および／または受信するように構成できることが認識されよう。
さらに、送信／受信要素７２２を単一要素として図７Ｂに示しているが、ＷＴＲＵ７０２は、任意の数の送信／受信要素７２２を含んでよい。より詳細には、ＷＴＲＵ７０２は、ＭＩＭＯ技術を用いることができる。従って、ＷＴＲＵ７０２は、インタフェース７１５／７１６／７１７を介して無線信号を送受信する２または３以上の送信／受信要素７２２（例えば、複数のアンテナ）を含むことができる。
トランシーバ７２０は、送信／受信要素７２２によって送信される信号を変調して、送信／受信要素７２２によって受信された信号を復調するように構成できる。上述のように、ＷＴＲＵ７０２は、マルチモード能力を有することができる、従って、トランシーバ７２０は、ＷＴＲＵ７０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１などの、複数のＲＡＴを通じて通信することを可能にする複数のトランシーバを含むことができる。
ＷＴＲＵ７０２のプロセッサ７１８をスピーカ／マイクロフォン７２４、キーバッド７２６、および／またはディスプレイ／タッチパッド７２８（例えば、ＬＣＤ（液晶ディスプレイ）表示ユニットまたはＯＬＥＤ（有機発光ダイオード）表示ユニット）に結合して、ユーザ入力データを受信できる。プロセッサ７１８は、スピーカ／マイクロフォン７２４、キーバッド７２６、および／またはディスプレイ／タッチパッド７２８にユーザデータを出力することもできる。さらに、プロセッサ７１８は、ノンリムーバブルメモリ７３０および／またはリムーバブルメモリ７３２などの、適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを記憶できる。ノンリムーバブルメモリ７３０は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ７３２は、ＳＩＭ（契約者識別モジュール）カード、メモリスティック、ＳＤ（セキュアデジタル）メモリカードなどを含むことができる。プロセッサ７１８は、サーバまたはホームコンピュータ（図示せず）などの、物理的にＷＴＲＵ７０２に置いてないメモリからの情報にアクセスして、それらのメモリにデータを記憶できる。
プロセッサ７１８は、電源７３４から電力を受け取ることができ、その電力をＷＴＲＵ７０２内の他のコンポーネントに配分および／または制御するように構成されることができる。電源７３４は、ＷＴＲＵ７０２に電力供給するのに適した任意のデバイスにしてよい。例えば、電源７３４は、１または複数の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、燃料電池などを含むことができる。
プロセッサ７１８をＧＰＳチップセット７３６に結合することもでき、ＧＰＳチップセット７３６を、ＷＴＲＵ７０２の現在の位置に関する位置情報（例えば、経緯度）を提供するように構成できる。追加または代替として、ＧＰＳチップセット７３６からの情報により、ＷＴＲＵ７０２は、基地局（例えば、基地局７１４ａ、７１４ｂ）から無線インタフェース７１５／７１６／７１７を介して位置情報を受信し、および／または２または３以上の近隣の基地局から受信される信号のタイミングに基づいて自身の位置を判定できる。ＷＴＲＵ７０２は、例と整合性を保った上で、適した任意の位置判定方法によって位置情報を取得してよいことが認識されよう。
プロセッサ７１８をさらに他の周辺機器７３８に結合することができ、周辺機器７３８は、付加的な特徴、機能性および／または有線または無線接続性を提供する、１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器７３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ＵＳＢ（Universal Serial Bus）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth（登録商標）モジュール、ＦＭ（周波数変調）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。
図７Ｃは、例に従ったＲＡＮ７０３およびコアネットワーク７０６のシステム図である。上述のように、ＲＡＮ７０３は、ＵＴＲＡ無線技術を用いて、無線インタフェース７１５を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信できる。ＲＡＮ７０３は、コアネットワーク７０６とも通信できる。図７Ｃに示すように、ＲＡＮ７０３は、ノードＢ７４０ａ、７４０ｂ、７４０ｃを含むことができ、そのそれぞれが、無線インタフェース７１５を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信するための１または複数のトランシーバを含むことができる。ノードＢ７４０ａ、７４０ｂ、７４０ｃのそれぞれを、ＲＡＮ７０３内の特定のセル（図示せず）と関連付けることができる。ＲＡＮ７０３は、ＲＮＣ７４２ａ、７４２ｂを含むこともできる。ＲＡＮ７０３は、例と整合性を保った上で、任意の数のノードＢおよびＲＮＣを含むことができることが認識されよう。
図７Ｃに示すように、ノードＢ７４０ａ、７４０ｂは、ＲＮＣ７４２ａと通信できる。付加的には、ノードＢ７４０ｃは、ＲＮＣ７４２ｂと通信できる。ノードＢ７４０ａ、７４０ｂ、７４０ｃは、Ｉｕｂインタフェース経由でそれぞれＲＮＣ７４２ａ、７４２ｂと通信できる。ＲＮＣ７４２ａ、７４２ｂは、Ｉｕｒインタフェース経由で互いに通信できる。７４２ａ、７４２ｂのそれぞれを、接続されているノードＢ７４０ａ、７４０ｂ、７４０ｃのそれぞれを制御するように構成できる。さらに、ＲＮＣ７４２ａ、７４２ｂのそれぞれを、外ループ電力制御、ロード制御、許可制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ機能、データ暗号化などの、他の機能性を実行またはサポートするように構成できる。
図７Ｃに示したコアネットワーク７０６は、ＭＧＷ（media gateway）７４４、ＭＳＣ（mobile switching center）７４６、ＳＧＳＮ（serving GPRS support node）７４８、および／またはＧＧＳＮ（gateway GPRS support node）７５０を含むことができる。上述した要素のそれぞれをコアネットワーク７０６の一部として示しているが、これらの要素のいずれも、コアネットワーク通信業者以外のエンティティによって所有および／または運用可能であることが認識されよう。
ＲＡＮ７０３内のＲＮＣ７４２ａをＩｕＣＳインタフェース経由でコアネットワーク７０６内のＭＳＣ７４６に接続できる。ＭＳＣ７４６をＭＧＷ７４４に接続できる。ＭＳＣ７４６およびＭＧＷ７４４は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにＰＳＴＮ７０８などの回路交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。
ＲＡＮ７０３内のＲＮＣ７４２ａをＩｕＰＳインタフェース経由でコアネットワーク７０６内のＳＧＳＮ７４８に接続することもできる。ＳＧＳＮ７４８をＧＣＳＮ７５０に接続できる。ＳＧＳＮ７４８およびＧＣＳＮ７５０は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにインターネット７１０などの、パケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃとＩＰ対応(IP-enabled)デバイスとの間の通信を容易にすることができる。
上述のように、コアネットワーク７０６は、他のサービスプロバイダによって所有および／または運用される他の有線または無線ネットワークを含むことができる、ネットワーク７１２に接続することもできる。
図７Ｄは、別の例に従ったＲＡＮ７０４およびコアネットワーク７０７のシステム図である。上述のように、ＲＡＮ７０４は、Ｅ−ＵＴＲＡ無線技術を用いて、無線インタフェース７１６を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信できる。ＲＡＮ７０４は、コアネットワーク７０７とも通信できる。
ＲＡＮ７０４は、ｅノードＢ７６０ａ、７６０ｂ、７６０ｃを含むことができるが、ＲＡＮ７０４は、例と整合性を保った上で、任意の数のｅノードＢを含んでよいことが認識されよう。ｅノードＢ７６０ａ、７６０ｂ、７６０ｃはそれぞれ、無線インタフェース７１６を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信するための１または複数のトランシーバを含むことができる。ｅノードＢ７６０ａ、７６０ｂ、７６０ｃは、ＭＩＭＯ技術を実装できる。従って、ｅノードＢ７６０ａは、例えば、ＷＴＲＵ７０２ａと無線信号を送受信するための複数のアンテナを使用できる。
ｅノードＢ７６０ａ、７６０ｂ、７６０ｃのそれぞれを特定のセル（図示せず）と関連付けることができ、そして無線リソース管理決定、ハンドオーバー決定、アップリンクおよび／またはダウンリンクのユーザのスケジューリングなどを処理するように構成できる。図７Ｄに示すように、ｅノードＢ７６０ａ、７６０ｂ、７６０ｃは、Ｘ２インタフェースを介して互いに通信できる。
図７Ｄに示したコアネットワーク７０７は、ＭＭＥ（mobility management gateway）７６２、サービングゲートウェイ７６４、およびＰＤＮ（パケットデータネットワーク）ゲートウェイ７６６を含むことができる。上述した要素のそれぞれをコアネットワーク７０７の一部として示しているが、これらの要素のいずれも、コアネットワーク通信業者以外のエンティティによって所有および／または運用されてよいことが認識されよう。
ＭＭＥ７６２を、Ｓ１インタフェース経由でＲＡＮ７０４内のｅノードＢ７６０ａ、７６０ｂ、７６０ｃのそれぞれに接続でき、制御ノードとして機能できる。例えば、ＭＭＥ７６２は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃのユーザを認証すること、ベアラをアクティブ化／非アクティブ化すること、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃの初期接続（initial attach）時に特定のサービングゲートウェイを選択することなどに関与することができる。ＭＭＥ７６２は、ＲＡＮ７０４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を用いる他のＲＡＮ（図示せず）とを切り替える制御プレーン機能を提供することもできる。
サービングゲートウェイ７６４をＳ１インタフェース経由でＲＡＮ７０４内のｅノードＢ７６０ａ、７６０ｂ、７６０ｃのそれぞれに接続できる。サービングゲートウェイ７６４は一般に、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃへの／からのユーザデータパケットをルートして転送できる。サービングゲートウェイ７６４は、ｅノードＢ間のハンドオーバー時にユーザプレーンをアンカーすること、ダウンリンクデータがＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃに使用可能になった時にページングをトリガすること、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃのコンテキストを管理して記憶することなどの、他の機能も実行できる。
サービングゲートウェイ７６４をＰＤＮゲートウェイ７６６に接続することもでき、ＰＤＮゲートウェイは、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにインターネット７１０などの、パケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃとＩＰ対応(IP-enabled)デバイスとの間の通信を容易にすることができる。
コアネットワーク７０７は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク７０７は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにＰＳＴＮ７０８などの回路交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク７０７は、コアネットワーク７０７とＰＳＴＮ７０８との間のインタフェースとして機能するＩＰゲートウェイ（例えば、ＩＭＳ（ＩＰマルチメディアサブシステム）サーバ）を含むことができるか、またはこれと通信できる。さらに、コアネットワーク７０７は、他のサービスプロバイダによって所有および／または運用される他の有線または無線通信ネットワークを含むことができる、ネットワーク７１２へのアクセスをＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃに提供できる。
図７Ｅは、別の例に従ったＲＡＮ７０５およびコアネットワーク７０９のシステム図である。ＲＡＮ７０５を、ＩＥＥＥ８０２．１６無線技術を用いて、無線インタフェース７１７を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信するＡＳＮ（アクセスサービスネットワーク）にすることができる。以下にさらに論じられるように、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃの異なる機能エンティティとＲＡＮ７０５とコアネットワーク７０９との間の通信リンクを参照ポイントとして定義できる。
図７Ｅに示すように、ＲＡＮ７０５は、基地局７８０ａ、７８０ｂ、７８０ｃおよびＡＳＮゲートウェイ７８２を含むことができるが、ＲＡＮ７０５は、例と整合性を保った上で、任意の数の基地局およびＡＳＮゲートウェイを含んでよいことが認識されよう。基地局７８０ａ、７８０ｂ、７８０ｃをそれぞれ、ＲＡＮ７０５内の特定のセル（図示せず）と関連付けることができ、そしてそれぞれは、無線インタフェース７１７を介してＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと通信するための１または複数のトランシーバを含むことができる。基地局７８０ａ、７８０ｂ、７８０ｃは、ＭＩＭＯ技術を実装できる。従って、基地局７８０ａは、例えば、ＷＴＲＵ７０２ａと無線信号を送受信するための複数のアンテナを使用できる。基地局７８０ａ、７８０ｂ、７８０ｃは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、ＱｏＳ（サービス品質）ポリシー強制などの、モビリティ管理機能を提供することもできる。ＡＳＮゲートウェイ７８２は、トラフィック集約ポイントとして機能でき、そしてページング、加入者プロファイルのキャッシング、コアネットワーク７０９へのルーティングなどに関与することができる。
ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃとＲＡＮ７０５との間の無線インタフェース７１７は、ＩＥＥＥ８０２．１６仕様を実装するＲ１参照ポイントとして定義できる。さらに、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃのそれぞれは、コアネットワーク７０９との論理インタフェース（図示せず）を確立できる。ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃとコアネットワーク７０９との間の論理インタフェースをＲ２参照ポイントとして定義でき、この参照ポイントを認証、承認、ＩＰホスト構成管理、および／またはモビリティ管理のために使用できる。
基地局７８０ａ、７８０ｂ、７８０ｃのそれぞれの間の通信リンクは、ＷＴＲＵハンドオーバーおよび基地局間のデータ転送を容易にするためのプロトコルを含むＲ８参照ポイントとして定義できる。基地局１９０ａ、７８０ｂ、７８０ｃとＡＳＮゲートウェイ７８２との間の通信リンクをＲ６参照ポイントとして定義できる。Ｒ６参照ポイントは、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃのそれぞれと関連付けられるモビリティイベントに基づくモビリティ管理を容易にするためのプロトコルを含むことができる。
図７Ｅに示すように、ＲＡＮ７０５をコアネットワーク７０９に接続できる。ＲＡＮ７０５とコアネットワーク７０９との間の通信リンクを、例えば、データ転送およびモビリティ管理能力のためのプロトコルを含むＲ３参照ポイントとして定義できる。コアネットワーク７０９は、ＭＩＰ−ＨＡ（モバイルＩＰホームエージェント）７８４、ＡＡＡ（認証、承認、アカウンティング）サーバ７８６、およびゲートウェイ７８８を含むことができる。上述した要素のそれぞれをコアネットワーク７０９の一部として示しているが、これらの要素のいずれも、コアネットワーク通信業者以外のエンティティによって所有および／または運用可能であることが認識されよう。
ＭＩＰ−ＨＡ７８４は、ＩＰアドレス管理に関与することができ、そしてＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃが、異なるＡＳＮおよび／または異なるコアネットワーク間でロームすることを可能にする。ＭＩＰ−ＨＡ７８４は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにインターネット７１０などパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃとＩＰ対応の(IP-enabled)デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ７８６は、ユーザ認証およびユーザサービスのサポートに関与することができる。ゲートウェイ７８８は、他のネットワークとの相互作用を容易にすることができる。例えば、ゲートウェイ７８８は、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃにＰＳＴＮ７０８など回路交換ネットワークへのアクセスを提供して、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ７８８は、他のサービスプロバイダによって所有および／または運用される他の有線または無線ネットワークを含むことができる、ネットワーク７１２へのアクセスを、ＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃに提供できる。
図７Ｅに示していないが、ＲＡＮ７０５を他のＡＳＮに接続でき、およびコアネットワーク７０９を他のコアネットワークに接続できることが認識されよう。ＲＡＮ７０５と他のＡＳＮとの間の通信リンクをＲ４参照ポイントとして定義でき、この参照ポイントは、ＲＡＮ７０５と他のＡＳＮとの間でＷＴＲＵ７０２ａ、７０２ｂ、７０２ｃのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク７０９と他のコアネットワークとの間の通信リンクをＲ５参照ポイントとして定義でき、この参照ポイントは、ホームコアネットワークと移動してきた(visited)コアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができる。
上述したプロセスを、コンピュータおよび／またはプロセッサによって実行するためのコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、および／またはファームウェアに実装できる。コンピュータ可読媒体の例は、電子信号（有線および／または無線接続を介して送信される）および／またはコンピュータ可読記憶媒体を含むが、これらに限定されない。コンピュータ可読記憶媒体の例は、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、および／またはＣＤ−ＲＯＭディスク、および／またはＤＶＤ（デジタル多用途ディスク）などの光媒体を含むが、これらに限定されない。ソフトウェアと連動するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末機、基地局、ＲＮＣ、および／または任意のホストコンピュータで使用するための無線周波数トランシーバを実装することができる。

Claims (24)

  1. ビデオデータを伝達するための方法であって、
    アップサンプリングフィルタをビデオシーケンスに適用して、符号化されたエンハンスメントレイヤピクチャを生成するステップと、
    アップサンプリングフィルタ情報を符号化するステップであって、前記符号化されたアップサンプリングフィルタ情報は、前記アップサンプリングフィルタの複数の係数を含む、符号化するステップと、
    前記符号化されたアップサンプリングフィルタ情報および前記符号化されたエンハンスメントレイヤピクチャを出力ビデオビットストリームで送信するステップと含むことを特徴とする方法。
  2. 前記アップサンプリングフィルタは、前記ビデオシーケンスのシーケンスレベルにおいて適用されて、前記エンハンスメントレイヤのビットストリームを生成することを特徴とする請求項１に記載の方法。
  3. 前記アップサンプリングフィルタを複数の候補アップサンプリングフィルタから選択することは、
    前記ビデオシーケンスのコンテンツの知識が存在するかどうかを判定するステップと、
    前記ビデオシーケンスの前記コンテンツの知識が存在すると判定されると、前記ビデオシーケンスの前記コンテンツに対して設計された候補アップサンプリングフィルタを選択するステップとによって行われることをさらに含むことを特徴とする請求項２に記載の方法。
  4. 前記アップサンプリングフィルタを複数の候補アップサンプリングフィルタから選択することは、
    前記ビデオシーケンスに関係するカテゴリの知識が存在するかどうかを判定するステップと、
    前記ビデオシーケンスに関係する前記カテゴリの知識が存在すると判定されると、前記ビデオシーケンスに関係する前記カテゴリに対して設計された候補アップサンプリングフィルタを選択するステップとによって行われることをさらに含むことを特徴とする請求項２に記載の方法。
  5. 前記アップサンプリングフィルタは、前記ビデオシーケンスのピクチャまたはスライスレベルにおいて適用されることを特徴とする請求項１に記載の方法。
  6. 前記アップサンプリングフィルタを複数の候補アップサンプリングフィルタから選択することは、
    前記複数の候補アップサンプリングフィルタを利用して、マルチパス符号化を前記ビデオシーケンスのエンハンスメントレイヤピクチャに実行するステップと、
    前記マルチパス符号化中に前記アップサンプリングフィルタの前記実行に基づいて前記アップサンプリングフィルタを前記複数の候補アップサンプリングフィルタから選択するステップとによって行われることをさらに含むことを特徴とする請求項５に記載の方法。
  7. 前記アップサンプリングフィルタの前記実行は、レート歪みコストを使用して評価されることを特徴とする請求項６に記載の方法。
  8. 前記アップサンプリングフィルタを複数の候補アップサンプリングフィルタから選択することは、
    前記複数の候補アップサンプリングフィルタのうちの１つを利用して、前記ビデオシーケンスのエンハンスメントレイヤピクチャを符号化するステップと、
    他の候補アップサンプリングフィルタと関連付けられたブロック歪み測定を計算するステップと、
    前記ブロック歪み測定の比較に基づいて前記アップサンプリングフィルタを選択するステップとによって行われることをさらに含むことを特徴とする請求項５に記載の方法。
  9. 前記アップサンプリングフィルタは、
    第１の複数の候補アップサンプリングフィルタを利用して、マルチパス符号化を前記ビデオシーケンスのエンハンスメントレイヤピクチャに実行するステップと、
    基準に従って前記第１の複数の候補アップサンプリングフィルタを評価するステップと、
    第２の複数の候補アップサンプリングフィルタうちの候補アップサンプリングフィルタを利用して、符号化パスを前記エンハンスメントレイヤピクチャに実行するステップと、
    ブロック歪み測定を利用する高速エンコーダアルゴリズムに基づいて前記第２の複数の候補アップサンプリングフィルタを評価するステップと、
    前記第１の複数の候補アップサンプリングフィルタおよび前記第２の複数の候補アップサンプリングフィルタの中から前記アップサンプリングフィルタを選択するステップとによって選択されることをさらに含むことを特徴とする請求項５に記載の方法。
  10. 前記アップサンプリングフィルタは、前記ビデオシーケンスのブロックレベルにおいて適用されることを特徴とする請求項１に記載の方法。
  11. 以前に受信されたビデオシーケンスに対し、再構築ベースレイヤピクチャおよび前記以前に受信されたビデオシーケンスの原エンハンスメントレイヤ入力ピクチャを含むトレーニングデータのセットを作成するステップと、
    前記以前に受信されたビデオシーケンスのトレーニングデータの前記セットを使用する最小二乗法を使用して前記アップサンプリングフィルタをトレーニングするステップとをさらに含むことを特徴とする請求項１に記載の方法。
  12. 前記以前に受信されたビデオシーケンスをカテゴリに分類するステップと、
    前記トレーニングされたアップサンプリングフィルタを前記カテゴリと関連付けるステップとをさらに含むことを特徴とする請求項１１に記載の方法。
  13. 前記アップサンプリングフィルタ情報は、前記アップサンプリングフィルタのサイズを含むことを特徴とする請求項１に記載の方法。
  14. 第１のアップサンプリングフィルタを適用して、前記ビデオシーケンスのベースレイヤピクチャ内のピクセルの第１のセットをアップサンプルするステップと、
    第２のアップサンプリングフィルタを適用して、前記ビデオシーケンスの前記ベースレイヤピクチャ内のピクセルの第２のセットをアップサンプルするステップとであって、
    ピクセルの前記第１および第２のセットは、前記ベースレイヤピクチャ内の異なるピクセルを表すことをさらに含むことを特徴とする請求項１に記載の方法。
  15. データを伝達するために方法であって、
    符号化されたエンハンスメントレイヤピクチャと前記符号化されたエンハンスメントレイヤピクチャを生成するために使用されたアップサンプリングフィルタに関するアップサンプリングフィルタ情報とを含む入力ビットストリームを受信するステップと、
    前記アップサンプリングフィルタ情報を復号して前記アップサンプリングフィルタを構築するステップと、
    前記アップサンプリングフィルタの少なくとも一部を適用してベースレイヤピクチャをアップサンプルするステップと、
    前記アップサンプルされたベースレイヤピクチャを使用して前記符号化されたエンハンスメントレイヤピクチャを復号するステップとを含むことを特徴とする方法。
  16. 前記アップサンプリングフィルタは、シーケンスレベルにおいて適用されてビデオシーケンスの前記エンハンスメントレイヤピクチャを復号することを特徴とする請求項１５に記載の方法。
  17. 前記アップサンプリングフィルタは、ビデオシーケンスのピクチャまたはスライスレベルにおいて適用されることを特徴とする請求項１５に記載の方法。
  18. 前記アップサンプリングフィルタは、ビデオシーケンスのブロックレベルにおいて適用されることを特徴とする請求項１５に記載の方法。
  19. 前記入力ビットストリーム内の第１のアップサンプリングフィルタ情報から第１のアップサンプリングフィルタを構築するステップと、
    前記入力ビットストリーム内の第２のアップサンプリングフィルタ情報から第２のアップサンプリングフィルタを構築するステップと、
    前記第１のアップサンプリングフィルタを適用して前記ベースレイヤピクチャ内のピクセルの第１のセットをアップサンプルするステップと、
    前記第２のアップサンプリングフィルタを適用して前記ベースレイヤピクチャ内のピクセルの第２のセットをアップサンプルするステップとであって、
    ピクセルの前記第１および第２のセットは、前記ベースレイヤピクチャ内の異なるピクセルを表すことをさらに含むことを特徴とする請求項１５に記載の方法。
  20. アップサンプリングフィルタ情報をシグナルする方法であって、
    複数のアップサンプリングフィルタの各フィルタを固定フィルタまたはカスタムフィルタのいずれかとしてカテゴリ化するステップと、
    前記複数のアップサンプリングフィルタのうちのどのフィルタがビデオシーケンスの一部の符号化に関連しているかを判定するステップと、
    前記関連する固定フィルタに対応するインデックスを符号化するステップと、
    前記関連するカスタムフィルタに対応するフィルタ係数を符号化するステップと、
    前記符号化されたインデックスおよび前記符号化されたフィルタ係数を一緒にビデオビットストリームで送信するステップとを含むことを特徴とする方法。
  21. 前記関連するカスタムフィルタに対応する水平および垂直フィルタのサイズ情報を符号化するステップと、
    前記水平および垂直フィルタのサイズ情報を前記ビットストリームで送信するステップとをさらに含むことを特徴とする請求項２０に記載の方法。
  22. 関連するフィルタの前記判定は、前記ビデオシーケンス内の動きの量に基づくことを特徴とする請求項２０に記載の方法。
  23. 関連するフィルタの前記判定は、前記ビデオシーケンス内のエッジ情報の量に基づくことを特徴とする請求項２０に記載の方法。
  24. 関連するフィルタの前記判定は、前記ビデオシーケンス内のエッジの方向性に基づくことを特徴とする請求項２０に記載の方法。
JP2015534736A 2012-09-28 2013-09-27 マルチレイヤビデオコーディングの適応型アップサンプリング Active JP6141988B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017092559A JP6954763B2 (ja) 2012-09-28 2017-05-08 マルチレイヤビデオコーディングの適応型アップサンプリング

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261706941P 2012-09-28 2012-09-28
US61/706,941 2012-09-28
US201361750883P 2013-01-10 2013-01-10
US61/750,883 2013-01-10
PCT/US2013/062149 WO2014052740A1 (en) 2012-09-28 2013-09-27 Adaptive upsampling for multi-layer video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017092559A Division JP6954763B2 (ja) 2012-09-28 2017-05-08 マルチレイヤビデオコーディングの適応型アップサンプリング

Publications (2)

Publication Number Publication Date
JP2015534781A true JP2015534781A (ja) 2015-12-03
JP6141988B2 JP6141988B2 (ja) 2017-06-07

Family

ID=49305224

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015534736A Active JP6141988B2 (ja) 2012-09-28 2013-09-27 マルチレイヤビデオコーディングの適応型アップサンプリング
JP2017092559A Active JP6954763B2 (ja) 2012-09-28 2017-05-08 マルチレイヤビデオコーディングの適応型アップサンプリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017092559A Active JP6954763B2 (ja) 2012-09-28 2017-05-08 マルチレイヤビデオコーディングの適応型アップサンプリング

Country Status (7)

Country Link
US (1) US10218971B2 (ja)
EP (1) EP2901683A1 (ja)
JP (2) JP6141988B2 (ja)
KR (2) KR102008078B1 (ja)
CN (2) CN109982081B (ja)
TW (1) TW201436531A (ja)
WO (1) WO2014052740A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US20160044340A1 (en) * 2014-08-07 2016-02-11 PathPartner Technology Consulting Pvt. Ltd. Method and System for Real-Time Video Encoding Using Pre-Analysis Based Preliminary Mode Decision
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
ES2872724T3 (es) 2015-02-19 2021-11-02 Magic Pony Tech Limited Mejora de los datos visuales mediante el uso de redes neuronales actualizadas
CN112929670B (zh) * 2015-03-10 2024-09-10 苹果公司 自适应色度下采样和色彩空间转换技术
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB2553556B (en) 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
ES2768100T3 (es) 2017-03-15 2020-06-19 Novelis Inc Tubo corrugado de protección térmica y métodos para fabricarlo
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019009447A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US11432010B2 (en) 2017-12-19 2022-08-30 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US10740394B2 (en) * 2018-01-18 2020-08-11 Oath Inc. Machine-in-the-loop, image-to-video computer vision bootstrapping
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
WO2020080665A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
WO2020080623A1 (ko) 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
KR20200044662A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
JP7336427B2 (ja) * 2018-12-28 2023-08-31 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
US20210084291A1 (en) * 2019-03-11 2021-03-18 Alibaba Group Holding Limited Inter coding for adaptive resolution video coding
EP3935854A4 (en) 2019-04-12 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. CHROMINANCE CODING MODE DETERMINATION BASED ON MATRIX-BASED INTRA PREDICTION
CN117412039A (zh) * 2019-05-22 2024-01-16 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
KR102287947B1 (ko) * 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
EP4205395A4 (en) * 2020-12-24 2023-07-12 Huawei Technologies Co., Ltd. CODING WITH FEATURE MAP DATA SIGNALING
US20230031886A1 (en) * 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
US11889200B2 (en) 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
US20100150229A1 (en) * 2005-08-12 2010-06-17 Edouard Francois Method of Encoding and Decoding Video Images With Spatial Scalability

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003058945A2 (en) * 2002-01-14 2003-07-17 Nokia Corporation Coding dynamic filters
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
JP2008523686A (ja) * 2004-12-13 2008-07-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スケーラブル画像符号化
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US7205914B1 (en) * 2005-10-28 2007-04-17 Motorola, Inc. System and method for efficient upsampled signal processing
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
EP2663076B1 (en) * 2009-04-20 2016-09-14 Dolby Laboratories Licensing Corporation Filter selection for video pre-processing in video applications
US9729899B2 (en) 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
FR2965444B1 (fr) * 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
CN107241606B (zh) * 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
KR101654750B1 (ko) * 2012-03-12 2016-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9660913B2 (en) * 2014-03-14 2017-05-23 Network Critical Solutions Limited Network packet broker
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
US20100150229A1 (en) * 2005-08-12 2010-06-17 Edouard Francois Method of Encoding and Decoding Video Images With Spatial Scalability
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法

Also Published As

Publication number Publication date
CN109982081B (zh) 2022-03-11
TW201436531A (zh) 2014-09-16
KR20170100045A (ko) 2017-09-01
WO2014052740A1 (en) 2014-04-03
CN104685877B (zh) 2019-03-29
EP2901683A1 (en) 2015-08-05
US20150256828A1 (en) 2015-09-10
CN109982081A (zh) 2019-07-05
CN104685877A (zh) 2015-06-03
KR20150060906A (ko) 2015-06-03
JP6954763B2 (ja) 2021-10-27
US10218971B2 (en) 2019-02-26
JP6141988B2 (ja) 2017-06-07
JP2017153145A (ja) 2017-08-31
KR101774675B1 (ko) 2017-09-04
KR102008078B1 (ko) 2019-08-06

Similar Documents

Publication Publication Date Title
JP6954763B2 (ja) マルチレイヤビデオコーディングの適応型アップサンプリング
JP6421224B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP6684867B2 (ja) Ｒｇｂビデオコーディングエンハンスメントのためのシステムおよび方法
JP6694031B2 (ja) ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
JP6564086B2 (ja) マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
TWI722996B (zh) 視訊編碼裝置及方法
US10321130B2 (en) Enhanced deblocking filters for video coding
JP6242793B2 (ja) 空間的予測のためのシステムおよび方法
JP6397902B2 (ja) スケーラブルビデオ符号化のためのレイヤ間予測
JP2016503613A (ja) 高ダイナミックレンジビデオをノイズ除去するための時間フィルタ
US20150264377A1 (en) Reference Picture Set Mapping for Standard Scalable Video Coding
TW201427426A (zh) 視訊編碼邊緣導向處理方法及裝置
TW201444342A (zh) 功率感知視訊串流複雜性感知視訊編碼

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6141988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250