JP2022133406A - 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング - Google Patents

変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング Download PDF

Info

Publication number
JP2022133406A
JP2022133406A JP2022109027A JP2022109027A JP2022133406A JP 2022133406 A JP2022133406 A JP 2022133406A JP 2022109027 A JP2022109027 A JP 2022109027A JP 2022109027 A JP2022109027 A JP 2022109027A JP 2022133406 A JP2022133406 A JP 2022133406A
Authority
JP
Japan
Prior art keywords
picture
video
data stream
spatial resolution
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022109027A
Other languages
English (en)
Other versions
JP7466590B2 (ja
Inventor
ローベルト・スクピン
Skupin Robert
コルネリウス・ヘルゲ
Hellge Cornelius
ヴァレリー・ゲオルク
George Valeri
トーマス・シエル
Schierl Thomas
ヤゴ・サンチェス・デ・ラ・フエンテ
Sanchez De La Fuente Yago
カルステン・ズーリング
Suehring Karsten
トーマス・ヴィーガント
Wiegand Thomas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2022133406A publication Critical patent/JP2022133406A/ja
Priority to JP2024018033A priority Critical patent/JP2024050874A/ja
Application granted granted Critical
Publication of JP7466590B2 publication Critical patent/JP7466590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】変動する解像度をサポートしかつ/または領域単位パッキングを効率的に処理することを伴う、コーディング効率が改善されたビデオ/ピクチャコーディングを実現するエンコーダ及びデコーダ並びに方法及びプログラムを提供する。【解決手段】ビデオエンコーダ１０は、ランダムアクセス距離よりも細かい時間スケールでの、データストリーム１４の中にビデオがコーディングされる目標空間解像度の変動をサポートすることにより、効率的なビデオコーデックを達成する。目標空間解像度の時間的な変動は、ビデオエンコーダのレート制御の一部として制御され、ランダムアクセス距離よりも細かい時間スケールで目標空間解像度の変動が行われるとき、エンコーダが目標空間解像度を現在のビデオコーディング複雑度に適合させることを許容することによって、コーディング効率が向上する。【選択図】図１ａ

Description

本出願は、変動する解像度をサポートしかつ/または領域単位パッキングを効率的に処理することを伴う、コーディング効率が改善されたビデオ/ピクチャコーディングに関する。
単一レイヤベースバージョンのHEVCは、コード化ビデオシーケンス内でピクチャ解像度が変化することを許容しない。そのことは、ランダムアクセスポイントRAPにおいて(たとえば、復号ピクチャバッファを完全にリセットするIDR RAPにおいて)のみ許容され、ここで、解像度変更は、復号ピクチャバッファ(DPB:decoded picture buffer)をフラッシング(flushing)することを含む、新たなコード化ビデオシーケンスの開始とともに行われ得る。しかしながら、DPBをフラッシングすることは、前にコーディングされた参照の活用が中断されるという事実により、達成可能なコーディング効率を著しく低減する。
したがって、コーディング効率を改善するために解像度変動をもっと効率的に活用できる、改善されたビデオ/ピクチャコーデックに対するニーズがある。
領域単位パッキングと呼ばれる、コード化ピクチャまたはコード化ビデオを介してパノラマシーンなどのシーンを搬送することを可能にするツールも存在し、ここで、ピクチャ/ビデオコーデックは、このシーンが領域単位で1つのピクチャ/複数のピクチャ上にマッピングされるやり方を気に留めない。マッピングは、エンコーダの側における前処理およびデコーダの側における後処理にすぎないが、コーデックは、領域単位パッキングの認識なしに、パックされた1つのピクチャ/複数のピクチャに対して動作する。MPEG OMAFは、たとえば、パックされた1つのピクチャ/複数のピクチャを介した、シーンのそのような伝達のためのフレームワークを提供する。たとえば、コーディングされた1つのピクチャ/複数のピクチャをシーン領域上に再マッピングするためにデコーダの側における後処理を制御するために、各々がシーンのそれぞれのシーン領域上にマッピングされるピクチャ領域への、コーディングされた1つのピクチャ/複数のピクチャの区分を規定するシーン区分/マッピングが、SEIメッセージを介して副次的情報としてシグナリングされる。そのような解決策は、既存のコーディングツール、すなわち、既存のピクチャ/ビデオコーデックの再使用の観点から効率的であるが、領域単位パッキングがもっと効率的に処理されることを可能にする当面の概念を有することが好都合なはずである。
したがって、変動するシーン解像度を使用するときにコーディング効率の向上をもたらし、かつ/またはコーディングされた1つのピクチャ/複数のピクチャの領域単位パッキングのもっと効率的な処理を可能にする、符号化/復号ツールを提供することが本出願の目的である。
この目的は、本明細書とともに同封される独立請求項の主題によって達成される。
本出願の第1の態様によれば、ビデオ符号化がそこで実行されるランダムアクセス距離よりも細かい時間スケールでの、データストリームの中にビデオがコーディングされる目標空間解像度の変動をサポートすることにより、もっと効率的なビデオコーデックが達成される。目標空間解像度の時間的な変動は、ビデオエンコーダのレート制御の一部として制御され得る。ランダムアクセス距離よりも細かい時間スケールで目標空間解像度の変動が行われるとき、エンコーダが目標空間解像度を現在のビデオコーディング複雑度に適合させることを許容することによって、コーディング効率が向上し得る。目標空間解像度を変動させること、すなわち、ビデオのピクチャの中の相互に対応するピクチャコンテンツ当りのサンプルの個数に関して、異なる可能性が存在する。たとえば、ビデオエンコーダおよびビデオデコーダは、DPBがその中に直列に接続される予測ループを使用してよく、すでに処理されたピクチャは、変動する目標空間解像度でDPBの中にバッファリングされる。その場合、被参照ピクチャと被参照ピクチャを参照する参照ピクチャとの間に目標空間解像度差がある場合には、DPBの中のピクチャのリサンプリングがオンザフライで行われてよく、リサンプリングは、動き補償された予測子を与える。代替として、予測ループは、基準空間解像度で、すなわち、目標空間解像度がとり得るいかなる他の可能な値よりも大きくてよい、いくつかの固定の空間解像度で、ピクチャによってフィードされてよい。そのような場合、目標空間解像度と基準空間解像度との間のギャップを埋めるためにリサンプリングが行われてよい。たとえば、目標空間解像度ではなく基準空間解像度でDPBの中のピクチャから取得される予測子の予測修正を実行するために、基準空間解像度に向かう予測残差のリサンプリングを実行しながら、目標空間解像度で予測残差コーディングが行われる。代替として、目標空間解像度で予測修正を実行するために、DPBの中のピクチャから取得される予測子の、目標空間解像度に向かうリサンプリングが実行されてよい。これらのオプション間の切替えは、それぞれ、エンコーダおよびデコーダによってサポートされ得る。目標空間解像度の変動はピクチャレベルで行われてよく、すなわち、ピクチャごとに、目標空間解像度はエンコーダによって設定されてよく、データストリームの中でデコーダにシグナリングされてよい。一実施形態によれば、目標空間解像度およびそれに関連するピクチャサイズの連続した変化に関連するシグナリングオーバーヘッドは、たとえば、区分が比例的に一定である、すなわち、ピクチャが、それらの変動するサイズにもかかわらず互いに相互に比例する、すなわち、等しい空間解像度にスケーリングされたときに区分が符合するような方法などの、デフォルトの方法(default manner)で、目標空間解像度の変化に従ってビデオのピクチャを区分することによって緩和される。またさらなる実施形態によれば、区分の後の方の相対的なスケーリングは、1つのオプションとしてデータストリームの中で提示されてよく、他のオプションは、目標空間解像度が変動する時間スケールよりも細かいかまたはそれに等しい、所定の時間スケールでの区分をシグナリングすることを伴う。たった今述べた区分は、インター予測モードとイントラ予測モードとの間の選択がその単位で実行されるブロックをもたらすビデオ、インター予測ブロック用およびイントラ予測ブロック用の0予測パラメータがその単位で実行されるブロックをもたらすビデオ、または、それぞれ、エンコーダおよびデコーダにおいて、予測残差がその単位で変換もしくは逆変換の対象となるブロックをもたらすビデオ、あるいはピクチャが、互いに独立して、すなわち、イントラピクチャコーディング相互依存性を伴わずにコーディング/復号されるタイルに、その単位で再分割されるブロックをもたらすビデオなどの、ビデオを符号化するために使用され得る。
本出願のさらなる態様によれば、ビデオコーデックは、各々がシーンのそれぞれのシーン領域をその上にマッピングしたピクチャ領域に、シーン区分に従って区分されるビデオのピクチャを、このシーン区分に依存してコーディング/復号することを伴う。ビデオエンコーダは、たとえば、一種のユーザ設定などの、シーン区分の調整をサポートし、ビデオデコーダがそこからそれを導出するデータストリームの中で、このシーン区分をシグナリングする。シーン区分に依存するデータストリームの中のビデオのコーディング/復号をレンダリングすることによって、シーン区分は、ビデオコーデックに関する前処理/後処理であるだけでなく、ピクチャ領域への区分を規定するシーン区分、ならびにシーン領域上へのそれらのマッピングを考慮することによって、コーディング効率の向上を達成することを可能にする。たとえば、パックされたピクチャ、すなわち、ピクチャ領域に区分されるピクチャのコーディングに加えて、副次的情報としてシーン区分をシグナリングするのではなく、シーン区分シグナリングは、シーン区分にとって冗長であることになるシグナリングオーバーヘッドを少なくとも部分的に節約するように使用され得る。たとえば、パックされたピクチャをコーディングすることは、インターもしくはイントラ予測決定がその単位で行われるコーディングユニット、上述のブロック用の対応する予測パラメータがその単位で作られる予測ユニット、および/または予測残差がその単位で変換コーディングされる変換ユニット、ならびに/あるいはパックされたピクチャが互いに相互に独立した方法でその単位でコーディングされるタイルなどの、パックされたピクチャがその単位でコーディングされるブロックへのコーディング区分を伴ってよい。コーディング区分に関与するマルチツリー再分割に関連する分割決定が、たとえば、シーン区分に基づいて推測されてよく、それによってシグナリングオーバーヘッドを節約する。代替として、ビデオエンコーダは、単に、シーン区分に関するコーディング区分における制限に従ってよい。なおさらに、ビデオエンコーダおよびビデオデコーダのいくつかのコーディング/復号ツールは、このシーン区分に依存して動作させられてよい。たとえば、予測子の導出はシーン区分に依存して実行されてよい。シーン区分は、シーンサンプリング解像度、すなわち、シーンの単位面積もしくは単位視野角当りのサンプルの個数が、または異なって話すと、たとえば、シーン全体の分数として測定される対応するシーン領域サイズと比較した、たとえば、サンプルの個数単位で測定されるピクチャ領域サイズとの間の比が異なる1つのピクチャ内に、ピクチャ領域をもたらし得る。そのようなシーンサンプリング解像度の相違が、動き補償予測を実行する際にビデオエンコーダおよびビデオデコーダによって考慮され得る。たとえば、予測子は、インター予測ブロックが位置するピクチャ領域とそれぞれのインター予測ブロックの動きベクトルによって指し示される参照ピクチャのピクチャ領域との間の、シーンサンプリング解像度差に依存して決定されてよい。なおさらに、動きベクトル予測は、シーンサンプリング解像度差を考慮する方法で実行されてよい。たとえば、隣接ブロックのそのような動きベクトルを直ちに採用するのではなく、修正を介した隣接ブロックの動きベクトルに基づいて、動きベクトル候補が導出されてよく、この動きベクトルは、隣接ブロックの基準点に設定されたその初期点を有するバージョンのこの動きベクトル、およびインター予測ブロックの基準点に設定されたその初期点を有する別のバージョンのこの動きベクトルが、終点を有するような方法で複製されてよく、シーンの中のそうした終点の画像は、シーン区分を介して、シーンの中の隣接ブロックおよびインター予測ブロックの基準点の画像とは違った互いに同じ距離を有する。したがって、動きベクトル予測は、シーン領域にわたる迂回路を経由して行われ、それによってシーン区分に反応する。
さらに、ビデオのコーディング/復号は、コーディング区分に関する1つまたは複数のパラメータを設定する観点から、シーン区分に反応することがある。たとえば、そのようなパラメータは、ピクチャ領域に対してデータストリームの中で個別に設定およびシグナリングされ得る。代替または追加として、ビデオの所定のピクチャのフィルタ処理は、その少なくとも1つのパラメータがシーン区分に応じて所定のピクチャにわたって変動させられるフィルタを使用して行われ得る。たとえば、隣接/接触しているピクチャ領域の間のシーンサンプリング解像度の差分に応じて、隣接ピクチャ領域の間の境界面において少なくとも1つのパラメータが設定され得る。この方法により、フィルタ特性は、シーンサンプリング解像度を考慮することによって、より精密に動作することができる。なおさらに、ビデオエンコーダおよびビデオデコーダは、シーンの中で互いに境を接しないピクチャ領域の間の境界面、すなわち、シーン不連続境界面の位置を、シーン区分に基づいて特定することができる。符号化および復号は、これらのシーン不連続境界面に反応することがある。すなわち、たとえば、エンコーダは、たとえば、これらのシーン不連続境界面をピクチャ境界のように扱うことができる。デコーダおよびエンコーダは、シーンの中で互いに境を接するピクチャ領域の間の境界面と比較して、そのようなシーン不連続境界面においてフィルタ処理を異なって実行することができる。さらに代替として、少なくとも1つのパラメータのピクチャ領域単位のシグナル化がサポートされてよい。代替または追加として、量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータは、特にピクチャ領域単位で、すなわち1つまたは複数のピクチャ領域のグループの単位で設定されることが許容され得る。変動はデータストリームの中でシグナリングされてよい。
後者の態様、すなわち、量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する少なくとも1つの量子化パラメータの変動は、本出願のさらなる態様によれば、シーン区分を使用するか否かとは無関係に使用されてよい。特に局所的または空間的に変動する解像度を有するとき、量子化パラメータをピクチャの局所的な特性に適合させることによって、コーディング効率が向上し得る。
本出願のまたさらなる態様によれば、データストリームの中で変動をシグナリングしながら、ビデオがデータストリームの中でコーディングされる目標空間解像度が、ピクチャよりも小さい、ピクチャのピクチャ領域の単位で変動させられることを許容する、ビデオコーデックを有することによって、コーディング効率の向上が達成される。この態様は、上記で説明した第1の態様、および第3の態様、すなわち、量子化パラメータ変動と組み合わせられてよい。予測ループは、たとえば、基準空間解像度でピクチャがフィードされてよい。再び、ピクチャ内での目標空間解像度の変動は、エンコーダのレート制御によって実行されるタスクであってよい。
本出願の有利な態様は従属請求項の主題であり、本出願の好ましい実施形態が図に関して以下で説明される。
目標空間解像度の時間的な変動に依存するビデオ符号化を使用する、一実施形態によるビデオエンコーダの概略ブロック図である。 一実施形態による、図1aによるビデオエンコーダに適合するデコーダのブロック図である。 図1aおよび図1bの実施形態による目標空間解像度の相違を示す概略図である。 図1bのビデオデコーダによって出力される再構成済みのビデオの概略図である。 ランダムアクセス距離/ピッチと比較して目標空間解像度が変動する時間スケールを説明するための、コード化ビデオの概略図である。 DPBの中にピクチャがバッファリングされる解像度が異なる変形形態を、図1bのデコーダが動作させ得る、異なる変形形態に従って動作するデコーダの概略図である。 DPBの中にピクチャがバッファリングされる解像度が異なる変形形態を、図1bのデコーダが動作させ得る、異なる変形形態に従って動作するデコーダの概略図である。 図1aのエンコーダの可能な一実装形態を形成し、かつピクチャが基準空間解像度で復号ピクチャバッファの中にバッファリングされる異なる変形形態に従って動作し、それによって図4bのデコーダに適合するが、予測修正がそこで実行される側または領域が異なる、すなわち、変動する目標空間解像度または基準空間解像度における、エンコーダのブロック図である。 図1aのエンコーダの可能な一実装形態を形成し、かつピクチャが基準空間解像度で復号ピクチャバッファの中にバッファリングされる異なる変形形態に従って動作し、それによって図4bのデコーダに適合するが、予測修正がそこで実行される側または領域が異なる、すなわち、変動する目標空間解像度または基準空間解像度における、エンコーダのブロック図である。 変動する目標空間解像度をシグナリングするための可能なシンタックスを示す図である。 目標空間解像度を変動させる可能性をオンおよびオフに切り替えるフラグを含むSPSシンタックスに対する一例を示す図である。 ピクチャがインデックス付けによってデータストリームの中のこれらの設定のうちのいずれかを参照することを可能にする、ピクチャのシーケンス用などの、異なる目標空間解像度設定をもっと大きいスケールで送信するためのSPS用の、シンタックス例を示す図である。 図8においてシグナリングされるものなどの既定の目標空間解像度設定をインデックスシンタックス要素によって参照する、スライスセグメントヘッダシンタックスに対する一例を示す図である。 基準空間解像度、または目標空間解像度のうちの1つなどの、ある解像度に対する出力アスペクト比をシグナリングするためのシンタックス例を示す図である。 すべての可能な目標空間解像度設定に対する出力アスペクト比を送信するためのシンタックスに対する一例を示す図である。 異なる出力アスペクト比設定の個数がシグナリングされ得る代替シンタックスを示す図であって、個数が、可能な目標空間解像度設定の個数と同じかまたはそれよりも多い、図である。 それらの変動する目標空間解像度によるピクチャの相対的なタイリングを1つのフラグによってシグナリングする可能性を示す概略図である。 シーン区分または領域単位パッキングに対する例を示す概略図である。 シーン区分または領域単位パッキングに対する例を示す概略図である。 ビデオエンコーダが、それぞれ、シーン区分または領域単位パッキングに反応して動作する、一実施形態によるビデオエンコーダを示す概略ブロック図である。 シーン区分に依存するビデオ復号に反応して同様に動作するか、またはそうしたビデオ復号を実行する、図15aのビデオエンコーダに適合するビデオデコーダの概略ブロック図である。 シーン区分におけるビデオ符号化およびビデオ復号の依存性に対する可能性を説明するための、図15aおよび図15bのビデオエンコーダおよびデコーダにおけるビデオ符号化およびビデオ復号のために使用されるコーディング区分、ならびにデータストリームの中で伝達される対応するコーディング区分情報を示す概略図である。 そのようなコーディング区分のパラメータ化を説明するための、かつそのようなコーディング区分の中のシーン区分を考慮すべき可能性を説明するための、ツリーブロックのアレイへの通常のツリーブロック区分のシーケンスを使用するコーディング区分と、それに後続するツリールートブロックの階層型マルチツリー再分割の一例を示す概略図である。 データストリーム、ここでは例示的にSPSの中で、図17のコーディング区分パラメータ化を伝達するためのシンタックスに対する一例を示す図である。 データストリームの中で伝達されるコーディング区分を本質的に改良するためにシーン区分を使用する、異なる可能性を示す概略図である。 データストリームの中で伝達されるコーディング区分を本質的に改良するためにシーン区分を使用する、異なる可能性を示す概略図である。 冗長な、または現在のRWP領域と隣接RWP領域との間の境界に関してそれぞれの分割の対象となる領域のロケーションを検査することによって本来なら推測可能な、分割決定のための分割インジケータをシグナリングすることを回避しながら、それ自体のRWP領域から隣接するRWP領域の中に延びて部分的にブロックを分割するためのCU分割シンタックスに対するシンタックス例を示す図である。 二重シーンサンプル密度/解像度に対応するピクチャ領域内の参照ピクチャの一部分を現在のインター予測ブロックが参照することを示す概略図である。 図20aと比較して反対の状況を示す概略図である。 異なるシーンサンプリング密度/解像度の隣接ピクチャ領域の中に存在する隣接ブロックに基づく、現在のインター予測ブロック、およびこのブロックに対する動きベクトル予測子の導出を示す概略図である。 両方が同じピクチャ領域の中に存在する隣接ブロックから導出された動きベクトル予測子のスケーリングを示す概略図であるが、隣接ブロックの動きベクトルが、異なるシーンサンプリング解像度/密度のピクチャ領域を指す、概略図である。 異なるシーンサンプリング解像度/密度のピクチャ領域を横切るフィルタの適用を示す概略図である。 それぞれ、ピクチャ内およびピクチャ領域内でこの量子化パラメータを変動させるために、ノイズカラーネス(noise colorness)を制御する異なる量子化パラメータをシグナリングするシンタックスに対する、シンタックス例を示す図である。 図24aの量子化パラメータがどのようにノイズカラーネスに影響を及ぼすことがあるのかを説明するための、予測残差変換ブロックなどの変換ブロックの概略図である。 コード化ピクチャ内のノイズカラーネスに影響を及ぼす量子化パラメータをエンコーダが局所的に変動させる、一実施形態によるエンコーダ、すなわち、可能なビデオエンコーダを示す概略ブロック図である。 図25aのエンコーダに適合するデコーダの概略ブロック図である。 コード化ピクチャ、およびその下位領域内の目標空間解像度の変形形態を示す、概略図である。 変動する目標空間解像度のシグナリングの例示的なシンタックスを示す図である。 図2aに関して説明したような時間的な目標空間解像度変化を伴うかまたは伴わずに、空間的に変動する目標空間解像度で動作するように図1aおよび図1bのビデオエンコーダおよびデコーダを実装または修正する場合の、目標空間解像度の変動を示す概略図である。 図26～図28の例によるいくつかのピクチャ内での目標空間解像度の空間的な相違が、シンタックス要素、もしくはリサンプリングインジケータ、またはそれぞれのピクチャが区分される先のブロックごとのいくつかの目標空間解像度値を示すいくつかの他のインジケータを使用して行われ得ることを示すための、シンタックス例を示す図である。 シンタックス要素の送信が、コーディングユニットレベルで、すなわち、例示的な図20が参照する変換ブロックに対してではなく、予測モード決定がそれに対して行われるブロックに対して行われるという点で、図29とは異なるシンタックス例を示す図である。 その範囲の外側のブロックに対して符号化/復号のために基準空間解像度が使用されなければならないことを推測しながら、図29および図30に示すシンタックス要素の送信をいくつかの既定のブロックサイズ範囲内のブロックに制限する可能性を示す、SPSに対するシンタックス例を示す図である。 シンタックス要素の送信が所定のブロックサイズの範囲に制限されるという点で、図29とは異なるシンタックス例を示す図である。 ピクチャのリサンプリングされたブロック、すなわち、基準空間解像度でコーディング/復号されていないブロックのために使用されるべき、量子化ステップサイズオフセットをシグナリングするSPSに対するシンタックス例を示す図である。
本説明は、本出願の第1の態様に関する実施形態とともに始まる。後で、いくつかのさらなる態様が説明される。本出願の態様が以下でより詳細に概説されるように組み合わせられてよいことに留意されたい。
本出願の第1の態様は、ビデオコーディングがそこで行われるランダムアクセスピッチまたは距離よりも細かい時間スケールでの、目標空間解像度の動的な変動に関する。後で、本出願のさらなる態様が説明され、本出願のこれらの態様が、本明細書で説明するものを越えてさらなる実施形態を形成するために一緒に使用され得ることに留意されたく、そのような組合せも以下で述べられる。
たとえば、第1の態様に関する本出願の実施形態は、ハイブリッドブロックベースの動き補償ビデオエンコーダが、たとえば、ピクチャの描写される視野角当りのサンプルの量として測定される空間解像度を動的に変更することを可能にし得、変更は、たとえば、入力空間解像度に関連する。コーディングは、コーディング効率の観点からこの事実を利用する。後で、そのようなハイブリッドブロックベースの動き補償ビデオエンコーダに、ピクチャサブセクションに関しても空間解像度を動的に変更すべき機会が与えられる、説明される実施形態および態様もある。
これまで、そのようなコーデックシステムのシグナリングニーズは解決されないままである。単一レイヤベースバージョンのHEVCは、たとえば、ピクチャ解像度がコード化ビデオシーケンス内で変化することを許容しない。そのことは、リーディングピクチャを有しないランダムアクセスポイントにおいて、すなわち、復号ピクチャバッファを完全にリセットするIDR RAPにおいてのみ許容され、ここで、解像度変更は、復号ピクチャバッファのフラッシングを含む、新たなコード化ビデオシーケンスの開始とともに行われ得る。しかしながら、ビットストリームの中でIDR/BLAベースのRAPとは異なる位置において有すべき解像度変更が望ましいシナリオが存在する。最初に、オープンなGOPコーディング構造は、コーディング効率がもっと大きいRAPタイプを使用し、すなわち、ビットストリーム順序でRAPに後続するリーディングピクチャを伴うが、RAPに先行する参照ピクチャを使用する。RAPは、ここで、たとえば、CRAピクチャである。RAPの前の参照ピクチャのリサンプリングが必要であることになるが、そのことは、これまで知られているコーデックにおいて予見されない。この先、そのようなRAPに関連する予測リザーバ損失によるコーディング効率低下を回避するために、RAPレートはいくつかの限度を越えて保たれるべきである。したがって、階層型GOPの最も高い時間レイヤ内、またはコード化ピクチャの任意の他のサブセット内のような、RAPの発生を伴わなくても、コード化ビデオシーケンス内で空間解像度を変更することが望ましい場合がある。
本明細書で説明する実施形態は、ランダムアクセスピッチ/距離よりも細かい時間スケールでの、コード化ビデオシーケンスの中での解像度変更を可能にする。たとえば、そのようなCVSの中間での解像度変更を実施するための、想像できる3つの変形形態がある。ここで、基準空間解像度は、たとえば、データストリームの中でビデオがコーディングされる目標空間解像度の最大値などの、最高空間解像度を規定し得る。しかしながら、それを説明する前に、エンコーダおよびデコーダの一般的な構造が、図1aおよび図1bに関して説明される。図1aは、ソースビデオ12を受信するとともに、ソースビデオがデータストリーム14の中に符号化されるランダムアクセス距離よりも細かい時間スケールで目標空間解像度が変動するような方法で、ソースビデオ12を目標空間解像度でデータストリーム14の中に符号化する、ビデオエンコーダ10を示す。図2aは、たとえば、ビデオ12のうちのピクチャのサブシーケンス、ここでは、例示的に3つのピクチャ161、162、および163を示す。これらのピクチャのすべては同じシーン18を示し、たとえば、シーン18を取り囲む長方形20によって示される、シーン18の視野の中で符合する。すなわち、ビデオ12のピクチャ161～163は、これらのピクチャの中で描写されるシーンセクションの中で符合し得る。しかしながら、それぞれのピクチャ161～163の一種の空間サンプリングを表すものとする、図2a内のピクチャ161～163内のドットによって図示したように、ビデオ12のピクチャは、変動する目標空間解像度で、すなわち、シーンセクションまたは領域20ごとの変動する個数のサンプルで、あるいは異なって話すと、たとえば、単位視野角などの、シーン18の単位面積ごとの異なるいくつかのサンプルで、エンコーダ10によってデータストリーム14の中にコーディングされる。様々な実装変形態の以下の説明は、「目標空間解像度の変動」が何を指し得るのかに関して明らかにする。詳細には、変動させられる目標空間解像度は、ビデオ12がデータストリーム14の中にコーディングされる予測残差に関係し得る。すなわち、エンコーダ10は、たとえば、インター予測モードおよびイントラ予測モードをサポートするハイブリッドビデオコーダなどの予測コーダであってよく、目標空間解像度変動とは、予測残差がデータストリーム14の中にコーディングされる解像度を指してよい。すなわち、ソースビデオ12は、いくつかの空間解像度、すなわち、より正確には、エンコーダ10に入る時間におけるそのピクチャを有するが、エンコーダ10がそこで入力解像度から目標空間解像度への移行を実行するコーディング中の状況は、選ばれる実装形態に依存し得る。詳細には、以下でより詳細に概説されるように、エンコーダ10のすべての他のコーディングタスクよりも当然前方の初期プロセスとして、リサンプリングが行われてよく、したがって、そうしたすべての他のコーディングタスクはすべて、この目標空間解像度で動作する。これらのタスクは、たとえば、予測ならびに残差コーディングを含んでよい。図1aの中の22において例示的に示されるエンコーダ10の復号ピクチャバッファは、変動する目標空間解像度でビデオ12のピクチャ161～163をそのようにバッファリングすることになる。この変形形態は、以下において変形形態aと呼ばれる。代替として、復号ピクチャバッファ22は、それぞれ、残差コーディングが実行される目標空間解像度と、予測信号または残差信号に関して行われる基準空間解像度との間での移行とともに、基準空間解像度で、すなわち、ビデオ12の入力解像度などのいくつかの固定の空間解像度で、ビデオ12のピクチャをバッファリングしてよく、これらの変形形態は以下においてbおよびcと呼ばれる。
図1bは、図1aのエンコーダに適合するビデオデコーダを示す。図1bのビデオデコーダは、参照符号30を使用して概略的に示され、データストリーム14からビデオ32を復号するように、すなわち、ビデオ12の再構成のために構成される。ビデオデコーダ30は、ビデオ32がデータストリーム14の中に符号化される目標空間解像度の変動をデータストリーム14から導出するように構成され、その変動は、ビデオ32がそこでデータストリーム14の中に符号化されるランダムアクセス距離よりも細かい時間スケールで規定される。エンコーダ10に入るソースビデオ12を、符号化のためにエンコーダ10の中で内部的にリサンプリングする際に、図2aが示したやり方に対応する方法で、再構成または復号されたビデオ32およびそのピクチャ341～343を示す、図2bを参照されたい。ピクチャ341～343はすべて、シーン18を示すかまたは表し、たとえば、その中に符号化されたこの同じシーンセクションをすべてが有してよい。それに対して以下でより詳細に例が説明される実装形態に応じて、デコーダ30によって出力されるピクチャ341～343のサンプル解像度は、例示的に図2aに示す目標空間解像度と符合し得るか、または時間的に一定であってよく、たとえば、ちょうどそれらがエンコーダ10のDPB22の中にあったように、これらのピクチャがデコーダ30の復号ピクチャバッファ36の中にバッファリングされる上述の基準サンプル解像度に相当してよい。これらの例は、それぞれ、エンコーダおよびデコーダを実装するための、いくつかの変形形態の以下の説明から明らかになる。
これまで説明したように、目標空間解像度の変動は、ビデオコーディングがそこで実行されるランダムアクセス距離/ピッチよりも細かい時間スケールで起こる。以下でより詳細に概説されるように、また図2aに示されるように、目標空間解像度が変動する時間スケールは、たとえば、ピクチャ単位変動であってよい。すなわち、目標空間解像度はピクチャの単位で変動し得る。したがって、エンコーダ10は、ピクチャレベルにおける目標空間解像度の変動のシグナリングを用いて、目標空間解像度をどのように設定すべきかを、ピクチャごとに決定できることになる。しかしながら、このことは唯一の可能性ではない。図3は、時間軸tを示し、ハッチングを使用してランダムアクセスポイントにおけるビデオ12のピクチャを示す。それらは、いくつかの時間的距離Δtにおいて出現し、時間的距離Δtは、図3に示すように一定であってよく、または時間的に変動してもよく、その場合、ランダムアクセス距離は、たとえば、ビデオ12のランダムアクセスポイントピクチャ間の平均距離を示してよい。目標空間解像度が生じる時間スケールは、目標空間解像度がそれらの間で変化し得る最小持続時間を示す。したがって、図1aおよび図1bの例によれば、ランダムアクセス距離Δt、38は、目標空間解像度がそこで変化し得る最小時間距離δt、40よりも大きい。図3は、目標空間解像度が、ビデオ12の、あるピクチャから別のピクチャに変化し得る事例を示す。
すでに上記で示したように、それぞれ、図1aおよび図1bのエンコーダおよびデコーダを実装するための異なる可能性がある。これらの可能性は、以下における示される変形形態a、b、および変形形態cである。図4aおよび図4bは、それぞれ、変形形態a、ならびに変形形態bおよびcを示す。図4aおよび図4bはデコーダ30に焦点を当てるが、エンコーダ10をそれぞれの概念/変形形態との適合性にどのように至らせるべきであるのかは明らかである。すべての変形形態によれば、各ピクチャの予測残差は、図4aおよび図4bの左側において様々なサイズの長方形によって図示したように、変動する目標空間解像度でデータストリーム14の中でコーディングされている。変形形態aによれば、各ピクチャは、再構成された形式をなして、目標空間解像度でバッファリングされる。このことはまた、DPB36内の様々なサイズの長方形の形態でビデオのピクチャを示すことによって図示される。DPB36は、デコーダ30との同期性を保つためにやはりエンコーダの中に存在する予測ループ42の中に直列に接続される。変形形態aによれば、目標解像度Aのこの参照ピクチャが、目標空間解像度B≠Aを有する現在復号される別のピクチャによって参照ピクチャとして使用されるとき、DPB36の中の参照ピクチャのリサンプリング44がオンザフライで実行される。図4aに示すように、デコーダ30は、たとえば、インター予測モードおよびイントラ予測モードをサポートするとともに、予測残差をコーディングするために変換コーディングし、すなわち、残差変換コーディングし、かつループ内フィルタ処理する、ブロックベースのビデオデコーダであってよい。すでに述べたように、ビデオ出力の、すなわち、ビデオ32のピクチャは、解像度が変動する。ビデオの提示用の一定の出力サンプルレートを呈するようにビデオ32のピクチャ34をリサンプリングするために、図4aに示さずかつ図1bにも示さないポストプロセッサがデコーダ30の出力部に接続されるということであり得る。
図4bは変形形態bおよびcを示す。両方の変形形態によれば、ビデオのピクチャは基準空間解像度でDPB36の中にバッファリングされる。言い換えれば、各コード化ピクチャがDPB36の中で再構成され、次いで、最高の基準空間解像度が選ばれる場合、全体的なピクチャがDPB36の中で最高解像度でリサンプリングされる。変形形態bによれば、必要な場合、変動する目標空間解像度値のうちのいずれよりも大きいかまたはそれに等しい解像度を、基準目標空間解像度として使用する場合には、より低い解像度などの異なる解像度のピクチャによって参照されると、オンザフライのリサンプリングが実行される。出力ピクチャのストリーム、すなわち、ビデオ32は、最高解像度などの基準目標空間解像度で出力される。変形形態cによれば、ピクチャは、やはり基準目標空間解像度でDPB36の中に記憶される。現在復号されるピクチャのピクチャ解像度が基準空間解像度に等しくない場合、出力ピクチャのストリーム、すなわち、ビデオ32が、それが変形形態bによる事例であった通りに基準空間解像度で出力されて、双線形フィルタ処理などによる再構成中に残差信号または予測残差がリサンプリングされる。したがって、変形形態aでは、DPB36は変動する解像度のピクチャで充填され、各参照ピクチャは、それらの再構成時に現在コーディング/復号されるピクチャの解像度にリサンプリングされるが、変形形態bおよびcでは、DPB36は、最高解像度のピクチャのみで充填され、そのことは2つの異なるやり方で達成される。
図5aおよび図5bは、変形形態bとcとの間の差異に焦点を当てる。図5aおよび図5bは、エンコーダ側に焦点を当てる。図4aおよび図4bに関してすでに述べたように、予測ループ42は、デコーダおよびエンコーダの中で共存し、したがって、デコーダに関して説明したすべてのタスクおよびステップはまた、エンコーダ側において実行され、その差異は、予測モード、すなわち、インター予測モードまたはイントラ予測モードなどのパラメータ設定およびコーディングパラメータなど、たとえば、それぞれのモード用の予測パラメータ、変換予測残差の量子化などを、エンコーダも選ぶかまたは選択することである。エンコーダは、いくつかのレート制御を実行することによって、また詳細には、いくつかのコスト最小化を実行することによって、すなわち、たとえば、ひずみおよびコーディングレートに応じてコストを最小限に抑えることをねらって、このことを行ってよい。
図5aおよび図5bによれば、エンコーダ10は、ブロックベースの予測ビデオコーダとして実装される。すなわち、減算器48が、ひずんでいない予測残差信号54を導出するためにソース信号52から予測信号50を減算し、予測残差信号54は、次いで、モジュール56の中で変換、スケーリング、および量子化を受けて、フォーマッティング、エントロピーコーディング、およびこのデータ用のヘッダのセットアップを実行するいくつかのストリームマルチプレクサまたはモジュール60を介して、最後にデータストリーム14の中にコーディングされるような、予測残差信号58を与える。デコーダ側との同期性を保つために、エンコーダ10は、データストリーム14から導出可能であるような予測残差58を、スケーリングおよび逆変換モジュールまたは逆量子化および逆変換モジュール62にかけることによって、空間領域において予測残差信号を復元する。この予測残差信号を予測信号50に加算する加算器64の1つの入力部が、このモジュール62の出力部に接続され、そのように修正済みの予測信号は、フィルタ制御分析モジュール66とそれに後続するループ内フィルタ68との連結によるフィルタ処理の対象となる。その結果は、再構成済みのピクチャをバッファリングするために、かつその後にコーディングされるピクチャのインター予測ブロックによって参照される参照ピクチャ用のリザーバを形成するために、DPB22の中にバッファリングされる。動き推定モジュール70は、ソースビデオの動きフィールドを推定するためにソース信号52へのアクセスを有し、したがって、ビデオをコーディングするために使用される動きベクトルを決定する。DPB22の中に記憶されたピクチャは、現在コーディングされるピクチャのインター予測ブロックの予測子、すなわち74を生成する、インター予測モジュール72のためにアクセス可能にされる。イントラ予測ブロックの場合、加算器64によって出力される修正済みの予測信号へのアクセスを有するイントラ予測モジュール76がある。その予測パラメータ、すなわち、イントラ予測モードは、修正済みの予測信号、すなわち、現在コーディングされるブロックの近傍においてあらかじめ再構成された信号の分析に基づいて、イントラピクチャ推定モジュール78によって決定される。動きベクトルなどのインター予測ブロックの予測パラメータ、すなわち80、およびイントラ予測ブロック、すなわち、DCモードまたは平面モードなどの角度モードまたは非角度モードなどのイントラ予測モードの予測パラメータ、すなわち82は、データストリーム14の中で、選ばれた予測モード、すなわち、インター/イントラ予測モード決定と一緒にこれらの予測パラメータをシグナリングするために、マルチプレクサ60へ順方向に伝えられる。選択器84は、現在コーディングされるピクチャの様々なブロックに対して選ばれた予測モードに応じてインター予測予測子74またはイントラ予測予測子86を選ぶことによって予測信号50を構成し、したがって、予測信号50を形成する。エンコーダ10は、追加として、レート制御およびコスト最小化のようなタスクを引き受ける汎用コーダ制御88を備える。
図5aは変形形態bに焦点を当てる。図5aに示されるように、インバウンドビデオ信号12のピクチャ90が、初期リサンプリングステージ92においてリサンプリングされて、変動する目標空間解像度のピクチャ94になってから、これらのピクチャ94がエンコーダループに入り、すなわち、それらは減算器48による減算の対象となる。モジュール62およびモジュール64、66、68、デコーダ側が関係する限り参照符号36がそれに対して使用されるDPB22、ならびに予測ループ42を形成するかまたは予測ループ42の中に直列に接続されるその後のモジュールを有するモジュール72、76、および84に関して、内部構造の中でエンコーダ10と符合するデコーダ側にとってこのタスクが透過的であることに留意されたい。目標空間解像度変動は、レート制御および/またはコスト最小化に応じて、図5aに示すような汎用コーダ制御88によって制御され得る。図5aのエンコーダ10のためのソース信号52を形成するピクチャ94が、変動する空間解像度のものであるので、図5aのエンコーダ10は、目標空間解像度への、または目標空間解像度から基準空間解像度への、リサンプリングを実行するリサンプラを備える。たとえば、リサンプラ96は、基準空間解像度でDPB22の中にバッファリングする前にピクチャをリサンプリングするために、DPB22の前方の予測ループ42の中に接続される。すなわち、リサンプリングは、現在コーディングされるピクチャの目標空間解像度が基準空間解像度に等しくないときはいつでも実行される。さらに、リサンプラ98は、現在コーディングされるピクチャによって参照される参照ピクチャをリサンプリングし、したがって、やはりサンプリングされた結果へのアクセスを有する動き推定器70とともに、それぞれ、DPB22とインター予測モジュール72との間に接続される。すなわち、リサンプラ98は、DPB22の中のバッファリングされたピクチャを基準空間解像度から目標空間解像度にリサンプリングする。ハッチングを使用して示される他のブロックおよびモジュールも、インバウンドピクチャ94の変動する目標空間解像度を処理するように構成される。
図5bは変形形態cに焦点を当てる。ここで、ソース信号52がビデオ12によって直接形成される。図5bの例によれば、ソースビデオ12の入力解像度すなわちソース解像度が基準空間解像度として使用されるが、この例は、リサンプラ92などのリサンプラがソース解像度から基準空間解像度への初期リサンプリングを実行するという点で異なっていることがある。変形形態cによれば、図5bに示すように、モジュール56における変換および量子化の前に、ひずんでいない予測残差信号54を変動する目標空間解像度にリサンプリングするために、減算器48の出力部と変換、スケーリング、および量子化モジュール56の入力部との間にリサンプラ100が接続され、リサンプラ102は、一方では逆変換モジュール62の出力部と、他方では加算器64の第1の入力部、すなわち、加算器64によって実行される予測修正との間に接続されることによって、逆のプロセス、すなわち、目標空間解像度から基準空間解像度へのリサンプリングを実行する。すなわち、図5bに示される変形形態cによれば、リサンプリングステップは予測残差信号において実行され、それによって最高解像度での再構成を可能にする。
以下の説明は、変形形態a～cに従って生じるニーズに対処するために、いくつかのシグナリング可能性に焦点を当てる。
すでに上記で説明したように、目標空間解像度は、ピクチャピッチまたはフレームレートに対応する時間スケールで変化することが許容され得る。図6は、たとえば、目標空間解像度シグナル化104がデータストリーム14のピクチャパラメータセット、すなわち、PPS106の中に含まれてよいことを示す。このことは、変形形態a～cに従って行われてよい。図6の例によるシグナル化104は、水平108および垂直110にピクチャサイズを示す。変動する目標空間解像度を使用する可能性は、PPS106の中に含まれるフラグ112を介してオンまたはオフに切り替えられるようにシグナリングされるモードであってよく、その結果、アクティブ化される場合、対応するピクチャの目標空間解像度は、xおよびyにおけるサンプルの個数単位で測定される、対応するピクチャサイズを示すシンタックス要素108および110を使用することによって示され、またはアクティブ化されない場合、そうではない。
シーケンス範囲制約フラグは、動的な解像度が許容されるか否かをトリガすることができる。そのようなフラグは、SPS(シーケンスパラメータセット)の中に、またはVUIの中のようなビデオ全体のものなどの、さらに大きい範囲のパラメータセットの中に含まれ得る。図7は、そのようなフラグ、すなわち、フラグ116が、SPS114の中に含まれる一例を示す。後者のフラグ116、すなわち、SPS_dynamic_resolution_enabled_flagは、フラグ112、すなわち、PPS_dynamic_resolution_enabled_flagの値が1に設定されてはならないことをシグナリングするために0に設定される。
代替例は、ピクチャサイズセットPie Size Setが、SPSまたはVPSなどの、PPSよりも範囲が大きいパラメータセットの中で規定されることになること、およびそのセットへのインデックスが、スライスヘッダの中のすべてのビデオスライスNALユニットの中に含まれることになるかまたはそれに随伴することになることであるはずである。図8および図9に例が示される。このとき、SPS114は、フラグ116を越えて、その後のフラグが設定されている場合、目標空間解像度シグナル化118を含み、目標空間解像度シグナル化118は、目標空間解像度の可能な値または可能な状態ごとに1回、シンタックス要素108および110を介してピクチャサイズまたは目標空間解像度をシグナリングし、その一例が図9に示されるスライスヘッダ120は、インデックス122を介してこれらの可能な値または状態のうちの1つを参照し、それによって、スライスヘッダ120のスライスが属するそれぞれのピクチャに対して、シグナル化118を介して示されるそれぞれの目標空間解像度への参照を示す。1つのピクチャの中のすべてのスライスは、同じ目標空間解像度を示すか、または同じ目標空間解像度にインデックス付けすることが、必要とされる場合がある。
一実施形態によれば、目標空間解像度の変動を許容するためにどの可能性が使用されているのかに関して、データストリーム14内でシグナリングすることが可能である。たとえば、フラグoutput_scaling_flagまたはいくつかの他のシグナリングは、リサンプリングが前処理/後処理ステップとして行われるのか、それとも規範的なループ内リサンプリングステップとして行われるのかを示すことができる。このことは、リサンプリングが復号ループ42内で行われる変形形態bおよびcから、変形形態a、すなわち、復号ループの外側でのリサンプリングを区別することを可能にすることになる。この場合、複数のモード、すなわち、一方では変形形態a、ならびに他方では変形形態bおよびcのうちの少なくとも1つが、それぞれ、コーデック、およびエンコーダ、デコーダの中で実施されることになる。このようにして、デコーダは、復号ビデオ信号の解像度の動的な調整が提示の前に実行されるべきかどうかという表示まで、マルチメディア処理チェーンのさらに下方の要素を構成することを可能にされる。
データストリーム14の中に含まれることがありデータストリーム14の中に挿入されることがある、さらなるシグナリングは、アスペクト比シグナリングを含むことができる。詳細には、HEVCでは、たとえば、シーケンス固有でありCVS内で変更することが許容されない、いくつかのビットストリームシグナリング態様がある。これまで説明した実施形態におけるように、解像度、すなわち、目標空間解像度は、コード化ビデオシーケンスCVS内で変化することが許容され、そのようなシグナリングは動的であるべきであり、すなわち、これらの態様は動的に記述されるべきである。たとえば、サンプルアスペクト比のシグナリング態様を取り上げると、ソース信号12のピクチャの解像度を低減することは、複数の方法で、すなわち、たとえば、水平にリサンプリングすること、もしくは垂直にリサンプリングすることによって、または両方向でリサンプリングすることによって、達成され得る。たった今述べたオプションの3つがすべて、所与の目標解像度に対して異なるリサンプリング比を必要とし、そのことは異なるサンプルアスペクト比につながることになる。したがって、解像度を変更することは、コーディングされるサンプルアスペクト比を変更することになる。1つのオプションは、アスペクト比が、すべての可能なピクチャサイズにわたってSPSにおいて規定される最初のピクチャサイズまたは最大のピクチャサイズなどの、ピクチャサイズのうちの1つに適用されるデフォルトの方法を規定することである。別の可能性は、どれが他のフォーマットのサンプルアスペクト比であるのかを導出するために、シグナリングされたアスペクト比が適用される基準ピクチャサイズを指定し、かつデコーダ30またはデコーダの出力部に接続されたいくつかのレンダラまでそれを残すことである。たとえば、図10を参照されたい。図10は、データストリームが、126における出力アスペクト比を示す情報またはシグナリングを含んでよいことを示す。図10は、この情報126がvui124の中に含まれてよいことを示すが、これは一例にすぎない。すなわち、シグナル化126は、基準空間解像度などの目標空間解像度の1つの可能な設定に対して、xすなわち水平でのアスペクト比128およびyすなわち垂直でのアスペクト比130を示し、ビデオ32を受信するデコーダまたはいくつかのデバイスは、ピクチャに対するビデオ32をそれぞれの空間解像度で提示するためにこのアスペクト比を使用する。変形形態aなどの、ビデオ32のピクチャサイズを変動させる場合には、基準空間解像度などの対応する空間解像度でのピクチャに対して、アスペクト比シグナル化126が使用され、別の解像度でのピクチャに対して、提示用のアスペクト比は、シグナル化126、およびそれぞれのピクチャのそれぞれの目標空間解像度またはピクチャサイズに基づいて決定される。すなわち、pic_width_in_luma_samples[i]およびpic_height_in_luma_samples[i]を伴う別のピクチャサイズに対して、そのピクチャに対するアスペクト比は、
sar_width[i]=sar_width_default/pic_width_in_luma_samples_default* pic_width_in_luma_samples[i]、
かつ
sar_height[i]=sar_height_default/pic_height_in_luma_samples_default*pic_height_in_luma_samples[i]
として導出され得る。
上の例示的な計算では、クロッピングパラメータがないことが想定されることに留意されたい。pic_width_in_luma_samples[i]およびpic_height_in_luma_samples[i]は、復号ピクチャ全体に対応するが、クロップされたピクチャは、出力されるものの一部である。2つの異なる解像度は、完全に異なるクロッピングウィンドウを使用することができ、したがって、上の算出は、異なる解像度のsar_widthとsar_heightとの間の関係を算出する前にクロッピングを実行することを必要とすることになる。すなわち、
croppedWidth[i]=pic_width_in_luma_samples[i]-(conf_win_right_offset[i]+conf_win_left_offset[i])、
croppedHeight[i]=pic_height_in_luma_samples[i]-(conf_win_top_offset[i]+conf_win_left_offset[i])、
したがって、
sar_width[i]=sar_width_default/croppedWidth_default*croppedWidth[i]、
かつ
sar_height[i]=sar_height_default/croppedHeight_default* croppedHeight[i]
である。
しかしながら、通常はこれらのサンプルアスペクト比値は、後処理のために明確な境界面において使用され、ここで、VUIからの直接の値が、後処理ステップを構成するために使用される。上の算出は簡単であり容易に実行され得るが、最小限の変更しか伴わずに既存の境界面およびAPIを使用することを可能にすることになる、もっと簡単な手法は、今日行われるものと同様に、解像度ごとに異なるアスペクト比を直接シグナリングすることであることになる。
たとえば、第1のオプションは、図11に示すように、シグナリングされるピクチャサイズごとに1つ、いくつかのアスペクト比を記述することであることになる。
ここで、シグナル化126は、目標空間解像度の可能な設定ごとに、ビデオ32のピクチャを出力するためのアスペクト比を示し、その数はnum_pic_in_luma_samples_minus1によって示される。図11は、アスペクト比を示すことの代替方法または代替オプションが、既定のアスペクト比のうちのいくつかにインデックス132によってインデックス付けすることであることになる可能性を示す。
図11のシグナリング例はさらに改善されてよく、いくつかの事例に対してもっと効率的に行われ得る。図11の例では、ピクチャサイズと同じ数の、記述されるサンプルアスペクト比があることを理解されたい。代替として話すと、図11は、目標空間解像度の可能な設定ごとにサンプルアスペクト比を示す。しかしながら、サンプルアスペクト比が、目標空間解像度のすべてのピクチャサイズまたはすべての可能な設定に対して等しいこと、あるいは想定されるサンプルアスペクト比の数が、少なくともピクチャサイズまたは目標空間解像度の数よりも少ないことが起こり得る。したがって、アスペクト比のシグナリングは、図12に示すように行われてよい。ここで、フラグ134は、すべてのアスペクト比が等しいかどうか、すなわち、ビデオ32のすべてのピクチャが同じアスペクト比を有することを示すことができる。はいの場合、シグナリング126は、単にすべてのピクチャに対して1回シグナリングされるだけでよい。そうでない場合、異なるアスペクト比の数は、136においてシグナリングされ、次いで、シグナリング126は、136によって示されるのと同じくらい頻繁にデータストリームの中に含められる。ピクチャごとに、次いで、どの目標空間解像度が使用されるのかに関して示され、すなわち、ピクチャサイズ表示104または122を介して、かつ間接的に、使用されるべき目標空間解像度のこの選択はまた、すなわち、正しいアスペクト比を各目標空間解像度に関連付けることによって、適用されるべきアスペクト比、およびビデオ32またはそれぞれのピクチャの提示を示す。
これまで説明したのと同様に、以下のパラメータがデータストリーム14の中に含まれてよい。
上記と同様に、以下のパラメータに対するシグナリングがデータストリームの中に存在し得る。
min_spatial_segmentation_idc ue(v)
min_spatial_segmentation_idcは、並列処理能力を示す。たとえば、(タイルが使用されず、かつウェーブフロント処理が有効化されない- entropy_coding_sync_enabled_flagが0に等しいとき)スライス内に含まれるルーマサンプルの最大数が、それによって制約される。そうではなくタイルが使用中である場合、タイル内に含まれるルーマサンプルの最大数が、それによって制約される。別の並列処理モードは、entropy_coding_sync_enabled_flagが1(ウェーブフロント処理)に等しいときであり、ここで、CtbSizeおよびピクチャサイズが「wavefront」行の数を決定し、min_spatial_segmentation_idcの値がCtbSizeとピクチャサイズとの関係に対する制約を設定する。これらの並列処理モード(スライス、タイル、ウェーブフロント)のうちのいずれかに対して、min_spatial_segmentation_idcの値は、ピクチャサイズに依存する上記で説明したような制約を設定する。よりよい理解のためにHEVCの仕様原文が後続する。
- そうでない(min_spatial_segmentation_idcが0に等しくない)場合、次の条件のうちの厳密に1つが真でなければならないことが、ビットストリーム適合性の要件である。
- CVS内でアクティブ化されている各PPSの中で、tiles_enabled_flagが0に等しく、かつentropy_coding_sync_enabled_flagが0に等しく、かつ
(4*PicSizelnSamplesY)/minSpatialSegmentationTimes4個を超えるルーマサンプル
を含むCVSの中にスライスがない。
- CVS内でアクティブ化されている各PPSの中で、tiles_enabled_flagが1に等しく、かつentropy_coding_sync_enabled_flagが0に等しく、かつ
(4*PicSizelnSamplesY)/minSpatialSegmentationTimes4個を超えるルーマサンプル
を含むCVSの中にタイルがない。
- CVS内でアクティブ化されている各PPSの中で、tiles_enabled_flagが0に等しく、かつentropy_coding_sync_enabled_flagが1に等しく、かつシンタックス要素pic_width_in_luma_samples、pic_height_in_luma_samples、および変数CtbSizeYが、以下の制約、すなわち、(2*pic_height_in_luma_samples+pic_width_in_luma_samples)*CtbSizeY≦(4*PicSizelnSamplesY)/minSpatialSegmentationTimes4に従う。
ピクチャサイズまたは目標空間解像度がピクチャごとに変化できることを考慮すると、min_spatial_segmentation_idcは、もっとフレキシブルなやり方でシグナリングされ得る。アスペクト比に対するのと同様に、min_spatial_segmentation_idcのシグナリングは、
・スライス/タイル当りのルーマサンプルに関する同じ制約が他のピクチャサイズに対して適用される、特定のピクチャサイズに対して、
・ピクチャサイズごとのmin_spatial_segmentation_idc[i]を用いて、
行われ得る。
別の例は、
max_bytes_per_pic_denom ue(v)
に関係する。
max_bytes_per_pic_denomは、CVSのコード化ピクチャのVCL NALユニットのサイズの合計によって超えられないビット数((PicSizelnMinCbsY*RawMinCuBits)/(8*max_bytes_per_pic_denom))を示す。それはピクチャサイズにも依存する。
したがって、上記と同様に、それはいくつかのピクチャサイズに対して次のように、すなわち、
・任意のピクチャサイズに対する同じ制約が適用される、特定のピクチャサイズに対して、
・ピクチャサイズごとのmin_spatial_segmentation_idc[i]を用いて、
示されるべきである。
別の例は、
max_bits_per_min_cu_denom ue(v)
に関係する。
max_bits_per_min_cu_denomは、CVSの中のcoding_unit()のコード化ビットの個数に対する上限を示す。それは、次のように、CtbサイズおよびminCbLog2SizeYに依存する。
(128+RawMinCuBits)/max_bits_per_min_cu_denom*(1<<(2*(log2CbSize-MinCbLog2SizeY)))
ここで考察されるような多重解像度コーディング方式では、Ctbサイズおよび最小コーディングブロックサイズ(minCbLog2SizeY)がピクチャサイズに依存することが想定され得る。そのことを考慮すると、異なるピクチャサイズに対する異なる値が想定され得る。
別の例は、
log2_max_mv_length_horizontal ue(v)
log2_max_mv_length_vertical ue(v)
に関係する。
同様に、MV用の2つのシンタックス要素に対する制約が並列化のために使用され得る。それらは、コード化ピクチャに対して適用される、MVにおける制約を表現する。この情報を用いると、それを参照する別のピクチャを復号し始めるために、十分なデータが(依然として復号されている)ピクチャから再構成されているかどうかを、デコーダが知ることが可能である。ピクチャサイズは異なることがあるので、以前の事例については、以下のオプションを用いて、すなわち、
・各ピクチャサイズに対応してMVがスケーリングされる特定のピクチャサイズに対して、
・ピクチャサイズごとのlog2_max_mv_length_horizontal[i]およびlog2_max_mv_length_vertical[i]を用いて、
ピクチャサイズごとの表示が必要とされる。
(たとえば、FullHDまたは4Kビデオデコーダを有するデバイスに対処するために)変動する全体的な解像度で同じコンテンツがクライアントに提示される、タイルストリーミングなどのいくつかのシナリオでは、ピクチャサイズまたはアスペクト比にかかわらず、ピクチャ平面に対して一定のタイル構造を維持することが望ましい場合がある。一実施形態は、以下の図13の上部に図示したように、最高の基準空間解像度(解像度A)でのシグナリングされるタイル構造(たとえば、あるシーケンス範囲とともにシグナリングされるデフォルトの構造)を示すフラグ(relative_tiling_flag)が、もっと低い解像度(解像度B)を有するピクチャに対してもビットストリームの中で使用されることになることであり、タイリング構造は、それぞれのピクチャサイズと比較して低い解像度に対してスケーリングされる。図13の下部において、非相対的なタイリングに対する事例が表示され、ここで、例示的に、リサンプリングされた解像度B(<A)でのピクチャは、元の解像度の単一のタイルの中に完全に適合する。この実施形態では、タイリング構造は、1つの解像度に対して、ただし、シーケンス範囲において、たとえば、SPSの中で、シグナリングされるにすぎない。ピクチャ範囲を伴う他のシンタックス、たとえば、PPSは、それぞれのシンタックスを省略する。
第1に、このことは、解像度ごとの冗長なタイリングシグナリングを回避することによってビットを節約することを可能にし得る。第2に、タイルの量および相対寸法がコード化ビデオシーケンスの過程にわたって一定のままであるという事実により、デコーダ側におけるもっと効率的なリソース計画作成が可能になり、ここで、デコーダは、個々のピクチャごとに復号プロセスの中で使用されるべき並列化の程度を再査定することを回避することができる。特に、タイルの相対寸法が、異なる解像度のピクチャにわたって一定のままであるという事実により、デコーダリソース計画作成を簡略化する助けとなり得る、個々のタイルに対するデコーダ実行時間についての推定が可能になる。
別の実施形態では、シグナリングは、ビットストリームの中に含まれ、かつレイヤ内で空間解像度が変化しても同じ空間レイヤ内のすべてのピクチャに対してタイルが位置合わせされることを示す、シーケンスレベルの保証からなり得る。デコーダは、それに応じて並列復号リソースを確保し、かつデコーダが並列処理を通じてビットストリームを復号することが可能であるかどうかを決定するために、この保証を使用してよい。複数のタイル構造がビットストリーム内で送られてよいが、これらの構造のすべては同一であるか、または同じタイル構造のサブサンプリングされた均等物である。
さらなる実施形態は、より低い解像度で存在するすべてのタイル境界に対して、位置合わせされたタイル境界がより高い解像度で存在するという点で、そのレイヤ内で解像度が変化するときに同じ空間レイヤ内でタイル構造が位置合わせされるという保証を示す、ビットストリームの中のフラグからなる。より高い解像度でコーディングされるピクチャは、やはり追加のタイル境界を含むことがある。複数のタイル構造がビットストリーム内で送られてよいが、より低い解像度でのすべての構造は同一であり、均等なタイル構造が、より高い解像度で存在する。
デコーダが、コード化ビットストリームへのランダムアクセス(RA:random access)を実行する、すなわち、ストリームの中間の任意のRAPから復号を開始する場合には、CRAなどのオープンなGOP RAPに属するリーディングピクチャが通常は廃棄され、復号/提示はRAPピクチャから開始する。システム変形形態a、b、またはcに応じて、ビットストリームの中の解像度についてのデコーダ側における知識は異なる。
変形形態a)では、デコーダは、復号の後に特定の解像度でDPB内に存在する現在のピクチャの解像度について、RAPにおけるピクチャレベルの範囲シンタックスを通じて通知され得る。別の解像度での現在のピクチャの復号のために必要とされる、その特定の解像度でのDPBの中の各参照ピクチャは、現在のピクチャの解像度にリサンプリングされる。
変形形態b)およびc)では、RAPにおいて、シーケンスレベルの範囲シンタックスがビットストリーム内の最高解像度についてデコーダに通知し得るが、デコーダがすべてのピクチャを最高解像度にリサンプリングすることを可能にするために、ピクチャレベルの範囲シンタックスが、復号されるべき現在のピクチャの解像度についてデコーダに通知する。
以下の説明は、本出願の添付の態様について、すなわち、領域単位パッキング、すなわち、各々がシーンのいくつかのシーンセクションまたはシーン領域に関連するピクチャ領域への、ピクチャのシーン単位再分割を、ビデオコーディングが可能にすることについてである。この態様によれば、ビデオコーデックは、領域単位パッキングまたはシーンパッキング/区分に反応する。シーンパッキング/区分は、異なるシーン領域が、異なるシーンサンプリング密度または異なるシーン解像度でデータストリームの中で伝達され、それによって、最後にはサブピクチャシーン解像度変更となるような方法で行われてよい。コーディング中にビデオシーケンスのピクチャ内の空間的なシーン解像度を変動させること、すなわち、シーンの個々のサブセクションを異なる空間解像度で表すことが有益であるように見える、様々な理由がある。コーデックのコーディング効率を向上させること、すなわち、所与のピクチャエリアに対するビットレートスパンを低減するための別の手段として、または復号ピクチャをデコーダ後のリサンプリングエンジンへ処理する前にこれらのサンプルの量を低減することによって、復号ピクチャのサンプルを処理するためのコーデックメモリ要件を低減することのいずれかのために、そのような手段が使用され得る。しかしながら、これまで利用可能なビデオコーデックは、コーデックの認識を伴わずに前処理および後処理とともにそれを行うMPEG OMAFなどの、そのようなサブピクチャリサンプリングに依拠するそのような尺度およびシステム規格を気に留めない。ここで、ピクチャは、サブピクチャまたは領域に分割され、これらの領域は、コード化ピクチャ内で再配置またはパックされる。現況技術のコーデックでは、ビデオを提示する前の処理を逆転させるために、これらのパッキングステップのメタデータしか、ビデオビットストリーム内で、すなわち、いわゆる領域単位パッキングSEIメッセージの形態で搬送されない。以下でさらに説明する実施形態によれば、その発想は、コーデックツール決定およびコーディングプロセスにおいてパッキングフォーマットについての知識を容易にすることである。たとえば、いわゆるパックされていないピクチャ、すなわち、元のピクチャの領域を規定する、規範的な領域単位パッキング(RWP:region-wise packing)シンタックスが、たとえば、PPSの中に導入されてよく、ここで、すべての領域は、等しい空間解像度において、かつパックされるピクチャの中の領域への対応において、正しい隣接コンテキストを伴って配置される。パックされていないピクチャおよびパックされたピクチャの中の領域間での説明する画像変換は、平行移動、スケーリング、ミラーリングなどを含んでよい。
図14aおよび図14bは、2つの例示的なRWPシナリオの例を提供する。これらの図において、左側は、パックされていないピクチャ200、すなわち、シーンを示し、右側は、パックされたピクチャ202、すなわち、コード化ピクチャを示す。パックされていないピクチャ200およびパックされたピクチャ202は、均一なサンプル解像度で示される。パックされたピクチャ202は、ピクチャ領域204に再分割される。各ピクチャ領域204は、パックされていないピクチャ200のうちの、それに関連付けられた対応するシーンセクション206を有し、対応または関連付けは、文字a、b、およびcの使用によって示される。矢印208によって示される、ピクチャ領域204へのピクチャ202の区分、およびシーンセクション206へのこれらのピクチャ領域204のマッピングが、RWP情報またはシーンパッキング/区分情報を介してデータストリームの中でシグナリングされ、このマッピング208は、図14aおよび図14bから明らかになるような、ピクチャ領域204に対する異なるリサンプリングまたは空間スケーリングを伴ってよい。
したがって、以下でさらに説明する実施形態によれば、このシーン区分/パッキングを記述するためにRWPシンタックスが使用されてよく、以下で説明する実施形態は、このシーン区分についての知識をコーデックの中で活用するために使用され得る数多くのコーディングツール制限、改変、およびシグナリングを導入する。以下の説明を理解しやすいように、エンコーダおよびデコーダの概略的なフレームワークが図15aおよび図15bに関して説明される。図15aはビデオエンコーダ220を示す。ビデオエンコーダ220は、インバウンドビデオ222をデータストリーム224の中に符号化するように構成され、ここで、ビデオ222の各ピクチャ202は、シーン区分208を介して各々がシーン200のそれぞれのシーン領域206をその上にマッピングしたピクチャ領域204に、シーン区分208に従って区分される。ビデオエンコーダ220は、シーン区分208の調整をサポートする。たとえば、ビデオエンコーダ220は、シーン200を表すビデオまたはビデオデータに基づくビデオ222を提供するときに、ビデオエンコーダの入力部に接続されたモジュールによって実行されていることがある、シーン区分208についての情報226を受信するための入力部を備える。ビデオエンコーダ220は、データストリーム224の中でシーン区分をシグナリングするように構成される。たとえば、シーン区分208の情報は、図15aの中の228においてデータストリーム224の中に備えられるように図示される。以下でより詳細に説明する方法では、ビデオエンコーダ220は、それぞれ、シーン区分208または情報226に依存して、ビデオ222をデータストリーム224の中に符号化するように構成される。
対応するビデオデコーダが図15bに示される。図15bのビデオデコーダ、すなわち230は、その中に符号化されたビデオ222を有するデータストリーム224を受信し、データストリーム224からシーン区分情報228を導出するように構成される。破線232によって示されるように、デコーダ230は、ビデオデコーダ230が出力し、かつビデオ222の再構成を表す、シーン区分情報を、再構成済みのビデオ234の受信者へ順方向に随意に伝えてよい。重要なことには、ビデオデコーダ230は、シーン区分情報228に依存してデータストリーム224からビデオ234を復号するように構成される。以下の説明はこの依存性に対する具体例を提供する。
詳細には、これまで説明したように、シーン区分情報228は、ピクチャレベル、ピクチャのシーケンスレベル、もしくはピクチャのグループレベルなどのいくつかの時間スケールで、データストリームの中で伝達されてよく、またはSEIメッセージの場合のように間欠的に更新されてよく、その範囲は、別のSEIメッセージを介したシーン区分208の次の更新まで従う。図14aおよび図14bからわかるように、シーンマッピング208のために、コード化ビデオ222のピクチャの異なるピクチャ領域204は、たとえば、以下でより詳細に概説されるように、その環境が予測プロセスにおいて考慮されるべき、異なるシーンサンプリング密度またはシーンサンプリング解像度でシーン200の中のオブジェクトを描写してよい。さらに、ピクチャ領域に対する、異なるシーンサンプリング密度、すなわち、シーン200の単位面積当りの異なる個数のサンプルは、それぞれのピクチャ領域204を効率的にコーディングすることにとって最適解である、異なるコーディングパラメータをもたらし得る。したがって、そのようなパラメータのピクチャ領域単位の設定を可能にすることが有利であり得る。なおさらに、シーン区分208および特にピクチャ領域の間の空間的な近傍関係の変化のために、一方ではピクチャ202および他方ではシーン200を比較すると、隣接ピクチャ領域204の間の境界面は、これらの境界面の両側におけるピクチャコンテンツがシーン200の中のじかに隣接する部分に関係しない境界面を表すことがある。したがって、たとえば、そこを横切ってフィルタ処理することは意味をなさない。以下の説明は、符号化および復号プロセスにおいて、このことをどのように考慮すべきかという例を明らかにする。
以下の説明は、たとえば、一方ではコーディング区分と他方ではシーン区分との間の関係に関する。このことを説明するために、図16を参照されたい。図16は、ビデオ222の1つのピクチャ202を示す。ビデオ222をデータストリーム224の中に符号化するために、ビデオエンコーダ220およびビデオデコーダ230は、ビデオ222のピクチャ202をブロック240に区分する。これらのブロック240の単位で、ビデオ222はデータストリーム224の中にコーディングされる。たとえば、これらのブロックの単位で、ビデオエンコーダおよびビデオデコーダは予測残差コーディング/復号を実行してよい。したがって、ブロック240へのピクチャ202の区分は、変換ブロックへの区分であり得る。代替として、ビデオエンコーダおよびデコーダは、ブロック240の単位でのイントラ予測モードとインター予測モードとの間の切替えを用いてビデオ符号化/復号を実行する。したがって、ブロック240は、コーディングブロックまたはコーディングユニットであり得、データストリーム224は、各ブロック240に関する予測モード決定を伝達することができる。さらに代替として、ビデオエンコーダおよびデコーダは、ブロック240の単位でイントラ予測ブロック用およびインター予測ブロック用の予測パラメータを設定することができる。すなわち、ブロック240は予測ユニットまたは予測ブロックであり得る。そしてさらに代替として、ブロック240は、ピクチャ202が区分される先のタイルであってよく、これらのタイル240のコーディング/復号は、コーディング相互依存性を伴わずに行われることになる。データストリーム224は、どのようにピクチャ202をブロック240に区分すべきかについてのコーディング区分情報242を含むことができる。
次に説明する可能性において、ビデオエンコーダおよびデコーダは、ピクチャ202のピクチャ領域204に対してパラメータ化が個別に行われ得るような方法で、コーディング区分のパラメータ化を可能にする。コーディング区分は、たとえば、図17に示すように規定され得る。ツリールートブロック244のアレイへの事前区分が、ピクチャ202を事前区分し得る。これらのツリールートブロック244は、次いで、図17の中の点線によって図示したように階層型サブツリー区分の対象となり得る。図17の中の参照符号246を使用して示される、この階層型マルチツリー再分割のリーフブロックは、たとえば、ブロック240を形成し得る。その場合、図17の中の248において示される、ツリールートブロック244のサイズが、得られるブロック246の最大ブロックサイズを規定することになる。パラメータ化は、たとえば、この最大ブロックサイズを規定し得る。パラメータ化はまた、リーフブロックに対する最小ブロックサイズ250、および/または階層型マルチツリー再分割において許容される階層的な分割レベルの最大数を規定し得る。ゼロ分割レベルは、たとえば、まったく分割されないこと、すなわち、ツリールートブロック244を現状のままにさせておき、これをブロック240として使用することに対応することになる。1という分割レベルは、第1の分割レベルのいくつかの領域へのツリールートブロック244の第1の分割に対応することになる。図17の例では、いくつかのリーフブロック246は、第1の分割レベルのものであり、その中に1が記されている。下位領域にさらに分割される第1の分割レベルの領域は、第2の分割レベルの下位領域をもたらし、図17において、その中に2が記されて例示的に図示された、そのような階層レベルのリーフブロック246がある。したがって、そのような階層的な分割レベルの最大数は、コーディング区分に対するさらなるパラメータ化であってよい。そして、最小ブロックサイズと最大ブロックサイズとの間の差分も示されてよい。エンコーダは、ピクチャ領域204ごとにこれらのパラメータ化を選択してよく、それぞれのピクチャ領域204に対するパラメータ化252をデータストリーム224の中でシグナリングしてよい。ビデオデコーダは、情報242に基づいてコーディング区分を実行するためにパラメータ化250を使用してよい。たとえば、最大ブロックサイズ248に基づいて、デコーダは、ツリールートブロック244への事前区分を実行し得る。最小ブロックサイズ、または階層的な分割レベルの最大ブロック数の表示、もしくはそれぞれ、最小および最大ブロックサイズ248および250の間の差分の表示に基づいて、デコーダは、いくつかの分割がいずれにせよ実現可能でないことを推測し得る。したがって、そのような分割の場合、エンコーダは、対応する分割フラグをコーディング区分情報242の中でシグナリングせず、デコーダは、データストリーム224からのそれぞれの分割フラグを伝えない。ツリールートブロック244のCTUを呼び出し、かつHEVCのシンタックスをベースと見なしながら、図18は、ピクチャ領域204ベースで規定される区分パラメータに対する一例を提供する。図18によれば、異なる最大/最小CTUサイズは、ピクチャ領域204ごとに規定される。ここで、HEVCにおいて規定されるCTUサイズが一例として使用される。HEVCでは、CTUサイズは、図18の例に従って、それぞれ、コード化ビデオシーケンスCVS全体およびピクチャ全体に対して総称的に規定されるが、HEVCのシンタックスは、領域単位ベースで、すなわち、ピクチャ領域204ごとに、シグナリングが行われるように拡張される。詳細には、図18は、ピクチャ領域204が規定されることをフラグ254によって示すSPSを示し、以前に説明したように、それらは異なるシーン解像度またはシーンサンプリング密度のものであってよい。ピクチャ領域204への区分が適用される、すなわち、シーン区分が適用される場合、パラメータ化250は、256において示される数だけ複数回シグナリングされる。数256は、ピクチャ領域の個数に等しくてよく、またはそれよりも小さくてよく、データストリーム224は、様々なピクチャにおけるパラメータ領域204ごとに、様々なパラメータ化設定へのインデックスを含んでよい。
パラメータは、代替として、ピクチャ内の領域の異なるサンプリングについての知識を用いて、デフォルトパラメータの単一のセットから暗黙的に導出され得る。
次いで、ピクチャ202のエリアのマッピングは、様々な方法で行われてよく、たとえば、ピクチャ202のスライスは、解像度エリアに、すなわち、パラメータ化250の数のうちの1つにマッピングされてよく、その数は256において示される。マッピングは、上述の独立してコーディングされるタイルの単位で行われてよい。すなわち、各タイルは、パラメータ化250のうちの1つに関連付けられ得る。代替として、シーケンスまたはピクチャパラメータセットレベルで、所望のコーデックフレキシビリティに応じて、ピクチャ202は、ピクチャ202のスライスまたはタイルへの区分よりも粗いかまたは細かい解像度エリアに再分割され得る。
さらに、ビデオエンコーダおよびビデオデコーダは、コーディングブロック区分を暗黙的に規定するためのソースとして、それぞれ、シーン区分208またはシーン区分情報228を使用し得る。すなわち、ビデオエンコーダとデコーダの両方が、コーディング区分に従ってピクチャ202をブロック240に区分し得、これらのブロック240の単位でビデオを符号化/復号し得る。説明したように、これらのブロックは、ほんの数例を挙げると、変換ブロック、予測ブロック、コーディングブロック、またはタイルであってよい。ビデオエンコーダとデコーダの両方は、シーン区分208に応じてコーディング区分を実行することになる。一例としてタイル区分を使用して、このことを説明する。すなわち、たった今説明した実施形態によれば、RWPまたはシーン区分情報228は、ピクチャ202をブロック250に、または、たとえば、動き補償予測を使用する、ブロックベースのハイブリッドビデオコーデックの他の単位に区分する際に使用される。たとえば、情報228を介してシグナリングされるブロック240への区分が、RWP情報228の中で規定されるピクチャ領域204の間の境界と整列せず、かつRWP境界に隣接する領域204が、異なる空間サンプリング密度または異なるシーン解像度などの異なる特性を有する場合には、対応するブロックまたはユニット構造は、明示的なシグナリングの必要なしにRWP境界に位置合わせされることがあり、すなわち、シーン区分またはRWP228の中でシグナリングされる領域境界と符合する暗黙的な区分が導出される。たとえば、図19aおよび図19bを参照されたい。図19aによれば、コーディング区分242は、ブロック240へのピクチャ202の区分をシグナリングする。ブロック240は、たとえば、タイルであってよい。コーディング区分情報242は、たとえば、ブロック240のサイズを単に示すことになり、それによって、そのサイズのブロック240のアレイへのピクチャ202の通常の再分割を規定する。しかしながら、場合によってはシーンサンプリング解像度などが異なる、2つの異なるピクチャ領域204aと204bとの間の境界250を横切る、ブロック240がある。境界250は、シーン区分情報228に基づいて、デコーダ230のためにビットストリーム224から導出可能である。したがって、エンコーダ220およびデコーダ230は、コーディング区分242へのこの分割を明示的にシグナリングする必要なく、境界250を横切るこれらのブロック240を、境界250に沿って2つのブロック240aおよび240bに暗黙的に分割する。
シーン区分228に依存してコーディング区分およびコーディング区分情報242を規定する代替方法が、図19bに示される。ここで、ブロックまたはコーディングユニット240は、ピクチャ領域204aと204bとの境界に位置合わせされる。すなわち、コーディング区分情報242は、たとえば、単にブロック240のサイズを示してよく、ビデオエンコーダおよびビデオデコーダは、それぞれの領域の左上隅において始めるなどの、いくつかの位置において始めながら、このピクチャ領域をそのサイズのブロック240に再分割する各ピクチャ領域240aおよび240bの外周または境界に沿って、各ピクチャ領域204aおよび204bを個別に再分割する。それぞれのコーディング領域の境界を越えてその右辺および下部まで延びるブロック240は、それぞれの境界において終わるように、それに応じてクロップされてよい。その結果が図19bに示される。
ブロック240への通常の再分割と同様に、図17に関して説明したように、暗黙的なブロック区分も階層型マルチツリー再分割に適用され得る。たとえば、ツリールートブロック244内の右までの、図17における階層レベル1のリーフブロックが、ピクチャ領域の間の境界を横切ることになることを想定する。そのような場合、この領域の分割は、ビデオエンコーダとビデオデコーダとの間で暗黙的であり得、情報242内のそれぞれのビットのこのシグナリングは除外され得る。
したがって、たった今述べたように、コーディング区分242の中で明示的にシグナリングされない、いくつかの分割を推測するためのソースとしてのRWP情報228の使用はまた、階層型マルチツリー再分割を含むコーディング区分242に関係し得る。このことは、ブロックをリーフ領域に完全に区分することに適用され得るが、隣接領域とオーバーラップするブロックを階層的に分割することにも適用され得る。たとえば、図19bの中で、領域204aの右側におけるブロック240は、境界250を横切ることになる。それらはクロップされる。それらは、領域がピクチャの外周を越えて延びるように処理される。そのような1つのブロック240が、さらなるリーフブロックへのさらなるマルチツリー再分割の対象となる場合、境界250を横切るブロックのマルチツリー再分割のマルチツリー再分割の分割決定のサブセットの各々に対して、それが実行されるべきであるのか、その場合には現在の分割レベルの対応する領域が分割され、それとも実行されるべきでないのかが、エンコーダおよびデコーダによって推測されてよく、その結果、それぞれの分割決定の対象となる対応する領域が、階層型マルチツリー再分割のリーフ領域になることになる。情報242の一部としてそれぞれの分割決定のための分割ビットインジケータを送ることなく、所定のピクチャのシーン区分に依存して、すなわち、分割されない場合に現在の分割レベルの対応する領域が境界250を横切ることになるかどうかに基づいて、推測が行われる。RWP情報228に基づいて推測されるそれらの分割決定とは独立した、マルチツリー再分割の他の分割決定ごとに、それぞれの分割決定は、情報242の一部としてデータストリームの中でそれぞれの分割ビットインジケータを介してシグナル化されることになる。図19cは、CU分割のHEVCシンタックスをベースとして取り上げること、およびRWPタイリングを活用することから得られるそれらの改正を強調することによって、CUクワッドツリー分割に対するシンタックス例を提示し、ここで、それぞれ、異なるRWP領域204aおよび204bの中に、すなわち、境界250の異なる側に置かれているピクセルに対して、Tileld(ピクセル位置)が、結果として異なる値になる関数であることが想定される。シンタックスは、境界250の位置に基づいて推測され得る分割に対する分割インジケータsplit_cu_flagをシグナリングすることを控えながら、CU、すなわち、リーフブロックが領域境界250とともに位置合わせされる方法で、クロップされない場合に境界250を横切ることになる領域204aのCTBの分割を達成する。251において、たとえば、split_cu_flagによってシグナリングされるものと考えられる分割の対象となる現在の領域が、領域が境界250を横切ることになるときにはいずれにせよ実行されるべき場合、split_cu_flagはシグナリングされない。251において、現在階層的に分割されたブロック240が属する領域204aの外側に完全に置かれている領域に対して、階層的な分割はスキップされる。
シーン区分208がコーディング/復号プロセスに影響を及ぼすことがある別の状況は、サブペル補間フィルタおよび動き補償に関係する。本出願の実施形態によれば、ここでの発想とは、一方では動き補償予測の対象となる現在のブロック、および現在のブロックの動きベクトルによって参照される参照ピクチャのエリアが、異なってサンプリングされる2つの領域、すなわち、異なるシーンサンプリング密度/解像度に関連するピクチャ領域204の中に置かれているときはいつでも、動き補償予測中にピクチャ内のRWPの領域の潜在的に異なる空間サンプリング特性に対処するために、ブロックベースのハイブリッドビデオエンコーダ/デコーダのサブペル補間フィルタを容易にすることである。
一実施形態では、以下のことが適用される。
a)(基準から現在への)ダウンサンプリング2:1のとき、- フルサンプル位置の一部がサブペル位置として扱われるべきであり、または
b)(基準から現在への)アップサンプリング1:2のとき、- サブペル補間が実行され、得られたサンプルがフルペルサンプルとして扱われるべきであり、または
c)そうでない場合、変更がなく、通常の動き補償予測とする。
たとえば、2つの領域(左および右)を有する図20aおよび図20bの中のピクチャの以下の例示を取り上げると、各々の、ただし異なる視野角、すなわちピクチャの左側を描写する4×4サンプルは、比較的に視野角が小さいが解像度/忠実度が高い画像コンテンツを描写する。
たとえば、右側における現在のピクチャ202のピクチャ領域204のうちのエリア260、および参照ピクチャのピクチャ領域204のうちのピクチャエリア262の、図20aにおける以下の例示を取り上げる。描写されるエリア260および262は両方とも幅が4×4コード化サンプルであり、コード化サンプルは十字264によって示される。異なるシーンサンプリング密度/解像度のために、エリア260および262は異なる視野角に関係する。より正確には、エリア260と262の両方が同じ個数のコード化サンプルから構成されるが、左手エリア262は、比が2:1であって、右手エリア260よりも比較的に視野角が小さいが解像度/忠実度が高い、画像コンテンツを描写する。
すべてのフルペルサンプル位置またはコード化サンプル位置が、図の中で十字として示される。左側サンプルの2×2サブセット266、すなわち、回転した点線十字でマークされた位置におけるサンプルが、より低いサンプリング解像度におけるバージョンの領域に対応すること、すなわち、268によって示される左側におけるこれらの2×2サンプルが、右側において4×4サンプルで同じ視野角を描写することは明らかである。
この例では、事例a)の場合、右における破線長方形268は現在のブロックを示し、動きベクトル270は左側におけるサンプル位置を指し示す。コーディングされたフルペル位置の一部は、この場合はハーフペル位置として扱われ、サブセット(回転した破線十字)しか参照用に考慮されない(再び、赤色の破線長方形266で囲まれている)。
その逆に、事例b)の場合には、以下の図20bに示すように、赤色の破線長方形272を通じてマークされるように現在のブロックが左側に位置し、かつ参照ブロックが比較的低いサンプリング(1:2)で右側に位置するとき、サブペルサンプル位置(回転した十字276を通じて示される)は、参照のためのフルサンプル位置、および276によって示されるような複製部分として扱われる。
図20bにおいて、エリア260が参照ピクチャのうちのエリアであり、エリア262が現在のピクチャのうちのエリアであり、ピクチャ領域エリア260が位置するシーンサンプリング密度/解像度が、ピクチャエリア262が位置するピクチャ領域204のうちの1つよりも低いことに留意されたい。言い換えれば、高い解像度での既存のサンプル、すなわち、左側における十字264は、たとえば、解像度比が1:2である場合、低解像度ブロック276に対するサブペルとして使用および考慮され得る。たとえば、ブロックの解像度比が1:2である場合には、動きベクトルが、低解像度を考慮して整数サンプル位置を指し示すことになる場合、高解像度ブロック272の中の2つごとのサンプルがスキップされ得る。高解像度ブロックのスキップされるこれらのサンプルの各々は、低解像度が考慮される場合、ハーフペルサンプルに対応することになる。
さらなる実施形態によれば、動きベクトル予測子は、動きベクトルがそれに対して予測されるべき現在のブロックを含むパックされたピクチャ202内の領域の特性、およびいくつかの動きベクトル予測子に対するソースを形成する予測子ブロックに基づいて、エンコーダおよびデコーダの中でスケーリングされ得る。たとえば、図21は、2つのピクチャ領域204aおよび204bを有するパックされたピクチャ202を示し、左の領域204aは、図21の中で参照符号200を使用して左側において示され、かつピクチャ領域204aに対応するシーン領域206aおよびピクチャ領域204bに対応するシーン領域206bに再分割された、パックされていないピクチャに関して例示的に水平にダウンスケーリングされる。ブロック280がピクチャ領域204bの中に配置されて、インター予測を使用して破線ブロック280をコーディングするとき、例示的な動きベクトル候補282、すなわち、ピクチャ領域204aに位置する隣接ブロック284をコーディングするために使用される動きベクトルは、そのピクチャ領域204が符号化の前に受けたリサンプリングに従って、またはより正確には、それぞれ、ピクチャ領域204aと204bとの間のシーンサンプリング解像度差に従って、スケーリングされる。具体的な例では、動きベクトル282の水平成分は、シーンサンプリング解像度の差分に従って増大することになり、次いで、現在のブロック280に対する動きベクトル候補286として使用されることになる。したがって、使用される候補286は、隣接ブロック284の動きベクトル282のスケーリングされたバージョンを表すことになる。
以下の図22は、高解像度領域204bに属する2つのブロック280、284に対してどのようにスケーリングが実行されるのかを示す。ピクチャ202の低解像度領域204aが、1:2というスケーリング係数によって、水平の領域の中でのみダウンサンプリングされるものと想定されることが想定されることに留意されたい。
パックされたピクチャ領域の中の予測子のスケーリングは、パックされていない領域200の中のMV予測子を考慮した結果である。図22において、(パックされたピクチャ290の中の)予測子MVが、パックされていないピクチャ200における別のベクトル292にどのようにマッピングされるのかが示される。より具体的には、所与の例において、我々は、垂直成分がRWP208からのいかなるスケーリングの対象にもならないときの、その水平成分MVxに焦点を当てる。水平成分MVxは、2つの部分、すなわち、MVx1(低解像度領域204aの中に置かれている動きベクトル290の一部)およびMVx2(高解像度領域204bの中に置かれている動きベクトル290の一部)に分割され、それは、(低解像度領域に対して1:2ダウンサンプリング係数を想定すると)結果としてパックされていない領域200の中の2×MVx1+MVx2の水平成分になる。水平成分が2×MVx1+MVx2の、パックされていない領域の中の予測子294は、現在のブロック280に対して使用される予測子であり、パックされていない領域200の中のその画像が280'において示される。この予測子294は、同時に、パックされた領域に変換されて戻されることを必要とし、それによって予測子ベクトル296を与える。しかしながら、現在のブロックに対するこの動きベクトル296は、異なる解像度領域206a、206b、すなわち、2×sMVx1およびsMVx2に属する2つの異なる部分を有する(ここで、パックされていない領域200の中のそれ、すなわち、2×MVx1+MVx2=2×sMVx1+sMVx2が説明されたように)。このことは、水平成分がsMVx1+sMVx2に等しい、パックされた領域202において、スケーリングされた動きベクトル296をもたらす。
ブロックの中心の位置および領域の位置に関して、列挙された動きベクトル成分(および、部分)が算出され得る。たとえば、(左に向かってMVが正符号を有して)上記で考察した例では、
- MVx2=Blockcenter-RegionBoundary
- MVx1=MVx-MVx2
- sMVx2=Blockcenter-RegionBoundary(パックされていない領域の中)
- 2×MVx1=2×MVx1+MVx2-sMVx2
である。
図15aおよび図15bのエンコーダおよびデコーダのコーディング/復号の可能な依存性のさらなる実施形態は、フィルタ処理パラメータに関係する。HEVCまたはAVCなどの現況技術のビデオコーデックでは、ポストフィルタまたはループ内フィルタまたはデブロッキングフィルタなどのフィルタのパラメータは、フィルタ処理されるべき隣接ブロックの特性に基づいて導出され得る。フィルタパラメータは、たとえば、フィルタ強度、フィルタの伝達関数、フィルタカーネルサイズ、またはデブロッキングフィルタ範囲に関係し得る。エンコーダ側およびデコーダ側において、そのようなフィルタパラメータがそれに基づいて決定される特性は、たとえば、イントラブロックサイズまたはインターブロックサイズなどの予測モードであり得る。符号化の前にピクチャ202内で異なる解像度コンテンツが混合される場合、ループ内デブロッキングフィルタ処理ステップにおいて特別な注意がなされず、たとえば、このことは、図23に示す異なってサンプリングされる2つのピクチャ領域204aと204bとの間などの、異なってサンプリングされるそのような2つの領域の間の境界に沿った、視覚的アーティファクトにつながることがある。このことは、復号とディスプレイ上での提示との間に、2つの領域204aおよび204bが等しい解像度を有するようにリサンプリングされ得るという事実に起因し、すなわち、次数ごとのサンプル、および領域204aと204bの両方の中でフィルタによって改変されたサンプル、すなわち、フィルタ範囲300内のサンプルは、異なる量の次数および視野を占有し得る。そのような場合に視覚的アーティファクトを防止するために、一実施形態によれば、そのようなフィルタの強度、またはフィルタ範囲300、すなわち、フィルタ処理プロセスによって配慮/改変されるフィルタ処理境界からのサンプル数などの、さらなるフィルタパラメータが、隣接ピクチャ領域204aおよび204bの解像度に応じて互いに対して修正される。このことが図23に示される。
さらなる実施形態によれば、シーン区分208における符号化/復号プロセスの依存性は、たとえば、ループ内デブロッキングフィルタ処理プロセスなどのフィルタ処理プロセスのための参照サンプル導出に関係する。
ピクチャ内の領域がパックされるとき(たとえば、異なる水平リサンプリングおよび垂直リサンプリングが領域を横切って使用され、かつ長方形のピクチャ平面を導出するように領域が再配置されるとき)、パックされたピクチャの中の隣接サンプルは、パックされていないピクチャの中で隣接しないことがある。したがって、そのような特性を有する境界にわたって愚直にフィルタ処理することは望ましくない。代わりに、本発明の一部として、パックされていないピクチャの中で隣接関係を有し、かつフィルタ処理プロセスのためにこれらのサンプルを使用する、パックされたピクチャの中のサンプルを導出するために、RWP情報が使用される。
たとえば、図14bを参照されたい。ここで、ピクチャ領域204cと204bとの間の境界面は、人為的なまたはシーン不連続な境界面である。すなわち、パックされた領域の中、すなわちピクチャ202内で、この境界面310において互いに境を接するピクチャ領域204cおよび204bの部分は、このシーン200の中では互いに境を接しない。したがって、この境界面310を横切るフィルタ処理を本当に中断または回避することが実現可能であることになる。しかしながら、代替形態によれば、たった今概説した実施形態に従って、エンコーダおよびデコーダは、ピクチャ領域204cからピクチャ領域204dまでなどの、現在フィルタ処理されるピクチャ領域から隣接するピクチャ領域までこの境界面310を越えて延びるそれぞれのフィルタのフィルタカーネルを、たった今概説した例の場合にはピクチャ領域204aの左手縁部側などの、シーン200の中のその境界面310において現在フィルタ処理されるピクチャ領域と境を接するピクチャ202の一部分から取得されるサンプルで充填する。図14bの例では、ピクチャ領域204bが現在フィルタ処理され、かつフィルタカーネルが境界面310を越えて延びる場合、シーン領域200を見ることによってわかるように、それはピクチャ領域204aの右側縁部分の使用によって充填され得る。
別の実施形態によれば、ビデオエンコーダおよびデコーダは、量子化が関係する限り、符号化および復号に関してシーン区分依存性を示す。
ビデオコーデックにおいて動き補償予測ピクチャの残差信号が変換されるとき、浮動小数点変換係数は、通常、エンコーダ側において不可逆的量子化を受ける。所与のステップサイズ(量子化パラメータすなわちQP)に応じた均一な量子化は別として、現況技術のコーデックは、たとえば、変換係数ベース周波数に応じてスケーリング係数を量子化の中に組み込むことによって、不均一性に向かって量子化を改変することを可能にする。このことにより、主観的に最適化された符号化方式を実装することが可能になる。そのようなスケーリングリストが、デコーダ側において事前に知られていることがあり、ビットストリームシグナリングによってアクティブ化およびインデックス付けされることがあるが、ビットストリームの中でピクチャごとにカスタムのスケーリングリストを送信することも可能である。
パックされたピクチャ内の領域が、変動する特性を有するコンテンツを描写するとき、スケーリングリストを領域の特性に編成することによってコーディング効率利得が達成され得る。たとえば、これらの特性は、解像度/サンプリングを含んでよいが、コンテンツの性質なども含んでよい。したがって、ピクチャ領域204単位ベースで、編成されたこれらのスケーリングリストをシグナリングすることが実現可能である。図24aは、scaling_list_data()[i]が特に第iの領域に対するスケーリングリストの係数を搬送するシンタックス構造である、一実施形態を示す。
コード化ピクチャ202内の個々のエリアまたは領域204は、その後、たとえば、スライスヘッダまたはピクチャパラメータセットからのリストscaling_list_data()[i]へのインデックスごとに、シグナリングされたスケーリングリストのうちの1つを参照することができる。代替として、num_scaling_lists_areas_minus1は、個々の領域ごとにスケーリングリストを暗黙的にシグナリングする、RWP内の領域の個数に等しくてよい。
すなわち、たった今概説した実施形態によれば、図15aおよび図15bのビデオエンコーダおよびデコーダは、量子化パラメータのサブピクチャ単位の設定、また詳細には、ピクチャ領域204単位の設定を可能にする。量子化パラメータは、量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する。たとえば、図24bを参照されたい。図24bは、予測残差のうちの1つのブロックを符号化するために、ビデオエンコーダ220によってデータストリーム224にコーディングされ得るときの、変換ブロック350を示す。変換ブロック350は、対応する残差予測ブロックをxおよびyにおいてスペクトル的に分解するいくつかの変換を使用して、ビデオエンコーダによって取得されている。変換ブロック350の予測係数は、異なる水平周波数fxおよび垂直周波数fyに対応する。たとえば、DC変換係数値が左上隅にあり、xおよびyにおける最高周波数成分が右下側隅に位置し、その両方が、それぞれ、352および354において示される。1つのピクチャ202内のピクチャ領域204の間で変動し得るような方法でデータストリーム224の中にコーディングされることがある、たった今説明した量子化パラメータは、たとえば、変換350の変換係数を不均一に量子化および逆量子化するために使用されるべき量子化ステップサイズを制御することによって、量子化雑音の空間周波数スペクトルのスペクトル形状を制御する。すなわち、変換350の変換係数を量子化するための量子化ステップサイズを、変換350のすべての変換係数に対して等しくスケーリングするのではなく、本明細書で説明する量子化パラメータは、変換350の変換係数を量子化および逆量子化する際に適用されるべき量子化ステップサイズを、異なって変動させる。そのようなスケーリングは、均一な量子化ステップサイズを維持しながら、量子化の前に変換係数スケーリングによって実施され得る。たとえば、量子化パラメータは、変換350の変換係数に対して使用されるべき量子化ステップサイズの傾きまたはさもなければスペクトル変動を決定する。
すなわち、言い換えれば、エンコーダ15aおよびデコーダ15bは、スペクトル的に変動する、すなわち、変換350の変換係数352にわたって変動する粗さを有する、量子化および逆量子化を可能にし得、その結果、今度は量子化雑音もスペクトル的に変動する。空間周波数fxおよびfyにわたる量子化雑音の変動は、量子化の前に変換係数352をスケーリングし、かつデコーダ側において量子化変換係数を逆スケーリングすることによって、行われてよい。なお一層正確には、ピクチャの異なる領域に対してエンコーダによって変動させられてよい、少なくとも1つの量子化パラメータが、変換350の変換係数352ごとにスケーリング係数を規定し得る。これらのスケール係数が、不均一なスペクトル形状を規定する。領域ごとに、少なくとも1つの量子化パラメータが、たとえば、変換係数352ごとのスケール係数を個別に示してよく、または異なるスペクトル領域変換350のためのスケール係数が、行および列において変換350が再分割される先の変換350のサブブロックなどの、または異なってサイズ決定されたサブブロックに再分割される。代替として、少なくとも1つの量子化パラメータが、変換係数352に関してスケール係数の方針を規定するパラメータ化された2次元の関数に従って、スケール係数によって規定されるスペクトル形状を決定し得る。エンコーダは、たとえば、均一な量子化関数、すなわち、変換350のすべての変換係数352に対して等しい量子化関数を使用する量子化の前に、各変換係数352をそれぞれのスケール係数で除算することになる。デコーダは、領域ごとの量子化パラメータ、したがって、変換係数352ごとの得られたスケール係数を受信することになり、受信されたスケール係数でそれぞれの変換係数352を乗算することによって、受信された量子化変換係数352をスケーリングすることになり、それによって、受信された量子化パラメータに従って量子化雑音をスペクトル的に、すなわち、個別に現在のピクチャの領域ごとに、個別に整形する。
本出願の別の態様に進み、この態様に関して実施形態を説明する前に、ピクチャにわたって量子化雑音の空間周波数スペクトルのスペクトル形状を変動させる量子化パラメータを変動させる、たった今述べた可能性がまた、図15aおよび図15bに関してこれまで説明したような符号化および復号のシーン区分依存性から独立して使用され得ることに留意されたい。したがって、図15aおよび図15bは、エンコーダおよびデコーダの例、ならびにコード化ビデオシーケンスのピクチャ202が任意のシーン区分を受けているか否かとは無関係に、またデータストリーム224がシーン区分記述228を備えるか否かにかかわらず、たった今述べた量子化パラメータのサブピクチャ単位の設定を可能にすることに関係し得る。しかしながら、データストリーム224は、いずれの場合も、それを介して量子化雑音のスペクトル形状がたった今概説したように変動させられる、量子化パラメータのサブピクチャ単位変動についての、図24aの中の360などの情報を備えることになる。この点について、図24bに関して説明するものよりもノイズカラーネスに影響を及ぼす他の可能性も存在することに留意されたい。
それぞれ、エンコーダおよびデコーダを示す図25aおよび図25bに関して、後者の環境がより詳細に説明される。図25aのエンコーダはビデオエンコーダであってよいが、必ずしもそうとは限らない。参照符号320を使用して示される図25aのエンコーダは、ビデオ322のピクチャであることもないこともあるピクチャ302を受信し、変換ベースの予測コーディングを使用してピクチャ302をデータストリーム324の中に符号化する。すなわち、エンコーダ320は、空間予測モード、およびビデオコーディングの場合には時間予測モードなどの、1つまたは複数の予測モードを使用してピクチャ302のブロックを予測してよく、変換コーディングを使用して予測残差を符号化し得る。この目的で、エンコーダ320は、ピクチャ302を変換ブロック、すなわち、ブロック304に再分割してよく、エンコーダ320は、次いで、それぞれ、それを変換306にかけて変換ブロック350を与える。量子化のために、エンコーダ320は、上述のスケール係数によって規定された上述のスペクトル形状309を使用してこの変換350を逆スケーリングし、次いで、変換ブロック304ごとに量子化変換係数すなわち量子化された変換313を与えるために、その結果を量子化311にかける。ステップ311において使用される量子化関数は、変換係数位置にわたって変動しない、すなわち、均一な変換係数であってよいが、スペクトル形状309を規定するスケール係数は、変換350内の変換係数にわたって変動し、上述の少なくとも1つの量子化パラメータを介して規定される。しかしながら、エンコーダ320は、この少なくとも1つの量子化パラメータを、下位領域304などのピクチャ302の下位領域の中のピクチャ302内で変動させる。データストリーム324の中で、エンコーダ320は、下位領域304ごとにスペクトル形状309を規定する量子化パラメータ328をシグナリングする。すなわち、情報328は、同じピクチャ302の別の下位領域内の変換ブロック304と比較して、ある下位領域304内の変換ブロック304に対して異なるスペクトル形状が使用されるように、下位領域304ごとにスペクトル形状309を規定する。エンコーダ320は、レート制御および/またはコスト最小化の一部として、領域304ごとの量子化パラメータ328の設定について決定し得る。代替として、エンコーダ320は、たとえば、例示的な参照がそれに対して後続の図、特に図28に行われる、ピクチャ302がコーディングされる異なる空間解像度の領域、または図24aおよび図24bに関して説明したような異なるRWP領域を形成する領域への、ピクチャ302の区分に従うなどの、ピクチャ302のいくつかの他の区分に従って、量子化パラメータ328を設定し得る。その場合、そのような他の区分のシグナル化は、領域304へのピクチャ302の区分を並行してシグナリングしてよく、また随意に、領域304ごとの量子化パラメータの設定も、たとえば、ピクチャ302のそれぞれの部分、すなわち、それぞれの領域304が、データストリーム324の中にコーディングされる目標空間解像度などの、領域304に対する他の設定から推測されてよい。
図25bは、図25aのエンコーダ320に適合するデコーダ330を示す。それは、データストリーム324を受信し、そこからピクチャ302'を再構成するように構成される。この目的で、デコーダは、変換ベースの復号、変換ブロック304へのピクチャ302の再分割、領域304へのピクチャ302の再分割を使用し、逆量子化の際に領域ごとに同じ量子化パラメータを使用するためにデータストリーム324の中の量子化パラメータ情報328を使用する。すなわち、デコーダ330は、変換313の量子化変換係数をデータストリーム324から取り出し、それぞれの変換313の対応するブロック304が位置するそれぞれの領域304用の量子化パラメータによって決定されたスペクトル形状309を使用してそれらをスケーリングし、再構成目的のための空間領域への逆変換を実行する。
すでに説明したように、量子化の粗さのスペクトル変動は、スペクトル均一な量子化器とスペクトル的に変動するスケーリングとを組み合わせるのとは別の方法で制御され得る。量子化パラメータは、変換350の異なる部分に関するスケール係数のリストによって具現されてよく、またはパラメータ化された関数を使用するなどの別の方法でスペクトル形状309を規定し得る。さらに、エンコーダおよびデコーダが変換ベースのコーダでなくてよいことに留意されたい。すなわち、それらは、量子化変換係数の形態とは異なる方法で、ピクチャ302をデータストリーム324の中に符号化してよい。量子化は、たとえば、代わりに空間領域において行われてよい。さらに、サブバンド分解も使用されてよい。
代わりにピクチャ302が使用されてよい。
さらに、やはりすでに上記で説明されているように、スペクトル形状309は、新たにデータストリームの中で送信される必要がない。むしろ、それは、単にこの既定の量子化パラメータの使用を示す量子化パラメータを用いて、エンコーダおよびデコーダにとってのデフォルトの方法で設定され得る。たとえば、いくつかの領域304に対して、デフォルトの量子化パラメータの使用がアクティブであるものと示されてよいが、量子化パラメータがそれに対して非アクティビティを示す領域304内の変換ブロックに対して、スペクトル均一なスケーリングが使用され、すなわち、量子化雑音はスペクトル的に平坦である。またさらなる実施形態では、スペクトル的に変動するいくつかのスペクトル形状309は、事前設定されてよく、またはエンコーダおよびデコーダにおけるデフォルト設定を表してもよく、ここで、量子化パラメータは、スペクトル形状309を規定するためのデフォルトの量子化パラメータ設定のうちのどれが使用されるのかに関して、領域304ごとに示す。さらには、いくつかの領域304に対して、それらの混合物が実現可能であり、量子化パラメータは、いかなる既定のデフォルト設定もインデックス付けすることなく、データストリーム324の中でスペクトル形状309を明示的に規定し得る。後者の場合、量子化パラメータは、次いで、たとえば、いくつかのコスト最小化に従って、かつ/または、たとえば、レート制御に関与する方法で、エンコーダによって決定される方法に従って、スペクトル形状を規定し得る。
図1aおよび図1bに関して、ビデオエンコーダおよびビデオデコーダが、ビデオがコーディングされる目標空間解像度の時間的な変動を可能にする可能性が説明されている。以下で説明する実施形態によれば、いくつかのビデオがコーディングされるサブピクチャ解像度を可能にすることが可能である。一実施形態によれば、サブピクチャ特性は、予測残差コーディングに関係する。たとえば、図1aおよび図1bに関して説明した変形形態b)によるフルピクチャリサンプリング(再構成済みのピクチャリサンプリング)を用いたコーデックシステムと同様に、図5aに示すようなシステムをサブピクチャベースで実施することが考えられる。そのようなシステムでは、各ピクチャ上の領域は、互いに関して変動する解像度で描写される。再構成の後、画像は等しいサンプリング密度にリサンプリングされる。
同様に、図5bに示すように、図1aおよび図1bに関して説明した変形形態c)(残差信号リサンプリング)に基づいてシステムを実施することが考えられ、ここで、リサンプリングは、サブピクチャベースで選択的に実行される。そのようなシステムでは、サブピクチャ単位ベースで、たとえば、CTU、タイル、スライス、または別様に規定された領域(RWP)ごとに、残差信号がリサンプリングされる。コード化ピクチャの再構成のために、残差信号はリサンプリングされてフル解像度に戻される。したがって、DBP22/36は基準空間解像度のピクチャで充填されるが、動き補償およびループ内フィルタもフル解像度で行われる。そのようなシステムでは、残差信号のリサンプリングはコーデックの規範的な部分であり、したがって、リサンプリングの前/後のフィルタパラメータ、およびサンプルアレイのサイズは、たとえば、CTUサイズに関して、明瞭に指定されるべきである。
図26は、そのようなシステム内のコード化ピクチャ400を示し、ここで、残差リサンプリングが、CTUベースで、すなわち、CTU402の単位で実行される。したがって、残差信号サンプルを搬送するブロック構造、および得られるサンプルの個数は、明示的なシグナリング(resample_idc)に従って調整される。
シンタックス要素resample_idcは、個々のCTU402ごとに、またはスライスもしくはタイルもしくはRWP領域などの、CTUのもっと大きいグループごとに統合されて、シグナリングされ得る。図27の中のシンタックス表は、領域ごとのシグナリング変形形態の一例を与える。
同様に、フィルタカーネルなどの厳密なサブピクチャフィルタパラメータが、その2つの間のドリフトの回避を確実にするために、エンコーダ側およびデコーダ側に知られていることが必要である。サブピクチャの特性が、広くピクチャ平面および異なるコンテンツにわたって異なることがあるので、領域固有のフィルタパラメータのシグナリングを可能にすることが賢明である。ピクチャ領域との関連付けを有するカーネルなどのフィルタパラメータを搬送するシグナリングが導出可能であり得る。
したがって、たった今概説した態様による一実施形態は、目標空間解像度で符号化/復号が行われる方法でビデオのピクチャが符号化/復号される、図1aによるビデオエンコーダおよび図1bによるビデオデコーダであり得、この目標空間解像度は、ピクチャが再分割される先のピクチャ領域の単位で変動する。図28は、たとえば、ビデオ12のピクチャ16a～16cがピクチャ領域500に再分割されることを示し、これらの領域500に対して異なる目標空間解像度が選ばれることを、ピクチャ16aに関してドットによって例示的に示す。変動は、図27に示すシンタックスを使用するなどの、データストリームの中でシグナリングされる。内部的に、それぞれ、エンコーダおよびデコーダの復号ピクチャバッファ22および36は、ビデオ12の元の空間解像度などの基準空間解像度、または図1aおよび図1bに関して上記で説明されているようないくつかの他の空間解像度で、ビデオのピクチャをバッファリングし得る。したがって、空間項における目標空間解像度の変動は、予測残差コーディングに関係し得る。内部的に、ビデオエンコーダおよびビデオデコーダは、上記で説明した変形形態bまたは変形形態cに従って動作し得る。すでに上記で示したように、図1aおよび図1bならびに図26～図28に関して説明した実施形態は、上記の実施形態と組み合わせられてよい。したがって、図2a～図14においてさらに指定されるような図1aおよび図1bの説明はまた、エンコーダおよびエンコーダの内部構造などが関係する限り、たった今概説した実施形態に適用可能であるものとする。さらに、図15a～図24bの変動する量子化パラメータ機能および変動するフィルタ機能は、同様にたった今概説した実施形態に従ってエンコーダおよびデコーダにおいて使用され得る。
図26～図28に関して説明したように、エンコーダ10におけるいくつかのレートひずみ最適化において、目標空間解像度が、各ピクチャが再分割される先のCTUまたは予測ユニットごとに決定されることになるような方法で、図1aおよび図1bのエンコーダ10およびデコーダ30を実施することが可能である。エンコーダおよびデコーダは、CTUごとに、または予測ユニットごとに、またはいくつかの他のピクチャブロックごとに、少なくとも、それぞれ、図4bおよび図5bに関する変形形態bおよびcに関して説明したような基準空間解像度を有しないものに対して、リサンプリングを実行することになる。そうすることは、もっと高いコーディング効率を取得するかまたはそれをもたらすことになる。たとえば、インバウンドビデオ12の元のフル解像度などの、基準空間解像度よりも低い目標空間解像度で解像度を符号化するとき、サンプリングされたバージョンの残差が符号化され、それによって係数の数を減らす。そのようなモードは、新たなモードとしてデータストリーム14の中で、または追加のフラグを用いてシグナリングされ得る。シグナリングは、図26の右側において図示したようにブロック402がツリールートブロックであるように図示された図26に示すように、CTUごとに、すなわち、ツリールートブロックごとになどの、ブロックごとに行われ得る。図29は、フラグ、すなわち、res_subsampled_flagが、リサンプリングが適用されるか否かをシグナリングする一例を提示し、その場合、たとえば、様々なブロックのための目標空間解像度に対する2つの可能な値が存在するにすぎない。代替として、図29のフラグが設定される場合、図29に示さないさらなるシンタックス要素がデータストリームの中でシグナリングされてよく、シンタックス要素は、このとき、基準空間解像度とは異なる目標空間解像度を示し、図29のフラグが設定されないことは、このフラグが参照するブロックが基準空間解像度のものであること、すなわち、リサンプリングが必要でないことを示す。
図29は、このフラグが変換ブロックレベルで送信され得るが、予測モード、すなわち、イントラ/インター予測モードが、そこで変動させられシグナリングされるコーディングユニットレベルでの送信も、可能であることになることを示す。したがって、図30によれば、図29のフラグは、シグナリングを増大させることになる、より小さいブロックごとに反復されないことになる。CTU内のすべてのresidual_coding()シンタックスは、たとえば、同じフラグを使用することができる。
したがって、図20および図30のフラグは、各ピクチャ内の目標空間解像度の変動をシグナリングすることに対する可能性を表す。
図31は、上述のフラグres_subsampled_flagが、いくつかのピクチャが区分される先のすべてのブロックに対して送信され得るとは限らないことを示す。上記の説明において説明したように、ピクチャは、変動するサイズのブロックにエンコーダおよびデコーダによって再分割されてよく、図31の例によれば、いくつかの基準空間解像度と比較して目標空間解像度を変動させることの表示が、たとえば、いくつかのブロックサイズ範囲内のいくつかのサイズのブロックに対して送信されるにすぎないことが、ビデオ全体に対してまたはそれらのピクチャのいくつかのシーケンスに対してシグナリングされ得る。図31は一例を提供する。ここで、残差のサブサンプリングは、所与のサイズのブロックに対してもっと有益であるものと、たとえば、大きいブロックに対してもっと大きい利得をもたらすものと想定される。したがって、いくつかのピクチャが区分される先のすべてのブロックに対する目標空間解像度を変動させるためのシンタックスが回避されることを回避するように、データストリーム14内のシンタックスが追加される。さらに言い換えれば、図31の例は、いくつかのピクチャにわたって目標空間解像度を変動させるために費やされるシグナリングオーバーヘッドが、レートひずみ利得にとって好ましくないことを回避する。図31の例によれば、データストリーム14は、目標空間解像度がピクチャのシーケンスのピクチャに対して以下の方法でシグナリングされることを、ピクチャのシーケンスに対してシグナリングし、すなわち、ピクチャは、変動するサイズのブロックに区分され、所定の範囲のブロックサイズの外側のすべてのブロックは、基準空間解像度で符号化/復号される。単に所定のブロックサイズ範囲内のブロックサイズを有する他のブロックに対して、それぞれのブロックに対してどの目標空間解像度が選ばれるのかに関して、データストリーム14の中でシグナリングされる。したがって、図31では、SPSは、ピクチャを空間的に横切って目標空間解像度変動をオンに切り替えるフラグmixed_resolution_enabled_flagを含み、それが設定される場合、2つのシンタックス要素、すなわち、log2_min_res_subsampled_flag_present_block_size_minus3およびlog_diff_max_min_res_subsampled_flag_present_coding_block_sizeによって、ブロックサイズ範囲が決定される。目標空間解像度表示のCU単位の送信を取り上げると、すなわち、例示的にres_subsampled_flagを介して、図32は、いくつかのブロックに対して目標空間解像度を示すそれぞれのシンタックス要素が、シグナリングされた所定のブロックサイズ範囲までブロックサイズが下がる場合しか送信されないことを示す。
図33は以下の問題点に関する。ダウンサンプリングおよびアップサンプリングがひずみしかもたらさないとき、上述のres_subsampled_flagは、より良好なレートひずみ性能を本質的に提供することができないが、サンプリングされたブロックがどのくらい良好に符号化されるのかを記述することが必要とされることになる。したがって、基準空間解像度以外の目標空間解像度を有するそれらのブロックに対して、delta_qp、すなわち、リサンプリングされないブロックと比較した量子化パラメータの変動を追加することが可能であることになる。図33は、これがSPSの一部としてデータストリーム14の中で送信される一例を表すが、PPS内での送信も可能であることになる。すなわち、ここで、どの量子化ステップサイズが適用されなければならないのか、またはより正確には、量子化ステップサイズと比較してどのオフセットが、基準空間解像度で符号化されたリサンプリングされないブロックに対して使用されるのかに関して、シンタックス要素delta_qp_4_subsampled_blocksは、それらのブロックに対して、どれに再分割されるいくつかのピクチャが、リサンプリングの対象となるのか、すなわち、目標空間解像度に等しくないのかを示すことになる。
同様に、2:1サブサンプリング係数が実行されてよく、またはサブサンプリング係数は、フレキシブルであってよくシグナリングされてよい。2つ以上がシグナリングされてよく、異なるフレームに対して、CTUサイズごとに、または時間レベルごとに固定されてよい。
いくつかの態様が装置のコンテキストで説明されているが、これらの態様がまた、対応する方法の説明を表すことは明らかであり、ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同じように、方法ステップのコンテキストで説明した態様はまた、対応するブロックもしくは項目、または対応する装置の特徴の説明を表す。方法ステップの一部または全部は、たとえば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のような、ハードウェア装置によって(または、それを使用して)実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの1つまたは複数が、そのような装置によって実行され得る。
本発明のデータストリームは、デジタル記憶媒体上に記憶され得るか、またはインターネットなどのワイヤレス伝送媒体もしくは有線伝送媒体などの伝送媒体上で送信され得る。
いくつかの実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施され得る。実装形態は、それぞれの方法が実行されるようなプログラマブルコンピュータシステムと協働する(または、協働することが可能である)、その上に記憶された電子的に読取り可能な制御信号を有する、デジタル記憶媒体、たとえば、フロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはFLASH(登録商標)メモリを使用して実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であってよい。
本発明による同じ実施形態が、本明細書で説明した方法のうちの1つが実行されるようなプログラマブルコンピュータシステムと協働することが可能である、電子的に読取り可能な制御信号を有するデータ担体を備える。
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するとき、方法のうちの1つを実行するために動作可能である。プログラムコードは、たとえば、機械可読担体上に記憶され得る。
他の実施形態は、機械可読担体上に記憶された、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える。
言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するとき、本明細書で説明した方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法のさらなる実施形態は、したがって、その上に記録された、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを備える、データ担体(または、デジタル記憶媒体もしくはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体、または記録媒体は、通常、有形かつ/または非過渡的である。
本発明の方法のさらなる実施形態は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを経由して転送されるように構成されてよい。
さらなる実施形態は、処理手段、たとえば、本明細書で説明した方法のうちの1つを実行するように構成または適合された、コンピュータまたはプログラマブル論理デバイスを備える。
さらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムがその上にインストールされたコンピュータを備える。
本発明によるさらなる実施形態は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを(たとえば、電子的または光学的に)受信機に転送するように構成された装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてよい。
いくつかの実施形態では、本明細書で説明した方法の機能の一部または全部を実行するために、プログラマブル論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明した方法のうちの1つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。
本明細書で説明した装置は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して、実装され得る。
本明細書で説明した装置、または本明細書で説明した装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装され得る。
本明細書で説明した方法は、ハードウェア装置を使用して、もしくはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して、実行され得る。
本明細書で説明した方法、または本明細書で説明した装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行され得る。
上記で説明した実施形態は、本発明の原理に対する例にすぎない。本明細書で説明した構成および詳細の修正および変形が、他の当業者に明らかであることが理解される。したがって、それは間近にある特許クレームの範囲のみによって限定されることが意図され、本明細書での実施形態の記述および説明を介して提示される具体的な詳細によって限定されることは意図されない。
10 ビデオエンコーダ
12 ソースビデオ、インバウンドビデオ信号
14 データストリーム
161、162、163 ピクチャ
18 シーン
20 シーンセクション、領域
22 復号ピクチャバッファ
30 ビデオデコーダ
32 ビデオ
341、342、343 ピクチャ
36 復号ピクチャバッファ
38 ランダムアクセス距離
40 最小時間距離
42 予測ループ
44 リサンプリング
48 減算器
50 予測信号
52 ソース信号
54 予測残差信号
56 変換、スケーリング、および量子化モジュール
58 予測残差信号
60 マルチプレクサ
62 スケーリングおよび逆変換モジュール、逆量子化および逆変換モジュール
64 加算器
66 フィルタ制御分析モジュール
68 ループ内フィルタ
70 動き推定モジュール
72 インター予測モジュール
74 インター予測予測子
76 イントラ予測モジュール
78 イントラピクチャ推定モジュール
80 インター予測ブロックの予測パラメータ
82 イントラ予測ブロックの予測パラメータ
84 選択器
86 イントラ予測予測子
88 汎用コーダ制御
90 ピクチャ
92 初期リサンプリングステージ、リサンプラ
94 インバウンドピクチャ
96、98、100、102 リサンプラ
200 パックされていないピクチャ、シーン、パックされていない領域
202 パックされたピクチャ、現在のピクチャ、パックされた領域
204 ピクチャ領域
206 シーンセクション、シーン領域
208 シーンマッピング、シーン区分
220 ビデオエンコーダ
222 インバウンドビデオ、コード化ビデオ
224 データストリーム
226 シーン区分についての情報
228 シーン区分情報
230 ビデオデコーダ
234 再構成済みのビデオ
240 ブロック
242 コーディング区分情報
244 ツリールートブロック
246 リーフブロック
248 最大ブロックサイズ
250 最小ブロックサイズ、パラメータ化、境界
270 動きベクトル
272 高解像度ブロック
276 低解像度ブロック
280 ブロック
282 動きベクトル、動きベクトル候補
284 隣接ブロック
286 動きベクトル候補
290 動きベクトル
294 予測子
296 予測子ベクトル、スケーリングされた動きベクトル
302 ピクチャ
304 変換ブロック、下位領域
306 変換
309 スペクトル形状
310 シーン不連続境界面
311 量子化
313 変換
320 エンコーダ
322 ビデオ
324 データストリーム
330 デコーダ
350 変換ブロック、変換
400 コード化ピクチャ
500 ピクチャ領域

Claims (144)

  1. ビデオエンコーダであって、
    ソースビデオ(12)を受信し、
    前記ソースビデオを目標空間解像度でデータストリーム(14)の中に符号化するように構成され、
    前記ビデオエンコーダが、前記ソースビデオが前記データストリームの中に符号化されるランダムアクセス距離(38)よりも細かい時間スケール(40)での、前記目標空間解像度の変動をサポートする、
    ビデオエンコーダ。
  2. すでにコーディングされたピクチャを、
    前記目標空間解像度、および
    基準空間解像度
    のうちの1つで復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化するように構成される、
    請求項1に記載のビデオエンコーダ。
  3. すでにコーディングされたピクチャを、前記目標空間解像度で復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化し、かつすでにコーディングされたピクチャと現在コーディングされるピクチャとの間に空間解像度差がある場合には、前記現在コーディングされるピクチャによって参照されると、前記すでにコーディングされたピクチャのリサンプリングを実行するように構成される、
    請求項1または2に記載のビデオエンコーダ。
  4. 現在コーディングされるピクチャによって参照されると、前記目標空間解像度での予測子を取得するために、前記目標空間解像度での予測残差コーディングを使用して各ピクチャを符号化し、すでにコーディングされたピクチャを前記基準空間解像度で復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPB(22)がその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化し、かつ前記DPB(22)の中のすでにコーディングされたピクチャのリサンプリングを実行するように構成される、
    請求項1または2に記載のビデオエンコーダ。
  5. 復号ピクチャバッファ(22)の中に挿入されるべき現在コーディングされるピクチャの再構成済みのバージョンを取得するために、前記目標空間解像度での予測残差コーディングを使用して各ピクチャを符号化し、すでにコーディングされたピクチャを前記基準空間解像度で前記DPB(22)の中にバッファリングし、かつ前記予測残差コーディングを使用してコーディングされた予測残差の前記基準空間解像度へのリサンプリング、および前記基準空間解像度での前記リサンプリングされた予測残差を使用する、前記DPB(22)の中の前記すでにコーディングされたピクチャのうちの1つから取得される予測子の修正を実行しながら、前記DPB(22)がその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化するように構成される、
    請求項1または2に記載のビデオエンコーダ。
  6. 前記ビデオエンコーダが、レート制御および/またはコスト最小化に応じて前記目標空間解像度の前記変動を制御する(88)ように構成される、
    請求項1から5のいずれか一項に記載のビデオエンコーダ。
  7. 前記ビデオエンコーダが、前記目標空間解像度の値、またはそれぞれのピクチャにおいて前記目標空間解像度の変更が行われるかどうか、およびそうである場合、前記それぞれのピクチャにおいて前記目標空間解像度がどの前記値に変化するのかを、ピクチャごとにシグナリングすることによって、前記目標空間解像度の前記変動を前記データストリーム(14)の中でシグナリングするように構成される、
    請求項1から6のいずれか一項に記載のビデオエンコーダ。
  8. 前記ビデオエンコーダが、
    前記基準空間解像度、および/または
    前記目標空間解像度がそれに変化し得るすべての可能な値
    をシグナリングすることに加えて、前記目標空間解像度の前記変動を前記データストリームの中でシグナリングするように構成される、
    請求項2から7のいずれか一項に記載のビデオエンコーダ。
  9. 前記ビデオエンコーダが、前記データストリームの中で前記目標空間解像度の前記変動をシグナリングし、かつ
    前記目標空間解像度がそれに変化し得るすべての可能な値に関するビデオ提示用のアスペクト比、または
    どのアスペクト比がビデオ提示用に使用されるべきであるのかに関して、前記目標空間解像度がそれに変化し得る可能な値の各々に対する表示
    を前記データストリームの中でシグナリングするように構成される、
    請求項1から8のいずれか一項に記載のビデオエンコーダ。
  10. 前記ビデオエンコーダが、コーディングモードのセットのうちのどれを使用して前記ソースビデオが前記データストリームの中に符号化されるのかを、前記データストリーム(14)の中でシグナリングするように構成され、前記セットが、
    すでにコーディングされたピクチャを前記目標空間解像度で復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPB(22)がその中に直列に接続される予測ループ(42)を使用して、前記ソースビデオがそれに従って符号化される第1のモード、および
    すでにコーディングされたピクチャを基準空間解像度で復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して、前記ソースビデオがそれに従って符号化される第2のモードを備える、
    請求項1から9のいずれか一項に記載のビデオエンコーダ。
  11. 前記ビデオエンコーダが、前記目標空間解像度が変動する前記時間スケールよりも粗い時間スケールでの、第1の領域への前記ピクチャの第1の区分を、前記データストリームの中でシグナリングするように構成され、前記エンコーダが、デフォルトの方法における前記目標空間解像度の変化に、かつ/または比例的に前記目標空間解像度の前記変化に従って、前記第1の区分をスケーリングするように構成される、
    請求項1から10のいずれか一項に記載のビデオエンコーダ。
  12. 前記ビデオエンコーダが、1つの区分シグナル化モードを前記データストリームの中で示しながら、前記区分シグナル化モードのセットのうちの1つにおいて第1の領域への前記ピクチャの第1の区分を前記データストリームの中でシグナリングするように構成され、区分シグナル化モードの前記セットが、
    前記目標空間解像度が変動する前記時間スケールよりも粗い時間スケールで前記第1の区分がシグナリングされる第1の区分シグナル化モードであって、前記エンコーダが、デフォルトの方法における前記目標空間解像度の変化に、かつ/または比例的に前記目標空間解像度の前記変化に従って、前記第1の区分をスケーリングするように構成される、第1の区分シグナル化モード、および
    前記目標空間解像度が変動する時間スケールで前記第1の区分がシグナリングされる第2の区分シグナル化モードを備える、
    請求項1から10のいずれか一項に記載のビデオエンコーダ。
  13. より粗い前記時間スケールが、ビデオ範囲、またはピクチャ範囲のシーケンスのうちの1つであり、前記目標空間解像度が変動する前記時間スケールが、より粗い前記時間スケールよりも細かい、請求項11または12に記載のビデオエンコーダ。
  14. 前記第1の区分が比例的に一定となるように、前記目標空間解像度の変化に従って前記第1の区分の前記スケーリングを実行するように構成される、請求項11から13のいずれか一項に記載のビデオエンコーダ。
  15. 前記ビデオエンコーダが、前記目標空間解像度が変動する前記時間スケールよりも細かいかまたはそれに等しい所定の時間スケールでの、第1の領域への前記ピクチャの第1の区分を、前記データストリームの中でシグナリングするように構成され、
    前記ビデオエンコーダが、前記目標空間解像度が変動する前記時間スケールよりも長い時間的な期間にわたって、前記ピクチャが区分される先の第1の領域の個数を前記第1の区分が維持するモードをサポートし、前記モードを前記データストリームの中でシグナリングするように構成される、
    請求項1から10のいずれか一項に記載のビデオエンコーダ。
  16. 前記ビデオエンコーダが、前記モードに従って、前記時間的な期間にわたって前記第1の区分が比例的に一定のままとなるように構成される、
    請求項15に記載のビデオエンコーダ。
  17. 前記目標空間解像度が前記基準空間解像度を越えないように構成される、請求項1から16のいずれか一項に記載のビデオエンコーダ。
  18. 前記目標空間解像度がとり得る可能な値ごとに、前記それぞれの可能な値をとる目標空間解像度を使用して符号化されるピクチャに対するコーディング制約のセットに従いながら、または
    前記目標空間解像度がとり得る前記可能な値のうちの1つに対して、前記1つの可能な値をとる目標空間解像度を使用して符号化されるピクチャに対するコーディング制約の前記セットに従うとともに、前記1つの可能な値とは異なる可能な値をとる目標空間解像度を使用して符号化されるピクチャに対するコーディング制約の前記セットから、デフォルトの方法で導出されるコーディング制約のさらなるセットに従いながら、たとえば、
    符号化の際に満たされる並列処理制約、
    符号化の際に満たされるコードレート制約、
    符号化の際に満たされる最大動きベクトル長制約
    のうちの1つまたは複数を備える、1つまたは複数のコーディング制約の前記セットを前記データストリームの中でシグナリングするように構成される、
    請求項1から17のいずれか一項に記載のビデオエンコーダ。
  19. ビデオデコーダであって、
    データストリーム(224)からビデオ(234)を復号するように構成され、
    前記ビデオデコーダが、前記ビデオが前記データストリームの中に符号化されるランダムアクセス距離よりも細かい時間スケールで、前記ビデオが前記データストリームの中に符号化される目標空間解像度の変動を前記データストリームから導出するように構成される、
    ビデオデコーダ。
  20. すでに復号されたピクチャを、
    前記目標空間解像度、および
    基準空間解像度
    のうちの1つで復号ピクチャバッファの中にバッファリングしながら、前記DPB(36)がその中に直列に接続される予測ループ(42)を使用して前記データストリーム(224)から前記ビデオ(234)を復号するように構成される、
    請求項19に記載のビデオデコーダ。
  21. すでに復号されたピクチャを、前記目標空間解像度で復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ビデオを復号し、かつすでに復号されたピクチャと現在復号されるピクチャとの間に空間解像度差がある場合には、前記現在復号されるピクチャによって参照されると、前記すでに復号されたピクチャのリサンプリングを実行するように構成される、
    請求項19または20に記載のビデオデコーダ。
  22. 現在復号されるピクチャによって参照されると、予測子を取得するために、前記目標空間解像度での予測残差復号を使用して各ピクチャを復号し、すでに復号されたピクチャを基準空間解像度で復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ビデオを復号し、かつすでに復号されたピクチャのリサンプリングを実行するように構成される、
    請求項19または20に記載のビデオデコーダ。
  23. 現在復号されるピクチャの再構成済みのバージョンを取得するとともに、前記現在復号されるピクチャの前記再構成済みのバージョンを復号ピクチャバッファの中に挿入するために、前記目標空間解像度での予測残差復号を使用して各ピクチャを復号し、すでに復号されたピクチャを基準空間解像度で前記DPBの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ビデオを復号し、かつ前記予測残差復号を使用して復号された予測残差の前記基準空間解像度へのリサンプリング、および前記基準空間解像度での前記リサンプリングされた予測残差を使用する、前記DPBの中の前記すでに復号されたピクチャのうちの1つから取得される予測子の修正を実行するように構成される、
    請求項19または22に記載のビデオデコーダ。
  24. 前記ビデオデコーダが、ピクチャレベルで前記データストリームから前記目標空間解像度の前記変動を導出するように構成される、
    請求項19から23のいずれか一項に記載のビデオデコーダ。
  25. 前記ビデオデコーダが、前記目標空間解像度の値、またはそれぞれのピクチャにおいて前記目標空間解像度の変更が行われるかどうか、およびそうである場合、前記それぞれのピクチャにおいて前記目標空間解像度がどの前記値に変化するのかを、ピクチャごとにシグナリングする、前記データストリームの中のシグナリングから前記目標空間解像度の前記変動を導出するように構成される、
    請求項19から24のいずれか一項に記載のビデオデコーダ。
  26. 前記ビデオデコーダが、
    前記データストリームの中のシグナリングから前記目標空間解像度の前記変動を導出し、かつ
    前記シグナリングに加えて前記データストリームの中に存在するさらなるシグナリングから、
    前記基準空間解像度、および/または
    前記目標空間解像度がそれに変化し得るすべての可能な値
    を導出するように構成される、
    請求項22から25のいずれか一項に記載のビデオデコーダ。
  27. 前記ビデオデコーダが、
    前記目標空間解像度がそれに変化し得るすべての可能な値に関するビデオ提示用のアスペクト比、または
    どのアスペクト比がビデオ提示用に使用されるべきであるのかに関して、前記目標空間解像度がそれに変化し得る可能な値の各々に対する表示
    を前記データストリームから導出するように構成される、
    請求項19から26のいずれか一項に記載のビデオデコーダ。
  28. 前記ビデオデコーダが、コーディングモードのセットのうちのどれを使用して前記ビデオが前記データストリームの中に符号化されるのかを、前記データストリームから導出するように構成され、前記セットが、
    すでにコーディングされたピクチャを前記目標空間解像度で前記復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して、前記ビデオがそれに従って符号化される第1のモード、および
    すでにコーディングされたピクチャを前記基準空間解像度で前記復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して、前記ビデオがそれに従って符号化される第2のモードを備える、
    請求項19から27のいずれか一項に記載のビデオデコーダ。
  29. 前記ビデオデコーダが、前記目標空間解像度が変動する前記時間スケールよりも粗い時間スケールでの、第1の領域への前記ピクチャの第1の区分を、前記データストリームから導出するように構成され、前記デコーダが、デフォルトの方法における前記目標空間解像度の変化に、かつ/または比例的に前記目標空間解像度の前記変化に従って、前記第1の区分をスケーリングするように構成される、
    請求項19から28のいずれか一項に記載のビデオデコーダ。
  30. 前記ビデオデコーダが、前記データストリームから1つの区分シグナル化モードを導出しながら、前記区分シグナル化モードのセットのうちの1つにおいて第1の領域への前記ピクチャの第1の区分を前記データストリームから導出するように構成され、区分シグナル化モードの前記セットが、
    前記目標空間解像度が変動する前記時間スケールよりも粗い時間スケールで前記第1の区分がシグナリングされる第1の区分シグナル化モードであって、前記デコーダが、デフォルトの方法における前記目標空間解像度の変化に、かつ/または比例的に前記目標空間解像度の前記変化に従って、前記第1の区分をスケーリングするように構成される、第1の区分シグナル化モード、および
    前記目標空間解像度が変動する時間スケールで前記第1の区分がシグナリングされる第2の区分シグナル化モードを備える、
    請求項19から29のいずれか一項に記載のビデオデコーダ。
  31. より粗い前記時間スケールが、ビデオ範囲、またはピクチャ範囲のシーケンスのうちの1つであり、前記目標空間解像度が変動する前記時間スケールが、より粗い前記時間スケールよりも細かい、請求項29または30に記載のビデオデコーダ。
  32. 前記第1の区分が比例的に一定となるように、前記目標空間解像度の変化に従って前記第1の区分の前記スケーリングを実行するように構成される、請求項29から31のいずれか一項に記載のビデオデコーダ。
  33. 前記ビデオデコーダが、前記目標空間解像度が変動する前記時間スケールよりも細かいかまたはそれに等しい所定の時間スケールでの、第1の領域への前記ピクチャの第1の区分を、前記データストリームから導出するように構成され、
    前記ビデオデコーダが、前記目標空間解像度が変動する前記時間スケールよりも長い時間的な期間にわたって、前記ピクチャが区分される先の第1の領域の個数を前記第1の区分がそれに従って維持するモードの、アクティブ化のシグナリングを前記データストリームから導出する、
    請求項19から28のいずれか一項に記載のビデオデコーダ。
  34. 前記ビデオデコーダが、前記モードに従って、前記時間的な期間にわたって前記第1の区分が比例的に一定のままとなるように構成される、
    請求項33に記載のビデオデコーダ。
  35. 前記モードの前記アクティブ化の前記シグナリングが前記データストリームの中に存在する場合、前記時間的な期間にわたる前記データストリームからの前記ビデオの前記復号を前もって計画作成する際に、前記ピクチャが区分される先の第1の領域の前記個数の前記維持を活用するように構成される、請求項33または34に記載のビデオデコーダ。
  36. 前記目標空間解像度が前記基準空間解像度を越えないように構成される、請求項19から35のいずれか一項に記載のビデオデコーダ。
  37. 前記目標空間解像度がとり得る可能な値ごとに、または
    前記目標空間解像度がとり得る前記可能な値のうちの1つに対して、前記可能な値以外の他の可能な値に対するさらなるコーディング制約を、コーディング制約のセットからデフォルトの方法で導出しながら、たとえば、
    符号化の際に満たされる並列処理制約、
    符号化の際に満たされるコードレート制約、
    符号化の際に満たされる最大動きベクトル長制約
    のうちの1つまたは複数を備える、1つまたは複数のコーディング制約の前記セットを前記データストリームから導出するように構成される、
    請求項19から36のいずれか一項に記載のビデオデコーダ。
  38. ビデオエンコーダであって、
    ビデオ(222)をデータストリーム(224)の中に符号化するように構成され、ここで、前記ビデオの各ピクチャ(202)がシーン区分(208)に従ってピクチャ領域(204)に区分され、前記ピクチャ領域(204)の各々にシーン(200)のそれぞれのシーン領域(206)がマッピングされ、
    前記ビデオエンコーダが、前記シーン区分(208)の調整をサポートし、前記シーン区分を前記データストリームの中でシグナリングし、かつ前記シーン区分に依存して前記ビデオを前記データストリームの中に符号化する、
    ビデオエンコーダ。
  39. ピクチャレベル、ピクチャのシーケンスレベル、またはピクチャのグループレベルで前記シーン区分をシグナリングするように構成される、請求項38に記載のビデオエンコーダ。
  40. コーディング区分に従って前記ビデオのピクチャをブロック(240)に区分し、
    前記ブロック(204)の単位で前記ビデオを前記データストリームの中に符号化し、かつ
    前記ビデオの所定のピクチャの前記コーディング区分を前記所定のピクチャの前記シーン区分に応じて実行するように構成される、
    請求項38または39に記載のビデオエンコーダ。
  41. 前記所定のピクチャを前記ブロック(204)に区分する際に、
    前記所定のピクチャのピクチャ領域ごとに、前記ブロックのアレイの形態で前記それぞれのピクチャ領域を覆う前記ブロックを、前記それぞれのピクチャ領域の外周に沿った所定の点に位置合わせするように構成される、
    請求項40に記載のビデオエンコーダ。
  42. 前記所定のピクチャをブロックに区分する際に、
    前記所定のピクチャのピクチャ領域ごとに、前記それぞれのピクチャ領域の右および下の外周境界を越えて延びる、前記アレイの前記ブロックの部分がクロップされて、前記それぞれのピクチャ領域の左上隅に一緒に置かれた左上ブロックの左上隅を有する前記ブロックのアレイの形態で、前記それぞれのピクチャ領域を覆う前記ブロックを配置するように構成される、
    請求項40に記載のビデオエンコーダ。
  43. 所定のピクチャの前記シーン区分に応じて前記ビデオの前記所定のピクチャの前記コーディング区分を実行し、
    前記所定のピクチャを前記ブロックに区分する際に、
    すべてのブロックが前記ピクチャ領域のうちの厳密に1つを覆うように、階層型マルチツリー再分割を実行するように構成される、
    請求項40から42のいずれか一項に記載のビデオエンコーダ。
  44. コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分し、かつ
    前記シーン区分に依存して前記データストリームの中で前記コーディング区分をシグナル化するように構成される、
    請求項39から43のいずれか一項に記載のビデオエンコーダ。
  45. 前記コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分する際に、
    階層型マルチツリー再分割を使用し、かつ
    前記シーン区分に依存して前記データストリームの中で前記コーディング区分をシグナル化する際に、
    前記マルチツリー再分割の分割決定のサブセットの各々に対して、前記それぞれの分割決定の対象となる対応する領域が、前記階層型マルチツリー再分割のリーフ領域になることになるように、それが実行されるべきであるのかそれとも実行されるべきでないのかを推測することであって、前記推測が、前記それぞれの分割決定に対する分割インジケータを送ることなく、前記所定のピクチャの前記シーン区分に依存することと、
    分割決定の前記サブセットとは独立した、前記マルチツリー再分割の分割決定のさらなるサブセットの各々に対して、前記それぞれの分割決定について決定するとともに、前記データストリームの中でそれぞれの分割インジケータを介してそれをシグナル化することとを行うように構成される、
    請求項44に記載のビデオエンコーダ。
  46. コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分し、かつ
    前記ブロックの単位で前記ビデオを前記データストリームの中に符号化し、かつ
    前記ビデオの少なくとも1つのピクチャに対して、
    最小ブロックサイズ(250)、
    前記ブロックを取得するための階層分割レベルの最大数、
    最大ブロックサイズ(248)、および
    最小ブロックサイズと最大ブロックサイズとの間の差分
    のうちの1つまたは複数に関して、前記ピクチャ領域に対して前記コーディング区分のパラメータ化を個別にサポートし、
    前記パラメータ化を前記データストリームの中でシグナル化するように構成される、
    請求項38から45のいずれか一項に記載のビデオエンコーダ。
  47. 前記ビデオエンコーダが、前記ブロックの単位で前記ビデオの予測残差を符号化するように構成され、かつ/または
    前記ビデオエンコーダが、前記ブロックの単位でイントラ予測モードとインター予測モードとの間の切替えを用いて前記ビデオを符号化するように構成され、かつ/または
    前記ビデオエンコーダが、コーディングブロック、予測ブロック、もしくは変換ブロックを取得するために、前記ブロックを階層型マルチツリー再分割にかけるように構成され、かつ/または
    前記ビデオエンコーダが、1つのピクチャ内の前記ブロックを互いに独立して符号化するように構成され、かつ/または
    前記ビデオエンコーダが、前記ブロックの単位で、それぞれ、イントラ予測ブロック用およびインター予測ブロック用の予測パラメータを選択およびシグナル化しながら、前記ビデオを前記データストリームの中に符号化するように構成される、
    請求項40から46のいずれか一項に記載のビデオエンコーダ。
  48. 動き補償予測を使用して前記ビデオを前記データストリームの中に符号化し、
    参照部分(266;276)とインター予測ブロック(268;272)とのシーンサンプリング密度の差分に応じて、前記インター予測ブロック(268;272)の動きベクトル(270)によって指し示される前記参照部分において参照ピクチャをサンプリングすることによって、所定のピクチャの前記インター予測ブロックの予測子を決定するように構成される、
    請求項38から47のいずれか一項に記載のビデオエンコーダ。
  49. 前記予測子を決定する際に、所定の軸に対して、前記参照部分(266)のシーンサンプリング密度が、前記インター予測ブロック(268)のシーンサンプリング密度の整数倍2nであるかどうかをチェックし、そうである場合、前記所定の軸に沿って延びる前記参照部分(266)のラインの中のn個ごとのサンプルを、前記インター予測ブロックのフルペルサンプル位置として直接使用するように構成される、
    請求項48に記載のビデオエンコーダ。
  50. 前記予測子を決定する際に、所定の軸に対して、前記参照部分(276)のシーンサンプリング密度が、前記インター予測ブロック(272)のシーンサンプリング密度の2-nという単位分数であるかどうかをチェックし、そうである場合、前記参照部分の2-nペルサンプル位置を前記インター予測ブロック(272)のフルペルサンプル位置として使用するように構成される、
    請求項48または49に記載のビデオエンコーダ。
  51. 動き補償予測を使用して前記ビデオを前記データストリームの中に符号化し、
    隣接インター予測ブロック(284)の動きベクトル(282)を使用して、かつ前記隣接インター予測ブロックの前記動きベクトル(282)によって指し示されるピクチャ領域(204a)のシーンサンプリング密度に応じて、所定のピクチャのインター予測ブロック(280)の動きベクトル予測子(286)を決定するように構成される、
    請求項38から50のいずれか一項に記載のビデオエンコーダ。
  52. 動き補償予測を使用して前記ビデオを前記データストリームの中に符号化し、
    隣接インター予測ブロック(284)の基準点から動きベクトル(290)によって指し示されるさらなる位置の画像から、前記シーンの中のそこの画像が変位する位置を動きベクトル候補(296)がインター予測ブロック(280)の基準点から指し示すように、前記シーンの中の前記基準点の画像の間の距離に等しい距離において、前記隣接インター予測ブロック(284)の前記動きベクトル(290)から前記動きベクトル候補(296)を導出することによって、
    前記隣接インター予測ブロック(284)の前記動きベクトル(290)を使用して所定のピクチャの前記インター予測ブロック(280)の動きベクトル予測子を決定するように構成される、
    請求項38から51のいずれか一項に記載のビデオエンコーダ。
  53. フィルタを使用して前記ビデオの所定のピクチャをフィルタ処理し、
    隣接ピクチャ領域の間の境界面において、前記境界面において接触している前記ピクチャ領域の間のシーンサンプリング解像度の差分に応じて少なくとも1つのパラメータを設定することによって、前記所定のピクチャを横切る前記フィルタの前記少なくとも1つのパラメータを変動させるように構成される、
    請求項38から52のいずれか一項に記載のビデオエンコーダ。
  54. 前記フィルタの前記少なくとも1つのパラメータが、
    フィルタ強度、
    デブロッキングフィルタ範囲(300)、
    フィルタカーネルサイズ、および
    フィルタ伝達関数
    のうちの少なくとも1つに関して前記フィルタを規定する、
    請求項53に記載のビデオエンコーダ。
  55. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項53または54に記載のビデオエンコーダ。
  56. 前記ビデオエンコーダが、前記少なくとも1つのパラメータの前記変動を前記データストリームの中で明示的にシグナル化することを控えるように構成される、
    請求項53または55に記載のビデオエンコーダ。
  57. 前記ビデオエンコーダが、
    前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面(310)の位置を特定し、かつ
    前記シーン不連続境界面に応じて前記データストリームの中で前記ビデオを符号化するように構成される、
    請求項38から56のいずれか一項に記載のビデオエンコーダ。
  58. 前記ビデオエンコーダが、
    所定のピクチャの中で、前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面の位置を特定し、かつ
    前記シーン不連続境界面を横切るフィルタ処理を回避しながら、フィルタを使用して前記所定のピクチャをフィルタ処理するように構成される、
    請求項38から57のいずれか一項に記載のビデオエンコーダ。
  59. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項58に記載のビデオエンコーダ。
  60. 所定のピクチャの中で、前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面の位置を特定し、
    前記シーン不連続境界面のうちの少なくとも1つに対して、前記少なくとも1つのシーン不連続境界面に接する前記ピクチャ領域のうちの少なくとも1つに対して、前記少なくとも1つのシーン不連続境界面において前記少なくとも1つのピクチャ領域と境を接する前記所定のピクチャの部分を識別し、かつ
    前記シーン不連続境界面を越えて延びるフィルタのフィルタカーネルの一部分を前記所定のピクチャの前記部分に基づいて充填することを用いて、前記少なくとも1つのピクチャ領域をフィルタ処理しながら、前記フィルタを使用して前記所定のピクチャをフィルタ処理するように構成される、
    請求項38から59のいずれか一項に記載のビデオエンコーダ。
  61. 量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記量子化を実行し、
    前記ビデオの少なくとも1つのピクチャに対して、1つもしくは複数のピクチャ領域のグループ、または前記ピクチャ領域がそこから構成されるユニットの単位で、前記量子化パラメータの変動をサポートするように構成される、
    請求項38から60のいずれか一項に記載のビデオエンコーダ。
  62. 前記ユニットの各々に対する所定の量子化パラメータ設定のセットのうちの1つにインデックス付けすることによって、前記量子化パラメータの前記変動を前記データストリームの中でシグナリングすることであって、前記ビデオエンコーダが、前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットを前記データストリームの中でシグナリングするように構成され、かつ/または前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットが、デフォルト設定に従って設定されること、あるいは
    前記ユニットの各々に対して前記量子化パラメータに対する量子化パラメータ設定を前記データストリームの中でシグナリングすることを行うように構成される、
    請求項61に記載のビデオエンコーダ。
  63. 前記ビデオエンコーダが、変換ベースの予測コーディングを使用して前記ビデオを前記データストリームの中に符号化し、かつ予測残差のスペクトル変換に前記量子化を適用するように構成され、
    異なる空間周波数における前記スペクトル変換の変換係数が、異なる粗さで量子化されるように、前記量子化パラメータが、スペクトル変換(350)における空間周波数にわたる量子化の粗さの変動を決定する、
    請求項61または62に記載のビデオエンコーダ。
  64. 前記量子化パラメータが、前記スペクトル変換における前記空間周波数の各々に対するスケーリング係数を決定し、前記ビデオエンコーダが、前記変換係数に関して均一に、そのようにスケーリングされた各変換係数を量子化しながら、前記それぞれの変換係数に対して前記スケーリング係数の逆数を用いて各変換係数をスケーリングすることによって前記量子化を実行するように構成される、
    請求項63に記載のビデオエンコーダ。
  65. ビデオデコーダであって、
    データストリームからビデオを復号するように構成され、ここで、前記ビデオの各ピクチャが、シーン区分(208)に従ってピクチャ領域に区分され、前記ピクチャ領域の各々にそれぞれのシーン領域がマッピングされ、
    前記ビデオデコーダが、前記データストリームから前記シーン区分を導出し、かつ前記シーン区分に依存して前記データストリームから前記ビデオを復号する、
    ビデオデコーダ。
  66. ピクチャレベル、ピクチャのシーケンスレベル、またはピクチャのグループレベルで前記データストリームから前記シーン区分を導出するように構成される、請求項65に記載のビデオデコーダ。
  67. コーディング区分に従って前記ビデオのピクチャをブロックに区分し、
    前記ブロックの単位で前記データストリームから前記ビデオを復号し、かつ
    前記ビデオの所定のピクチャの前記コーディング区分を前記所定のピクチャの前記シーン区分に応じて実行するように構成される、
    請求項65または66に記載のビデオデコーダ。
  68. 前記所定のピクチャを前記ブロックに区分する際に、
    前記所定のピクチャのピクチャ領域ごとに、ブロックのアレイの形態で前記それぞれのピクチャ領域を覆う前記ブロックを、前記それぞれのピクチャ領域の外周に沿った所定の点に位置合わせするように構成される、
    請求項67に記載のビデオデコーダ。
  69. 前記所定のピクチャを前記ブロックに区分する際に、
    前記所定のピクチャのピクチャ領域ごとに、前記それぞれのピクチャ領域の右および下の外周境界を越えて延びる、前記アレイのブロックの部分がクロップされて、前記それぞれのピクチャ領域の左上隅に一緒に置かれた左上ブロックの左上隅を有する前記ブロックのアレイの形態で、前記それぞれのピクチャ領域を覆う前記ブロックを配置するように構成される、
    請求項67に記載のビデオデコーダ。
  70. 階層型マルチツリー再分割の使用によってブロックへの前記ピクチャの前記コーディング区分を実行し、かつ
    前記所定のピクチャを前記ブロックに区分する際に、
    すべてのブロックが前記ピクチャ領域のうちの厳密に1つを覆うように、前記階層型マルチツリー再分割を実行するように構成される、
    請求項67から69のいずれか一項に記載のビデオデコーダ。
  71. コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分し、かつ
    前記シーン区分に依存して前記データストリームから前記コーディング区分を復号するように構成される、
    請求項65から70のいずれか一項に記載のビデオデコーダ。
  72. 前記コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分する際に、
    階層型マルチツリー再分割を使用し、かつ
    前記シーン区分に依存して前記データストリームから前記コーディング区分を復号する際に、
    前記マルチツリー再分割の分割決定のサブセットの各々に対して、前記それぞれの分割決定の対象となる対応する領域が、前記階層型マルチツリー再分割のリーフ領域になることになるように、それが実行されるべきであるのかそれとも実行されるべきでないのかを推測することであって、前記推測が、前記それぞれの分割決定に対する分割ビットを送ることなく、前記所定のピクチャの前記シーン区分に依存することと、
    分割決定の前記サブセットとは独立した、前記マルチツリー再分割の分割決定のさらなるサブセットの各々に対して、前記データストリームの中のそれぞれの分割ビットから前記それぞれの分割決定を導出することとを行うように構成される、
    請求項71に記載のビデオデコーダ。
  73. コーディング区分に従って前記ビデオの前記ピクチャをブロックに区分し、かつ
    前記ブロックの単位で前記ビデオを前記データストリームに復号し、かつ
    前記ビデオの少なくとも1つのピクチャに対して、
    最小ブロックサイズ、
    前記ブロックを取得するための階層分割レベルの最大数、
    最大ブロックサイズ、および
    最小ブロックサイズと最大ブロックサイズとの間の差分
    のうちの1つまたは複数に関して、前記ピクチャ領域に対して前記コーディング区分のパラメータ化を前記データストリームから個別に導出するように構成される、
    請求項65から72のいずれか一項に記載のビデオデコーダ。
  74. 前記ビデオデコーダが、前記ブロックの単位で前記データストリームから前記ビデオの予測残差を復号するように構成され、かつ/または
    前記ビデオデコーダが、前記ブロックの単位でイントラ予測モードとインター予測モードとの間の切替えを用いて前記データストリームから前記ビデオを復号するように構成され、かつ/または
    前記ビデオデコーダが、コーディングブロック、予測ブロック、もしくは変換ブロックを取得するために、前記ブロックを階層型マルチツリー再分割にかけるように構成され、かつ/または
    前記デコーダが、1つのピクチャ内の前記ブロックを互いに独立して復号するように構成され、かつ/または
    前記ビデオデコーダが、前記ブロックの単位で、それぞれ、イントラ予測ブロック用およびインター予測ブロック用の予測パラメータを選択およびシグナル化しながら、前記データストリームから前記ビデオを復号するように構成される、
    請求項67から73のいずれか一項に記載のビデオデコーダ。
  75. 動き補償予測を使用して前記データストリームから前記ビデオを復号し、
    参照部分とインター予測ブロックとのシーンサンプリング密度の差分に応じて、前記インター予測ブロックの動きベクトルによって指し示される前記参照部分において参照ピクチャをサンプリングすることによって、所定のピクチャの前記インター予測ブロックの予測子を決定するように構成される、
    請求項65から74のいずれか一項に記載のビデオデコーダ。
  76. 前記予測子を決定する際に、所定の軸に対して、前記参照部分のシーンサンプリング密度が、前記インター予測ブロックのシーンサンプリング密度の整数倍2nであるかどうかをチェックし、そうである場合、前記所定の軸に沿って延びる前記参照部分のラインの中のx個ごとのサンプルを、前記インター予測ブロックのフルペルサンプル位置として直接使用するように構成される、
    請求項75に記載のビデオデコーダ。
  77. 前記予測子を決定する際に、所定の軸に対して、前記参照部分のシーンサンプリング密度が、前記インター予測ブロックのシーンサンプリング密度の2-nという単位分数であるかどうかをチェックし、そうである場合、前記参照部分の2-nペルサンプル位置を前記インター予測ブロックのフルペルサンプル位置として使用するように構成される、
    請求項75または76に記載のビデオデコーダ。
  78. 動き補償予測を使用して前記データストリームから前記ビデオを復号し、
    所定のピクチャの隣接インター予測ブロックの動きベクトルを使用して、かつ前記隣接インター予測ブロックの前記動きベクトルによって指し示されるピクチャ領域のシーンサンプリング密度に応じて、前記所定のピクチャのインター予測ブロックの動きベクトル予測子を決定するように構成される、
    請求項65から77のいずれか一項に記載のビデオデコーダ。
  79. 動き補償予測を使用して前記データストリームから前記ビデオを復号し、
    隣接インター予測ブロック(284)の基準点から動きベクトル(290)によって指し示されるさらなる位置の画像から、シーンの中のそこの画像が変位する位置を動きベクトル候補(296)がインター予測ブロック(280)の基準点から指し示すように、前記シーンの中の前記基準点の画像の間の距離に等しい距離において、前記隣接インター予測ブロック(284)の前記動きベクトル(290)から前記動きベクトル候補(296)を導出することによって、
    前記隣接インター予測ブロック(284)の前記動きベクトル(290)を使用して所定のピクチャの前記インター予測ブロック(280)の動きベクトル予測子を決定するように構成される、
    請求項65から78のいずれか一項に記載のビデオデコーダ。
  80. フィルタを使用して前記ビデオの所定のピクチャをフィルタ処理し、
    隣接ピクチャ領域の間の境界面において、前記境界面において接触している前記ピクチャ領域の間のシーンサンプリング解像度の差分に応じて少なくとも1つのパラメータを設定することによって、前記所定のピクチャを横切る前記フィルタの前記少なくとも1つのパラメータを変動させるように構成される、
    請求項65から79のいずれか一項に記載のビデオデコーダ。
  81. 前記フィルタの前記少なくとも1つのパラメータが、
    フィルタ強度、
    デブロッキングフィルタ範囲、
    フィルタカーネルサイズ、および
    フィルタ伝達関数
    のうちの少なくとも1つに関して前記フィルタを規定する、
    請求項80に記載のビデオデコーダ。
  82. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項80または81に記載のビデオデコーダ。
  83. 前記ビデオデコーダが、前記シーン区分に基づいて明示的にシグナル化することなく、前記少なくとも1つのパラメータの前記変動を前記データストリームから導出するように構成される、
    請求項80または82に記載のビデオデコーダ。
  84. 前記ビデオデコーダが、
    前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面の位置を特定し、かつ
    前記シーン不連続境界面に応じて前記データストリームから前記ビデオを復号するように構成される、
    請求項65から83のいずれか一項に記載のビデオデコーダ。
  85. 前記ビデオデコーダが、
    所定のピクチャの中で、前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面の位置を特定し、かつ
    前記シーン不連続境界面を横切るフィルタ処理を回避しながら、フィルタを使用して前記所定のピクチャをフィルタ処理するように構成される、
    請求項65から84のいずれか一項に記載のビデオデコーダ。
  86. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項85に記載のビデオデコーダ。
  87. 所定のピクチャの中で、前記シーン区分に基づいて、前記シーンの中で互いに境を接しないピクチャ領域の間のシーン不連続境界面の位置を特定し、
    前記シーン不連続境界面のうちの少なくとも1つに対して、前記少なくとも1つのシーン不連続境界面に接する前記ピクチャ領域のうちの少なくとも1つに対して、前記少なくとも1つのシーン不連続境界面において前記少なくとも1つのピクチャ領域と境を接する前記所定のピクチャの一部分を識別し、かつ
    前記シーン不連続境界面を越えて延びるフィルタのフィルタカーネルの一部分を前記所定のピクチャの前記部分に基づいて充填することを用いて、前記少なくとも1つのピクチャ領域をフィルタ処理しながら、前記フィルタを使用して前記所定のピクチャをフィルタ処理するように構成される、
    請求項65から86のいずれか一項に記載のビデオデコーダ。
  88. 逆量子化によって逆転された量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記逆量子化を実行し、
    前記ビデオの少なくとも1つのピクチャに対して、1つもしくは複数のピクチャ領域のグループ、または前記ピクチャ領域がそこから構成されるユニットの単位で、前記量子化パラメータを変動させるように構成される、
    請求項65から87のいずれか一項に記載のビデオデコーダ。
  89. 前記ユニットの各々に対する所定の量子化パラメータ設定のセットのうちの1つにインデックス付けすることによって、前記量子化パラメータの前記変動を前記データストリームから導出することであって、前記ビデオデコーダが、前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットを前記データストリームから導出するように構成され、かつ/または前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットが、デフォルト設定に従って設定されること、あるいは
    前記ユニットの各々に対して前記量子化パラメータに対する量子化パラメータ設定を前記データストリームから復号することを行うように構成される、
    請求項88に記載のビデオデコーダ。
  90. 前記ビデオデコーダが、変換ベースの予測復号を使用して前記データストリームから前記ビデオを復号し、かつ予測残差のスペクトル変換に前記逆量子化を適用するように構成され、
    異なる空間周波数における前記スペクトル変換の変換係数が、異なる粗さで逆量子化されるように、前記量子化パラメータが、スペクトル変換における空間周波数にわたる量子化の粗さの変動を決定する、
    請求項88または89に記載のビデオデコーダ。
  91. 前記量子化パラメータが、前記スペクトル変換における前記空間周波数の各々に対するスケーリング係数を決定し、前記ビデオデコーダが、前記変換係数に関して均一に、そのようにスケーリングされた各変換係数を逆量子化しながら、前記それぞれの変換係数に対して前記スケーリング係数を用いて各変換係数をスケーリングすることによって前記量子化を実行するように構成される、
    請求項90に記載のビデオデコーダ。
  92. ビデオエンコーダであって、
    ソースビデオ(12)を受信し、
    前記ソースビデオ(12)を目標空間解像度でデータストリーム(14)の中に符号化するように構成され、
    前記ビデオエンコーダが、前記ソースビデオのピクチャ(16)よりも小さい、前記ピクチャのピクチャ領域(500)の単位で、前記目標空間解像度の変動をサポートし、前記変動を前記データストリームの中でシグナリングするように構成される、
    ビデオエンコーダ。
  93. すでにコーディングされたピクチャを、
    基準空間解像度で、
    復号ピクチャバッファ(22)の中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化するように構成される、
    請求項92に記載のビデオエンコーダ。
  94. 現在コーディングされるピクチャによって参照されると、予測子を取得するために、前記目標空間解像度での予測残差コーディングを使用して各ピクチャを符号化し、すでにコーディングされたピクチャを前記基準空間解像度で復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループ(42)を使用して前記ソースビデオを符号化し、かつすでにコーディングされたピクチャのリサンプリングを実行するように構成される、
    請求項92または93に記載のビデオエンコーダ。
  95. 復号ピクチャバッファの中に挿入されるべき現在コーディングされるピクチャの再構成済みのバージョンを取得するために、前記目標空間解像度での予測残差コーディングを使用して各ピクチャを符号化し、すでにコーディングされたピクチャを前記基準空間解像度で前記DPBの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記ソースビデオを符号化し、かつ前記予測残差コーディングを使用してコーディングされた予測残差の前記基準空間解像度へのリサンプリング、および前記基準空間解像度での前記リサンプリングされた予測残差を使用する、前記DPBの中の前記すでにコーディングされたピクチャのうちの1つから取得される予測子の修正を実行するように構成される、
    請求項92または94に記載のビデオエンコーダ。
  96. 前記ビデオエンコーダが、所定のピクチャ領域またはその一部分に対して、前記所定のピクチャ領域内またはその前記部分内での前記リサンプリングのために使用されるべきサンプリングフィルタのセットのうちのサンプリングフィルタをシグナリングするように構成される、
    請求項94または95に記載のビデオエンコーダ。
  97. ピクチャレベル、ピクチャのシーケンスレベル、またはピクチャのグループレベルで、前記ピクチャ領域への前記ピクチャの区分を前記データストリームの中でシグナリングするように構成される、請求項92から96のいずれか一項に記載のビデオエンコーダ。
  98. コーディング区分に従って前記ビデオのピクチャをブロックに区分し、
    前記ブロックの単位で前記ビデオを前記データストリームの中に符号化し、かつ
    前記目標空間解像度の前記変動に応じて前記ビデオの所定のピクチャの前記コーディング区分を実行するように構成される、
    請求項92から97のいずれか一項に記載のビデオエンコーダ。
  99. 前記ピクチャをツリールートブロックに区分すること、および
    前記ブロックを取得するために前記ツリールートブロックを階層型マルチツリー再分割にかけることによって、
    前記ブロックへの前記ピクチャの前記コーディング区分を実行するように構成され、
    前記ピクチャ領域が、前記ツリールートブロック(402)のうちの1つまたは複数のセットである、
    請求項98に記載のビデオエンコーダ。
  100. 前記それぞれのツリールートブロックが位置する前記ピクチャ領域の前記目標空間解像度に応じて、
    最小ブロックサイズ、
    前記ブロックを取得するための階層分割レベルの最大数、
    最大ブロックサイズ、および
    最小ブロックサイズと最大ブロックサイズとの間の差分
    のうちの1つまたは複数に関して、前記ツリールートブロックの各々に対して前記階層型マルチツリー再分割をパラメータ化するように構成される、
    請求項98または99に記載のビデオエンコーダ。
  101. 前記ビデオエンコーダが、前記ブロックの単位で前記ビデオの予測残差を符号化するように構成され、かつ/または
    前記ビデオエンコーダが、前記ブロックの単位でイントラ予測モードとインター予測モードとの間の切替えを用いて前記ビデオを符号化するように構成され、かつ/または
    前記ビデオエンコーダが、前記ブロックの単位で、それぞれ、イントラ予測ブロック用およびインター予測ブロック用の予測パラメータを選択およびシグナル化しながら、前記ビデオを前記データストリームの中に符号化するように構成される、
    請求項99または100に記載のビデオエンコーダ。
  102. フィルタを使用して前記ビデオの所定のピクチャをフィルタ処理し、
    前記ピクチャ領域の単位で、前記所定のピクチャを横切る前記フィルタの少なくとも1つのパラメータを変動させるとともに、前記変動を前記データストリームの中でシグナリングするように構成される、
    請求項92から101のいずれか一項に記載のビデオエンコーダ。
  103. 前記フィルタの前記少なくとも1つのパラメータが、
    フィルタ強度、
    デブロッキングフィルタ範囲、
    フィルタカーネルサイズ、および
    フィルタ伝達関数
    のうちの少なくとも1つに関して前記フィルタを規定する、
    請求項102に記載のビデオエンコーダ。
  104. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項102または103に記載のビデオエンコーダ。
  105. 前記ビデオエンコーダが、レート制御および/またはコスト最小化に応じて前記目標空間解像度の前記変動を制御する(88)ように構成される、
    請求項92から104のいずれか一項に記載のビデオエンコーダ。
  106. 前記ビデオエンコーダが、前記目標空間解像度で前記ソースビデオ(12)の予測残差を前記データストリーム(14)の中に符号化するように構成される、
    請求項92から105のいずれか一項に記載のビデオエンコーダ。
  107. 前記ビデオエンコーダが、前記ピクチャが区分される先のブロックの単位で前記変動をシグナリングすることによって、前記変動を前記データストリームの中でシグナリングするように構成される、
    請求項92から106のいずれか一項に記載のビデオエンコーダ。
  108. 前記ブロックが、変動するサイズのものであり、前記ビデオエンコーダが、所定のブロックサイズ範囲の外側のブロックサイズのブロックに対して、前記目標空間解像度を基準空間解像度に設定し、かつ前記所定のブロックサイズ範囲内のブロックサイズのブロックごとに、前記目標空間解像度を前記データストリームの中でシグナリングするように構成される、
    請求項107に記載のビデオエンコーダ。
  109. 前記ビデオエンコーダが、前記所定のブロックサイズ範囲を前記データストリームの中でシグナリングするように構成される、
    請求項108に記載のビデオエンコーダ。
  110. 前記ビデオエンコーダが、
    前記目標空間解像度の別の可能な値と比較した前記目標空間解像度の可能な値のうちの1つを使用して符号化されるピクチャ領域に対して使用されるべき量子化ステップサイズオフセットを、量子化において使用するとともに前記データストリームの中でシグナリングするように構成される、
    請求項92から109のいずれか一項に記載のビデオエンコーダ。
  111. ビデオデコーダであって、
    データストリームからビデオを復号するように構成され、
    前記ビデオデコーダが、ソースビデオのピクチャよりも小さい、前記ピクチャのピクチャ領域の単位で、前記ビデオが前記データストリームの中に符号化される目標空間解像度の変動を前記データストリームから導出する、
    ビデオデコーダ。
  112. すでに復号されたピクチャを、
    基準空間解像度で、
    復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ビデオを復号するように構成される、
    請求項111に記載のビデオデコーダ。
  113. 現在復号されるピクチャによって参照されると、予測子を取得するために、前記目標空間解像度での予測残差復号を使用して前記データストリームから各ピクチャを復号し、すでに復号されたピクチャを前記基準空間解像度で復号ピクチャバッファの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ビデオを復号し、かつすでに復号されたピクチャのリサンプリングを実行するように構成される、
    請求項111または112に記載のビデオデコーダ。
  114. 現在復号されるピクチャの再構成済みのバージョンを取得するとともに、前記現在復号されるピクチャの前記再構成済みのバージョンを復号ピクチャバッファの中に挿入するために、前記目標空間解像度での予測残差復号を使用して前記データストリームから各ピクチャを復号し、すでに復号されたピクチャを前記基準空間解像度で前記DPBの中にバッファリングしながら、前記DPBがその中に直列に接続される予測ループを使用して前記データストリームから前記ソースビデオを復号し、かつ前記予測残差復号を使用して復号された予測残差の前記基準空間解像度へのリサンプリング、および前記基準空間解像度での前記リサンプリングされた予測残差を使用する、前記DPBの中の前記すでに復号されたピクチャのうちの1つから取得される予測子の修正を実行するように構成される、
    請求項111または113に記載のビデオデコーダ。
  115. 前記ビデオデコーダが、所定のピクチャ領域またはその一部分に対して、前記所定のピクチャ領域内またはその前記部分内での前記リサンプリングのために使用されるべきサンプリングフィルタのセットのうちのサンプリングフィルタを導出するように構成される、
    請求項113または114に記載のビデオデコーダ。
  116. ピクチャレベル、ピクチャのシーケンスレベル、またはピクチャのグループレベルで、前記ピクチャ領域への前記ピクチャの区分を前記データストリームから導出するように構成される、請求項111から115のいずれか一項に記載のビデオデコーダ。
  117. コーディング区分に従って前記ビデオのピクチャをブロックに区分し、
    前記ブロックの単位で前記データストリームから前記ビデオを復号し、かつ
    前記目標空間解像度の前記変動に応じて前記ビデオの所定のピクチャの前記コーディング区分を実行するように構成される、
    請求項111から116のいずれか一項に記載のビデオデコーダ。
  118. 前記ピクチャをツリールートブロックに区分すること、および
    前記ブロックを取得するために前記ツリールートブロックを階層型マルチツリー再分割にかけることによって、
    前記ブロックへの前記ピクチャの前記コーディング区分を実行するように構成され、
    前記ピクチャ領域が、前記ツリールートブロックのうちの1つまたは複数のセットである、
    請求項117に記載のビデオデコーダ。
  119. 前記それぞれのツリールートブロックが位置する前記ピクチャ領域の前記目標空間解像度に応じて、
    最小ブロックサイズ、
    前記ブロックを取得するための階層分割レベルの最大数、
    最大ブロックサイズ、および
    最小ブロックサイズと最大ブロックサイズとの間の差分
    のうちの1つまたは複数に関して、前記ツリールートブロックの各々に対して前記階層型マルチツリー再分割をパラメータ化するように構成される、
    請求項117または118に記載のビデオデコーダ。
  120. 前記ビデオデコーダが、前記ブロックの単位で前記ビデオの予測残差を復号するように構成され、かつ/または
    前記ビデオデコーダが、前記ブロックの単位でイントラ予測モードとインター予測モードとの間の切替えを用いて前記データストリームから前記ビデオを復号するように構成され、かつ/または
    前記ビデオデコーダが、前記ブロックの単位で、それぞれ、イントラ予測ブロック用およびインター予測ブロック用の予測パラメータを選択およびシグナル化しながら、前記データストリームから前記ビデオを復号するように構成される、
    請求項118または119に記載のビデオデコーダ。
  121. フィルタを使用して前記ビデオの所定のピクチャをフィルタ処理し、
    前記ピクチャ領域の単位で、前記所定のピクチャを横切る前記フィルタの少なくとも1つのパラメータを変動させるとともに、前記変動を前記データストリームから導出するように構成される、
    請求項111から120のいずれか一項に記載のビデオデコーダ。
  122. 前記フィルタの前記少なくとも1つのパラメータが、
    フィルタ強度、
    デブロッキングフィルタ範囲、
    フィルタカーネルサイズ、および
    フィルタ伝達関数
    のうちの少なくとも1つに関して前記フィルタを規定する、
    請求項121に記載のビデオデコーダ。
  123. 前記フィルタが、
    ループ内フィルタ、
    デブロッキングフィルタ、
    ポストフィルタ
    のうちの1つである、
    請求項121または122に記載のビデオデコーダ。
  124. 前記ビデオデコーダが、前記データストリーム(14)から前記目標空間解像度で前記ソースビデオ(12)の予測残差を復号するように構成される、
    請求項111から123のいずれか一項に記載のビデオデコーダ。
  125. 前記ビデオデコーダが、前記ピクチャが区分される先のブロックの単位で前記データストリームから前記変動を導出するように構成される、
    請求項111から124のいずれか一項に記載のビデオデコーダ。
  126. 前記ブロックが、変動するサイズのものであり、前記ビデオデコーダが、所定のブロックサイズ範囲の外側のブロックサイズのブロックに対して、前記目標空間解像度を基準空間解像度に設定し、かつ前記所定のブロックサイズ範囲内のブロックサイズのブロックごとに、前記データストリームから前記目標空間解像度を導出するように構成される、
    請求項125に記載のビデオデコーダ。
  127. 前記ビデオデコーダが、前記所定のブロックサイズ範囲を前記データストリームから導出するように構成される、
    請求項126に記載のビデオデコーダ。
  128. 前記ビデオデコーダが、前記目標空間解像度の別の可能な値と比較した前記目標空間解像度の可能な値のうちの1つを使用して復号されるピクチャ領域に対する量子化ステップサイズオフセットを、前記データストリームから導出するとともに逆量子化において使用するように構成される、
    請求項111から127のいずれか一項に記載のビデオデコーダ。
  129. ピクチャを符号化するためのエンコーダであって、
    量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記量子化を実行し、
    前記ピクチャが再分割される先のピクチャ領域の単位で、前記量子化パラメータの変動をデータストリームの中でシグナリングするように構成される、
    エンコーダ。
  130. 前記ピクチャ領域の各々に対する所定の量子化パラメータ設定のセットのうちの1つにインデックス付けすることによって、前記量子化パラメータの前記変動を前記データストリームの中でシグナリングすることであって、前記エンコーダが、前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットを前記データストリームの中でシグナリングするように構成され、かつ/または前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットが、デフォルト設定に従って設定されること、あるいは
    前記ピクチャ領域の各々に対して前記量子化パラメータに対する量子化パラメータ設定を前記データストリームの中でシグナリングすることを行うように構成される、
    請求項129に記載のエンコーダ。
  131. 前記エンコーダが、変換ベースの予測コーディングを使用して前記ピクチャを前記データストリームの中に符号化し、かつ予測残差のスペクトル変換に前記量子化を適用するように構成され、
    異なる空間周波数における前記スペクトル変換の変換係数が、異なる粗さで量子化されるように、前記量子化パラメータが、前記スペクトル変換における空間周波数にわたる量子化の粗さの変動を決定する、
    請求項129または130に記載のエンコーダ。
  132. データストリームからピクチャを復号するためのデコーダであって、
    逆量子化によって逆転される量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記逆量子化を実行し、
    前記ピクチャが再分割される先のピクチャ領域の単位で、前記量子化パラメータの変動を前記データストリームから導出するように構成される、
    デコーダ。
  133. 前記ピクチャ領域の各々に対する所定の量子化パラメータ設定のセットのうちの1つへのインデックスを前記データストリームから導出することによって、前記量子化パラメータの前記変動を前記データストリームから導出することであって、前記デコーダが、前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットを前記データストリームから導出するように構成され、かつ/または前記量子化パラメータに対する所定の量子化パラメータ設定の前記セットが、デフォルト設定に従って設定されること、あるいは
    前記ピクチャ領域の各々に対して前記量子化パラメータに対する量子化パラメータ設定を前記データストリームから復号することを行うように構成される、
    請求項132に記載のデコーダ。
  134. 前記デコーダが、変換ベースの予測復号を使用して前記データストリームから前記ピクチャを復号し、かつ予測残差のスペクトル変換に前記逆量子化を適用するように構成され、
    異なる空間周波数における前記スペクトル変換の変換係数が、異なる粗さで逆量子化されるように、前記量子化パラメータが、前記スペクトル変換における空間周波数にわたる量子化の粗さの変動を決定する、
    請求項132または133に記載のデコーダ。
  135. ビデオ符号化のための方法であって、
    ソースビデオ(12)を受信するステップと、
    前記ソースビデオを目標空間解像度でデータストリーム(14)の中に符号化するステップと、を備え、
    目標空間解像度が、前記ソースビデオが前記データストリームの中に符号化されるランダムアクセス距離(38)よりも細かい時間スケール(40)で変動させられる、
    方法。
  136. ビデオ復号のための方法であって、
    データストリーム(224)からビデオ(234)を復号するステップと、
    前記ビデオが前記データストリームの中に符号化されるランダムアクセス距離よりも細かい時間スケールで前記ビデオが前記データストリームの中に符号化される目標空間解像度の変動を、前記データストリームから導出するステップと
    を備える方法。
  137. ビデオ符号化のための方法であって、
    ビデオ(222)をデータストリーム(224)の中に符号化するステップを備え、ここで、前記ビデオの各ピクチャ(202)が、シーン区分(208)に従ってピクチャ領域(204)に区分され、前記ピクチャ領域(204)の各々にシーン(200)のそれぞれのシーン領域(206)がマッピングされ、
    前記シーン区分(208)が調整され、前記シーン区分が、前記データストリームの中でシグナリングされ、前記ビデオが、前記シーン区分に依存して前記データストリームの中に符号化される、
    方法。
  138. ビデオ復号のための方法であって、
    データストリームからビデオを復号するステップを備え、ここで、前記ビデオの各ピクチャがピクチャ領域に区分され、前記ピクチャ領域の各々にそれぞれのシーン領域がマッピングされ、
    前記区分が、前記データストリームから導出され、前記ビデオが、前記シーン区分に依存して前記データストリームから復号される、
    方法。
  139. ビデオ符号化のための方法であって、
    ソースビデオ(12)を受信するステップと、
    前記ソースビデオ(12)を目標空間解像度でデータストリーム(14)の中に符号化するステップと、を備え、
    前記目標空間解像度が、前記ソースビデオのピクチャ(16)よりも小さい、前記ピクチャのピクチャ領域(500)の単位で変動させられ、前記変動が、前記データストリームの中でシグナリングされる、
    方法。
  140. ビデオ復号のための方法であって、
    データストリームからビデオを復号するステップと、
    ソースビデオのピクチャよりも小さい、前記ピクチャのピクチャ領域の単位で、前記ビデオが前記データストリームの中に符号化される目標空間解像度の変動を前記データストリームから導出するステップと
    を備える方法。
  141. ピクチャを符号化するための方法であって、
    量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記量子化を実行するステップと、
    前記ピクチャが再分割される先のピクチャ領域の単位で、前記量子化パラメータの変動をデータストリームの中でシグナリングするステップと
    を備える方法。
  142. データストリームからピクチャを復号するための方法であって、
    逆量子化によって逆転される量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータに従ってパラメータ化された前記逆量子化を実行するステップと、
    前記ピクチャが再分割される先のピクチャ領域の単位で、前記量子化パラメータの変動を前記データストリームから導出するステップと
    を備える方法。
  143. コンピュータ上で実行しているとき、請求項135から142のいずれか一項に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
  144. 請求項135、137、139、および141のいずれか一項に記載の方法によって生成されるデータストリーム。
JP2022109027A 2018-02-20 2022-07-06 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング Active JP7466590B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024018033A JP2024050874A (ja) 2018-02-20 2024-02-08 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP18157718.0 2018-02-20
EP18157718 2018-02-20
JP2020566321A JP7104485B2 (ja) 2018-02-20 2019-02-18 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
PCT/EP2019/053962 WO2019162230A1 (en) 2018-02-20 2019-02-18 Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020566321A Division JP7104485B2 (ja) 2018-02-20 2019-02-18 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024018033A Division JP2024050874A (ja) 2018-02-20 2024-02-08 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Publications (2)

Publication Number Publication Date
JP2022133406A true JP2022133406A (ja) 2022-09-13
JP7466590B2 JP7466590B2 (ja) 2024-04-12

Family

ID=61256611

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020566321A Active JP7104485B2 (ja) 2018-02-20 2019-02-18 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
JP2022109027A Active JP7466590B2 (ja) 2018-02-20 2022-07-06 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
JP2024018033A Pending JP2024050874A (ja) 2018-02-20 2024-02-08 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020566321A Active JP7104485B2 (ja) 2018-02-20 2019-02-18 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024018033A Pending JP2024050874A (ja) 2018-02-20 2024-02-08 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング

Country Status (6)

Country Link
US (2) US11616979B2 (ja)
EP (1) EP3756347A1 (ja)
JP (3) JP7104485B2 (ja)
KR (1) KR20200119877A (ja)
CN (2) CN117857812A (ja)
WO (1) WO2019162230A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3900346A4 (en) * 2018-12-31 2022-05-18 Huawei Technologies Co., Ltd. ADAPTIVE RESOLUTION CHANGE SUPPORT IN VIDEO ENCODING
US11290734B2 (en) 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
US11206404B2 (en) * 2019-07-08 2021-12-21 Fastvdo Llc Adaptive resolution change in video streams
CN110662060B (zh) * 2019-09-27 2024-02-09 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
US20230052774A1 (en) * 2019-12-05 2023-02-16 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for region-based differential image encoding/decoding
CN114631319A (zh) * 2019-12-13 2022-06-14 索尼集团公司 图像处理装置和方法
JP2023508895A (ja) 2019-12-30 2023-03-06 アリババ グループ ホウルディング リミテッド 仮想境界及びラップアラウンド動き補償をシグナリングするための方法
US11589052B2 (en) 2020-06-10 2023-02-21 Tencent America LLC Techniques for bitstream extraction for subpicture in coded video stream
EP4256788A1 (en) * 2020-12-04 2023-10-11 Beijing Dajia Internet Information Technology Co., Ltd. Network based image filtering for video coding
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer
WO2023048500A1 (ko) * 2021-09-23 2023-03-30 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
US11924467B2 (en) * 2021-11-16 2024-03-05 Google Llc Mapping-aware coding tools for 360 degree videos
CN113852823B (zh) * 2021-11-30 2022-03-01 深圳市通恒伟创科技有限公司 一种基于物联网的图像数据上传方法、系统和装置
KR102559540B1 (ko) 2022-09-19 2023-07-25 문건희 토류벽시스템용 토류벽체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017108815A1 (en) * 2015-12-21 2017-06-29 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY129665A (en) * 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
JP2005117196A (ja) * 2003-10-03 2005-04-28 Matsushita Electric Ind Co Ltd 映像符号化方法
EP1768401A4 (en) * 2004-07-06 2009-12-16 Panasonic Corp CODING OR DECODING DEVICE AND RECORDING / REPLAYING DEVICE
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
KR100567157B1 (ko) * 2005-02-11 2006-04-04 비디에이터 엔터프라이즈 인크 모바일 환경에서의 플레이리스트를 통한 다수 파일의 스트리밍 방법 및 그 시스템
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
WO2007081908A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
WO2008053029A2 (en) * 2006-10-31 2008-05-08 Gottfried Wilhelm Leibniz Universität Hannover Method for concealing a packet loss
ATE484155T1 (de) * 2007-06-29 2010-10-15 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert- verfeinerungsskalierbarkeit unterstützt
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US8761266B2 (en) * 2008-11-12 2014-06-24 Cisco Technology, Inc. Processing latticed and non-latticed pictures of a video program
US8279926B2 (en) * 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9674532B2 (en) * 2012-06-24 2017-06-06 Lg Electronics Inc. Image decoding method using information on a random access picture and apparatus using same
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
CN104704850A (zh) * 2012-10-09 2015-06-10 思科技术公司 对位流中的图像格式转换的在先解码的图像的输出管理
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US20150103878A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US9832481B2 (en) * 2014-01-03 2017-11-28 Qualcomm Incorporated Support of base layer of a different codec in multi-layer video coding
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US9794595B2 (en) * 2014-03-18 2017-10-17 Qualcomm Incorporated Derivation of end of sequence NAL unit information for multi-layer bitstreams
US9883214B2 (en) * 2015-03-31 2018-01-30 Dialogic Corporation Efficient approach to dynamic frame size and frame rate adaptation
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
US9967577B2 (en) * 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
CN116489348A (zh) * 2015-11-20 2023-07-25 韩国电子通信研究院 对图像进行编/解码的方法和装置
JP6909223B2 (ja) * 2016-01-25 2021-07-28 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間スケーラブル・ビデオ・コーディング
JP7026627B2 (ja) * 2016-02-16 2022-02-28 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的な適応ストリーミング

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017108815A1 (en) * 2015-12-21 2017-06-29 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEXIS MICHAEL TOURAPIS, AND LOWELL WINGER: "Reduced Resolution Update Mode for Enhanced Compression", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0447, JPN6021043667, January 2012 (2012-01-01), pages 1 - 4, ISSN: 0005077989 *
KIRAN MISRA, ET AL.: "AHG18/21: Absolute signaling for resolution switching", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G715, JPN6021043672, November 2011 (2011-11-01), pages 1 - 5, ISSN: 0005077987 *
PHILIPPE BORDES, AND PIERRE ANDRIVON: "AHG18: Resolution Adaptation Coding (ARC) using single resolution in DPB", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0321-r1, JPN6021043670, January 2012 (2012-01-01), pages 1 - 11, ISSN: 0005077988 *
THOMAS DAVIES: "Resolution switching for coding efficiency and resilience", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F158, JPN6021043677, July 2011 (2011-07-01), pages 1 - 11, ISSN: 0005077986 *

Also Published As

Publication number Publication date
WO2019162230A1 (en) 2019-08-29
US20230171425A1 (en) 2023-06-01
JP2021514168A (ja) 2021-06-03
EP3756347A1 (en) 2020-12-30
CN117857812A (zh) 2024-04-09
US20200374552A1 (en) 2020-11-26
JP7104485B2 (ja) 2022-07-21
CN111989920A (zh) 2020-11-24
JP7466590B2 (ja) 2024-04-12
JP2024050874A (ja) 2024-04-10
KR20200119877A (ko) 2020-10-20
US11616979B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
JP7466590B2 (ja) 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
WO2021088855A1 (en) Signaling high-level information in video and image coding
US9686561B2 (en) Inter-component filtering
CN109068135B (zh) 视频编解码的方法和设备
TW202002631A (zh) 用於視訊寫碼及處理的解區塊濾波器
US20120230423A1 (en) Line memory reduction for video coding and decoding
EP2651137A2 (en) Intra prediction method and encoding apparatus and decoding apparatus using same
WO2016196043A1 (en) Slice level intra block copy and other video coding improvements
US20160080753A1 (en) Method and apparatus for processing video signal
US20130044814A1 (en) Methods and apparatus for adaptive interpolative intra block encoding and decoding
CA2951522A1 (en) Extensible design of nesting supplemental enhancement information (sei) messages
US20230058283A1 (en) Video encoding and decoding based on resampling chroma signals
KR20220045955A (ko) 위치 기반 계수 스케일링
JP2024001318A (ja) プロファイルおよびレベル依存コーディングオプションによる符号化器および復号器、符号化方法および復号方法
EP4109901A1 (en) Image encoding and decoding based on resampling of chroma signal
US11785214B2 (en) Specifying video picture information
CN115699756A (zh) 视频编解码中的缩放窗口
EP4101172A1 (en) Constraints for inter-layer referencing
CN115552899A (zh) 视频图片中的片的指示
CN115843431A (zh) 对视频图片中的子图片的数量的约束
CN113841403A (zh) 影像解码装置中使用的逆量化装置和方法
TWI771705B (zh) 用於改良式無損壓縮之編碼器、解碼器、方法及電腦程式
WO2021134017A1 (en) Methods and apparatuses for reference picture resampling
CN115462085A (zh) 视频编解码中滤波的高级控制
CN115836524A (zh) 自适应环路滤波

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240402

R150 Certificate of patent or registration of utility model

Ref document number: 7466590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150