JP2022544157A - 適応分解能管理予測再スケーリング - Google Patents

適応分解能管理予測再スケーリング Download PDF

Info

Publication number
JP2022544157A
JP2022544157A JP2022507674A JP2022507674A JP2022544157A JP 2022544157 A JP2022544157 A JP 2022544157A JP 2022507674 A JP2022507674 A JP 2022507674A JP 2022507674 A JP2022507674 A JP 2022507674A JP 2022544157 A JP2022544157 A JP 2022544157A
Authority
JP
Japan
Prior art keywords
block
decoder
scaled
bitstream
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022507674A
Other languages
English (en)
Other versions
JPWO2021026324A5 (ja
Inventor
ハリ カルバ,
ヴェリボール アジッチ,
ボリヴォイェ ファート,
Original Assignee
オーピー ソリューションズ, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーピー ソリューションズ, エルエルシー filed Critical オーピー ソリューションズ, エルエルシー
Priority claimed from PCT/US2020/045157 external-priority patent/WO2021026324A1/en
Publication of JP2022544157A publication Critical patent/JP2022544157A/ja
Publication of JPWO2021026324A5 publication Critical patent/JPWO2021026324A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

方法は、基準フレームを受信することと、現在のブロックに関して、スケーリング定数を決定することと、基準フレームおよびスケーリング定数を使用して、スケーリングされた基準ブロックを決定することと、スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定することと、再スケーリングされた予測ブロックを使用して、現在のブロックのピクセルデータを再構築することとを含む。関連する装置、システム、技法、および物品もまた、説明される。

Description

(関連出願の相互参照)
本願は、参照することによってその全体として本明細書に組み込まれる、2019年8月6日に出願され、「ADAPTIVE RESOLUTION MANAGEMENT PREDICTION RESCALING」と題された、米国仮特許出願第62/883,454号の優先権の利益を主張する。
本発明は、概して、ビデオ圧縮の分野に関する。特に、本発明は、適応分解能管理予測再スケーリングを対象とする。
ビデオコーデックは、デジタルビデオを圧縮または解凍する、電子回路もしくはソフトウェアを含み得る。これは、非圧縮ビデオを圧縮フォーマットに転換し、逆もまた同様であり得る。ビデオ圧縮の文脈において、ビデオを圧縮する、および/またはそのある機能を実施するデバイスは、典型的には、エンコーダと呼ばれ得、ビデオを解凍する、ならびに/もしくはそのある機能を実施するデバイスは、デコーダと呼ばれ得る。
圧縮データのフォーマットは、標準的なビデオ圧縮仕様に適合し得る。圧縮は、圧縮されたビデオが元のビデオの中に存在するある情報を欠き得る点で損失的であり得る。この結果は、解凍されたビデオが、元のビデオを正確に再構築するための不十分な情報が存在し得るため、元の非圧縮ビデオより低い品質を有し得ることを含み得る。
ビデオ品質と、例えば、ビットレートによって決定されるような、ビデオを表すために使用されるデータ量と、エンコーディングアルゴリズムおよびデコーディングアルゴリズムの複雑性と、データ損失ならびに誤差に対する感度と、編集のし易さと、ランダムアクセスと、限定ではないが、待ち時間等のエンドツーエンド遅延と、同等物との間に、複雑な関係が存在し得る。
運動補償は、ビデオにおけるカメラおよび/またはオブジェクトの運動を考慮することによって、直前ならびに/もしくは将来のフレーム等の基準フレームを前提として、ビデオフレームまたはその一部を予測するためのアプローチを含み得る。これは、ビデオ圧縮のためのビデオデータのエンコーディングおよびデコーディングにおいて、例えば、(H.264とも称される)動画専門家集団(MPEG)のアドバンスドビデオコーディング(AVC)規格を使用するエンコーディングならびにデコーディングにおいて採用され得る。運動補償は、基準ピクチャの現在のピクチャへの変換の観点からピクチャを記述し得る。基準ピクチャは、現在のピクチャと比較したとき、時間的に直前のものである、および/または現在のピクチャと比較したとき、将来からのものであり得る。
ある側面では、デコーダは、基準フレームを受信し、現在のブロックに関して、スケーリング定数を決定し、基準フレームおよびスケーリング定数を使用して、スケーリングされた基準ブロックを決定し、スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定し、再スケーリングされた予測ブロックを使用して、現在のブロックのピクセルデータを再構築するように構成される、回路網を含む。
別の側面では、方法は、基準フレームを受信することと、現在のブロックに関して、スケーリング定数を決定することと、基準フレームおよびスケーリング定数を使用して、スケーリングされた基準ブロックを決定することと、スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定することと、再スケーリングされた予測ブロックを使用して、現在のブロックのピクセルデータを再構築することとを含む。
本明細書に説明される主題の1つまたはそれを上回る変形例の詳細が、付随の図面および下記の説明に記載される。本明細書に説明される主題の他の特徴および利点が、説明ならびに図面から、および請求項から明白となるであろう。
本発明を例証する目的のために、図面は、本発明の1つまたはそれを上回る実施形態の側面を示す。しかしながら、本発明が、図面に示される精密な配列および手段に限定されないことを理解されたい。
図1は、種々の分解能スケールの例示的基準フレームおよび例示的予測フレームの図である。
図2は、例示的基準フレーム、例示的再スケーリングされた基準フレーム、および例示的後続ブロック予測プロセスを描写する図である。
図3は、スケーリングプロセスの前および後の例示的基準ブロック位置を描写する、図である。
図4は、基準ブロックと、予測されたブロックと、スケーリングされた基準ブロックと、スケーリングされた予測されたブロックとを含む、例示的運動ベクトルスケーリングを描写する、図である。
図5は、本主題のいくつかの実装による例示的プロセスを図示する、プロセスフロー図である。
図6は、本主題のいくつかの実装に従ってビットストリームをデコードすることが可能である例示的デコーダを図示する、システムブロック図である。
図7は、本主題のいくつかの実装に従ってビデオをエンコードする例示的プロセスを図示する、プロセスフロー図である。
図8は、本主題のいくつかの実装による例示的ビデオエンコーダを図示する、システムブロック図である。
図9は、本明細書およびそのいずれか1つまたはそれを上回る部分に開示される方法論のうちのいずれか1つまたはそれを上回るものを実装するために使用され得る、コンピューティングシステムのブロック図である。
図面は、必ずしも、縮尺通りではなく、想像線、図式表現、および部分図によって図示され得る。ある事例では、実施形態の理解のためには必要ではない、または他の詳細を知覚困難にする詳細が、省略されている場合がある。種々の図面内の同様の参照記号は、同様の要素を示す。
詳細な説明
多くの現在の最先端のエンコーダでは、分解能が、ピクチャ群(GOP)として公知のビデオの部分全体を再コーディングおよび再送信することによって管理される。これは、それらのフレームが、GOP内のビットの大部分に関わるため、イントラフレーム(Iフレーム)を送信することを要求し、これは、付加的コストを被り得る。
本開示において説明される実施形態は、種々のユースケースにおけるビットレートの節約を可能にする、ビデオエンコーダ/デコーダのための付加的な柔軟性を可能にする技法である、適応分解能管理(ARM)に関する。一般に、ARMは、現在のフレームと異なる分解能の基準フレームを使用して、予測を実施することを含む。現在のコーディング規格では、基準フレームは、予測フレームと同一の分解能を有する。ARMでは、基準フレームは、予測されているフレームより低いまたは高い分解能であり得る。本アプローチは、ビデオ分解能をダウンスケーリングし、したがって、ビットレートを低減させる、またはビデオ分解能をアップスケーリングし、したがって、ビデオ再生の表示特性を促進するために使用され得る。
ARMは、代替として、または同等に、本開示の目的のために、基準ピクチャ再サンプリング(RPR)と称され得、RPRおよびARMは、同義的に使用され得る。
本主題のいくつかの実装は、GOP内の任意の位置における、任意の数のフレームに関してARMを使用し、したがって、Iフレームの再コーディングに関する要件を除去することを含み得る。
図1は、種々の分解能スケールの基準フレームおよび予測フレームの図である。フレーム1は、基準フレームより小さく(より低い分解能であり)、フレーム2は、同一のサイズ(同一の分解能)である一方、フレーム3は、より大きい(より高い分解能である)。本開示において使用されるような「分解能」は、ビデオ再生、圧縮、または同等物内で使用されるピクチャ、フレーム、サブフレーム、ならびに/もしくはそれらの他の表示される面積または部分内のピクセルの数であり、より高い数のピクセルは、より高い分解能に対応し、より低い数のピクセルは、より低い分解能に対応する。分解能は、面積の観点から、例えば、限定ではないが、ある面積を定義する、ピクセル単位で測定される長さの1つまたはそれを上回る寸法を使用することによって、測定されてもよい。例えば、円形のサブフレームまたは他の領域が、半径に従って定義される分解能を有してもよい。代替として、または加えて、分解能は、ピクセルの全体数によって定義されてもよい。
実施例として、図1を継続して参照すると、基準フレームおよび/またはサブフレームが、それにわたる面積が、限定ではないが、三角形、平行四辺形、ならびに/もしくは長方形形態等の2つの長さのパラメータの観点から完全に定義され得る、幾何学形態を有する場合、基準フレームおよび/またはサブフレームは、分解能W×Hを有し得る(WならびにHは、それぞれ、基準フレームおよび/またはサブフレームの幅(もしくは底辺)寸法ならびに高さ寸法を説明するピクセルの数を示し得る)。各予測フレームはまた、基準フレームの分解能と同様に決定され得る、分解能を有してもよく、例えば、フレーム1は、より低い分解能WS×HSを有し得、フレーム2は、基準フレームW×Hと同一の分解能を有し得、フレーム3は、より高い分解能WL×HLを有し得る。より小さいフレームおよびより大きいフレームの幅ならびに高さは、スケーリング率および/または定数とも称される、恣意的再スケーリング定数(Rc)によって基準幅ならびに高さを乗算することによって取得され得る。より小さいフレームの場合では、Rcは、0~1の値を有し得る。より大きいフレームの場合では、Rcは、1を上回る値を有し得、例えば、Rcは、1~4の値を有し得る。他の値も、可能性として考えられる。再スケーリング定数は、ある分解能次元に関して別のものと異なり得、例えば、再スケーリング定数Rchが、高さを再スケーリングするために使用され得る一方、別の再スケーリング定数Rcwが、幅を再スケーリングするために使用され得る。
依然として図1を参照すると、ARMは、モードとして実装されてもよい。デコーディングの間のある時点におけるARMモードアクティブ化の場合では、デコーダが、分解能W×Hにおける基準フレームをすでに受信している場合があり、再スケーリング定数を使用して予測フレームを再スケーリングしてもよい。いくつかの実装では、エンコーダが、使用するための再スケーリング定数をデコーダに信号伝達してもよい。信号伝達することは、現在のピクチャを含有するGOPに対応するシーケンスパラメータセット(SPS)、および/または現在のピクチャに対応するピクチャパラメータセット(PPS)内で実施されてもよい。例えば、限定ではないが、エンコーダが、pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples、pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、pps_scaling_win_bottom_offset、および/またはsps_num_subpics_minus1等のフィールドを使用して、再スケーリングされたパラメータを信号伝達してもよい。
さらに図1を参照すると、上記に説明されるようなWパラメータおよびHパラメータは、限定ではないが、それぞれ、変数CurrPicScalWinWidthLと、CurrPicScalWinHeightLとを使用して表され得、これらの変数は、信号伝達されたパラメータと変数との間の1つまたはそれを上回る数学的関係を使用して、上記に説明されるような信号伝達されたパラメータから導出され得る。例えば、限定ではないが、CurrPicScalWinWidthLは、以下の方程式に従って導出され得る。
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
さらなる非限定的実施例として、CurrPicScalWinHeightLは、以下の方程式に従って導出され得る。
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
当業者は、本開示の全体の精査に応じて、上記に説明される変数を導出するために使用され得る、種々の代替的算出を認識するであろう。エンコーダは、代替として、または加えて、例えば、限定ではないが、PPSならびに/もしくはSPS内で1つまたはそれを上回るそのような変数Rc、Rch、ならびに/もしくはRcwを直接信号伝達してもよい。
代替として、または加えて、依然として図1を参照すると、上記に説明されるような再スケーリング定数ならびに/もしくは再スケーリング定数のセットは、記憶されたスケーリング定数および/または複数のスケーリング定数、ならびに/もしくは直前に信号伝達および/または利用されたスケーリング定数ならびに/もしくは複数のスケーリング定数を使用して信号伝達されたフレームおよび/またはブロックのインデックスへの参照を使用して、ビットストリーム内で信号伝達されてもよい。記憶されたスケーリング定数のインデックスへの参照は、ビットストリーム内で信号伝達される1つまたはそれを上回る付加的パラメータから明示的に信号伝達される、ならびに/もしくは決定されてもよい。例えば、限定ではないが、デコーダは、基準フレームおよび/または現在のフレーム含有するピクチャの群を識別してもよく、再スケーリング定数が、現在のフレームならびに/もしくはピクチャの現在の群、または同等物に適用可能であるように信号伝達される基準フレームを用いて、そのようなピクチャの群内で直前に信号伝達ならびに/もしくは使用されている場合、デコーダは、現在のフレームを用いた再スケーリング定数としての使用のためにその再スケーリング定数を識別してもよい。
いくつかの実装では、図1を継続して参照すると、ARM動作が、エンコードされたフレームのブロックレベルに応じて実行され得る。例えば、基準フレームが、最初に、再スケーリングされてもよく、続いて、予測が、図2に描写されるように実施されてもよい。図2は、基準フレーム、再スケーリングされた基準フレーム、および後続ブロック予測プロセスを描写する図である。ブロック予測プロセスは、元の基準フレームではなく、(スケーリングされた分解能を有する)スケーリングされた基準フレーム上で実施されてもよい。基準フレームを再スケーリングすることは、上記に説明されるように、エンコーダによって信号伝達される任意のパラメータに従って再スケーリングすることを含み得、例えば、限定ではないが、現在のピクチャを用いて使用されるべき基準フレームが、基準フレームまたは同等物と関連付けられるインデックス値への参照等を介して信号伝達される場合、信号伝達された基準フレームは、予測に先立って、上記に説明される再スケーリングの任意の方法に従って再スケーリングされてもよい。再スケーリングされた基準フレームは、実施され得るフレーム読出に従って、限定ではないが、インデックスによってその中に含有されるフレームを識別するバッファを含み得る、メモリおよび/またはバッファ内に記憶されてもよく、バッファは、デコード済ピクチャバッファ(DCB)ならびに/もしくはデコーダによって実装される1つまたはそれを上回る付加的なバッファを含んでもよい。予測プロセスは、例えば、運動補償を含む、インタピクチャ予測を含んでもよい。
ブロックベースのARMのいくつかの実装は、フレーム全体にわたって同一のフィルタを適用することの代わりに、ブロック毎に最適なフィルタを適用することの柔軟性を可能にし得る。いくつかの実装では、(例えば、ピクセルおよびビットレートコストの均一性に基づく)いくつかのブロックが、(再スケーリングが、ビットレートを変化させないであろうような)スキップARMモードにあり得るように、スキップARMモードが、可能性として考えられ得る。スキップARMモードは、ビットストリーム内で信号伝達されてもよく、例えば、限定ではないが、スキップARMモードは、PPSパラメータ内で信号伝達されてもよい。代替として、または加えて、デコーダは、スキップARMモードが、デコーダによって設定された、および/またはビットストリーム内で信号伝達された1つまたはそれを上回るパラメータに基づいて、アクティブであることを決定してもよい。ブロックベースのARM内で使用される空間フィルタは、限定ではないが、双三次補間を適用する双三次空間フィルタ、双線形補間を適用する双線形空間フィルタ、Lanczosフィルタリングを使用するLanczosフィルタ、および/またはsincフィルタ、sinc関数補間、ならびに/もしくは信号再構築技法の組み合わせを使用するLanczos再サンプリング、または同等物を含み得、当業者は、本開示の全体の精査に応じて、補間のために本開示に一貫して使用され得る、種々のフィルタを認識するであろう。
継続して図2を参照すると、フレームのシーケンスがすでにエンコードされている場合では、エンコーディング後ARMが、予測されるコーディング単位(ブロックまたはフレーム)の迅速な再スケーリングおよび伝送を可能にし得る。これは、異なる分解能におけるビデオフレームを再エンコードする必要性を除去し得る。本主題のいくつかの実装は、率歪み性能の比較的にごくわずかなコストにおいて計算の複雑性を低減させ得る。
図2をさらに参照すると、ユースケースに応じて、エンコーダが、デコーダに伝送する、エンコーディングおよびデコーディングプロセスにおいて、再スケーリングが、(縮小された帯域幅をダウンスケーリングするために)エンコーダ側において、または(ビデオ伝送のために必要とされる帯域幅をアップスケーリングし、再度縮小するために)デコーダ側において、行われてもよい。いくつかの実装では、スケーリングが、サブピクセル予測フィルタ等の補間フィルタを使用して実施されてもよい。補間フィルタは、非限定的実施例として、限定ではないが、それによって、スケーリングの直前のブロックおよび/またはフレームのピクセルの間のピクセルが、ゼロに初期化され、次いで、低域通過フィルタの出力が取り込まれる得る、アップサンプリングプロセスを用いて使用され得る、低域通過フィルタ等の上記に説明される任意のフィルタを含んでもよい。代替として、または加えて、任意の輝度サンプル補間フィルタリングプロセスが、使用されてもよい。輝度サンプル補間は、スケーリングされていないサンプルアレイの2つの連続するサンプル値の間に該当する、半サンプル補間フィルタインデックスにおける補間値の算出を含んでもよい。補間値の算出は、限定ではないが、ルックアップテーブルからの係数および/または加重の読出によって実施されてもよく、ルックアップテーブルの選択は、例えば、上記に説明されるようなスケーリング定数を使用して決定されるような、コーディング単位ならびに/もしくはスケーリング比量の運動モデルの関数として、実施されてもよい。算出は、限定ではないが、加重が、ルックアップテーブルから読み出される場合、隣接するピクセル値の加重和を実施することを含んでもよい。算出された値は、代替として、または加えて、偏移されてもよく、例えば、限定ではないが、値は、最小値(4、すなわち、ビット深度-8)、6、最大値(2、すなわち、14-ビット深度)、もしくは同等物だけ偏移されてもよい。当業者は、本開示の全体の精査に応じて、補間フィルタのために使用され得る種々の代替的または付加的実装を認識するであろう。
そのようなアプローチでは、依然として図2を参照すると、予測された要素が、率Rc(スケーリング定数または率)によって再スケーリングされてもよく、これは、例えば、上記に説明されるように、デコーダに信号伝達されてもよい。例えば、限定ではないが、pps_scaling_window_explicit_signalling_flag equal to 1は、スケーリング窓オフセットパラメータが、PPS内に存在することを示し得る一方、pps_scaling_window_explicit_signalling_flag equal to 0は、スケーリング窓オフセットパラメータが、PPS内に存在しないことを示し得る。sps_ref_pic_resampling_enabled_flagが、0に等しいとき、pps_scaling_window_explicit_signalling_flagは、0に等しくてもよい。
スケーリングされた要素は、図3等に描写されるスケーリングの率を使用して再スケーリングされ得る、イントラコーディング単位と、インタコーディング単位(例えば、ブロック)とを含んでもよい。図3は、スケーリングプロセスの前および後の基準ブロック位置を描写する、図である。
スケーリングされた要素は、運動ベクトルを含み得る。図4は、基準ブロックと、予測されたブロックと、スケーリングされた基準ブロックと、スケーリングされた予測されたブロックとを含む運動ベクトルスケーリングを描写する、図である。図4は、元のサイズの基準フレーム(上)およびスケーリングされた基準フレーム(下)に関する、運動が補償された予測を図示する。
図5は、種々のユースケースにおけるビットレートの節約を可能にする、ビデオエンコーダ/デコーダのための付加的な柔軟性を可能にし得る適応分解能管理のプロセス500の例示的実施形態を図示する、プロセスフロー図である。
ステップ505において、依然として図5を参照すると、基準フレームが、受信される。基準フレームが、メモリによって受信され(例えば、それからアクセスされ)てもよい。基準フレームは、ビットストリームから直前にデコードされている場合がある。ビットストリームは、デコーダによって受信されている場合がある。ビットストリームは、現在のブロックを含んでもよい。現在のブロックは、デコーダが受信するビットストリーム内に含有されてもよい。ビットストリームは、例えば、データ圧縮を使用するときのデコーダへの入力である、ビットのストリーム内に見出されるデータを含んでもよい。ビットストリームは、ビデオをデコードするために必要な情報を含んでもよい。受信することは、ビットストリームからブロックおよび関連付けられる信号伝達情報を抽出ならびに/もしくは解析することを含んでもよい。いくつかの実装では、現在のブロックは、コーディング木単位(CTU)、コーディング単位(CU)、および/または予測単位(PU)を含んでもよい。
ステップ510において、図5を継続して参照すると、スケーリング定数が、現在のブロックに関して決定される。いくつかの実装では、スケーリング定数は、ビットストリームから決定されてもよい。例えば、スケーリング定数は、ビットストリーム内で信号伝達されてもよい、ビットストリームは、いくつかの所定のスケーリング定数のうちの1つに対するインデックスを含んでもよい、または同様であってもよい。
ステップ515において、依然として図5を参照すると、スケーリングされた基準ブロックが、基準フレームおよびスケーリング定数を使用して決定されてもよい。スケーリングされた基準ブロックを決定することは、スケーリングされた基準ブロックの位置を決定することを含んでもよい。いくつかの実装では、位置が、少なくとも、基準ブロックの1つまたはそれを上回る寸法を1つまたはそれを上回るスケーリング率によって乗算することによって決定されてもよく、例えば、基準ブロックの位置の水平成分が、スケーリング率によって乗算されてもよく、基準ブロックの位置の垂直成分が、スケーリング率によって乗算されてもよい。
ステップ520において、図5を継続して参照すると、スケーリングされた予測ブロックが、スケーリングされた基準ブロックを使用して決定されてもよい。いくつかの実装では、スケーリングされた予測ブロックを決定することは、スケーリングされた運動情報を決定することを含んでもよい。スケーリングされた運動情報は、少なくとも、運動ベクトルの水平成分をスケーリング定数によって乗算し、運動ベクトルの垂直成分をスケーリング定数によって乗算することによって、決定されてもよい。
ステップ525において、依然として図5を参照すると、現在のブロックのピクセルデータが、再スケーリングされた予測ブロックを使用して再構築されてもよい。
図6は、本開示に説明されるような適応分解能管理予測再スケーリングが可能である例示的デコーダ600を図示する、システムブロック図である。デコーダ600は、エントロピデコーダプロセッサ604、逆量子化および逆変換プロセッサ608、デブロッキングフィルタ612、フレームバッファ616、運動補償プロセッサ620、ならびに/もしくはイントラ予測プロセッサ624を含んでもよい。
動作時、依然として図6を参照すると、ビットストリーム628が、デコーダ600によって受信され、エントロピデコーダプロセッサ604に入力されてもよく、これは、ビットストリームの一部を量子化された係数にエントロピデコードしてもよい。量子化された係数は、逆量子化および逆変換プロセッサ608に提供されてもよく、これは、逆量子化および逆変換を実施し、残差信号を生成してもよく、これは、処理モードに従って、運動補償プロセッサ620またはイントラ予測プロセッサ624の出力に追加されてもよい。運動補償プロセッサ620およびイントラ予測プロセッサ624の出力は、直前にデコードされたブロックに基づくブロック予測を含んでもよい。予測および残差の合計が、デブロッキングフィルタ612によって処理され、フレームバッファ616内に記憶されてもよい。
図7は、種々のユースケースにおけるビットレートの節約を可能にする、ビデオエンコーダおよび/またはデコーダのための付加的な柔軟性を可能にし得る、適応分解能管理を用いてビデオをエンコードするプロセス700の例示的実施形態を図示する、プロセスフロー図である。ステップ705において、ビデオフレームが、例えば、ピクチャフレームをCTUおよびCUにパーティション化することを含み得る、木構造化マクロブロックパーティション化スキームを使用する、初期ブロックセグメント化を受けてもよい。
ステップ710において、依然として図7を参照すると、ブロックベースの適応分解能管理が、フレームまたはその一部の分解能スケーリングを含め、実施されてもよい。
ステップ715において、図7を継続して参照すると、ブロックが、エンコードされ、ビットストリーム内に含まれてもよい。エンコードすることは、例えば、インタ予測モードおよびイントラ予測モードを利用することを含んでもよい。
図8は、本開示に説明されるような適応分解能管理予測再スケーリングが可能である例示的ビデオエンコーダ800を図示する、システムブロック図である。例示的ビデオエンコーダ800は、入力ビデオ804を受信してもよく、これは、最初に、木構造化マクロブロックパーティション化スキーム(例えば、四分木+二分木)等の処理スキームに従って、セグメント化または分割されてもよい。木構造化マクロブロックパーティション化スキームの実施例は、ピクチャフレームをコーディング木単位(CTU)と呼ばれる大きいブロック要素にパーティション化することを含んでもよい。いくつかの実装では、各CTUはさらに、コーディング単位(CU)と呼ばれる、いくつかのサブブロックに1回またはそれを上回る回数だけパーティション化されてもよい。本パーティション化の最終結果は、予測単位(PU)と呼ばれ得る、サブブロックの群を含んでもよい。変換単位(TU)もまた、利用されてもよい。
依然として図8を参照すると、例示的ビデオエンコーダ800は、イントラ予測プロセッサ808、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築することが可能である、インタ予測プロセッサとも称され得る、運動推定/補償プロセッサ812、変換/量子化プロセッサ816、逆量子化/逆変換プロセッサ820、ループ内フィルタ824、デコード済ピクチャバッファ828、および/またはエントロピコーディングプロセッサ832を含んでもよい。ビットストリームパラメータが、出力ビットストリーム836内での包含のために、エントロピコーディングプロセッサ832に入力されてもよい。
動作時、継続して図8を参照すると、入力ビデオ804のフレームのブロック毎に、イントラピクチャ予測を介して、または運動推定/補償を使用して、ブロックを処理するかどうかが、決定されてもよい。ブロックは、イントラ予測プロセッサ808または運動推定/補償プロセッサ812に提供されてもよい。ブロックが、イントラ予測を介して処理されるべきである場合、イントラ予測プロセッサ808は、処理を実施し、予測因子を出力してもよい。ブロックが、運動推定/補償を介して処理されるべきである場合、運動推定/補償プロセッサ812は、適用可能である場合、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築することを含む、処理を実施してもよい。
さらに図8を参照すると、残差が、入力ビデオから予測因子を減算することによって形成されてもよい。残差は、変換/量子化プロセッサ816によって受信されてもよく、これは、変換処理(例えば、離散コサイン変換(DCT))を実施し、量子化され得る、係数を生産してもよい。量子化された係数および任意の関連付けられる信号伝達情報が、出力ビットストリーム836内でのエントロピエンコーディングならびに包含のために、エントロピコーディングプロセッサ832に提供されてもよい。エントロピエンコーディングプロセッサ832は、現在のブロックをエンコードすることに関連する信号伝達情報のエンコーディングを支援してもよい。加えて、量子化された係数は、予測因子と組み合わせられ、ループ内フィルタ824によって処理され得るピクセルを再現し得る、逆量子化/逆変換プロセッサ820に提供されてもよく、その出力は、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築することが可能である、運動推定/補償プロセッサ812による使用のために、デコード済ピクチャバッファ828内に記憶されてもよい。
図8を継続して参照すると、いくつかの変形例が、上記に詳細に説明されているが、他の修正または追加も、可能性として考えられる。例えば、いくつかの実装では、現在のブロックは、任意の対称ブロック(8×8、16×16、32×32、64×64、128×128、および同等物)ならびに任意の非対称ブロック(8×4、16×8、および同等物)を含んでもよい。
いくつかの実装では、依然として図8を参照すると、四分木+二分決定木(QTBT)が、実装されてもよい。QTBTでは、コーディング木単位レベルにおいて、QTBTのパーティションパラメータが、いかなるオーバーヘッドも伝送することなく、ローカル特性に適合するように動的に導出されてもよい。続いて、コーディング単位レベルにおいて、ジョイント分類子決定木構造が、不必要な反復を排除し、誤った予測のリスクを制御してもよい。いくつかの実装では、LTRフレームブロック更新モードが、QTBTの葉ノード毎の利用可能な付加的選択肢として、利用可能であってもよい。
いくつかの実装では、依然として図8を参照すると、付加的な構文要素が、ビットストリームの異なる階層レベルにおいて信号伝達されてもよい。例えば、フラグが、シーケンスパラメータセット(SPS)内にコーディングされるイネーブルにされたフラグを含むことによって、シーケンス全体にわたってイネーブルにされてもよい。さらに、CTUフラグが、コーディング木単位(CTU)レベルにおいてコーディングされてもよい。
いくつかの実施形態は、1つまたはそれを上回るコンピューティングシステムの1つまたはそれを上回るデータプロセッサによって実行されると、少なくとも1つのデータプロセッサに本明細書における動作を実施させる命令を記憶する、非一過性コンピュータプログラム製品(すなわち、物理的に具現化されたコンピュータプログラム製品)を含んでもよい。
本明細書に開示される実施形態は、基準フレームを受信し、現在のブロックに関して、スケーリング定数を決定し、基準フレームおよびスケーリング定数を使用して、スケーリングされた基準ブロックを決定し、スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定し、再スケーリングされた予測ブロックを使用して、現在のブロックのピクセルデータを再構築するように構成される回路網を有する、デコーダを含み得る。
いくつかの実施形態では、デコーダはさらに、スケーリングされた運動情報を決定することによって、スケーリングされた予測ブロックを決定するように構成されてもよい。スケーリングされた運動情報は、少なくとも運動ベクトルの水平成分をスケーリング定数によって乗算し、運動ベクトルの垂直成分をスケーリング定数によって乗算することによって決定されてもよい。デコーダはさらに、スケーリングされた基準ブロックの位置を決定することによってスケーリングされた基準ブロックを決定するように構成されてもよい。位置は、基準ブロックの位置の水平成分をスケーリング率によって乗算し、基準ブロックの位置の垂直成分をスケーリング率によって乗算することによって決定されてもよい。デコーダはさらに、ビットストリームを受信し、ビットストリームから、スケーリング定数であって、ビットストリーム内で信号伝達される、スケーリング定数を決定するように構成されてもよい。ビットストリームは、所定のスケーリング定数に対するインデックスを含んでもよい。デコーダはさらに、メモリから基準フレームにアクセスすることによって基準フレームを受信するように構成されてもよい。デコーダは、ビットストリームを受信し、ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、逆離散コサインを実施することを含む、量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、デブロッキングフィルタと、フレームバッファと、イントラ予測プロセッサとを含んでもよい。現在のブロックは、コーディング木単位を含んでもよい。現在のブロックは、コーディング単位を含んでもよい。現在のブロックは、予測単位を含んでもよい。
本明細書に開示される実施形態は、ある方法を含み得る。本方法は、基準フレームを受信することと、現在のブロックに関して、スケーリング定数を決定することと、基準フレームおよびスケーリング定数を使用して、スケーリングされた基準ブロックを決定することと、スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定することと、再スケーリングされた予測ブロックを使用して、現在のブロックのピクセルデータを再構築することとを含んでもよい。
いくつかの実施形態では、スケーリングされた予測ブロックを決定することは、スケーリングされた運動情報を決定することを含んでもよい。スケーリングされた運動情報は、運動ベクトルの水平成分をスケーリング定数によって乗算し、運動ベクトルの垂直成分をスケーリング定数によって乗算することによって決定されてもよい。スケーリングされた基準ブロックを決定することは、スケーリングされた基準ブロックの位置を決定することを含んでもよい。位置は、基準ブロックの位置の水平成分をスケーリング率によって乗算し、基準ブロックの位置の垂直成分をスケーリング率によって乗算することによって決定されてもよい。本方法は、ビットストリームを受信することと、ビットストリームから、スケーリング定数を決定することであって、スケーリング定数は、ビットストリーム内で信号伝達される、こととを含んでもよい。ビットストリームは、所定のスケーリング定数に対するインデックスを含んでもよい。基準フレームを受信することは、メモリから基準フレームにアクセスすることを含んでもよい。受信すること、決定すること、および再構築することのうちの少なくとも1つは、ビットストリームを受信し、ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、逆離散コサインを実施することを含む、量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、デブロッキングフィルタと、フレームバッファと、イントラ予測プロセッサとを含む、デコーダによって実施されてもよい。現在のブロックは、コーディング木単位を含んでもよい。現在のブロックは、コーディング単位を含んでもよい。現在のブロックは、予測単位を含んでもよい。
本明細書に説明される側面および実施形態のうちの任意の1つまたはそれを上回るものが、コンピュータ技術分野の当業者に明白となるであろうように、本明細書の教示に従ってプログラムされる、1つまたはそれを上回る機械(例えば、電子文書のためのユーザコンピューティングデバイス、文書サーバ等の1つまたはそれを上回るサーバデバイス等として利用される、1つまたはそれを上回るコンピューティングデバイス)内に実現ならびに/もしくは実装されるような、デジタル電子回路網、集積回路網、特別に設計された特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせを使用して、便宜的に実装され得ることに留意されたい。これらの種々の側面または特徴は、データおよび命令を、ストレージシステム、少なくとも1つの入力デバイス、ならびに少なくとも1つの出力デバイスから受信し、データおよび命令をそれらに伝送するように結合される、特殊目的もしくは汎用目的であり得る、少なくとも1つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能および/または解釈可能である、1つまたはそれを上回るコンピュータプログラムならびに/もしくはソフトウェア内での実装を含んでもよい。適切なソフトウェアコーディングが、ソフトウェア技術分野の当業者に明白となるであろうように、本開示の教示に基づいて、熟練したプログラマによって容易に調製され得る。ソフトウェアおよび/またはソフトウェアモジュールを採用する、上記に議論される側面ならびに実装もまた、ソフトウェアおよび/またはソフトウェアモジュールの機械実行可能命令の実装を補助するために適切なハードウェアを含んでもよい。
そのようなソフトウェアは、機械可読記憶媒体を採用する、コンピュータプログラム製品であってもよい。機械可読記憶媒体は、機械(例えば、コンピューティングデバイス)による実行のための命令のシーケンスを記憶および/またはエンコードすることが可能であり、機械に本明細書に説明される方法論ならびに/もしくは実施形態のいずれか1つを実施させる、任意の媒体であってもよい。機械可読記憶媒体の実施例は、限定ではないが、磁気ディスク、光ディスク(例えば、CD、CD-R、DVD、DVD-R等)、光磁気ディスク、読取専用メモリ「ROM」デバイス、ランダムアクセスメモリ「RAM」デバイス、磁気カード、光学カード、ソリッドステートメモリデバイス、EPROM、EEPROM、プログラマブル論理デバイス(PLD)、および/またはそれらの任意の組み合わせを含む。機械可読媒体は、本明細書で使用されるように、単一の媒体、ならびに、例えば、コンピュータメモリとの組み合わせにおける、コンパクトディスクまたは1つまたはそれを上回るハードディスクドライブの集合等の、物理的に別個の媒体の集合を含むことを意図する。本明細書で使用されるように、機械可読記憶媒体は、信号伝送の一過性形態を含まない。
そのようなソフトウェアはまた、搬送波等のデータキャリア上のデータ信号として搬送される情報(例えば、データ)を含んでもよい。例えば、機械実行可能情報は、信号が、機械(例えば、コンピューティングデバイス)による実行のために命令のシーケンスまたはその一部をエンコードする、データキャリアの中に具現化されるデータ搬送信号、および機械に本明細書に説明される方法論ならびに/もしくは実施形態のいずれか1つを実施させる、任意の関連する情報(例えば、データ構造およびデータ)として含まれてもよい。
コンピューティングデバイスの実施例は、限定ではないが、電子書籍読取デバイス、コンピュータワークステーション、端末コンピュータ、サーバコンピュータ、ハンドヘルドデバイス(例えば、タブレット型コンピュータ、スマートフォン等)、ウェブ装置、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、その機械およびそれらの任意の組み合わせによってとられるべきアクションを規定する命令のシーケンスを実行することが可能である、任意の機械を含む。一実施例では、コンピューティングデバイスは、キオスクを含む、および/またはその中に含まれてもよい。
図9は、制御システムに本開示の側面および/または方法論のうちのいずれか1つまたはそれを上回るものを実施させるための命令のセットが実行され得る、コンピュータシステム900の例示的形態におけるコンピューティングデバイスの一実施形態の図式表現を示す。また、複数のコンピューティングデバイスが、本デバイスのうちの1つまたはそれを上回るものに、本開示の側面ならびに/もしくは方法論のうちのいずれか1つまたはそれを上回るものを実施させるための命令の特別に構成されるセットを実装するために利用され得ることも、想定される。コンピュータシステム900は、バス912を介して相互および他のコンポーネントと通信する、プロセッサ904と、メモリ908とを含む。バス912は、限定ではないが、種々のバスアーキテクチャのうちのいずれかを使用する、メモリバス、メモリコントローラ、周辺機器用バス、ローカルバス、およびそれらの任意の組み合わせを含む、いくつかのタイプのバス構造のうちのいずれかを含んでもよい。
メモリ908は、限定ではないが、ランダムアクセスメモリコンポーネント、読取専用コンポーネント、およびそれらの任意の組み合わせを含む、種々のコンポーネント(例えば、機械可読媒体)を含んでもよい。一実施例では、立ち上げの間等にコンピュータシステム900内の要素の間で情報を転送することに役立つ基本ルーチンを含む、基本入力/出力システム916(BIOS)が、メモリ908内に記憶されてもよい。メモリ908はまた、本開示の側面ならびに/もしくは方法論のうちのいずれか1つまたはそれを上回るものを具現化する、命令(例えば、ソフトウェア)920を含んで(例えば、1つまたはそれを上回る機械可読媒体上に記憶されて)もよい。別の実施例では、メモリ908はさらに、限定ではないが、オペレーティングシステム、1つまたはそれを上回るアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、およびそれらの任意の組み合わせを含む、任意の数のプログラムモジュールを含んでもよい。
コンピュータシステム900はまた、記憶デバイス924を含んでもよい。記憶デバイス(例えば、記憶デバイス924)の実施例は、限定ではないが、ハードディスクドライブ、磁気ディスクドライブ、光学媒体との組み合わせにおける、光ディスクドライブ、ソリッドステートメモリデバイス、およびそれらの任意の組み合わせを含む。記憶デバイス924は、適切なインターフェース(図示せず)によってバス912に接続されてもよい。例示的インターフェースは、限定ではないが、SCSI、アドバンスト・テクノロジー・アタッチメント(ATA)、シリアルATA、ユニバーサルシリアルバス(USB)、IEEE 1394(FIREWIRE(登録商標))、およびそれらの任意の組み合わせを含む。一実施例では、記憶デバイス924(または1つまたはそれを上回るそのコンポーネント)は、(例えば、外部ポートコネクタ(図示せず)を介して)コンピュータシステム900と除去可能にインターフェースをとられてもよい。特に、記憶デバイス924および関連付けられる機械可読媒体928は、コンピュータシステム900のための機械可読命令、データ構造、プログラムモジュール、ならびに/もしくは他のデータの不揮発性および/または揮発性記憶装置を提供してもよい。一実施例では、ソフトウェア920は、完全または部分的に、機械可読媒体928内に常駐してもよい。別の実施例では、ソフトウェア920は、完全または部分的に、プロセッサ904内に常駐してもよい。
コンピュータシステム900はまた、入力デバイス932を含んでもよい。一実施例では、コンピュータシステム900のユーザが、入力デバイス932を介してコンピュータシステム900の中にコマンドおよび/または他の情報を打ち込んでもよい。入力デバイス932の実施例は、限定ではないが、英数字入力デバイス(例えば、キーボード)、ポインティングデバイス、ジョイスティック、ゲームパッド、オーディオ入力デバイス(例えば、マイクロホン、音声応答システム等)、カーソル制御デバイス(例えば、マウス)、タッチパッド、光学スキャナ、ビデオ捕捉デバイス(例えば、静止カメラ、ビデオカメラ)、タッチスクリーン、およびそれらの任意の組み合わせを含む。入力デバイス932は、限定ではないが、シリアルインターフェース、パラレルインターフェース、ゲームポート、USBインターフェース、FIREWIRE(登録商標)インターフェース、バス912への直接的インターフェース、およびそれらの任意の組み合わせを含む、種々のインターフェース(図示せず)のうちのいずれかを介して、バス912にインターフェースをとられてもよい。入力デバイス932は、さらに下記に議論される、ディスプレイ936の一部である、またはそれと別個であり得る、タッチスクリーンインターフェースを含んでもよい。入力デバイス932は、上記に説明されるようなグラフィカルインターフェース内で1つまたはそれを上回るグラフィック表現を選択するための、ユーザ選択デバイスとして利用されてもよい。
ユーザはまた、記憶デバイス924(例えば、リムーバブルディスクドライブ、フラッシュドライブ等)および/またはネットワークインターフェースデバイス940を介してコマンドならびに/もしくは他の情報をコンピュータシステム900に入力してもよい。ネットワークインターフェースデバイス940等のネットワークインターフェースデバイスは、ネットワーク944等の種々のネットワークのうちの1つまたはそれを上回るもの、およびそれに接続される1つまたはそれを上回る遠隔デバイス948にコンピュータシステム900を接続するために利用されてもよい。ネットワークインターフェースデバイスの実施例は、限定ではないが、ネットワークインターフェースカード(例えば、モバイルネットワークインターフェースカード、LANカード)、モデム、およびそれらの任意の組み合わせを含む。ネットワークの実施例は、限定ではないが、広域ネットワーク(例えば、インターネット、企業ネットワーク)、ローカルエリアネットワーク(例えば、オフィス、ビル、キャンパス、または他の比較的に小さい地理的空間と関連付けられるネットワーク)、電話ネットワーク、電話/音声プロバイダと関連付けられるデータネットワーク(例えば、モバイル通信プロバイダのデータならびに/もしくは音声ネットワーク)、2つのコンピューティングデバイス間の直接的接続、およびそれらの任意の組み合わせを含む。ネットワーク944等のネットワークは、通信の有線モードおよび/または無線のモードを採用してもよい。一般に、いかなるネットワークトポロジも、使用され得る。情報(例えば、データ、ソフトウェア920等)が、ネットワークインターフェースデバイス940を介してコンピュータシステム900に、および/またはそれから通信されてもよい。
コンピュータシステム900はさらに、ディスプレイデバイス936等のディスプレイデバイスに表示可能な画像を通信するための、ビデオディスプレイアダプタ952を含んでもよい。ディスプレイデバイスの実施例は、限定ではないが、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、およびそれらの任意の組み合わせを含む。ディスプレイアダプタ952およびディスプレイデバイス936は、プロセッサ904との組み合わせにおいて利用され、本開示の側面のグラフィック表現を提供してもよい。ディスプレイデバイスに加えて、コンピュータシステム900は、限定ではないが、オーディオスピーカ、プリンタ、およびそれらの任意の組み合わせを含む、1つまたはそれを上回る他の周辺出力デバイスを含んでもよい。そのような周辺出力デバイスは、周辺インターフェース956を介してバス912に接続されてもよい。周辺インターフェースの実施例は、限定ではないが、シリアルポート、USB接続、FIREWIRE(登録商標)、パラレル接続、およびそれらの任意の組み合わせを含む。
前述は、本発明の例証的実施形態の詳細な説明である。種々の修正および追加が、本発明の精神ならびに範囲から逸脱することなく成され得る。上記に説明される種々の実施形態のそれぞれの特徴が、関連付けられる新しい実施形態における複数の特徴の組み合わせを提供するために、適宜、他の説明される実施形態の特徴と組み合わせられ得る。さらに、前述は、いくつかの別個の実施形態を説明するが、本明細書に説明されているものは、本発明の原理の適用を例証するにすぎない。加えて、本明細書における特定の方法は、具体的な順序で実施されているものとして例証および/または説明され得るが、順序は、本明細書に開示されるような実施形態を達成するために、当業者間で非常に変動し易い。故に、本説明は、実施例のみとして捉えられることを意図し、別様に本発明の範囲を限定するようには意図していない。
上記の説明において、および請求項において、「~のうちの少なくとも1つ」または「~のうちの1つまたはそれを上回るもの」等の語句が、生じ、要素もしくは特徴の接続的列挙が後に続き得る。用語「および/または」もまた、2つまたはそれを上回る要素もしくは特徴の列挙内に生じ得る。そのような語句が使用される文脈によって別様に暗示的または明示的に反論されない限り、これは、個々に列挙される要素もしくは特徴のいずれか、または他の引用される要素もしくは特徴のいずれかとの組み合わせにおいて引用される要素もしくは特徴のいずれかを意味することを意図している。例えば、語句「AおよびBのうちの少なくとも一方」、「AおよびBのうちの一方またはそれを上回るもの」、ならびに「Aおよび/またはB」は、それぞれ、「Aを単独で、Bを単独で、またはAおよびBをともに」を意味することを意図している。類似の解釈がまた、3つまたはそれを上回るアイテムを含む列挙に関しても意図される。例えば、語句「A、B、およびCのうちの少なくとも1つ」、「A、B、およびCのうちの1つまたはそれを上回るもの」、ならびに「A、B、および/またはC」はそれぞれ、「Aを単独で、Bを単独で、Cを単独で、AおよびBをともに、AおよびCをともに、BおよびCをともに、またはAおよびBならびにCをともに」を意味することを意図する。加えて、上記における、および請求項内での用語「~に基づいて」の使用は、引用されていない特徴または要素もまた、許容可能であるように、「少なくとも、~に基づいて」を意味することを意図する。
本明細書に説明される主題は、所望の構成に応じて、システム、装置、方法、および/または物品において具現化されることができる。前述の説明に記載される実装は、本明細書に説明される主題に一貫した全実装を表すわけではない。代わりに、それらは、説明される主題に関連する側面に一貫するいくつかの実施例にすぎない。いくつかの変形例が、上記で詳細に説明されているが、他の修正または追加も、可能性として考えられる。特に、さらなる特徴および/または変形例が、本明細書に記載されるものに加えて、提供されることができる。例えば、上記で説明される実装は、開示される特徴の種々の組み合わせおよび副次的組み合わせならびに/もしくは上記に開示される、いくつかのさらなる特徴の組み合わせおよび副次的組み合わせを対象とすることができる。加えて、付随の図に描写される、および/または本明細書に説明される論理フローは、望ましい結果を達成するために、必ずしも、示される特定の順序もしくは順次順序を要求しない。他の実装も、以下の請求項の範囲内にあり得る。

Claims (24)

  1. デコーダであって、前記デコーダは、
    回路網であって、
    基準フレームを受信することと、
    現在のブロックに関して、スケーリング定数を決定することと、
    前記基準フレームおよび前記スケーリング定数を使用して、スケーリングされた基準ブロックを決定することと、
    前記スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定することと、
    再スケーリングされた予測ブロックを使用して、前記現在のブロックのピクセルデータを再構築することと
    を行うように構成される、回路網
    を備える、デコーダ。
  2. スケーリングされた運動情報を決定することによって、前記スケーリングされた予測ブロックを決定するようにさらに構成される、請求項1に記載のデコーダ。
  3. 前記スケーリングされた運動情報は、少なくとも運動ベクトルの水平成分を前記スケーリング定数によって乗算し、前記運動ベクトルの垂直成分を前記スケーリング定数によって乗算することによって決定される、請求項2に記載のデコーダ。
  4. 前記スケーリングされた基準ブロックの位置を決定することによって前記スケーリングされた基準ブロックを決定するようにさらに構成される、請求項1に記載のデコーダ。
  5. 前記位置は、基準ブロックの位置の水平成分をスケーリング率によって乗算し、前記基準ブロックの位置の垂直成分を前記スケーリング率によって乗算することによって決定される、請求項4に記載のデコーダ。
  6. ビットストリームを受信することと、
    前記ビットストリームから、前記スケーリング定数を決定することであって、前記スケーリング定数は、前記ビットストリーム内で信号伝達される、ことと
    を行うようにさらに構成される、請求項1に記載のデコーダ。
  7. 前記ビットストリームは、所定のスケーリング定数に対するインデックスを含む、請求項6に記載のデコーダ。
  8. メモリから前記基準フレームにアクセスすることによって前記基準フレームを受信するようにさらに構成される、請求項1に記載のデコーダ。
  9. エントロピデコーダプロセッサであって、前記エントロピデコーダプロセッサは、ビットストリームを受信し、前記ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、
    逆量子化および逆変換プロセッサであって、前記逆量子化および逆変換プロセッサは、逆離散コサインを実施することを含む前記量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、
    デブロッキングフィルタと、
    フレームバッファと、
    イントラ予測プロセッサと
    をさらに備える、請求項1に記載のデコーダ。
  10. 前記現在のブロックは、コーディング木単位である、請求項1に記載のデコーダ。
  11. 前記現在のブロックは、コーディング単位である、請求項1に記載のデコーダ。
  12. 前記現在のブロックは、予測単位である、請求項1に記載のデコーダ。
  13. 方法であって、
    基準フレームを受信することと、
    現在のブロックに関して、スケーリング定数を決定することと、
    前記基準フレームおよび前記スケーリング定数を使用して、スケーリングされた基準ブロックを決定することと、
    前記スケーリングされた基準ブロックを使用して、スケーリングされた予測ブロックを決定することと、
    再スケーリングされた予測ブロックを使用して、前記現在のブロックのピクセルデータを再構築することと
    を含む、方法。
  14. 前記スケーリングされた予測ブロックを決定することは、スケーリングされた運動情報を決定することを含む、請求項13に記載の方法。
  15. 前記スケーリングされた運動情報は、運動ベクトルの水平成分を前記スケーリング定数によって乗算し、前記運動ベクトルの垂直成分を前記スケーリング定数によって乗算することによって決定される、請求項14に記載の方法。
  16. 前記スケーリングされた基準ブロックを決定することは、前記スケーリングされた基準ブロックの位置を決定することを含む、請求項13に記載の方法。
  17. 前記位置は、基準ブロックの位置の水平成分をスケーリング率によって乗算し、前記基準ブロックの位置の垂直成分を前記スケーリング率によって乗算することによって決定される、請求項16に記載の方法。
  18. ビットストリームを受信することと、
    前記ビットストリームから前記スケーリング定数を決定することであって、前記スケーリング定数は、前記ビットストリーム内で信号伝達される、ことと
    をさらに含む、請求項13に記載の方法。
  19. 前記ビットストリームは、所定のスケーリング定数に対するインデックスを含む、請求項18に記載の方法。
  20. 前記基準フレームを受信することは、メモリから前記基準フレームにアクセスすることを含む、請求項13に記載の方法。
  21. 前記受信すること、前記決定すること、および前記再構築することのうちの少なくとも1つは、デコーダによって実施され、前記デコーダは、
    エントロピデコーダプロセッサであって、前記エントロピデコーダプロセッサは、ビットストリームを受信し、前記ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、
    逆量子化および逆変換プロセッサであって、前記逆量子化および逆変換プロセッサは、逆離散コサインを実施することを含む前記量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、
    デブロッキングフィルタと、
    フレームバッファと、
    イントラ予測プロセッサと
    を備える、請求項13に記載の方法。
  22. 前記現在のブロックは、コーディング木単位である、請求項13に記載の方法。
  23. 前記現在のブロックは、コーディング単位である、請求項13に記載の方法。
  24. 前記現在のブロックは、予測単位である、請求項13に記載の方法。
JP2022507674A 2019-08-06 2020-08-06 適応分解能管理予測再スケーリング Pending JP2022544157A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962883454P 2019-08-06 2019-08-06
US62/883,454 2019-08-06
PCT/US2020/045157 WO2021026324A1 (en) 2019-08-06 2020-08-06 Adaptive resolution management prediction rescaling

Publications (2)

Publication Number Publication Date
JP2022544157A true JP2022544157A (ja) 2022-10-17
JPWO2021026324A5 JPWO2021026324A5 (ja) 2023-08-15

Family

ID=74498135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507674A Pending JP2022544157A (ja) 2019-08-06 2020-08-06 適応分解能管理予測再スケーリング

Country Status (7)

Country Link
US (2) US11477469B2 (ja)
EP (1) EP4011084A4 (ja)
JP (1) JP2022544157A (ja)
KR (1) KR20220088679A (ja)
CN (1) CN114467305A (ja)
BR (1) BR112022002204A2 (ja)
MX (1) MX2022001592A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11271984B1 (en) * 2021-03-29 2022-03-08 International Business Machines Corporation Reduced bandwidth consumption via generative adversarial networks
US20230132329A1 (en) * 2021-10-21 2023-04-27 Tencent America LLC Interdependence Between Adaptive Resolution of Motion Vector Difference and Signaling/Derivation of Motion Vector-Related Parameters

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG65064A1 (en) 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
US6724948B1 (en) 1999-12-27 2004-04-20 Intel Corporation Scaling images for display
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
CN102036071B (zh) 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8675738B2 (en) 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
CN104717521B (zh) 2009-01-26 2018-06-01 汤姆森特许公司 用于视频解码的方法
US9565397B2 (en) 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US20110013692A1 (en) 2009-03-29 2011-01-20 Cohen Robert A Adaptive Video Transcoding
JP5620587B2 (ja) * 2010-09-28 2014-11-05 サムスン エレクトロニクスカンパニー リミテッド ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
KR101712156B1 (ko) * 2010-12-06 2017-03-06 에스케이 텔레콤주식회사 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US9635371B2 (en) 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US20150195554A1 (en) 2014-01-03 2015-07-09 Sharp Laboratories Of America, Inc. Constraints and enhancements for a scalable video coding system
CN106105220B (zh) 2014-01-07 2019-07-05 诺基亚技术有限公司 用于视频编码和解码的方法和装置
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US9906804B2 (en) 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
EP3057319A1 (en) 2015-02-10 2016-08-17 Harmonic Inc. Adaptive resolution video decoder
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US10362314B2 (en) 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
CN115022625A (zh) 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
EP3516877B1 (en) 2016-12-01 2020-03-11 Google LLC Restoration in video coding using domain transform recursive filters
EP3349452A1 (en) 2017-01-11 2018-07-18 Thomson Licensing Scaling of transform coefficients for non-dyadic transform blocks
WO2019141907A1 (en) 2018-01-22 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
CA3132391A1 (en) 2019-03-11 2020-09-17 Tencent America LLC Signaling of adaptive picture size in video bitstream
US11233988B2 (en) 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
US11032548B2 (en) 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
US11563933B2 (en) * 2019-07-09 2023-01-24 Qualcomm Incorporated Reference picture resampling with switchable filters

Also Published As

Publication number Publication date
US11477469B2 (en) 2022-10-18
EP4011084A1 (en) 2022-06-15
US20210044817A1 (en) 2021-02-11
US20220417545A1 (en) 2022-12-29
CN114467305A (zh) 2022-05-10
MX2022001592A (es) 2022-03-11
BR112022002204A2 (pt) 2022-10-18
EP4011084A4 (en) 2023-08-09
KR20220088679A (ko) 2022-06-28

Similar Documents

Publication Publication Date Title
US11611768B2 (en) Implicit signaling of adaptive resolution management based on frame type
US11943461B2 (en) Adaptive resolution management signaling
JP2022544156A (ja) ブロックベースの適応分解能管理
US20240114161A1 (en) Adaptive resolution management using sub-frames
US20220417545A1 (en) Adaptive Resolution Management Prediction Rescaling
WO2021026363A1 (en) Implicit signaling of adaptive resolution management based on frame type
CN114450956A (zh) 自适应分辨率管理中的帧缓冲
US20210195220A1 (en) Methods and systems for adaptive cropping
WO2021026361A1 (en) Adaptive resolution management using sub-frames
WO2021026334A1 (en) Adaptive resolution management signaling
WO2021026324A1 (en) Adaptive resolution management prediction rescaling

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804