JP2022549289A - サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示 - Google Patents

サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示 Download PDF

Info

Publication number
JP2022549289A
JP2022549289A JP2022518324A JP2022518324A JP2022549289A JP 2022549289 A JP2022549289 A JP 2022549289A JP 2022518324 A JP2022518324 A JP 2022518324A JP 2022518324 A JP2022518324 A JP 2022518324A JP 2022549289 A JP2022549289 A JP 2022549289A
Authority
JP
Japan
Prior art keywords
picture
slices
value
flag
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022518324A
Other languages
English (en)
Other versions
JP7469464B2 (ja
Inventor
ワーン,イエ-クイ
ヘンドリー,フヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022549289A publication Critical patent/JP2022549289A/ja
Priority to JP2024060545A priority Critical patent/JP2024084810A/ja
Application granted granted Critical
Publication of JP7469464B2 publication Critical patent/JP7469464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ復号化の方法は、サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを受信することと、サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定することであり、第1値は、PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定し、第2値は、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性があることを指定する、ことと、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスを、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスを復号することとを有する。

Description

[関連出願への相互参照]
本特許出願は、2019年9月23日付けで、Ye-Kui Wang., et al.によって、「Indication of One Slice Per Subpicture in Subpicture-Based Video Coding」と題されて出願された米国特許仮出願第62/904,481号、及び2019年9月24日付けで、Ye-Kui Wang., et al.によって、「Indication of One Slice Per Subpicture in Subpicture-Based Video Coding」と題されて出願された米国特許仮出願第62/905,122号の利益を請求するものであり、先の出願は、参照により本願に援用される。
[技術分野]
本開示は、概して、ビデオコーディングに関係があり、具体的には、サブピクチャベースのビデオコーディングにおける指示のシグナリングに関係がある。
比較的に短い映像でさえ表現するために必要とされるビデオデータの量は、かなりである可能性があり、結果として、帯域幅容量が限られている通信ネットワークにわたってデータがストリーミング又は別なふうに通信されるべきである場合に、問題が生じる場合がある。よって、ビデオデータは、一般的に、今日の電気通信ネットワークにわたって通信される前に、圧縮される。メモリ資源が限られている場合があるので、ビデオが記憶デバイスに記憶される場合にも、ビデオのサイズが問題となる可能性がある。ビデオ圧縮デバイスは、送信又は記憶の前にビデオデータをコーディングするために発信元でソフトウェア及び/又はハードウェアをしばしば使用し、それによって、デジタルビデオ画像を表現するために必要とされるデータの量を低減する。圧縮されたデータは、次いで、ビデオデータを復号するビデオ圧縮解除デバイスによって送り先で受信される。限られたネットワーク資源及びより高いビデオ品質の要求の高まりにより、画像品質の犠牲が皆無かそれに近い状態で圧縮比を向上させる改善された圧縮及び圧縮解除技術が望まれている。
第1の態様は、デコーダによって実施される方法であって、デコーダによって、サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを受信することと、デコーダによって、サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定することであり、第1値は、PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定し、第2値は、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性があることを指定する、ことと、デコーダによって、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスを、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスを復号して、復号化ピクチャを取得することとを有する方法に関係がある。
方法は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、サブピクチャあたりの単一スライスのフラグがpps_single_slice_per_subpic_flagとして指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、第1値がイチ(1)であり、第2値がゼロ(0)であることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、PPSが、ピクチャ内のスライス数のフラグを更に含み、ピクチャ内のスライス数のフラグの値に1をプラスしたものが、PPSを参照する各ピクチャ内のスライスの数を指定することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ピクチャ内のスライス数のフラグがpps_num_slices_in_pic_minus1として指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、各サブピクチャが、ピクチャ内の1つ以上のスライスの長方形領域を有することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスに、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスに基づき、表示のための画像を生成することを提供する。
第2の態様は、エンコーダによって実施される方法であって、エンコーダによって、サブピクチャあたりの単一スライスのフラグを、ピクチャパラメータセット(PPS)を参照する各サブピクチャが唯一の長方形スライスを含む場合には第1値に、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性がある場合には第2値にセットすることと、エンコーダによって、サブピクチャあたりの単一スライスのフラグを含むPPSをビットストリームに符号化することと、エンコーダにおって、デコーダへの通信のためにビットストリームを記憶することとを有する方法に関係がある。
方法は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、サブピクチャあたりの単一スライスのフラグがpps_single_slice_per_subpic_flagとして指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、第1値がイチ(1)であり、第2値がゼロ(0)であることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、PPSが、ピクチャ内のスライス数のフラグを更に含み、ピクチャ内のスライス数のフラグの値に1をプラスしたものが、PPSを参照する各ピクチャ内のスライスの数を指定することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ピクチャ内のスライス数のフラグがpps_num_slices_in_pic_minus1として指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、各サブピクチャが、ピクチャ内の1つ以上のスライスの長方形領域を有することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ビットストリームをビデオデコーダに向けて送信することを提供する。
第3の態様は、復号化デバイスであって、サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを受信するよう構成される受信器と、受信器へ結合され、命令を記憶しているメモリと、メモリへ結合されるプロセッサとを有し、プロセッサが、命令を実行して、復号化デバイスに、サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定することであり、第1値は、PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定し、第2値は、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性があることを指定する、ことと、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスを、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスを復号して、復号化ピクチャを取得することとを実行させるよう構成される、復号化デバイスに関係がある。
復号化デバイスは、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、第1値がイチ(1)であり、第2値がゼロ(0)であることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、PPSが、ピクチャ内のスライス数のフラグを更に含み、ピクチャ内のスライス数のフラグの値に1をプラスしたものが、PPSを参照する各ピクチャ内のスライスの数を指定することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ピクチャ内のスライス数のフラグがpps_num_slices_in_pic_minus1として指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、プロセッサが、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスに、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスに基づき、表示のための画像を生成するよう更に構成されることを提供する。
第4の態様は、符号化デバイスであって、命令を含むメモリと、メモリへ結合されるプロセッサであり、命令を実施して、符号化デバイスに、サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを符号化することと、サブピクチャあたりの単一スライスのフラグを、PPSを参照する各サブピクチャが唯一の長方形スライスを含む場合には第1値に、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性がある場合には第2値にセットすることとを実行させるよう構成されるプロセッサと、プロセッサへ結合され、ビットストリームをビデオデコーダへ向けて送信するよう構成される送信器とを有する符号化デバイスに関係がある。
符号化デバイスは、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、第1値がイチ(1)であり、第2値がゼロ(0)であることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、PPSが、ピクチャ内のスライス数のフラグを更に含み、ピクチャ内のスライス数のフラグの値に1をプラスしたものが、PPSを参照する各ピクチャ内のスライスの数を指定することを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ピクチャ内のスライス数のフラグがpps_num_slices_in_pic_minus1として指定されることを提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、ビットストリームをデコーダに向けて送信する前に、ビットストリームをメモリに記憶することを提供する。
第5の態様は、コーディング装置に関係がある。コーディング装置は、符号化すべきピクチャを受信するよう又は復号すべきビットストリームを受信するよう構成される受信器と、受信器へ結合され、ビットストリームをデコーダへ送信するよう又は復号された画像をディスプレイへ送信するよう構成される送信器と、受信器又は送信器の少なくとも一方へ結合され、命令を記憶するよう構成されるメモリと、メモリへ結合され、メモリに記憶されている命令を実行して、ここで開示されている方法のいずれかを実行するよう構成されるプロセッサとを含む。
コーディング装置は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
任意に、上記の態様のいずれかにおいて、態様の他の実施は、復号されたピクチャを表示するよう構成されるディスプレイを提供する。
第6の態様は、システムに関係がある。システムは、エンコーダと、エンコーダと通信するデコーダとを含み、エンコーダ又はデコーダは、ここで開示されている復号化デバイス、符号化デバイス、又はコーディング装置を含む。
システムは、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
第7の態様は、コーディングのための手段に関係がある。コーディングのための手段は、符号化すべきピクチャを受信するよう又は復号すべきビットストリームを受信するよう構成される受信手段と、受信手段へ結合され、ビットストリームを復号化手段へ送信するよう又は復号された画像を表示手段へ送信するよう構成される送信手段と、受信手段又は送信手段の少なくとも一方へ結合され、命令を記憶するよう構成される記憶手段と、記憶手段へ結合され、記憶手段に記憶されている命令を実行して、ここで開示されている方法のいずれかを実行するよう構成される処理手段とを含む。
コーディングのための手段は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術を提供する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
明りょうさのために、上記の実施形態のうちのいずれか1つは、本開示の範囲内で新しい実施形態を生み出すように、他の上記の実施形態のうちのいずれか1つ以上と組み合わされてよい。
これら及び他の特徴は、添付の図面及び特許請求の範囲と結びつけられた以下の詳細な説明から、より明りょうに理解されるだろう。
本開示のより完全な理解のために、これより、添付の図面及び詳細な説明と結びつけられた以下の簡単な説明が参照される。図面及び詳細な説明において、同じ参照番号は、同じ部分を表す。
ビデオ信号をコーディングする方法の例のフローチャートである。 ビデオコーディングのための符号化及び復号化(コーデック)システムの例の概略図である。 例となるビデオエンコーダを表す概略図である。 例となるビデオデコーダを表す概略図である。 符号化されたビデオシーケンスを含むビットストリームの例を表す概略図である。 コーディングされたビデオビットストリームを復号する方法の実施形態である。 コーディングされたビデオビットストリームを符号化する方法の実施形態である。 ビデオコーディングデバイスの概略図である。 コーディングのための手段の実施形態の概略図である。
最初に理解されるべきは、1つ以上の実施形態の実例となる実施が以下で提供されているが、開示されているシステム及び/又は方法は、現在知られてるか存在するかにかかわらず、任意の数の技術を用いて実装され得ることである。開示は、ここで例示及び記載されている例示的な設計及び実施を含む、以下で説明されている実例となる実施、図面、及び技術に決して限定されるべきではなく、それらの均等の全範囲とともに添付の特許請求の範囲内で変更され得る。
以下の用語は、ここで反対の文脈で使用されない限りは、以下のように定義される。具体的に、以下の定義は、本開示に更なる明確性をもたらすよう意図される。しかし、用語は、異なる文脈では異なるように記載される場合がある。従って、以下の定義は、捕足と見なされるべきであり、ここでそのような用語に対して与えられている記載の如何なる他の定義も制限すると見なされるべきではない。
ビットストリームは、エンコーダとデコーダとの間の伝送のために圧縮されているビデオデータを含む一連のビットである。エンコーダは、符号化プロセスを用いて、ビデオデータをビットストリームに圧縮するよう構成されるデバイスである。デコーダは、復号化プロセスを用いて、表示のためにビットストリームからビデオデータを再構成するよう構成されるデバイスである。ピクチャは、フレーム又はそのフィールドを生成するルーマサンプルのアレイ及び/又はクロマサンプルのアレイである。符号化中又は復号化中であるピクチャは、議論の明りょうさのために、現在ピクチャを呼ばれ得る。参照ピクチャは、インター予測及び/又はインターレイヤ予測に従って参照により他のピクチャをコーディングするときに使用され得る参照サンプルを含むピクチャである。参照ピクチャリストは、インター予測及び/又はインターレイヤ予測のために使用される参照ピクチャリストである。いくつかのビデオコーディングシステムは、参照ピクチャリスト1及び参照ピクチャリスト0と呼ばれ得る2つの参照ピクチャリストを利用する。参照ピクチャリスト構造は、複数の参照ピクチャリストを含むアドレス可能なシンタックス構造である。インター予測は、参照ピクチャ及び現在ピクチャが同じレイヤ内にある場合に、現在ピクチャとは異なる参照ピクチャ内の指示されたサンプルを参照することによって、現在ピクチャのサンプルをコーディングするメカニズムである。参照ピクチャリスト構造エントリは、参照ピクチャリストに関連した参照ピクチャを示す参照ピクチャリスト構造内のアドレス可能な位置である。スライスヘッダは、スライスで表されるタイル内の全てのビデオデータに関連するデータ要素を含むコーディングされたスライスの部分である。スライスは、直角に接続されている4つの辺を含む。4つの辺は、2対の平行な辺を含む。更に、平行な辺の対をなす辺は、長さが等しい。そのようなものとして、スライスは、任意の長方形形状であることができ、正方形は、4つ全ての辺が等しい長さである長方形の特別な場合である。長方形スライスは、2対の平行な辺を有するスライスであり、夫々の平行な辺をなす辺は、長さが等しいが、平行な辺の一方の対は、平行な辺の他方の対よりも長い。シーケンスパラメータセット(SPS)は、一連のピクチャに関するデータを含むパラメータセットである。ピクチャパラメータセット(PPS)は、各ピクチャヘッダに含まれているシンタックス要素によって決定されるようにゼロ個以上のコーディングされたピクチャ全体に適用されるシンタックス要素を含むシンタックス構造である。
フラグは、2つのとり得る値、0及び1のうちの一方を取ることができる変数又は単ビットシンタックス要素である。サブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域である。サブピクチャ識別子(ID)は、サブピクチャを一意に識別する番号、文字、又は他のしるしである。サブピクチャID(別名、タイル識別子)は、サブピクチャインデックスを用いて特定のサブピクチャを識別するために使用され、これは、ここではサブピクチャIDマッピングと呼ばれ得る。
アクセスユニット(AU)は、復号化ピクチャバッファ(DPB)からの出力のための(例えば、ユーザへの表示のための)同じ遅延時間(例えば、同じピクチャオーダーカウント)に関連した1つ以上のコーディングされたピクチャの組である。アクセスユニットデリミタ(AUD)は、AUの開始又はAU間の境界を示すために使用されるインジケータ又はデータ構造である。復号化ビデオシーケンスは、ユーザへの表示に備えてデコーダによって再構成された一連のピクチャである。
符号化ビデオシーケンス(CVS)は、復号化順に、符号化ビデオシーケンス開始(CVSS)AUと、それに続いて、CVSS AUである任意の後続AUまでの、しかしそれを含まない全ての後続AUを含む、CVSS AUではないゼロ個以上のAUとを含む一連のアクセスユニット(AU)である。CVSS AUは、ビデオパラメータセット(VPS)によって指定されるレイヤごとに予測ユニット(PU)が存在するAUであり、各PU内のコーディングされたピクチャは、符号化レイヤビデオシーケンス開始(CLVSS)ピクチャである。実施形態において、各ピクチャはAU内にある。PUは、指定された分類規則に従って互いに関連しており、復号化順に連続し、ただ1つのコーディングされたピクチャを含むネットワーク抽象化レイヤ(NAL)ユニットの組である。
以下の頭文字語がここでは使用される:Adaptive Loop Filter(ALF)、Coding Tree Block(CTB)、Coding Tree Unit(CTU)、Coding Unit(CU)、Coded Video Sequence(CVS)、Joint Video Experts Team(JVET)、Motion-Costrained Tile Set(MCTS)、Maximum Trasnfer Unit(MTU)、Network Abstraction Layer(NAL)、Picture Order Count(POC)、Picture Parameter Set(PPS)、Raw Byte Sequence Payload(RBSP)、Sample Adaptive Offset(SAO)、Sequence Parameter Set(SPS)、Temporal Motion Vector Prediction(TMVP)、Versatile Video Coding(VVC)、及びWorking Draft(WD)。
多くのビデオ圧縮技術は、最小限のデータ損失でビデオファイルのサイズを低減するために用いられ得る。例えば、ビデオ圧縮技術は、ビデオシーケンス内のデータ冗長性を低減又は除去するために空間(例えば、イントラピクチャ)予測及び/又は時間(例えば、インターピクチャ)予測を実行することを含むことができる。ブロックベースのビデオコーディングについては、ビデオスライス(例えば、ビデオピクチャ又はビデオピクチャの部分)が、ツリーブロック、コーディングツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)、及び/又はコーディングノードとも呼ばれ得るビデオブロックにパーティション化され得る。ピクチャのイントラコーディングされた(I)スライス内のビデオブロックは、同じピクチャ内の隣接するブロック内の参照サンプルに関して空間予測を用いてコーディングされる。ピクチャのインターコーディングされた一方向予測(P)又は双方向予測(B)スライス内のビデオブロックは、同じピクチャ内の隣接するブロック内の参照サンプルに関して空間予測を、あるいは、他の参照ピクチャ内の参照サンプルに関して時間予測を用いることによって、コーディングされ得る。ピクチャは、フレーム及び/又は画像と呼ばれてもよく、参照ピクチャ、参照フレーム及び/又は参照画像と呼ばれてもよい。空間又は時間予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、元の画像ブロックと予測ブロックとの間のピクセル差分を表す。従って、インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って、符号化される。イントラコーディングされたブロックは、イントラコーディングモード及び残差データに従って符号化される。更なる圧縮のために、残差データは、ピクチャ領域から変換領域へ変換されてもよい。これらは残差変換係数をもたらし、残差変換係数は量子化され得る。量子化された変換係数は、最初に、2次元アレイで配置され得る。量子化された変換係数は、変換係数の1次元ベクトルを生成するために走査され得る。エントロピコーディングが、より一層の圧縮を達成するために適用されてもよい。そのようなビデオ圧縮技術は、以下で更に詳細に議論される。
符号化されたビデオが正確に復号され得ることを確かにするために、ビデオは、対応するビデオコーディング標準規格に従って符号化及び復号される。ビデオコーディング標準規格には、International Telecommunication Union(ITU) Standardization Sector(ITU-T) H.261、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) Motion Picture Experts Group(MPEG)-1 Part 2、ITU-T H.262又はISO/IEC MPEG-2 Part 2、ITU-T H.263、ISO/IEC MPEG-4 Part 2、ITU-T H.264又はISO/IEC MPEG-4 Part 10としても知られているAdvanced Video Coding(AVC)、及びITU-T H.265又はMPEG-H Part 2としても知られているHigh Efficiency Video Coding(HEVC)がある。AVCは、Scalable Video Coding(SVC)、Multiview Video Coding(MVC)、及びMultiview Video Coding plus Depth(MVC+D)、並びに3次元(3D)AVC(3D-AVC)のような拡張を含む。HEVCは、Scalable HEVC(SHVC)、Multiview HEVC(MV-HEVC)、及び3D HEVC(3D-HEVC)のような拡張を含む。
また、ITU-T及びISO/IECの合同ビデオ専門家チーム(JVET)によって開発されている、Versatile Video Coding(VVC)と命名された新しいビデオコーディング標準規格も存在する。VVC標準規格はいくつかの作業草案を有するが、VVCの1つの作業草案(WD)が特に、つまり、B. Bross, J. Chen, and S. Liu,“Versatile Video Coding (Draft 5)”,JVET-N1001-v3,13th JVET Meeting,March 27, 2019 (VVC Draft 5)が、ここでは参照される。
HEVCは、4つの異なったピクチャパーティション化スキーム、つまり、レギュラースライス、ディペンデントスライス、タイル、及びWavefront Parallel Processing(WPP)を含み、これらは、Mximum Transfer Unit(MTU)サイズマッチング、並列処理、及びエンド間遅延低減のために適用され得る。
レギュラースライスは、H.264/AVCの場合と同様である。各レギュラースライスは、それ自身のNALユニットにカプセル化され、ピクチャ内予測(イントラサンプル予測、動き情報予測、コーディングモード予測)及びスライス境界にわたるエントロピコーディング依存性は、無効化される。よって、レギュラースライスは、同じピクチャ内の他のレギュラースライスとは無関係に再構成され得る(ループフィルタリング動作により相互依存性が依然としてあり得るとしても)。
レギュラースライスは、H.264/AVCでも事実上同じ形式で適用可能である並列化のために使用され得る唯一のツールである。レギュラースライスに基づいた並列化は、プロセッサ間又はコア間通信をあまり必要としない(ピクチャ内予測によりプロセッサ間又はコア間データ共有よりも通常はずっと重い、予測的にコーディングされたピクチャを復号するときの動き補償のためのプロセッサ間又はコア間データ共有を除く)。しかし、同じ理由により、レギュラースライスの使用は、スライスヘッダのビットコストによりかつスライス境界にわたる予測の欠如により多大なコーディングオーバーヘッドを招く可能性がある。更に、レギュラースライスは(後述される他のツールとは対照的に)、レギュラースライスのピクチャ内の独立性と、各レギュラースライスがそれ自身のNALユニットにカプセル化されることとにより、MTUサイズ要件と一致するためのビットストリームパーティション化の重要なメカニズムとしても機能する。多くの場合に、並列化の目標とMTUサイズマッチングの目標とは、ピクチャ内のスライスレイアウトとは矛盾する要求を突きつける。この状況の実現は、後述される並列化ツールの開発につながった。
ディペンデントスライスは、短いスライスヘッダを有し、如何なるピクチャ内予測も壊さずにツリーブロック境界でのビットストリームのパーティション化を可能にする。基本的に、ディペンデントスライスは、レギュラースライス全体の符号化が終了する前にレギュラースライスの部分が送信されることを可能にすることによってエンド間遅延低減をもたらすよう、複数のNALユニットへのレギュラースライスの断片化を提供する。
WPPでは、ピクチャは、コーディングツリーブロック(CTB)の単一行にパーティション化される。エントロピ復号化及び予測は、他のパーティション内のCTBからのデータを使用することができる。並列処理は、CTB行の並列復号化を通じて可能であり、あるCTB行の復号化の開始は、対象CTBが復号化される前に対象CTBの左上のCTBに関するデータが利用可能であることを確かにするために、CTB2つ分だけ遅延される。このスタッガードスタート(グラフィカルに表現すると波面のように現れる)により、並列化は、最大でピクチャに含まれるCTB行と同数のプロセッサ/コアを用いて、可能である。ピクチャ内の隣接するツリーブロック行間のピクチャ内予測が可能であるから、ピクチャ内予測を可能にするための必要なプロセッサ間/コア間通信はかなりの量になる可能性がある。WPPパーティション化は、それが適用されない場合と比較して、追加のNALユニットの生成をもたらさないので、WPPは、MTUサイズマッチングのためのツールではない。しかし、MTUサイズマッチングが必要とされる場合には、レギュラースライスが、特定のコーディングオーバーヘッドを用いて、WPPとともに使用され得る。
タイルは、ピクチャをタイル列及び行にパーティション化する水平及び垂直境界を定義する。CTBの走査順序は、ピクチャのタイルラスタ走査の順序における次のタイルの左上CTBを復号する前に、(タイルのCTBラスタ走査の順序において)タイル内でローカルであるよう変更される。レギュラースライスと同様に、タイルは、エントロピ復号化依存性に加えてピクチャ内予測従属性を壊す。しかし、それらは、個々のNALユニットに含まれる必要がなく(この点に関してWPPと同じ)、従って、タイルは、MTUサイズマッチングのために使用され得ない。各タイルは、1つのプロセッサ/コアによって処理可能であり、隣接するタイルを復号する処理ユニット間のピクチャ内予測のために必要なプロセッサ間/コア間通信は、スライスが1よりも多いタイルに及んでいる場合の共有スライスヘッダの伝達と、再構成されたサンプル及びメタデータのループフィルタリングに関連した共有とに限定される。1よりも多いタイル又はWPPセグメントがスライスに含まれる場合に、スライス内の最初の1つ以外の各タイル又はWPPセグメントのためのエントリポイントバイトオフセットは、スライスヘッダで通知される。
簡単のために、4つの異なるピクチャパーティション化スキームの適用に関する制限が、HEVCでは指定されている。所与の符号化ビデオシーケンスは、HEVCで指定されているプロファイルのほとんどについてタイル及び波面の両方を含むことができない。夫々のスライス及びタイルについて、次の条件のどちらか一方又は両方が満足されるべきである:1)スライス内の全てのコーディングされたツリーブロックは同じタイルの属する;2)タイル内の全てのコーディングされたツリーブロックは同じスライスに属する。最後に、波面セグメントはただ1つのCTB行を含み、WPPが使用されるときに、スライスがあるCTB行内で始まる場合には、それは同じCTB行で終わるべきである。
HEVCの最近の修正は、http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zipで入手可能なJCT-VC出力文書JCTVC-AC1005,J. Boyce, A. Ramasubramonian, R. Skupin, G. J. Sullivan, A. Tourapis, Y.-K. Wang (editors),“HEVC Additional Supplemental Enhancement Information (Draft 4)”,Oct. 24, 2017で指定されている。この修正を含めることで、HEVCは、3つのMCTS関連補足拡張情報(SEI)メッセージ、つまり、時間的なMCTS SEIメッセージ、MCTS抽出情報セットSEIメッセージ、及びMCTS抽出情報ネストSEIメッセージを指定する。
時間的なMCTS SEIメッセージは、ビットストリームにおけるMCTSの存在を示し、MCTSを通知する。各MCTSについて、動きベクトルは、MCTS内のフルサンプル位置と、補間のためのMCTS内のフルサンプル位置のみを必要とする分数サンプル位置とを指し示すよう制限され、MCTSの外側のブロックから導出される時間的な動きベクトル予測のための動きベクトル候補の使用は、許可されない。このようにして、各MCTSは、MCTSに含まれていないタイルの存在によらずに独立して復号され得る。
MCTS抽出情報セットSEIメッセージは、MCTSセットのための適合ビットストリームを生成するためにMCTSサブビットストリーム抽出(SEIメッセージのセマンティクスの部分として指定される)で使用され得る補足情報を供給する。情報は、多数の抽出情報セットから成り、各抽出情報セットは、MCTSセットの数を定義し、MCTSサブビットストリーム抽出プロセスの間に使用される置換ビデオパラメータセット(VPS)、SPS、及びPPSのRBSPバイトを含む。MCTSサブビットストリーム抽出プロセスに従ってサブビットストリームを抽出する場合に、パラメータセット(VPS、SPS、及びPPS)は、書き換え又は置換される必要があり、スライスヘッダは、スライスアドレスに関連したシンタックス要素(first_slice_segment_in_pic_flag及びslice_segment_addressを含む)の1つ又は全てが通常は異なる値を有している必要があるので、わずかに更新される必要がある。
最新のVVCドラフト仕様では、ピクチャは複数のサブピクチャにパーティション化され得る。各サブピクチャは、長方形領域をカバーし、整数個の完全なスライスを含む。サブピクチャパーティション化は、符号化ビデオシーケンス内の全てのピクチャにわたって持続し、パーティション化情報(つまり、サブピクチャの位置及びサイズ)は、SPSで通知される。サブピクチャは、動き補償のために如何なる他のサブピクチャからのサンプル値も用いずにコーディングされていると示され得る。
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0261-v1.zipで公に入手可能であるJVET寄稿JVET-O0141では、サブピクチャ設計は、最新のVVCドラフト仕様の場合と同様であるが、いくつかの相違点がある。相違点の1つは、SPSでのサブピクチャごとのサブピクチャIDの明示的なシグナリングに加えて、コーディングされたスライスNALを変更する必要なしにサブピクチャベースのサブビットストリーム抽出を可能にするための各スライスヘッダでのサブピクチャIDの通知である。このアプローチでは、各サブピクチャのサブピクチャIDは、CVS内の全てのピクチャにわたって不変なままである。
一般的な使用ケースでは、各サブピクチャはただ1つのスライスしか含まない。しかし、一般的な使用ケースを示すための能力は、不足又は欠落している。これは残念なことである。実際に、各サブピクチャがただ1つのスライスしか含まないことを知っていることは、役に立つ場合がある。例えば、ピクチャ内のスライスのレイアウトが知られている場合に、サブピクチャレイアウトを通知するためのビットは、サブピクチャのレイアウトがスライスのレイアウトと厳密に同じになる場合には、ビットストリームから完全に省略され得る。
ここでは、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用する技術が開示される。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
図1は、ビデオ信号をコーディングする例示的な動作方法100のフローチャートである。具体的に、ビデオ信号は、エンコーダで符号化される。符号化プロセスは、ビデオファイルサイズを低減するために様々なメカニズムを用いることによってビデオ信号を圧縮する。より小さいファイルサイズは、圧縮されたビデオファイルが、関連する帯域幅オーバーヘッドを低減しながら、ユーザに向けて送信されることを可能にする。次いで、デコーダは、エンドユーザへの表示のために元のビデオ信号を再構成するために、圧縮されたビデオファイルを復号する。復号化プロセスは、一般的に、デコーダがビデオ信号を一貫して再構成することを可能にするように符号化プロセスをミラーリングする。
ステップ101で、ビデオ信号はエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶されている圧縮されていないビデオファイルであってよい。他の例として、ビデオファイルは、ビデオカメラのようなビデオ捕捉デバイスによって捕捉され、ビデオのライブストリーミングをサポートするよう符号化されてもよい。ビデオファイルは、オーディオ成分及びビデオ成分の両方を含み得る。ビデオ成分は、連続的に見られる場合に視覚的な動きの効果をもたらす画像フレームの連続を含む。フレームは、ルーマ成分(又はルーマサンプル)とここで呼ばれる、光に関連して表現されるピクセル、及びクロマ成分(又は色サンプル)と呼ばれる、色に関連して表現されるピクセルを含む。いくつかの例では、フレームはまた、3次元ビューイングをサポートするデプス値を含んでもよい。
ステップ103で、ビデオはブロックにパーティション化される。パーティション化は、各フレーム内のピクセルを圧縮のために正方形及び/又は長方形ブロックに細分することを含む。例えば、High Efficiency Video Coding(HEVC)(H.265及びMPEG-H Part 2としても知られる)では、フレームは、予め定義されたサイズ(64ピクセル×64ピクセル)のブロックであるコーディングツリーブロック(CTU)に最初に分割され得る。CTUは、ルーマサンプル及びクロマサンプルの両方を含む。コーディングツリーは、CUTをブロックに分割し、次いで、更なる符号化をサポートする構成が達成されるまで再帰的にブロックを細分するために、用いられてよい。例えば、フレームのルーマ成分は、個々のブロックが相対的に均質な光度値を含むまで、細分されてよい。更に、フレームのクロマ成分は、個々のブロックが相対的に均質な色値を含むまで、細分されてよい。従って、パーティション化メカニズムは、ビデオフレームの内容に応じて変化する。
ステップ105で、様々な圧縮メカニズムが、ステップ103でパーティション化された画像ブロックを圧縮するために用いられる。例えば、インター予測及び/又はイントラ予測が用いられてよい。インター予測は、共通のシーン内のオブジェクトが連続したフレームで現れる傾向があるという事実を利用するよう設計される。従って、参照フレーム内のオブジェクトを表すブロックは、隣接するフレームにおいて繰り返し記述される必要がない。具体的に、テーブルのようなオブジェクトは、複数のフレームにわたって一定の位置にとどまる場合がある。従って、テーブルは一度記述され、隣接するフレームは、参照フレームを参照することができる。パターンマッチングメカニズムは、複数のフレームにわたってオブジェクトを照合するために用いられてよい。更に、動いているオブジェクトは、例えば、オブジェクトの動き又はカメラの動きにより、複数のフレームにわたって表現される場合がある。具体例として、ビデオは、複数のフレームにわたってスクリーンを横切る自動車を示す場合がある。動きベクトルが、このような動きを記述するために使用され得る。動きベクトルは、あるフレーム内のオブジェクトの座標から参照フレーム内のオブジェクトの座標までのオフセットを提供する2次元ベクトルである。そのようなものとして、インター予測は、参照フレームの対応するブロックからのオフセットを示す動きベクトルの組として現在フレーム内の画像ブロックを符号化することができる。
イントラ予測は、共通のフレーム内のブロックを符号化する。イントラ予測は、ルーマ成分及びクロマ成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、木の一部分の緑のパッチは、緑の類似したパッチに隣接して位置している傾向がある。イントラ予測は、複数の指向性予測モード(例えば、HEVCでは33個)、プレーナーモード、及び直流(DC)モードを用いる。指向性モードは、現在ブロックが、対応する方向にある隣接ブロックのサンプルと類似している/同じであることを示す。プレーナーモードは、行/列(例えば、平面)に沿った一連のブロックが行の端にある隣接ブロックに基づいて補間され得ることを示す。プレーナーモードは、事実上、変化する値の比較的に一定の傾きを用いることによって、行/列にわたる光/色の滑らかな遷移を示す。DCモードは、境界平滑化のために用いられ、ブロックが、指向性予測モードの角度方向に関連した全ての隣接ブロックのサンプルに関連した平均値と類似している/同じであることを示す。従って、イントラ予測ブロックは、実際の値の代わりに、様々な関連した予測モード値として画像ブロックを表すことができる。更に、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表すことができる。いずれの場合にも、予測ブロックは、いくつかの場合に正確に画像ブロックを表さないことがある。如何なる差分も残差ブロックで保存される。変換は、ファイルを更に圧縮するよう残差ブロックに適用されてよい。
ステップ107で、様々なフィルタリング技術が適用されてよい。HEVCでは、フィルタは、インループフィルタリングスキームに従って適用される。上述されたブロックベースの予測は、デコーダで、ブロックノイズのある画像の生成を引き起こす可能性がある。更に、ブロックベースの予測スキームは、ブロックを符号化し、それから、符号化されたブロックを参照ブロックとしての後の使用のために再構成してよい。インループフィルタリングスキームは、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、及びサンプル適応オフセット(SAO)フィルタをブロック/フレームに繰り返し適用する。これらのフィルタは、符号化されたファイルが正確に再構成され得るように、そのようなブロッキングアーチファクトを軽減する。更に、これらのフィルタは、アーチファクトが、再構成された参照ブロックに基づいて符号化されるその後のブロックで更なるアーチファクトを引き起こす可能性が低くなるように、再構成された参照ブロックでのアーチファクトを軽減する。
ビデオ信号がパーティション化、圧縮、及びフィルタリングされると、結果として得られるデータは、ステップ109でビットストリームの中に符号化される。ビットストリームは、デコーダでの適切なビデオ信号再構成をサポートするために望ましいあらゆるシグナリングデータに加えて、上記のデータも含む。例えば、このようなデータは、パーティションデータ、予測データ、残差ブロック、及びデコーダへコーディング命令を与える様々なフラグを含んでよい。ビットストリームは、要求時のデコーダに向けた伝送のために、メモリに記憶されてよい。ビットストリームはまた、複数のデコーダに向けたブロードキャスト及び/又はマルチキャストであってもよい。ビットストリームの生成は、反復プロセスである。従って、ステップ101、103、105、107、及び109は、多数のフレーム及びブロックにわたって連続して及び/又は同時に行われてよい。図1に示されている順序は、議論の明りょうさ及び容易さのために提示されており、ビデオコーディングプロセスを特定の順序に限定する意図はない。
デコーダは、ビットストリームを受け取り、ステップ111で復号化プロセスを開始する。具体的に、デコーダは、ビットストリームを対応するシンタックス及びビデオデータに変換するためにエントロピ復号化スキームを用いる。デコーダは、ステップ111でフレームのパーティションを決定するためにビットストリームからのシンタックスデータを用いる。パーティション化は、ステップ103でのブロックパーティション化の結果と一致すべきである。ステップ111で用いられるエントロピ符号化/復号化がこれより説明される。エンコーダは、入力画像内の値の空間位置付けに基づいていくつかの可能な選択からブロックパーティション化スキームを選択することといった多くの選択を圧縮プロセス中に行う。正確な選択のシグナリングは、多数のビンを用いる可能性がある。ここで使用されるように、ビンは、変数(例えば、状況に応じて変化し得るビット値)として扱われるバイナリ値である。エントロピコーディングは、エンコーダが、許容可能な選択肢の組を残しながら、特定の場合について明らかに実行可能でない如何なる選択肢も捨てることを可能にする。夫々の許容可能な選択肢は、次いで、コードワードを割り当てられる。コードワードの長さは、許容可能な選択肢の数に基づいている(例えば、2つの選択肢については1つのビン、3つ乃至4つの選択肢については2つのビン、など)。エンコーダは、次いで、選択された選択肢についてのコードワードを符号化する。このスキームは、コードワードが、全ての可能な選択肢の潜在的に大きい集合からの選択を一意に示すこととは対照的に、許容可能な選択肢の小さい部分集合からの選択を一意に示すために望まれる大きさであるということで、コードワードのサイズを低減する。デコーダは、次いで、エンコーダと同様の方法で、許容可能な選択肢の組を決定することによって選択を復号する。許容可能な選択肢の組を決定することによって、デコーダは、コードワードを読み出し、エンコーダによって行われた選択を決定することができる。
ステップ113で、デコーダは、ブロック復号化を実行する。具体的に、デコーダは、残差ブロックを生成するために逆変換を用いる。次いで、デコーダは、パーティション化に従って画像ブロックを再構成するために残差ブロック及び対応する予測ブロックを用いる。予測ブロックは、ステップ105でエンコーダにおいて生成されたイントラ予測ブロック及びインター予測ブロックの両方を含んでよい。再構成された画像ブロックは、次いで、ステップ111で決定されたパーティション化データに従って、再構成されたビデオ信号のフレーム内に位置付けられる。ステップ113のためのシンタックスも、上述されたように、エントロピコーディングを介してビットストリームで通知されてよい。
ステップ115で、フィルタリングが、エンコーダでのステップ107に類似した方法で、再構成されたビデオ信号のフレームに対して実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、及びSAOフィルタが、ブロッキングアーチファクトを除くようフレームに適用されてよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザによる視聴のために、ステップ117でディスプレイへ出力され得る。
図2は、ビデオコーディングのための例示的な符号化及び復号化(コーデック)システム200の概略図である。具体的に、コーデックシステム200は、動作方法100の実施をサポートするための機能性を提供する。コーデックシステム200は、エンコーダ及びデコーダの両方で用いられるコンポーネントを表すよう一般化されている。コーデックシステム200は、動作方法100のステップ101及び103に関して説明されたように、ビデオ信号を受信しパーティション化し、その結果、パーティション化されたビデオ信号201が得られる。コーデックシステム200は、次いで、方法100のステップ105、107、及び109に関して説明されたようにエンコーダとして動作する場合には、パーティション化されたビデオ信号201を、コーディングされたビットストリーム内に圧縮する。デコーダとして動作する場合には、コーデックシステム200は、動作方法100のステップ111、113、115、及び117に関して説明されたように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム200は、汎用コーダ制御コンポーネント211、変換スケーリング及び量子化コンポーネント213、イントラピクチャ推定コンポーネント215、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、動き推定コンポーネント221、スケーリング及び逆変換コンポーネント229、フィルタ制御解析コンポーネント227、インループフィルタコンポーネント225、復号化ピクチャバッファコンポーネント223、並びにヘッダフォーマッティング及びコンテキスト適応バイナリ算術コーディング(CABAC)コンポーネント231を含む。このようなコンポーネントは、示されているように結合される。図2では、黒線は、符号化/復号化されるべきデータの移動を示し、一方、破線は、他のコンポーネントの動作を制御する制御データの移動を示す。エンコーダには、コーデックシステム200のコンポーネントが全て存在してよい。デコーダは、コーデックシステム200のコンポーネントのサブセットを含んでよい。例えば、デコーダは、イントラピクチャ予測コンポーネント217、動き補償コンポーネント219、スケーリング及び逆変換コンポーネント229、インループフィルタコンポーネント225、及び復号化ピクチャバッファコンポーネント223を含んでよい。これらのコンポーネントがこれより説明される。
パーティション化されたビデオ信号201は、コーディングツリーによってピクセルのブロックにパーティション化されている捕捉されたビデオシーケンスである。コーディングツリーは、ピクセルのブロックをピクセルのより小さいブロックに細分するために様々な分裂モードを用いる。これらのブロックは、次いで、より小さいブロックに更に細分され得る。ブロックは、コーディングツリー上のノードと呼ばれることがある。より大きい親ノードは、より小さい子ノードに分裂される。ノードが細分される回数は、ノード/コーディングツリーのデプスと呼ばれる。分割されたブロックは、いくつかの場合にコーディングユニット(CU)に含まれ得る。例えば、CUは、ルーマブロック、赤色差分クロマ(Cr)ブロック及び青色差分クロマ(Cb)ブロックを、CUの対応するシンタックス命令とともに含むCTUのサブ部分であることができる。分裂モードは、ノードを、用いられている分裂モードに応じて形状が変化する2つ、3つ、又は4つの子ノードに夫々パーティション化するために用いられる二分木(BT)、三分木(TT)、及び四分木(QT)を含んでよい。パーティション化されたビデオ信号201は、汎用コーダ制御コンポーネント211、変換スケーリング及び量子化コンポーネント213、イントラピクチャ推定コンポーネント215、フィルタ制御解析コンポーネント227、及び動き推定コンポーネント221へ圧縮のために転送される。
汎用コーダ制御コンポーネント211は、適用制約に従って、ビットストリーム内へのビデオシーケンスの画像のコーディングに関する決定を行うよう構成される。例えば、汎用コーダ制御コンポーネント211は、再構成品質に対するビットレート/ビットストリームサイズの最適化を管理する。そのような決定は、記憶空間/帯域幅の利用可能性及び画像解像度の要求に基づき行われてよい。汎用コーダ制御コンポーネント211はまた、バッファアンダーラン及びオーバーラン問題を軽減するよう伝送速度に照らしてバッファ利用も管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント211は、他のコンポーネントによるパーティション化、予測、及びフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント211は動的に、解像度を増大させ且つ帯域幅利用を増大させるよう圧縮複雑性を増大させるか、あるいは、解像度及び帯域幅利用を低減させるよう圧縮複雑性を低減させ得る。従って、汎用コーダ制御コンポーネント211は、ビデオ信号再構成品質とビットレート懸案事項とのバランスをとるようコーデックシステム200の他のコンポーネントを制御する。汎用コーダ制御コンポーネント211は、他のコンポーネントの動作を制御する制御データを生成する。制御データはまた、デコーダでの復号化のためのパラメータのシグナリングのためにビットストリームの中に符号化されるよう、ヘッダフォーマッティング及びCABACコンポーネント231へも転送される。
パーティション化されたビデオ信号201は、動き推定コンポーネント221及び動き補償コンポーネント219へもインター予測のために送られる。パーティション化されたビデオ信号201のフレーム又はスライスは、複数のビデオブロックに分割されてよい。動き推定コンポーネント221及び動き補償コンポーネント219は、時間的予測を提供するよう1つ以上の参照フレーム内の1つ以上のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。コーデックシステム200は、例えば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、多数のコーディングパスを実行してよい。
動き推定コンポーネント221及び動き補償コンポーネント219は、高集積され得るが、概念上の目的のために別々に表されている。動き推定コンポーネント221によって実行される動き推定は、動きベクトルを生成するプロセスであり、これは、ビデオブロックの動きを推定する。動きベクトルは、例えば、予測ブロックに対するコーディングされたオブジェクトの変位を示し得る。予測ブロックは、ピクセル差分に関して、コーディングされるべきブロックと厳密に一致すると認められるブロックである。予測ブロックは、参照ブロックと呼ばれることもある。このようなピクセル差分は、差分絶対和(SAD)、差分平方和(SSD)、又は他の差分メトリックによって決定されてもよい。HEVCは、CTU、コーディングツリーブロック(CTB)、及びCUを含むいくつかのコーディングされたオブジェクトを用いる。例えば、CTUはCTBに分割され得、CTBは、次いで、CUでの包含のためにCBに分割され得る。CUは、CUについての、予測データを含む予測ユニット(PU)、及び/又は変換された残差データを含む変換ユニット(TU)として、符号化され得る。動き推定コンポーネント221は、レートひずみ解析をレートひずみ最適化プロセスの部分として使用することによって、動きベクトル、PU、及びTUを生成する。例えば、動き推定コンポーネント221は、現在ブロック/フレームについて、多数の参照ブロック、多数の動きベクトル、などを決定してよく、最良のレートひずみ特性を有している参照ブロック、動きベクトル、などを選択してよい。最良のレートひずみ特性は、ビデオ再構成の品質(例えば、圧縮によるデータ損失の量)とコーディング効率(例えば、最終的な符号化のサイズ)との両方のバランスをとる。
いくつかの例では、コーデックシステム200は、復号化ピクチャバッファコンポーネント223に記憶されている参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。例えば、ビデオコーデックシステム200は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセル位置、又は他の分数ピクセル位置の値を補間してよい。従って、動き推定コンポーネント221は、フルピクセル位置及び分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定コンポーネント221は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス内のビデオブロックのPUについての動きベクトルを計算する。動き推定コンポーネント221は、計算された動きベクトルを、符号化のためにヘッダフォーマッティング及びCABACコンポーネント231へ動きデータとして、及び動き補償コンポーネント219へ動きとして、出力する。
動き補償コンポーネント219によって実行される動き補償は、動き推定コンポーネント221によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含んでよい。先と同じく、動き推定コンポーネント221及び動き補償コンポーネント219は、いくつかの例では、機能的に集積されてよい。現在ビデオブロックのPUについての動きベクトルを受け取ると、動き補償コンポーネント219は、動きベクトルが指し示す予測ブロックの位置を見つけてよい。次いで、残差ビデオブロックは、コーディング中の現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減じてピクセル差分値を形成することによって、形成される。一般に、動き推定コンポーネント221は、ルーマ成分に対して動き推定を実行し、動き補償コンポーネント219は、クロマ成分及びルーマ成分の両方に対して、ルーマ成分に基づいて計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換スケーリング及び量子化コンポーネント213へ転送される。
パーティション化されたビデオ信号201は、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217へも送られる。動き推定コンポーネント221及び動き補償コンポーネント219と同様に、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は高集積され得るが、概念上の目的のために別々に表されている。イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は、上述されたようにフレーム間で動き推定コンポーネント221及び動き補償コンポーネント219によって実行されたインター予測に対する代替案として、現在フレーム内のブロックに対して現在ブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント215は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定する。いくつかの例では、イントラピクチャ推定コンポーネント215は、複数の試験されたイントラ予測モードから、現在ブロックを符号化するための適切なイントラ予測モードを選択する。選択されたイントラ予測モードは、次いで、符号化のためにヘッダフォーマッティング及びCABACコンポーネント231へ転送される。
例えば、イントラピクチャ推定コンポーネント215は、様々な試験されたイントラ予測モードについてレートひずみ解析を用いてレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有しているイントラ予測モードを選択する。レートひずみ解析は、一般的に、符号化されたブロックを生成するために使用されたビットレート(例えば、ビットの数)に加えて、符号化されたブロックと、符号化されたブロックを生成するよう符号化された元の符号化されていないブロックとの間のひずみ(又はエラー)の量も決定する。イントラピクチャ推定コンポーネント215は、どのイントラ予測モードがそのブロックについて最良のレートひずみ値を示すかを決定するよう、様々な符号化されたブロックについてのひずみ及びレートから比を計算する。その上、イントラピクチャ推定コンポーネント215は、レートひずみ最適化(RDO)に基づいてデプスモデリングモード(DMM)を用いてデプスマップのデプスブロックをコーディングするよう構成されてもよい。
イントラピクチャ予測コンポーネント217は、エンコーダで実装される場合には、イントラピクチャ推定コンポーネント215によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成し、あるいは、デコーダで実装される場合には、ビットストリームから残差ブロックを読み出し得る。残差ブロックは、行列として表される、予測ブロックと元のブロックとの間の値の差を含む。残差ブロックは、次いで、変換スケーリング及び量子化コンポーネント213へ転送される。イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217は、ルーマ及びクロマ成分の両方に作用し得る。
変換スケーリング及び量子化コンポーネント213は、残差ブロックを更に圧縮するよう構成される。変換スケーリング及び量子化コンポーネント213は、離散コサイン変換(DCT)、離散サイン変換(DST)、又は概念上類似した変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も使用されてよい。変換は、残差情報をピクセル値領域から周波数領域などの変換領域へ変換し得る。変換スケーリング及び量子化コンポーネント213はまた、例えば、周波数に基づいて、変換された残差情報をスケーリングするよう構成される。このようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように、スケール係数を残差情報に適用することを含み、これは、再構成されたビデオの最終的な視覚品質に影響を及ぼし得る。変換スケーリング及び量子化コンポーネント213はまた、ビットレートを更に低減するように変換係数を量子化するよう構成される。量子化プロセスは、一部又は全ての係数に関連したビットデプスを低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、変換スケーリング及び量子化コンポーネント213は、次いで、量子化された変換係数を含む行列の走査を実行しもてよい。量子化された変換係数は、ビットストリームの中に符号化されるようヘッダフォーマッティング及びCABACコンポーネント231へ転送される。
スケーリング及び逆変換コンポーネント229は、動き推定をサポートするよう変換スケーリング及び量子化コンポーネント213の逆の動作を適用する。スケーリング及び逆変換コンポーネント229は、例えば、他の現在ブロックのための予測ブロックになり得る参照ブロックとしての後の使用のために、ピクセル領域で残差ブロックを再構成するよう逆のスケーリング、変換、及び/又は量子化を適用する。動き推定コンポーネント221及び/又は動き補償コンポーネント219は、後のブロック/フレームの動き推定における使用のために、残差ブロックを対応する予測ブロックに加え直すことによって、参照ブロックを計算し得る。フィルタは、スケーリング、量子化、及び変換中に生じたアーチファクトを軽減するために、再構成された参照ブロックに適用される。このようなアーチファクトは、さもなければ、後続のブロックが予測される場合に誤った予測を引き起こす(そして、更なるアーチファクトを引き起こす)可能性がある。
フィルタ制御解析コンポーネント227及びインループフィルタコンポーネント225は、残差ブロックに及び/又は再構成された画像ブロックにフィルタを適用する。例えば、スケーリング及び逆変換コンポーネント229からの変換された残差ブロックは、元の画像ブロックを再構成するよう、イントラピクチャ予測コンポーネント217及び/又は動き補償コンポーネント219からの対応する予測ブロックと結合され得る。フィルタは、次いで、再構成された画像ブロックに適用され得る。いくつかの例では、フィルタは、代わりに、残差ブロックに適用されてもよい。図2の他のコンポーネントと同様に、フィルタ制御解析コンポーネント227及びインループフィルタコンポーネント225は高集積され、一緒に実装されてよいが、概念上の目的のために別々に表されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御解析コンポーネント227は、このようなフィルタがどこで適用されるべきかを決定するために、再構成された参照ブロックを解析し、対応するパラメータをセットする。このようなデータは、符号化のためにフィルタ制御データとしてヘッダフォーマッティング及びCABACコンポーネント231へ転送される。インループフィルタコンポーネント225は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、及び適応ループフィルタを含んでよい。このようなフィルタは、例に応じて、空間/ピクセル領域で(例えば、再構成されたピクセルブロックに対して)、あるいは、周波数領域で適用されてよい。
エンコーダとして動作する場合に、フィルタリングされた再構成された画像ブロック、残差ブロック、及び/又は予測ブロックは、上述されたように動き推定での後の使用のために復号化ピクチャバッファコンポーネント223に記憶される。デコーダとして動作する場合に、復号化ピクチャバッファコンポーネント223は、再構成され且つフィルタリングされたブロックを記憶し、出力ビデオ信号の部分としてディスプレイに向けて転送する。復号化ピクチャバッファコンポーネント223は、予測ブロック、残差ブロック、及び/又は再構成された画像ブロックを記憶することができる如何なるメモリデバイスであってもよい。
ヘッダフォーマッティング及びCABACコンポーネント231は、コーデックシステム200の様々なコンポーネントからデータを受け取り、そのようなデータを、デコーダに向けた伝送のために、コーディングされたビットストリーム内に符号化する。具体的に、ヘッダフォーマッティング及びCABACコンポーネント231は、汎用制御データ及びフィルタ制御データなどの制御データを符号化するための様々なヘッダを生成する。更に、量子化された変換係数データの形での残差データに加えて、イントラ予測及び動きデータを含む予測データも、全て、ビットストリームの中に符号化される。最終的なビットストリームは、元のパーティション化されたビデオ信号201を再構成するためにデコーダによって望まれる全ての情報を含む。このような情報はまた、イントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロックの符号化コンテキストの定義、最も確からしいイントラ予測モードの指示、パーティション情報の指示、などを含んでもよい。このようなデータは、エントロピコーディングを用いることによって符号化され得る。例えば、情報は、コンテキスト適応可変長コーディング(CAVLC)、CABAC、シンタックスに基づくコンテキスト適応バイナリ算術コーディング(SBAC)、確率間隔パーティション化エントロピ(PIPE)コーディング、又は他のエントロピコーディング技術を用いることによって符号化されてよい。エントロピコーディングに続いて、コーディングされたビットストリームは、他のデバイス(例えば、ビデオデコーダ)へ伝送されても、あるいは、後の伝送又は読み出しのためにアーカイブ保管されてもよい。
図3は、例示的なビデオエンコーダ300を表すブロック図である。ビデオエンコーダ300は、コーデックシステム200の符号化機能を実装し、且つ/あるいは、動作方法100のステップ101、103、105、107、及び/又は109を実装するために、用いられてよい。エンコーダ300は、入力されたビデオ信号をパーティション化して、パーティション化されたビデオ信号201と実質的に類似しているパーティション化されたビデオ信号301をもたらす。パーティション化されたビデオ信号301は、次いで、エンコーダ300のコンポーネントによってビットストリーム内に圧縮及び符号化される。
具体的に、パーティション化されたビデオ信号301は、イントラ予測のためにイントラピクチャ予測コンポーネント317へ転送される。イントラピクチャ予測コンポーネント317は、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217と実質的に類似し得る。パーティション化されたビデオ信号301は、復号化ピクチャバッファコンポーネント323内の参照ブロックに基づいたインター予測のために、動き補償コンポーネント321へも転送される。動き補償コンポーネント321は、動き推定コンポーネント221及び動き補償コンポーネント219と実質的に類似し得る。イントラピクチャ予測コンポーネント317及び動き補償コンポーネント321からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために、変換及び量子化コンポーネント313へ転送される。変換及び量子化コンポーネント313は、変換スケーリング及び量子化コンポーネント213と実質的に類似し得る。変換及び量子化された残差ブロック並びに対応する予測ブロックが(関連した制御データとともに)ビットストリーム内へのコーディングのためにエントロピコーディングコンポーネント331へ転送される。エントロピコーディングコンポーネント331は、ヘッダフォーマッティング及びCABACコンポーネント231と実質的に類似し得る。
変換及び量子化された残差ブロック並びに/又は対応する予測ブロックは、変換及び量子化コンポーネント313から逆変換及び量子化コンポーネント329へも、動き補償コンポーネント321によって使用される参照ブロックへの再構成のために転送される。逆変換及び量子化コンポーネント329は、スケーリング及び逆変換コンポーネント229と実質的に類似し得る。インループフィルタコンポーネント325におけるインループフィルタも、例に応じて、残差ブロック及び/又は再構成された参照ブロックに適用される。インループフィルタコンポーネント325は、フィルタ制御解析コンポーネント227及びインループフィルタコンポーネント225と実質的に類似し得る。インループフィルタコンポーネント325は、インループフィルタコンポーネント225に関して説明されたように複数のフィルタを含んでよい。フィルタリングされたブロックは、次いで、動き補償コンポーネント321による参照ブロックとしての使用のために、復号化ピクチャバッファコンポーネント323に記憶される。復号化ピクチャバッファコンポーネント323は、復号化ピクチャバッファコンポーネント223と実質的に類似し得る。
図4は、例示的なビデオデコーダ400を表すブロック図である。ビデオデコーダ400は、コーデックシステム200の復号化機能を実装し、且つ/あるいは、動作方法100のステップ111、113、115、及び/又は117を実装するために、用いられてよい。デコーダ400は、例えば、エンコーダ300から、ビットストリームを受け取り、ビットストリームに基づいて、エンドユーザへの表示のために、再構成された出力ビデオ信号を生成する。
ビットストリームは、エントロピ復号化コンポーネント433によって受け取られる。エントロピ復号化コンポーネント433は、CAVLC、CABAC、SBAC、PIPEコーディング、又は他のエントロピコーディング技術などのエントロピ復号化スキームを実装するよう構成される。例えば、エントロピ復号化コンポーネント433は、ビットストリームの中にコードワードとして符号化された追加データを解釈するためにコンテキストを供給するようヘッダ情報を用いてよい。復号された情報は、汎用制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、及び量子化された変換係数などのビデオ信号を残差ブロックから復号するための如何なる望ましい情報も含む。量子化された変換係数は、逆変換及び量子化コンポーネント429へ、残差ブロックへの再構成のために転送される。逆変換及び量子化コンポーネント429は、逆変換及び量子化コンポーネント329と類似し得る。
再構成された残差ブロック及び/又は予測ブロックは、イントラ予測動作に基づく画像ブロックへの再構成のために、イントラピクチャ予測コンポーネント417へ転送される。イントラピクチャ予測コンポーネント417は、イントラピクチャ推定コンポーネント215及びイントラピクチャ予測コンポーネント217と類似し得る。具体的に、イントラピクチャ予測コンポーネント417は、フレーム内の参照ブロックの位置を見つけるために予測モードを用い、残差ブロックをその結果に適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロック及び/又は残差ブロック並びに対応するインター予測データは、インループフィルタコンポーネント425を介して復号化ピクチャバッファコンポーネント423へ転送される。これらは、夫々、復号化ピクチャバッファコンポーネント223及びインループフィルタコンポーネント225と実質的に類似し得る。インループフィルタコンポーネント425は、再構成された画像ブロック、残差ブロック及び/又は予測ブロックをフィルタリングし、このような情報は、復号化ピクチャバッファコンポーネント423に記憶される。復号化ピクチャバッファコンポーネント423からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント421へ転送される。動き補償コンポーネント421は、動き推定コンポーネント221及び/又は動き補償コンポーネント219と実質的に類似し得る。具体的に、動き補償コンポーネント421は、予測ブロックを生成するために参照ブロックからの動きベクトルを用い、残差ブロックをその結果に適用して、画像ブロックを再構成する。結果として得られる再構成されたブロックも、インループフィルタコンポーネント425を介して復号化ピクチャバッファコンポーネント423へ転送されてよい。復号化ピクチャバッファコンポーネント423は、パーティション情報によりフレーム内に再構成され得る更なる再構成された画像ブロックを引き続き記憶する。このようなフレームはシーケンスでも配置されてよい。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。
図5は、符号化されたビデオシーケンスを含む例示的なビットストリーム500を表す概略図である。例えば、ビットストリーム500は、コーデックシステム200及び/又はデコーダ400による復号化のためにコーデックシステム200及び/又はエンコーダ300によって生成され得る。他の例として、ビットストリーム500は、ステップ111でのデコーダによる使用のために、方法100のステップ109でエンコーダによって生成されてもよい。
ビットストリーム500は、シーケンスパラメータセット(SPS)510、複数のピクチャパラメータセット(PPS)512、スライスヘッダ514、及び画像データ520を含む。SPS510は、ビットストリーム500に含まれているビデオシーケンス内の全てのピクチャに共通するシーケンスデータを含む。このようなデータは、ピクチャサイジング、ビットデプス、コーディングツールパラメータ、ビットレート制限、などを含むことができる。PPS512は、1つ以上の対応するピクチャに特有であるパラメータを含む。従って、ビデオシーケンス内の各ピクチャは、1つのPPS512を参照し得る。PPS512は、対応するピクチャ内のスライス(又はタイル)に利用可能なコーディングツール、量子化パラメータ、オフセット、ピクチャ特有のコーディングツールパラメータ(例えば、フィルタ制御)などを示すことができる。スライスヘッダ514は、ピクチャ内の各スライスに特有であるパラメータを含む。従って、ビデオシーケンスにはスライスごとに1つのスライスヘッダ514が存在し得る。スライスヘッダ514は、スライス情報、ピクチャオーダーカウント(POC)、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータ、などを含んでよい。留意されるべきは、いくつかのシステムは、スライスヘッダ514をタイルグループヘッダと呼び、スライスの代わりにタイルグループをサポートするためにこのような情報を使用することである。
画像データ520は、インター予測及び/又はイントラ予測に従って符号化されたビデオデータと、対応する変換及び量子化された残差データとを含む。そのような画像データ520は、符号化の前に画像をパーティション化するために使用されるパーティション化に従ってソートされる。例えば、画像データ520内の画像は1つ以上のピクチャ521を含む。ピクチャ521のシーケンス又は連続は、CVS527と呼ばれ得る。ここで使用されるように、CVS527は、復号化順に、符号化ビデオシーケンス開始(CVSS)AUと、それに続いて、CVSS AUである任意の後続AUまでの、しかしそれを含まない全ての後続AUを含む、CVSS AUではないゼロ個以上のAUとを含む一連のアクセスユニット(AU)である。CVSS AUは、ビデオパラメータセット(VPS)によって指定されるレイヤごとに予測ユニット(PU)が存在するAUであり、各PU内のコーディングされたピクチャは、符号化レイヤビデオシーケンス開始(CLVSS)ピクチャである。実施形態において、各ピクチャ521はAU内に配置されている。PUは、指定された分類規則に従って互いに関連しており、復号化順に連続し、ただ1つのコーディングされたピクチャを含むNALユニットの組である。
CVSは、ビデオビットストリーム内の全ての符号化レイヤビデオシーケンス(CLVS)のための符号化ビデオシーケンスである。特に、CVS及びCLVSは、ビデオビットストリームに含まれるレイヤが1つである場合に同じである。CVS及びCLVSは、ビデオビットストリームに複数のレイヤが含まれる場合にのみ異なる。
ピクチャ521の夫々は、サブピクチャ523に分割され得る。サブピクチャ523は、水平及び垂直境界によってもたらされるピクチャのパーティション化された部分である。サブピクチャ523は、長方形及び/又は正方形であり得る。具体的に、サブピクチャ523は、直角に接続されている4つの辺を含む。4つの辺は、2対の平行な辺を含む。更に、平行な辺の対をなす辺は、長さが等しい。そのようなものとして、サブピクチャ523は、任意の長方形形状であることができ、正方形は、4つ全ての辺が等しい長さである長方形の特別な場合である。
各サブピクチャ523は、スライス529にパーティション化され得る。留意されるべきは、いくつかのアプリケーションにおいて、スライス529は、タイル及び/又はタイルグループと呼ばれる得ることである。スライス529は、長方形及び/又は正方形であることができ、つまり、スライスは、(例えば、長方形又は正方形形状を有さなくてもよいラスタ走査スライスとは対照的に)長方形又は正方形形状を有する。具体的にスライス529は、直角に接続されている4つの辺を含む。4つの辺は、2対の平行な辺を含む。更に、平行な辺の対をなす辺は、長さが等しい。そのようなものとして、スライス529は、任意の長方形形状であることができ、正方形は、4つ全ての辺が等しい長さである長方形の特別な場合である。
実施形態において、各サブピクチャ523は、ピクチャ521内の1つ以上のスライス529の長方形領域を有する。つまり、各サブピクチャ523は、1つ以上のスライス529に分割され、各ピクチャ521は、1つ以上のサブピクチャ523に分割される。
スライス529は、例に応じて、他のスライス529に基づいた予測を許可してもしなくてもよい。各スライス529は、サブピクチャ523において一意のスライスインデックスを有し得る。スライスインデックスは、1つのスライス529を他と区別するために使用され得る手続き的に選択された数値識別子である。例えば、スライスインデックスは、上から下へ又は左から右へ数的に増加し得る。
留意されるべきは、いくつかの例では、スライス529がスライス識別子(ID)を割り当てられてもよいことである。スライスIDは、1つのスライス529を他と区別するために使用され得る割り当てられた識別子である。計算は、いくつかの例では、スライスインデックスの代わりにスライスIDを用いてもよい。更に、スライスIDは、いくつかの例では、スライスインデックスと同じ値を有するよう割り当てられ得る。スライスインデックス及び/又はIDは、スライス529を含むスライスグループを示すよう通知され得る。例えば、スライスインデックス及び/又はIDは、スライス529に関連したピクチャデータを表示のための適切な位置にマッピングするために用いられてもよい。複数のスライス529はタイルセットと呼ばれ得る。タイルセットは、例えば、関心領域の表示をサポートするために、及び/又は並列処理をサポートするために、別々に抽出及びコーディングされ得るスライス529の関連する組である。各スライス529は、対応するタイルセットに割り当てられ得るので、ピクチャ521は、複数のタイルセットを含むことができる。
スライス529は更に、コーディングツリーユニット(CTU)に分割される。CTUは、コーディングツリーに基づきコーディングブロックに更に分割される。コーディングブロックは、次いで、予測メカニズムに従って符号化/復号化され得る。
実施形態において、PPS512は、サブピクチャあたりの単一スライスのフラグ532を含む。実施形態において、サブピクチャあたりの単一スライスのフラグ532は、第1値(例えば、1)を有する。第1値は、(ビットストリーム500内の他のPPSとは対照的に)PPS512を参照する各サブピクチャ(例えば、サブピクチャ523)が唯一の長方形スライス(例えば、スライス529)を含む可能性があることを指定する。つまり、各サブピクチャは単一の長方形スライスを含む。よって、サブピクチャ及び長方形スライスの大きさは同じである。
実施形態において、サブピクチャあたりの単一スライスのフラグ532は、第2値(例えば、0)を有する。第2値は、(ビットストリーム500内の他のPPSとは対照的に)PPS512を参照する各サブピクチャ(例えば、523)が1つ以上の長方形スライス(例えば、スライス529)を含む可能性があることを指定する。つまり、各サブピクチャは、単一の長方形スライスを含んでもよく、あるいは、複数のスライスを含んでもよい。サブピクチャが複数のスライスを含む場合に、サブピクチャの大きさは、個々のスライスの大きさとは異なる。実施形態において、サブピクチャあたりの単一スライスのフラグ532は、pps_single_slice_per_subpic_flagとして指定される。
実施形態において、PPS512は、ピクチャ内のスライス数のフラグ534を更に有する。ピクチャ内のスライス数のフラグ534は、PPS512を参照する各ピクチャ(例えば、521)内の長方形スライス(例えば、スライス529)の数を決定するために使用される。実施形態において、ピクチャ内のスライス数のフラグ534は、ピクチャあたりの単一スライスのフラグ532が第2値を有する場合に、PPSを参照する各ピクチャ内の長方形スライスの数を知らせるために用いられる。
実施形態において、ピクチャ内のスライス数のフラグ534の値に1をプラスしたものは、PPSを参照する各ピクチャ内のスライスの数を指定する。例えば、ピクチャ内のスライス数のフラグ534の値が3である場合に、ピクチャ内のスライスの総数は4(例えば、3+1)である。実施形態において、ピクチャ内のスライス数のフラグ534は、pps_num_slices_in_pic_minus1として指定される。
図6は、ビデオデコーダ(例えば、ビデオデコーダ400)によって実装される復号化の方法600の実施形態である。方法600は、復号されたビットストリームが直接的又は間接的にビデオエンコーダ(例えば、ビデオエンコーダ300)から受信された後で実行され得る。方法600は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用することによって、復号化プロセスを改善する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
ブロック602で、ビデオデコーダは、サブピクチャあたりの単一スライスのフラグ(例えば、サブピクチャあたりの単一スライスのフラグ532)を含むPPS(例えば、PPS512)を含むビットストリーム(例えば、ビットストリーム500)を受信する。実施形態において、サブピクチャあたりの単一スライスのフラグは、pps_single_slice_per_subpic_flagとして指定される。
実施形態において、PPSは、ピクチャ内のスライス数のフラグ(例えば、ピクチャ内のスライス数のフラグ534)を更に含む。ピクチャ内のスライス数のフラグの値に1をプラスしたものは、PPSを参照する各ピクチャ内のスライスの数を指定する。実施形態において、ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される。
ブロック604で、ビデオデコーダは、サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定する。第1値は、PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定する。第2値は、PPSを参照する各サブピクチャが1つ以上の長方形スライス(例えば、1つ又は複数の長方形スライス)を含む可能性があることを指定する。実施形態において、第1値はイチ(1)であり、第2値はゼロ(0)である。実施形態において、各サブピクチャは、ピクチャ内のもう1つのスライスの長方形領域を含む。
ブロック606で、ビデオデコーダは、サブピクチャあたりの単一スライスのフラグが第1値を有する場合には唯一の長方形スライスを、サブピクチャあたりの単一スライスのフラグが第2値を有する場合には1つ以上の長方形スライスを復号する。復号されると、唯一の長方形スライス又は1つ以上の長方形スライスは、場合によっては、電子デバイス(例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、など)のディスプレイ又はスクリーンでのユーザへの表示のために画像又はビデオシーケンスを生成又は発生するために使用される。
図7は、ビデオエンコーダ(例えば、ビデオエンコーダ300)によって実装されるビデオビットストリームの符号化の方法700の実施形態である。方法700は、(例えば、ビデオからの)ピクチャがビデオビットストリームに符号化され、次いでビデオデコーダ(例えば、ビデオデコーダ400)に向けて送信されるべきである場合に、実行され得る。方法700は、ピクチャの各サブピクチャが唯一の長方形スライスを含むかどうかを示すためにビットストリーム内のフラグを使用することによって、符号化プロセスを改善する。各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合に、サブピクチャの数及びレイアウト(例えば、各サブピクチャの位置及びサイズ)を通知するシンタックス要素は、サブピクチャがスライスと同じであるので、ビットストリームから省略され得る。つまり、各サブピクチャが1つの長方形スライスしか含まないことをフラグが示す場合には、スライスについてのシンタックス要素のみがビットストリームに含まれさえすればよい。これは、ビットストリームで運ばれる情報の量を減らして、メモリ、プロセッサ、及びネットワーク資源の利用を低減しかつコーディング効率を高める。よって、ビデオコーディングにおけるコーダ/デコーダ(別名、「コーデック」)は、現在のコーデックに対して改善される。実際問題として、改善されたビデオコーディングプロセスは、ビデオが送信、受信、及び/又は表示される場合に、ユーザに、より良いユーザ経験を提供する。
ブロック702で、ビデオエンコーダは、サブピクチャあたりの単一スライスのフラグ(例えば、サブピクチャあたりの単一スライスのフラグ532)を、PPS(例えば、PPS512)を参照する各サブピクチャ(例えば、サブピクチャ523)が唯一の長方形スライスを含む場合には第1値に、PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性がある場合には第2値にセットする。
実施形態において、サブピクチャあたりの単一スライスのフラグは、pps_single_slice_per_subpic_flagとして指定される。実施形態において、第1値はイチ(1)であり、第2値はゼロ(0)である。
実施形態において、PPSは、ピクチャ内のスライス数のフラグ(例えば、ピクチャ内のスライス数のフラグ534)を更に含む。実施形態において、ビデオエンコーダは、ピクチャ内のスライス数のフラグをある値にセットする。ピクチャ内のスライス数のフラグの値に1をプラスしたものは、PPSを参照する各ピクチャ内のスライスの数を指定する。実施形態において、ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される。実施形態において、各サブピクチャは、ピクチャ内のもう1つのスライスの長方形領域を有する。
ブロック704で、ビデオエンコーダは、サブピクチャあたりの単一スライスのフラグを含むPPSをビットストリーム(例えば、ビットストリーム500)に符号化する。ブロック706で、ビデオエンコーダは、デコーダに向けた通信のためにビットストリームを記憶する。ビットストリームは、ビデオビットストリームがビデオデコーダに向けて送信されるまで、メモリに記憶され得る。ビデオデコーダによって受信されると、符号化されたビデオビットストリームは、電子デバイス(例えば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、など)のディスプレイ又はスクリーンでのユーザへの表示のために画像又はビデオシーケンスを生成又は発生するために(例えば、上述されたように)復号され得る。
以下のシンタックス及びセマンティクスは、ここで開示されている実施形態を実装するために用いられ得る。以下の記載は、サブピクチャ情報のシグナリングがスライスのレイアウトに基づき通知されると仮定して、最新のVVCドラフト仕様である基本テキストに関連する。言い換えると、差分のみが説明され、一方、以下で述べられていない基本テキスト内のテキストは、そのまま適用される。
PPSシンタックスは、次の通りである。
Figure 2022549289000002
PPSセマンティクスは、次の通りである。
1に等しいbrick_idx_delta_sign_flag[i]は、bottom_right_brick_idx_delta[i]の正符号を示す。0に等しいbrick_idx_delta_sign_flag[i]は、bottom_right_brick_idx_delta[i]の負符号を示す。
ビットストリームコンフォーマンスの要件は、スライスが多数の完全なタイル又は1つのタイルの完全なブリックの連続したシーケンスのどちらかを含むべきであることである。
i番目のスライスの左上隅に位置しているブリックのブリックインデックス、i番目のスライスの右下隅に位置しているブリックのブリックインデックス、i番目のスライス内のブリックの数、及びj番目のブリックを含むスライスのスライスインデックス、CTBの単位でのi番目のスライスの左境界の位置、CTBの単位でのi番目のスライスの右境界の位置、CTBの単位でのi番目のスライスの幅、及びCTBの単位でのi番目のスライスの高さを夫々指定する変数TopLeftBrickIdx[i]、BottomRightBrickIdx[i]、NumBricksInSlice[i]、BrickToSliceMap[j]、SliceColBd[i]、SliceRowBd[i]、SliceWidth[i]、及びSliceHeight[i]は、次のように導出される:
Figure 2022549289000003
1に等しいsubpics_prsent_flagは、サブピクチャパラメータがPPS RBSPシンタックスに存在することを示す。0に等しいsubpics_prsent_flagは、サブピクチャパラメータがPPS RBSPシンタックスに存在しないことを示す。存在しない場合には、subpics_prsent_flagの値は、0に等しいと推測される。
注記-ビットストリームが、入力ビットストリームがピクチャごとに複数のサブピクチャを含み、抽出中に、VCL NALユニットが抽出又は破棄されるだけで変更されないサブピクチャベースのサブビットストリーム抽出プロセスの結果であり、ビットストリームが、入力ビットストリームのサブピクチャの真のサブセットのみを含む場合に、subpics_prsent_flagの値は、各ピクチャに1つのサブピクチャしかない場合でさえ、ビットストリーム内のPPSのRBSPにおいて1に等しくなければならない。
1に等しいsingle_slice_per_subpic_flagは、このPPSを参照する各サブピクチャ内の各サブピクチャが1つの長方形スライスを含むことを指定する。0に等しいsingle_slice_per_subpic_flagは、このPPSを参照するピクチャ内のサブピクチャが1よりも多い長方形スライスを含む可能性があることを指定する。rect_slice_flagが1に等しく、num_slices_in_pic_minus1が0に等しい場合に、single_slice_per_subpic_flagの値は、1に等しいと推測される。
num_subpics_minus1に1をプラスしたものは、PPSを参照する各ピクチャ内のサブピクチャの数を指定する。num_subpics_minus1は、0以上num_slices_in_pic_minus1以下の範囲内にあるべきである。subpics_prsent_flagが0に等しい場合に、num_subpics_minus1の値は0と推測される。存在せず、single_slice_per_subpic_flagが1に等しい場合には、num_subpics_minus1の値は、num_slices_in_pic_minus1に等しいと推測される。変数NumSubPicsは、num_subpics_minus1+1に等しいと導出される。
bottom_right_slice_idx_length_minus1に1をプラスしたものは、シンタックス要素bottom_right_slice_idx_delta[i]を表すために使用されるビットの数を指定する。bottom_right_slice_idx_length_minus1の値は、0以上Ceil(Log2(num_slices_in_pic_minus1+1))-1以下の範囲内にあるべきである。
bottom_right_slice_idx_delta[i]は、iが0よりも大きい場合に、i番目のサブピクチャの右下隅に位置しているスライスのスライスインデックスと、(i-1)番目のサブピクチャの右下隅のスライスインデックスとの間の差を指定する。bottom_right_slice_idx_delta[0]は、0番目のサブピクチャの右下隅のスライスインデックスを指定する。single_slice_per_subpic_flagが1に等しい場合に、bottom_right_slice_idx_delta[i]の値は、1に等しいと推測される。BottomRightSliceIdx[num_subpics_minus1]の値は、num_slices_in_pic_minus1に等しいと推測される。bottom_right_slice_idx_delta[i]シンタックス要素の長さは、bottom_right_slice_idx_length_minus1+1ビットである。
1に等しいslice_idx_delta_sign_flag[i]は、bottom_right_slice_idx_delta[i]の正符号を示す。0に等しいslice_idx_delta_sign_flag[i]は、bottom_right_brick_idx_delta[i]の負符号を示す。
i番目のサブピクチャの左上隅に位置しているスライスのスライスインデックス、i番目のサブピクチャの右下隅に位置しているスライスのスライスインデックス、i番目のサブピクチャ内のスライスの数、j番目のスライスを含むサブピクチャのサブピクチャインデックス、及びi番目のサブピクチャ内のk番目のスライスのピクチャレベルスライスインデックスを夫々指定する変数TopLeftSliceIdx[i]、BottomRightSliceIdx[i]、NumSlicesInSubpic[i]、SliceToSubpicMap[j]、及びSliceSubpicToPicIdx[i][k]は、次のように導出される:
Figure 2022549289000004
CTBの単位でのi番目のサブピクチャの左境界位置、上境界の境界位置、幅、及び高さを夫々指定する変数SubpicLeft[i]、SubpicTop[i]、SubpicWidth、及びSubpicHeight[i]は、0以上NumbSubPics-1以下の範囲内のiの各値について次のように導出される:
Figure 2022549289000005
1に等しいsubpic_treated_as_pic_flag[i]は、CVS内の各コーディングされたピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号化プロセスでピクチャとして扱われることを指定する。0に等しいsubpic_treated_as_pic_flag[i]は、CVS内の各コーディングされたピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号化プロセスでピクチャとして扱われないことを指定する。存在しない場合には、subpic_treated_as_pic_flag[i]の値は、0に等しいと推測される。
1に等しいloop_filter_across_subpic_enabled_flag[i]は、インループフィルタリング動作がCVS内の各コーディングされたピクチャにおいてi番目のサブピクチャの境界にわたって実行され得ることを指定する。0に等しいloop_filter_across_subpic_enabled_flag[i]は、インループフィルタリング動作がCVS内の各コーディングされたピクチャにおいてi番目のサブピクチャの境界にわたって実行されないことを指定する。存在しない場合には、loop_filter_across_subpic_enabled_flag[i]の値は、1に等しいと推測される。
ビットストリームコンフォーマンスの要件は、次の制約が適用されることである。
-いずれか2つのサブピクチャsubpicA及びsubpicBについて、subpicAのインデックスがsubpicBのインデックスよりも小さい場合に、subPicAの如何なるコーディングされたNALユニットも、復号化順においてsubPicBの如何なるコーディングされたNALユニットの後にも続くべきである。
サブピクチャの形状は、各サブピクチャが、復号されるとき、ピクチャ境界から成るか又は前に復号されたサブピクチャの境界から成るその左境界全体及び上境界全体を有するべきであるようなものであるべきである。
SubpicLeft[i]、SubpicTop[i]、SubpicWidth[i]及びSubpicHeight[i]の値は、CLVSのコーディングされたスライスNALユニットによって参照されたどのPPS RBSPからそれらが導出されるかにかかわらず、0以上NumSubPics-1以下のiの各値について夫々同じであるべきである。
subpic_treated_as_pic_flag[i]及びloop_filter_across_subpic_enabled_flag[i]の値は、0以上NumSubPics-1以下の範囲内のiの各値について夫々CLVSのコーディングされたスライスNALユニットによって参照された全てのPPS RBSPにおいて同じままであるべきである。
1に等しいsubpic_ids_constant_in_clvs_flagは、subpic_id_len_minus1及びpps_subpic_id[i]の値が、0以上num_subpics_minus1以下の範囲内のiの各値について、CLVSのコーディングされたスライスNALユニットによって参照された全てのPPS RBSPにおいて同じままであることを示す。0に等しいsubpic_ids_constant_in_clvs_flagは、subpic_id_len_minus1の値及びpps_subpic_id[i]の値が制約されてもされなくてもよいことを示す。
subpic_id_len_minus1に1をプラスしたものは、ビットでのpps_subpic_id[i]及びslice_subpic_idシンタックス要素の長さを指定する。subpic_id_len_minus1の値は、3以上31以下の範囲内にあるべきである。0以上2以下の範囲内のsubpic_id_len_minus1の値は、ITU-T|ISO/IECによる将来の使用のためにリザーブされる。
pps_subpic_id[i]は、i番目のサブピクチャの識別子を指定する。
図8は、本開示の実施形態に従うビデオコーディングデバイス800(例えば、ビデオエンコーダ300又はビデオデコーダ400)の概略図である。ビデオコーディングデバイス800は、ここで記載されている開示された実施形態を実装するのに適している。ビデオコーディングデバイス800は、データを受け取る入口ポート810及び受信器ユニット(Rx)820と、データを処理するためのプロセッサ、ロジックユニット、又は中央演算処理装置(CPU)830と、データを送信する送信器ユニット(Tx)840及び出口ポート850と、データを記憶するメモリ860とを有する。ビデオコーディングデバイス800はまた、光又は電気信号の出口又は入口のために入口ポート810、受信器ユニット820、送信器ユニット840、及び出口ポート850へ結合された光電気(OE)コンポーネント及び電気光(EO)コンポーネントを有してもよい。
プロセッサ830は、ハードウェア及びソフトウェアによって実装される。プロセッサ830は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサとして)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、及びデジタル信号プロセッサ(DSP)として実装されてよい。プロセッサ830は、入口ポート810、受信器ユニット820、送信器ユニット840、出口ポート850、及びメモリ860と通信する。コーディングモジュール870は、上記の開示された実施形態を実装する。例えば、コーディングモジュール870は、様々なコーデック機能を実装、処理、準備、又は提供する。コーディングモジュール870の包含は、従って、ビデオコーディングデバイス800の機能性に実質的な改善をもたらし、異なる状態へのビデオコーディングデバイス800の変形を達成する。代替的に、コーディングモジュール870は、メモリ860に記憶されてプロセッサ830によって実行される命令として実装される。
ビデオコーディングデバイス800はまた、ユーザへ及びユーザからデータを通信する入力及び/又は出力(I/O)デバイス880を含んでもよい。I/Oデバイス880は、ビデオデータを表示するディスプレイ、オーディオデータを出力するスピーカ、などを含み得る。I/Oデバイス880は、キーボード、マウス、トラックボール、などのような入力デバイス、及び/又はそのような出力デバイスと相互作用する対応するインターフェースを含んでもよい。
メモリ860は、1つ以上のディスク、テープドライブ、及びソリッドステートドライブを有し、プログラムが実行のために選択される場合にかようなプログラムを記憶するために、かつ。プログラム実行中に読み出される命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてもよい。メモリ860は、揮発性及び/又は不揮発性であってよく、リード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、三値連想メモリ(TCAM)、及び/又は静的ランダム・アクセス・メモリ(SRAM)であってもよい。
図9は、コーディングのための手段900の実施形態の概略図である。実施形態において、コーディングのための手段900は、ビデオコーディングデバイス902(例えば、ビデオエンコーダ300又はビデオデコーダ)において実装される。ビデオコーディングデバイス902は、受信手段901を含む。受信手段901は、符号化すべきピクチャを受信するよう又は復号すべきビットストリームを受信するよう構成される。ビデオコーディングデバイス902は、受信手段901へ結合される送信手段907を含む。送信手段907は、ビットストリームをデコーダへ送信するよう又は復号された画像を表示手段(例えば、I/Oデバイス880の1つ)へ送信するよう構成される。
ビデオコーディングデバイス902は、記憶手段903を含む。記憶手段903は、受信手段901又は送信手段907のうちの少なくとも一方へ結合される。記憶手段903は、命令を記憶するよう構成される。ビデオコーディングデバイス902はまた、処理手段905を含む。処理手段905は、記憶手段903へ結合される。処理手段905は、記憶手段903に記憶されている命令を実行して、ここで開示されている方法を実行するよう構成される。
いくつかの実施形態が本開示で提供されているが、開示されているシステム及び方法は、本開示の精神又は範囲から逸脱せずに、多数の他の具体的な形態で具現されてもよいことが理解され得る。本例は、限定としてではなく実例として見なされるべきであり、意図は、ここで与えられている詳細に限定されるべきではない。例えば、様々な要素又はコンポーネントは、他のシステムに結合又は統合されてもよく、あるいは、特定の特徴は省略されても又は実施されなくてもよい。
更に、別個又は別々なものとして様々な実施形態で記載及び例示されている技術、システム、サブシステム、及び方法は、本開示の範囲から外れずに、他のシステム、コンポーネント、技術、又は方法と結合又は統合されてもよい。変更、置換、及び代替の他の例は、当業者によって確かめられ、ここで開示されている精神及び範囲から逸脱せずに行われ得る。
いくつかの例では、コーデックシステム200は、復号化ピクチャバッファコンポーネント223に記憶されている参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。例えば、ビデオコーデックシステム200は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセル位置、又は他の分数ピクセル位置の値を補間してよい。従って、動き推定コンポーネント221は、フルピクセル位置及び分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定コンポーネント221は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス内のビデオブロックのPUについての動きベクトルを計算する。動き推定コンポーネント221は、計算された動きベクトルを、符号化のためにヘッダフォーマッティング及びCABACコンポーネント231へ動きデータとして、及び動き補償コンポーネント219へ動きデータとして、出力する。
ブロック604で、ビデオデコーダは、サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定する。第1値は、PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定する。第2値は、PPSを参照する各サブピクチャが1つ以上の長方形スライス(例えば、1つ又は複数の長方形スライス)を含む可能性があることを指定する。実施形態において、第1値はイチ(1)であり、第2値はゼロ(0)である。実施形態において、各サブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域を含む。
実施形態において、PPSは、ピクチャ内のスライス数のフラグ(例えば、ピクチャ内のスライス数のフラグ534)を更に含む。実施形態において、ビデオエンコーダは、ピクチャ内のスライス数のフラグをある値にセットする。ピクチャ内のスライス数のフラグの値に1をプラスしたものは、PPSを参照する各ピクチャ内のスライスの数を指定する。実施形態において、ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される。実施形態において、各サブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域を有する。
1に等しいslice_idx_delta_sign_flag[i]は、bottom_right_slice_idx_delta[i]の正符号を示す。0に等しいslice_idx_delta_sign_flag[i]は、bottom_right_slice_idx_delta[i]の負符号を示す。
CTBの単位でのi番目のサブピクチャの左境界位置、上境界位置、幅、及び高さを夫々指定する変数SubpicLeft[i]、SubpicTop[i]、SubpicWidth[i]、及びSubpicHeight[i]は、0以上NumbSubPics-1以下の範囲内のiの各値について次のように導出される:
Figure 2022549289000015

Claims (28)

  1. デコーダによって実施される方法であって、
    前記デコーダによって、サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを受信することと、
    前記デコーダによって、前記サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定することであり、前記第1値は、前記PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定し、前記第2値は、前記PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性があることを指定する、前記決定することと、
    前記デコーダによって、前記サブピクチャあたりの単一スライスのフラグが前記第1値を有する場合には前記唯一の長方形スライスを、前記サブピクチャあたりの単一スライスのフラグが前記第2値を有する場合には前記1つ以上の長方形スライスを復号して、復号化ピクチャを取得することと
    を有する方法。
  2. 前記サブピクチャあたりの単一スライスのフラグは、pps_single_slice_per_subpic_flagとして指定される、
    請求項1に記載の方法。
  3. 前記第1値はイチ(1)であり、前記第2値はゼロ(0)である、
    請求項1乃至2のうちいずれかに記載の方法。
  4. 前記PPSは、ピクチャ内のスライス数のフラグを更に含み、該ピクチャ内のスライス数のフラグの値に1をプラスしたものは、前記PPSを参照する各ピクチャ内のスライスの数を指定する、
    請求項1乃至3のうちいずれかに記載の方法。
  5. 前記ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される、
    請求項1乃至4のうちいずれかに記載の方法。
  6. 各サブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域を有する、
    請求項1乃至5のうちいずれかに記載の方法。
  7. 前記サブピクチャあたりの単一スライスのフラグが前記第1値を有する場合には前記唯一の長方形スライスに、前記サブピクチャあたりの単一スライスのフラグが前記第2値を有する場合には前記1つ以上の長方形スライスに基づき、表示のための画像を生成することを更に有する、
    請求項1乃至6のうちいずれかに記載の方法。
  8. エンコーダによって実施される方法であって、
    前記エンコーダによって、サブピクチャあたりの単一スライスのフラグを、ピクチャパラメータセット(PPS)を参照する各サブピクチャが唯一の長方形スライスを含む場合には第1値に、前記PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性がある場合には第2値にセットすることと、
    前記エンコーダによって、前記サブピクチャあたりの単一スライスのフラグを含む前記PPSをビットストリームに符号化することと、
    前記エンコーダにおって、デコーダへの通信のために前記ビットストリームを記憶することと
    を有する方法。
  9. 前記サブピクチャあたりの単一スライスのフラグは、pps_single_slice_per_subpic_flagとして指定される、
    請求項8に記載の方法。
  10. 前記第1値はイチ(1)であり、前記第2値はゼロ(0)である、
    請求項8乃至9のうちいずれかに記載の方法。
  11. 前記PPSは、ピクチャ内のスライス数のフラグを更に含み、該ピクチャ内のスライス数のフラグの値に1をプラスしたものは、前記PPSを参照する各ピクチャ内のスライスの数を指定する、
    請求項8乃至10のうちいずれかに記載の方法。
  12. 前記ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される、
    請求項8乃至11のうちいずれかに記載の方法。
  13. 各サブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域を有する、
    請求項8乃至12のうちいずれかに記載の方法。
  14. 前記ビットストリームをビデオデコーダに向けて送信することを更に有する、
    請求項8乃至13のうちいずれかに記載の方法。
  15. 復号化デバイスであって、
    サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを受信するよう構成される受信器と、
    前記受信器へ結合され、命令を記憶しているメモリと、
    前記メモリへ結合されるプロセッサと
    を有し、
    前記プロセッサは、前記命令を実行して、前記復号化デバイスに、
    前記サブピクチャあたりの単一スライスのフラグが第1値又は第2値を有するかどうかを決定することであり、前記第1値は、前記PPSを参照する各サブピクチャが唯一の長方形スライスを含むことを指定し、前記第2値は、前記PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性があることを指定する、前記決定することと、
    前記サブピクチャあたりの単一スライスのフラグが前記第1値を有する場合には前記唯一の長方形スライスを、前記サブピクチャあたりの単一スライスのフラグが前記第2値を有する場合には前記1つ以上の長方形スライスを復号して、復号化ピクチャを取得することと
    を実行させるよう構成される、
    復号化デバイス。
  16. 前記第1値はイチ(1)であり、前記第2値はゼロ(0)である、
    請求項15に記載の復号化デバイス。
  17. 前記PPSは、ピクチャ内のスライス数のフラグを更に含み、該ピクチャ内のスライス数のフラグの値に1をプラスしたものは、前記PPSを参照する各ピクチャ内のスライスの数を指定する、
    請求項15乃至16のうちいずれかに記載の復号化デバイス。
  18. 前記ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される、
    請求項15乃至17のうちいずれかに記載の復号化デバイス。
  19. 前記プロセッサは、前記サブピクチャあたりの単一スライスのフラグが前記第1値を有する場合には前記唯一の長方形スライスに、前記サブピクチャあたりの単一スライスのフラグが前記第2値を有する場合には前記1つ以上の長方形スライスに基づき、表示のための画像を生成するよう更に構成される、
    請求項15乃至18のうちいずれかに記載の復号化デバイス。
  20. 符号化デバイスであって、
    命令を含むメモリと、
    前記メモリへ結合されるプロセッサであり、前記命令を実施して、前記符号化デバイスに、
    サブピクチャあたりの単一スライスのフラグを含むピクチャパラメータセット(PPS)を含むビットストリームを符号化することと、
    前記サブピクチャあたりの単一スライスのフラグを、前記PPSを参照する各サブピクチャが唯一の長方形スライスを含む場合には第1値に、前記PPSを参照する各サブピクチャが1つ以上の長方形スライスを含む可能性がある場合には第2値にセットすることと
    を実行させるよう構成される前記プロセッサと、
    前記プロセッサへ結合され、前記ビットストリームをビデオデコーダへ向けて送信するよう構成される送信器と
    を有する符号化デバイス。
  21. 前記第1値はイチ(1)であり、前記第2値はゼロ(0)である、
    請求項20に記載の符号化デバイス。
  22. 前記PPSは、ピクチャ内のスライス数のフラグを更に含み、該ピクチャ内のスライス数のフラグの値に1をプラスしたものは、前記PPSを参照する各ピクチャ内のスライスの数を指定する、
    請求項20乃至21のうちいずれかに記載の符号化デバイス。
  23. 前記ピクチャ内のスライス数のフラグは、pps_num_slices_in_pic_minus1として指定される、
    請求項20乃至22のうちいずれかに記載の符号化デバイス。
  24. 前記ビットストリームを前記デコーダに向けて送信する前に、前記ビットストリームを前記メモリに記憶することを更に有する、
    請求項20乃至23のうちいずれかに記載の符号化デバイス。
  25. 符号化すべきピクチャを受信するよう又は復号すべきビットストリームを受信するよう構成される受信器と、
    前記受信器へ結合され、前記ビットストリームをデコーダへ送信するよう又は復号された画像をディスプレイへ送信するよう構成される送信器と、
    前記受信器又は前記送信器の少なくとも一方へ結合され、命令を記憶するよう構成されるメモリと、
    前記メモリへ結合され、該メモリに記憶されている前記命令を実行して、請求項1乃至7のうちいずれか及び請求項8乃至14のうちいずれかに記載の方法を実行するよう構成されるプロセッサと
    を有するコーディング装置。
  26. 復号されたピクチャを表示するよう構成されるディスプレイを更に有する、
    請求項25に記載のコーディング装置。
  27. エンコーダと、
    前記エンコーダと通信するデコーダと
    を有し、
    前記エンコーダ又は前記デコーダは、請求項15乃至26のうちいずれかに記載の復号化デバイス、符号化デバイス、又はコーディング装置を含む、
    システム。
  28. 符号化すべきピクチャを受信するよう又は復号すべきビットストリームを受信するよう構成される受信手段と、
    前記受信手段へ結合され、前記ビットストリームを復号化手段へ送信するよう又は復号された画像を表示手段へ送信するよう構成される送信手段と、
    前記受信手段又は前記送信手段の少なくとも一方へ結合され、命令を記憶するよう構成される記憶手段と、
    前記記憶手段へ結合され、該記憶手段に記憶されている前記命令を実行して、請求項1乃至7のうちいずれか及び請求項8乃至14のうちいずれかに記載の方法を実行するよう構成される処理手段と
    を有するコーディング手段。
JP2022518324A 2019-09-23 2020-09-15 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示 Active JP7469464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024060545A JP2024084810A (ja) 2019-09-23 2024-04-04 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962904481P 2019-09-23 2019-09-23
US62/904,481 2019-09-23
US201962905122P 2019-09-24 2019-09-24
US62/905,122 2019-09-24
PCT/US2020/050837 WO2021061443A1 (en) 2019-09-23 2020-09-15 Indication of one slice per subpicture in subpicture-based video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024060545A Division JP2024084810A (ja) 2019-09-23 2024-04-04 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示

Publications (2)

Publication Number Publication Date
JP2022549289A true JP2022549289A (ja) 2022-11-24
JP7469464B2 JP7469464B2 (ja) 2024-04-16

Family

ID=75166797

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022518324A Active JP7469464B2 (ja) 2019-09-23 2020-09-15 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示
JP2024060545A Pending JP2024084810A (ja) 2019-09-23 2024-04-04 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024060545A Pending JP2024084810A (ja) 2019-09-23 2024-04-04 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示

Country Status (12)

Country Link
US (1) US20220217383A1 (ja)
EP (1) EP4022926A4 (ja)
JP (2) JP7469464B2 (ja)
KR (1) KR20220063262A (ja)
CN (1) CN114430908A (ja)
AU (1) AU2020352903A1 (ja)
BR (2) BR112022005346A2 (ja)
CA (1) CA3152290A1 (ja)
CL (1) CL2022000690A1 (ja)
IL (1) IL291649A (ja)
MX (1) MX2022003452A (ja)
WO (1) WO2021061443A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022553599A (ja) * 2019-12-20 2022-12-26 キヤノン株式会社 サブピクチャ、スライス、およびタイルをサポートするビデオ符号化

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164479A1 (en) * 2019-02-11 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Video block partition based on quinary tree
AU2020394260B2 (en) * 2019-11-27 2024-04-04 Lg Electronics Inc. Method and apparatus for signaling image information
AR121126A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de elementos de sintaxis para indicación de imagen de referencia

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180209A (ja) * 2004-12-22 2006-07-06 Sony Corp 記録装置および方法、再生装置および方法、プログラム記録媒体、並びにプログラム
JP2015534775A (ja) * 2012-09-28 2015-12-03 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング
WO2020245498A1 (en) * 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020256442A1 (ko) * 2019-06-20 2020-12-24 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2021061033A1 (en) * 2019-09-23 2021-04-01 Telefonaktiebolaget Lm Ericsson (Publ) Segment position signalling with subpicture slice position deriving

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000388B2 (en) * 2006-07-17 2011-08-16 Sony Corporation Parallel processing apparatus for video compression
ES2571863T3 (es) * 2012-01-17 2016-05-27 ERICSSON TELEFON AB L M (publ) Gestión de listas de imágenes de referencia
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
CN109076216B (zh) * 2016-03-30 2023-03-31 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
WO2018178507A1 (en) * 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2018221368A1 (ja) * 2017-05-31 2018-12-06 シャープ株式会社 動画像復号装置、及び動画像符号化装置
US20220182681A1 (en) * 2019-03-24 2022-06-09 Lg Electronics Inc. Image or video coding based on sub-picture handling structure
CN113924773A (zh) * 2019-06-19 2022-01-11 韩国电子通信研究院 图像编码/解码方法和装置以及用于存储比特流的记录介质
US11212530B2 (en) * 2019-06-24 2021-12-28 Tencent America LLC Method for slice, tile and brick signaling
US11363307B2 (en) * 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
CN113875249A (zh) * 2019-09-20 2021-12-31 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180209A (ja) * 2004-12-22 2006-07-06 Sony Corp 記録装置および方法、再生装置および方法、プログラム記録媒体、並びにプログラム
JP2015534775A (ja) * 2012-09-28 2015-12-03 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング
WO2020245498A1 (en) * 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP2022535847A (ja) * 2019-06-03 2022-08-10 ノキア テクノロジーズ オサケユイチア ビデオコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム
WO2020256442A1 (ko) * 2019-06-20 2020-12-24 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP2022537767A (ja) * 2019-06-20 2022-08-29 エックスリス、コーポレーション 映像信号の符号化/復号化方法及びそのための装置
WO2021061033A1 (en) * 2019-09-23 2021-04-01 Telefonaktiebolaget Lm Ericsson (Publ) Segment position signalling with subpicture slice position deriving
JP2022549798A (ja) * 2019-09-23 2022-11-29 テレフオンアクチーボラゲット エルエム エリクソン(パブル) サブピクチャスライス位置導出を伴うセグメント位置シグナリング

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "Versatile Video Coding (Draft 6) [online]", JVET-O2001-VE (JVET-P0126-V1), JPN6023021509, 24 September 2019 (2019-09-24), pages 21 - 24, ISSN: 0005196685 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022553599A (ja) * 2019-12-20 2022-12-26 キヤノン株式会社 サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
JP7345051B2 (ja) 2019-12-20 2023-09-14 キヤノン株式会社 サブピクチャ、スライス、およびタイルをサポートするビデオ符号化

Also Published As

Publication number Publication date
IL291649A (en) 2022-05-01
CL2022000690A1 (es) 2022-10-14
KR20220063262A (ko) 2022-05-17
EP4022926A4 (en) 2022-12-28
CA3152290A1 (en) 2021-04-01
JP7469464B2 (ja) 2024-04-16
BR112022005346A2 (pt) 2022-06-14
BR122022009674A2 (pt) 2022-07-05
EP4022926A1 (en) 2022-07-06
CN114430908A (zh) 2022-05-03
JP2024084810A (ja) 2024-06-25
US20220217383A1 (en) 2022-07-07
WO2021061443A1 (en) 2021-04-01
MX2022003452A (es) 2022-05-18
AU2020352903A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
EP3850843A1 (en) Slicing and tiling for sub-image signaling in video coding
JP7469464B2 (ja) サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示
US11889087B2 (en) Tile group assignment for raster scan and rectangular tile groups in video coding
US20220210477A1 (en) Signaling subpicture ids in subpicture based video coding
US20230344999A1 (en) Explicit Address Signaling In Video Coding
KR20210105980A (ko) 비디오 인코더, 비디오 디코더 및 상응하는 방법들
JP2022540397A (ja) 識別子シグナリングを用いたビデオコーディングビットストリーム抽出
RU2827654C1 (ru) Сигнализация id подызображений при кодировании видео на основе подызображений

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404

R150 Certificate of patent or registration of utility model

Ref document number: 7469464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150