JP2022500923A - ビデオエンコーダ、ビデオデコーダ、および対応物 - Google Patents

ビデオエンコーダ、ビデオデコーダ、および対応物 Download PDF

Info

Publication number
JP2022500923A
JP2022500923A JP2021514110A JP2021514110A JP2022500923A JP 2022500923 A JP2022500923 A JP 2022500923A JP 2021514110 A JP2021514110 A JP 2021514110A JP 2021514110 A JP2021514110 A JP 2021514110A JP 2022500923 A JP2022500923 A JP 2022500923A
Authority
JP
Japan
Prior art keywords
flag
reference picture
picture list
video
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021514110A
Other languages
English (en)
Other versions
JP7483693B2 (ja
Inventor
フヌ・ヘンドリー
イェ−クイ・ワン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022500923A publication Critical patent/JP2022500923A/ja
Priority to JP2023206231A priority Critical patent/JP2024026290A/ja
Application granted granted Critical
Publication of JP7483693B2 publication Critical patent/JP7483693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Abstract

ビデオデコーダによって実施される、コーディングされたビデオビットストリームを復号する方法が提供される。方法は、フラグを構文解析するステップと、第1の参照ピクチャリスト構造の候補を構文解析するステップと、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在しないと決定し、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測するステップと、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在すると決定するステップと、第1の参照ピクチャリスト構造の候補または第2の参照ピクチャリスト構造の候補を使用して参照ピクチャリストを生成するステップと、再構築されたブロックを生成するために参照ピクチャリストに基づいてインター予測を実行するステップとを含む。

Description

関連出願の相互参照
本特許出願は、2018年9月12日に出願された「Bit Count Reduction for Reference Picture Management Based on Reference Picture Lists in Video Coding」という表題のFnu Hendry他による米国仮特許出願第62/730,172号、および2019年5月15日に出願された「Bit Count Reduction for Reference Picture Management Based on Reference Picture Lists in Video Coding」という表題のFnu Hendry他による米国仮特許出願第62/848,147号の利益を主張し、これらの各々が参照によって本明細書に組み込まれる。
全般に、本開示は、ビデオコーディングにおける参照ピクチャ管理に対するシグナリング効率の改善のための技法を説明する。より具体的には、本開示は、参照ピクチャリストの構築および参照ピクチャリストに直接基づく参照ピクチャのマーキングのための、改善されたシグナリングのための技法を説明する。
比較的短いビデオであってもそれを描画するために必要なビデオデータの量は相当なものであることがあり、このことは、限られた帯域幅容量でデータがストリーミングされるとき、または通信ネットワークを介して別様に通信されるときに、困難さをもたらし得る。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。メモリリソースは限られていることがあるので、ビデオが記憶デバイスに記憶されるときにも、ビデオのサイズは問題となり得る。ビデオ圧縮デバイスはしばしば、送信または記憶の前にビデオデータをコーディングするためにソースにおけるソフトウェアおよび/またはハードウェアを使用し、それにより、デジタルビデオ画像を表現するために必要なデータの量を減らす。次いで、圧縮されたデータが、ビデオデータを復号するビデオ展開デバイスによってデスティネーションにおいて受信される。限られたネットワークリソースと、より高品質なビデオの増え続ける需要により、画像品質をほとんどまたはまったく犠牲にすることなく圧縮比を高める、改善された圧縮および展開技法が望ましい。
第1の態様は、コーディングされたビデオビットストリームを復号する方法に関する。方法は、コーディングされたビデオビットストリームから、フラグを構文解析するステップと、コーディングされたビデオビットストリームから、第1の参照ピクチャリスト構造の候補を構文解析するステップと、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在しないと決定して、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測するステップと、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在すると決定するステップと、第1の参照ピクチャリスト構造の候補または第2の参照ピクチャリスト構造の候補のうちの少なくとも1つを使用して参照ピクチャリストを生成するステップと、再構築されたブロックを生成するために参照ピクチャリストに基づいてインター予測を実行するステップとを備える。
方法は、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第1の態様自体による方法の第1の実装形態では、フラグはrpl1_copy_from_rpl0_flagと指定される。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第2の実装形態では、フラグは、コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)に含まれる。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第3の実装形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)に存在しない。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第4の実装形態では、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのSPSに存在する。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第5の実装形態では、フラグの第1の値は1である。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第6の実装形態では、フラグの第2の値は0である。
第1の態様自体または第1の態様の任意の先行する実装形態による方法の第7の実装形態では、フラグは、コーディングされたビデオビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に置かれる。
第2の態様は、ビデオエンコーダによって実施されるビデオビットストリームを符号化する方法に関し、この方法は、第2の参照ピクチャリスト構造の候補がビデオビットストリームにおいて符号化されず、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであるとビデオデコーダによって推測されるべきであるとき、第1の値を用いてフラグをビデオビットストリームへと符号化するステップと、第2の参照ピクチャリスト構造の候補がビデオビットストリームへと符号化されるとき、第2の値を用いてフラグをビデオビットストリームへと符号化するステップと、フラグが第1の値を用いて符号化されるとき、第1の参照ピクチャリスト構造の候補をビデオビットストリームへと符号化するステップと、フラグが第2の値を用いて符号化されるとき、第1の参照ピクチャリスト構造の候補および第2の参照ピクチャリスト構造の候補をビデオビットストリームへと符号化するステップと、ビデオビットストリームをビデオデコーダに向かって送信するステップとを備える。
方法は、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第2の態様自体による方法の第1の実装形態では、フラグはrpl1_copy_from_rpl0_flagと指定される。
第2の態様自体または第2の態様の任意の先行する実装形態による方法の第2の実装形態では、フラグは、コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)において符号化される。
第2の態様自体または第2の態様の任意の先行する実装形態による方法の第3の実装形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)に存在しない。
第2の態様自体または第2の態様の任意の先行する実装形態による方法の第4の実装形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのSPSに存在する。
第2の態様自体または第2の態様の任意の先行する実装形態による方法の第5の実装形態では、フラグの第1の値は1であり、フラグの第2の値は0であり、第1の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)において符号化される。
第2の態様自体または第2の態様の任意の先行する実装形態による方法の第6の実装形態では、フラグは、コーディングされたビットストリームにおいて、任意のあらかじめ定められた参照ピクチャリスト構造の前に符号化される。
第3の態様は復号デバイスに関し、復号デバイスは、コーディングされたビデオビットストリームを受信するように構成される受信機と、受信機に結合されるメモリであって、命令を記憶する、メモリと、メモリに結合されるプロセッサとを備え、プロセッサは、プロセッサに、コーディングされたビデオビットストリームから、フラグを構文解析させ、コーディングされたビデオビットストリームから、第1の参照ピクチャリスト構造の候補を構文解析させ、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在しないと決定させて、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測させ、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補がコーディングされたビデオビットストリームに存在すると決定させ、第1の参照ピクチャリスト構造の候補または第2の参照ピクチャリスト構造の候補のうちの少なくとも1つを使用して参照ピクチャリストを生成させ、再構築されたブロックを生成するために参照ピクチャリストに基づいてインター予測を実行させるために、メモリに記憶されている命令を実行するように構成される。
復号デバイスは、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第3の態様自体による復号デバイスの第1の実装形態では、再構築されたブロックを使用して生成される画像を表示するように構成されるディスプレイ。
第3の態様自体または第3の態様の任意の先行する実装形態による復号デバイスの第2の実装形態では、フラグはrpl1_copy_from_rpl0_flagと指定される。
第3の態様自体または第3の態様の任意の先行する実装形態による復号デバイスの第3の実装形態では、フラグは、コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)に含まれる。
第3の態様自体または第3の態様の任意の先行する実装形態による復号デバイスの第4の実装形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造は、コーディングされたビデオビットストリームのSPSに存在せず、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造は、コーディングされたビデオビットストリームのSPSに存在する。
第3の態様自体または第3の態様の任意の先行する実装形態による復号デバイスの第5の実装形態では、フラグの第1の値は1であり、フラグの第2の値は0である。
第3の態様自体または第3の態様の任意の先行する実装形態による復号デバイスの第6の実装形態では、フラグは、コーディングされたビデオビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に置かれる。
第4の態様は符号化デバイスに関し、符号化デバイスは、第2の参照ピクチャリスト構造の候補がビデオビットストリームにおいて符号化されず、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであるとビデオデコーダによって推測されるべきであるとき、第1の値を用いてフラグをビデオビットストリームへと符号化し、第2の参照ピクチャリスト構造の候補がビデオビットストリームへと符号化されるとき、第2の値を用いてフラグをビデオビットストリームへと符号化し、フラグが第1の値を用いて符号化されるとき、第1の参照ピクチャリスト構造をビデオビットストリームへと符号化し、フラグが第2の値を用いて符号化されるとき、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造をビデオビットストリームへと符号化するように構成されるプロセッサと、プロセッサに結合される送信機であって、ビデオビットストリームをビデオデコーダに向かって送信するように構成される、送信機とを備える。
符号化デバイスは、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第4の態様自体による符号化デバイスの第1の実装形態では、フラグはrpl1_copy_from_rpl0_flagと指定される。
第4の態様自体または第4の態様の任意の先行する実装形態による符号化デバイスの第2の実装形態では、フラグは、コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)において符号化される。
第4の態様自体または第4の態様の任意の先行する実装形態による符号化デバイスの第3の実装形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造は、コーディングされたビデオビットストリームのSPSに存在せず、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造は、コーディングされたビデオビットストリームのSPSに存在する。
第4の態様自体または第4の態様の任意の先行する実装形態による符号化デバイスの第4の実装形態では、フラグの第1の値は1であり、フラグの第2の値は0である。
第4の態様自体または第4の態様の任意の先行する実装形態による符号化デバイスの第5の実装形態では、フラグは、コーディングされたビデオビットストリームにおいて、任意のあらかじめ定められた参照ピクチャリスト構造の前に符号化される。
第5の態様は、復号すべきビットストリームを受信するように構成される受信機と、受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、受信機または送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、メモリに結合されるプロセッサであって、本明細書において開示される実施形態のいずれかにおける方法を実行するためにメモリに記憶されている命令を実行するように構成される、プロセッサとを備える、コーディング装置に関する。
コーディング装置は、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第6の態様は、本明細書において開示される実施形態のいずれかにおける符号化デバイスを含むエンコーダと、エンコーダと通信しているデコーダであって、本明細書において開示される実施形態のいずれかにおける復号デバイスを含む、デコーダとを備える、システムに関する。
システムは、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
第7の態様は、復号すべきビットストリームを受信するように構成される受信手段と、受信手段に結合される送信手段であって、復号された画像を表示手段に送信するように構成される、送信手段と、受信手段または送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、記憶手段に結合される処理手段であって、本明細書において開示される実施形態のいずれかにおける方法を実行するために記憶手段に記憶されている命令を実行するように構成される、処理手段とを備える、コーディングのための手段に関する。
コーディングのための手段は、コーディングプロセスを簡単にしてより効率的にする技法を提供する。第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを指定するためのフラグを使用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコーデックと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
本開示のより完全な理解のために、添付の図面および詳細な説明に関連して、ここで以下の簡単な説明に対する参照が行われ、同様の参照番号は同様の部分を表す。
両側予測技法を利用し得る例示的なコーディングシステムを示すブロック図である。 両側予測技法を実施し得る例示的なビデオエンコーダを示すブロック図である。 両側予測技法を実施し得るビデオデコーダの例を示すブロック図である。 参照ピクチャセット(RPS)のすべてのサブセットの中のエントリを伴う現在のピクチャを有するRPSを示す概略図である。 ビデオビットストリームの実施形態の概略図である。 コーディングされたビデオビットストリームを復号する方法の実施形態の図である。 ビデオビットストリームを符号化する方法の実施形態の図である。 ビデオコーディングデバイスの概略図である。 コーディングのための手段の実施形態の概略図である。
以下は、本明細書において利用される様々な頭字語である。復号ピクチャバッファ(DPB)、瞬時復号リフレッシュ(IDR)、イントラランダムアクセスポイント(IRAP)、最下位ビット(LSB)、最上位ビット(MSB)、ネットワーク抽象化レイヤ(NAL)、ピクチャ順序カウント(POC)、ローバイトシーケンスペイロード(RBSP)、シーケンスパラメータセット(SPS)、およびワーキングドラフト(WD)。
図1は、本明細書で説明されるようなビデオコーディング技法を利用し得る例示的なコーディングシステム10を示すブロック図である。図1に示されるように、コーディングシステム10は、デスティネーションデバイス14によって後で復号されることになる符号化されたビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して、ビデオデータをデスティネーションデバイス14に提供し得る。ソースデバイス12およびデスティネーションデバイス14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広い範囲のデバイスのいずれかを備え得る。いくつかの場合、ソースデバイス12およびデスティネーションデバイス14は、ワイヤレス通信に対応し得る。
デスティネーションデバイス14は、コンピュータ可読媒体16を介して復号されることになる、符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12からデスティネーションデバイス14に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が符号化されたビデオデータをリアルタイムでデスティネーションデバイス14に直接送信することを可能にするための、通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、デスティネーションデバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理送信線などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス12からデスティネーションデバイス14への通信を容易にするのに有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
いくつかの例では、符号化されたデータは、出力インターフェース22から記憶デバイスへ出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、デジタルビデオディスク(DVD)、コンパクトディスク読取り専用メモリ(CD-ROM)、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、多様な分散型データ記憶媒体またはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成される符号化されたビデオを記憶し得る、ファイルサーバまたは別の中間記憶デバイスに対応し得る。デスティネーションデバイス14は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されているビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、符号化されたビデオデータをデスティネーションデバイス14に送信することとが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ(たとえば、ウェブサイトのための)、ファイル転送プロトコル(FTP)サーバ、ネットワークアタッチトストレージ(NAS)デバイス、またはローカルディスクドライブを含む。デスティネーションデバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、または、ファイルサーバに記憶されている符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはこれらの組合せであり得る。
本開示の技法は、ワイヤレスの適用例または設定には必ずしも限定されない。この技法は、over-the-airテレビ放送、ケーブルテレビ送信、衛星テレビ送信、dynamic adaptive streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体に符号化されるデジタルビデオ、データ記憶媒体に記憶されるデジタルビデオの復号、または他の適用例などの、多様なマルチメディア適用例のいずれをサポートするビデオコーディングにも適用され得る。いくつかの例では、コーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの適用例をサポートするために、片方向または双方向のビデオ送信をサポートするように構成され得る。
図1の例では、ソースデバイス12は、ビデオソース18、ビデオエンコーダ20、および出力インターフェース22を含む。デスティネーションデバイス14は、入力インターフェース28、ビデオデコーダ30、および表示デバイス32を含む。本開示によれば、ソースデバイス12のビデオエンコーダ20および/またはデスティネーションデバイス14のビデオデコーダ30は、ビデオコーディングのための技法を適用するように構成され得る。他の例では、ソースデバイスおよびデスティネーションデバイスは、他のコンポーネントまたは構成を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部のビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス14は、統合された表示デバイスを含むのではなく、外部の表示デバイスとインターフェースしてもよい。
図1の示されるコーディングシステム10は一例にすぎない。ビデオコーディングのための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。本開示の技法は全般にビデオコーディングデバイスによって実行されるが、この技法は、通常は「コーデック」と呼ばれる、ビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ビデオエンコーダおよび/またはデコーダは、グラフィクス処理装置(GPU)または同様のデバイスであり得る。
ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12がデスティネーションデバイス14への送信のためにコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12とデスティネーションデバイス14の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントを含むように、実質的に対称的に動作してもよい。したがって、コーディングシステム10は、たとえばビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ビデオデバイス12と14との間の片方向または双方向のビデオ送信をサポートし得る。
ソースデバイス12のビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、および/または、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、コンピュータグラフィクスベースのデータをソースビデオとして生成し、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータで生成されたビデオの組合せを生成し得る。
いくつかの場合、ビデオソース18がビデオカメラであるとき、ソースデバイス12およびデスティネーションデバイス14は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、上で言及されたように、本開示において説明される技法は、ビデオコーディング全般に適用可能であってもよく、ワイヤレスおよび/または有線の適用例に適用されてもよい。各々の場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオが、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は次いで、出力インターフェース22によってコンピュータ可読媒体16へと出力され得る。
コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくは有線ネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化されたビデオデータを受信し、たとえばネットワーク送信を介して、符号化されたビデオデータをデスティネーションデバイス14に提供し得る。同様に、ディスクスタンピング施設などの媒体生産施設のコンピューティングデバイスが、ソースデバイス12から符号化されたビデオデータを受信し、符号化されたビデオデータを含むディスクを生産してもよい。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むものとして理解され得る。
デスティネーションデバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオデコーダ30によっても使用される、ブロックおよび他のコーディングされたユニット、たとえばピクチャグループ(GOP)の特性ならびに/または処理を記述するシンタックス要素を含む、ビデオエンコーダ20により定義されるシンタックス情報を含み得る。表示デバイス32は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、多様な表示デバイスのいずれかを備え得る。
ビデオエンコーダ20およびビデオデコーダ30は、現在開発中のHigh Efficiency Video Coding(HEVC)規格などの、ビデオコーディング規格に従って動作してもよく、HEVC Test Model(HM)に準拠してもよい。代替として、ビデオエンコーダ20およびビデオデコーダ30は、代替的にはMoving Picture Expert Group(MPEG)-4, Part 10, Advanced Video Coding(AVC)とも呼ばれる、国際電気通信連合電気通信規格化部門(ITU-T)H.264規格、H.265/HEVC、またはそのような規格の拡張などの、他のプロプライエタリ規格または業界規格に従って動作し得る。しかしながら、本開示の技法は、どのような特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、MPEG-2およびITU-T H.263がある。図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は各々、オーディオエンコーダおよびデコーダと統合されてもよく、共通のデータストリームおよび別々のデータストリームにおいてオーディオとデータの両方の符号化を扱うための、適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニット、または他のハードウェアおよびソフトウェアを含んでもよい。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ20およびビデオデコーダ30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組合せなどの、多様な適切なエンコーダ回路のいずれとしても実装され得る。技法がソフトウェアで部分的に実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々が、1つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスにおいて合成エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話などのワイヤレス通信デバイスを備え得る。
図2は、ビデオコーディング技法を実施し得るビデオエンコーダ20の例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的な冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオにおける時間的な冗長性を低減または除去するために、時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれをも指し得る。単方向(単予測としても知られている)予測(Pモード)または双予測(bi-prediction)(双予測(bi prediction)としても知られている)(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれをも指し得る。
図2に示されるように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40、参照フレームメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピーコーディングユニット56を含む。そして、モード選択ユニット40は、動き補償ユニット44、動き推定ユニット42、イントラ予測(intra-prediction)(イントラ予測(intra prediction)としても知られている)ユニット46、および区分ユニット48を含む。ビデオブロック再構築のために、ビデオエンコーダ20は、逆量子化ユニット58、逆変換ユニット60、および加算器62も含む。デブロッキングフィルタ(図2に示されない)も、ブロック境界をフィルタリングして再構築されたビデオからブロッキネスアーティファクトを除去するために含まれ得る。望まれる場合、デブロッキングフィルタは通常、加算器62の出力をフィルタリングする。追加のフィルタ(ループ内またはループ後の)も、デブロッキングフィルタに加えて使用され得る。簡潔にするためにそのようなフィルタは示されていないが、望まれる場合、加算器50の出力をフィルタリングし得る(ループ内フィルタとして)。
符号化プロセスの間、ビデオエンコーダ20は、コーディングされることになるビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、1つまたは複数の参照フレームの中の1つまたは複数のブロックに対して相対的な、受信されたビデオブロックのインター予測コーディングを実行して、時間予測を行う。イントラ予測ユニット46は代替として、コーディングされることになるブロックと同じフレームまたはスライスの中にある1つまたは複数の近隣ブロックに対して相対的な、受信されたビデオブロックのイントラ予測コーディングを実行して、空間予測を行い得る。ビデオエンコーダ20は、たとえばビデオデータの各ブロックに対する適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
その上、区分ユニット48は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックへと区分し得る。たとえば、区分ユニット48は、最初にフレームまたはスライスを最大コーディングユニット(LCU)へと区分し、レート歪み分析(たとえば、レート歪み最適化)に基づいて、LCUの各々をサブコーディングユニット(sub-CU)へと区分し得る。モード選択ユニット40はさらに、サブCUへのLCUの区分を示す四分木データ構造を生み出し得る。四分木のリーフノードCUは、1つまたは複数の予測ユニット(PU)および1つまたは複数の変換ユニット(TU)を含み得る。
本開示は、HEVCの文脈におけるCU、PU、もしくはTU、または、他の規格の文脈における類似のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびマクロブロックのサブブロック)のいずれかを指すために、「ブロック」という用語を使用する。CUは、コーディングノード、PU、およびコーディングノードと関連付けられるTUを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形である。CUのサイズは、8×8ピクセルから、最大で64×64ピクセル以上のツリーブロックのサイズにまでわたり得る。各CUは、1つまたは複数のPUおよび1つまたは複数のTUを含み得る。CUと関連付けられるシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分を記述し得る。区分モードは、CUがスキップモードもしくはダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、またはインター予測(inter-prediction)(インター予測(inter prediction)としても知られている)モードで符号化されるかで異なり得る。PUは形状が非正方形となるように区分され得る。CUと関連付けられるシンタックスデータはまた、たとえば、四分木に従った1つまたは複数のTUへのCUの区分を記述し得る。TUは、形状が正方形または非正方形(たとえば、長方形)であり得る。
モード選択ユニット40は、たとえば誤差の結果に基づいて、コーディングモード、すなわちイントラコーディングモードまたはインターコーディングモードのうちの1つを選択し、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器50に提供して残差ブロックデータを生成し、加算器62に提供して参照フレームとして使用するための符号化されたブロックを再構築する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーコーディングユニット56に提供する。
動き推定ユニット42および動き補償ユニット44は高度に統合され得るが、概念上の目的で別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム(または他のコーディングされるユニット)内でコーディングされている現在のブロックに対する参照フレーム(または他のコーディングされるユニット)内の予測ブロックに対する現在のビデオフレームまたはピクチャ内でのビデオブロックのPUのずれを示し得る。予測ブロックは、ピクセル差分に関して、コーディングされるべきブロックとよく一致することが見いだされるブロックであり、これは、絶対差分和(SAD)、平方差分和(SSD)、または他の差分尺度によって決定され得る。いくつかの例では、ビデオエンコーダ20は、参照フレームメモリ64に記憶されている参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、4分の1ピクセル位置、8分の1ピクセル位置、または参照ピクチャの他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、全ピクセル位置および分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスの中のビデオブロックのPUに対する動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択されてもよく、それらの各々が、参照フレームメモリ64に記憶されている1つまたは複数の参照ピクチャを特定する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送信する。
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定される動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを伴い得る。やはり、いくつかの例では、動き推定ユニット42および動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUの動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックを見つけ得る。以下で論じられるように、加算器50は、ピクセル差分値を形成する、コーディングされている現在のビデオブロックのピクセル値から、予測ブロックのピクセル値を差し引くことによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルマ成分に対する動き推定を実行し、動き補償ユニット44は、クロマ成分とルマ成分の両方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30により使用するための、ビデオブロックおよびビデオスライスと関連付けられるシンタックス要素を生成し得る。
上で説明されたように、イントラ予測ユニット46は、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。具体的には、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット46は、たとえば、別々の符号化パスの間に、様々なイントラ予測モードを使用して現在のブロックを符号化してもよく、イントラ予測ユニット46(または、いくつかの例ではモード選択ユニット40)は、試験されたモードから使用すべき適切なイントラ予測モードを選択してもよい。
たとえば、イントラ予測ユニット46は、様々な試験されるイントラ予測モードに対するレート歪み分析を使用してレート歪み値を計算し、試験されたモードの中から最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は一般に、符号化されたブロックと、符号化されたブロックを生み出すために符号化された元の符号化されていないブロックとの間の歪み(または誤差)の量、ならびに、符号化されたブロックを生み出すために使用されたビットレート(すなわち、ビットの数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックに対する歪みおよびレートから比を計算し得る。
加えて、イントラ予測ユニット46は、深度モデリングモード(DMM)を使用して深度マップの深度ブロックをコーディングするように構成され得る。モード選択ユニット40は、たとえばレート歪み最適化(RDO)を使用して、利用可能なDMMモードがイントラ予測モードおよび他のDMMモードより良いコーディング結果を生み出すかどうかを決定し得る。深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ64に記憶され得る。動き推定ユニット42および動き補償ユニット44はまた、深度マップの深度ブロックをインター予測するように構成され得る。
ブロックに対するイントラ予測モード(たとえば、従来のイントラ予測モードまたはDMMモードのうちの1つ)を選択した後、イントラ予測ユニット46は、ブロックに対する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供し得る。エントロピーコーディングユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル(符号語マッピングテーブルとも呼ばれる)を含み得る、送信されるビットストリーム構成データに、様々なブロックに対する符号化コンテキストの定義、最も確率の高いイントラ予測モードの指示、イントラ予測モードインデックステーブル、および、コンテキストの各々に対して使用すべき修正されたイントラ予測モードインデックステーブルを含め得る。
ビデオエンコーダ20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを差し引くことによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数のコンポーネントを表す。
変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を備えるビデオブロックを生み出す。変換処理ユニット52は、DCTと概念的に同様の他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。
変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを生み出す。この変換は、ピクセル値領域から、周波数領域などの変換領域に、残差情報を変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送信し得る。量子化ユニット54は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスは、係数の一部またはすべてと関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット54は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行してもよい。
量子化に続いて、エントロピーコーディングユニット56が、量子化された変換係数をコーディングする。たとえば、エントロピーコーディングユニット56は、コンテキスト適応可変長コーディング(CALVC)、コンテキスト適応バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディング、または別のエントロピーコーディング技法を実行し得る。コンテキストベースのエントロピーコーディングの場合、コンテキストは近隣ブロックに基づき得る。エントロピーコーディングユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームが、別のデバイス(たとえば、ビデオデコーダ30)に送信され、または、より後の送信もしくは取り出しのために保管され得る。
逆量子化ユニット58および逆変換ユニット60は、逆量子化および逆変換をそれぞれ適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構築する。動き補償ユニット44は、参照フレームメモリ64のフレームのうちの1つの予測ブロックに残差ブロックを追加することによって、参照ブロックを計算し得る。動き補償ユニット44はまた、1つまたは複数の補間フィルタを再構築された残差ブロックに適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器62は、再構築された残差ブロックを動き補償ユニット44によって生み出される動き補償された予測ブロックに加算して、参照フレームメモリ64に記憶するための再構築されたビデオブロックを生み出す。再構築されたビデオブロックは、後続のビデオフレームの中のブロックをインターコーディングするために、参照ブロックとして動き推定ユニット42および動き補償ユニット44によって使用され得る。
図3は、ビデオコーディング技法を実施し得るビデオデコーダ30の例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照フレームメモリ82、および加算器80を含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図2)に関して説明された符号化パスと全般に逆の復号パスを実行する。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得るが、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
復号プロセスの間、ビデオデコーダ30は、符号化されたビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化されたビデオビットストリームを、ビデオエンコーダ20から受信する。ビデオデコーダ30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピー復号ユニット70は、動きベクトルおよび他のシンタックス要素を動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
ビデオスライスがイントラコーディングされる(I)スライスとしてコーディングされるとき、イントラ予測ユニット74は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックに対する予測データを生成し得る。ビデオフレームがインターコーディングされる(たとえば、B、P、またはGPB)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測ブロックを生み出す。予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生み出され得る。ビデオデコーダ30は、参照フレームメモリ82に記憶されている参照ピクチャに基づくデフォルトの構築技法を使用して、リスト0およびリスト1という参照フレームリストを構築し得る。
動き補償ユニット72は、動きベクトルおよび他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに対する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに対する予測ブロックを生み出す。たとえば、動き補償ユニット72は、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に対する構築情報、スライスの各々のインター符号化されたビデオブロックに対する動きベクトル、スライスの各々のインターコーディングされたビデオブロックに対するインター予測ステータス、および現在のビデオスライスの中のビデオブロックを復号するための他の情報を決定する。
動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間された値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生み出し得る。
深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ82に記憶され得る。動き補償ユニット72はまた、深度マップの深度ブロックをインター予測するように構成され得る。
画像およびビデオ圧縮は急速な成長をとげており、様々なコーディング規格につながった。そのようなビデオコーディング規格には、International Telecommunication Union (ITU) Telecommunications Standardization Sector (ITU-T) H.261、ISO/IEC Motion Picture Experts Group (MPEG)-1 Part 2、ITU-T H.262またはISO/IEC MPEG-2 Part 2、ITU-T H.263、ITU-T H.264またはISO/IEC MPEG-4 Part 10としても知られているISO/IEC MPEG-4 Part 2、Advanced Video Coding (AVC)、および、ITU-T H.265またはMPEG-H Part 2としても知られているHigh Efficiency Video Coding (HEVC)がある。AVCは、Scalable Video Coding(SVC)、Multiview Video Coding(MVC)およびMultiview Video Coding plus Depth(MVC+D)、ならびに3D AVC(3D-AVC)などの拡張を含む。HEVCは、Scalable HEVC(SHVC)、Multiview HEVC(MV-HEVC)、および3D HEVC(3D-HEVC)などの拡張を含む。
Versatile Video Coding(VVC)は、ITU-TおよびISO/IECのjoint video expert team(JVET)によって開発中の新しいビデオコーディング規格である。執筆の時点で、VVCの最新のワーキングドラフト(WD)は、JVET-K1001-v1に含まれた。JVET文書JVET-K0325-v3は、VVCの高水準シンタックスに対する更新を含む。
本開示は、VVC規格の未発達に対処することが意図される技法を説明する。しかしながら、本技法は、他のビデオ/媒体コーデック仕様にも適用され得る。
ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)がビデオブロックへと区分されてもよく、このビデオブロックは、ツリーブロック、コーディングツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードとも呼ばれ得る。ピクチャのイントラコーディングされた(I)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測、または他の参照ピクチャの中の参照サンプルに関する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間予測または時間予測は、コーディングされることになるブロックに対する予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングされたブロックと予測ブロックとの差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換されてもよく、残差変換係数をもたらし、これは次いで量子化され得る。最初に2次元アレイに並べられる量子化された変換係数は、変換係数の1次元ベクトルを生み出すために走査されてもよく、さらなる圧縮を達成するために、エントロピーコーディングが適用されてもよい。
ビデオコーデック仕様において、ピクチャは、インター予測における参照ピクチャとしての使用、復号ピクチャバッファ(DPB)からのピクチャの出力、動きベクトルのスケーリング、加重予測などを含めた、複数の目的で特定される。AVCおよびHEVCにおいて、ピクチャはピクチャ順序カウント(POC)によって特定され得る。AVCおよびHEVCにおいて、DPBの中のピクチャは、「短期参照のために使用される」、「長期参照のために使用される」、または「参照のために使用されない」としてマークされ得る。ピクチャが「参照のために使用されない」とマークされると、もはやそれを予測のために使用することはできず、出力のためにもはや必要とされないとき、それはDPBから削除され得る。
AVCにおいて、短期および長期という2つのタイプの参照ピクチャがある。参照ピクチャは、予測参照のためにもはや必要とされなくなると、「参照のために使用されない」とマークされ得る。これらの3つのステータス(短期、長期、および参照のために使用されない)の変換は、復号参照ピクチャマーキングプロセスによって制御される。暗黙的スライディングウィンドウプロセスおよび明示的メモリ管理制御操作(MMCO)プロセスという、2つの代替的な復号参照ピクチャマーキング機構がある。スライディングウィンドウプロセスは、参照フレームの数が所与の最大の数(SPSにおけるmax_num_ref_frames)に等しいとき、「参照のために使用されない」と短期参照ピクチャをマークする。短期参照ピクチャは、直近の復号された短期ピクチャがDPBに保持されるように、first-in、first-out方式で記憶される。
明示的MMCOプロセスは、複数のMMCOコマンドを含み得る。MMCOコマンドは、1つまたは複数の短期または長期参照ピクチャを「参照のために使用されない」とマークしてもよく、すべてのピクチャを「参照のために使用されない」とマークしてもよく、または、現在の参照ピクチャもしくは既存の短期参照ピクチャを長期としてマークして、長期ピクチャインデックスをその長期参照ピクチャに割り当ててもよい。
AVCにおいて、参照ピクチャマーキング操作、ならびにDPBからのピクチャの出力および削除のためのプロセスは、ピクチャが復号された後に実行される。
HEVCは、参照ピクチャセット(RPS)と呼ばれる、参照ピクチャ管理のための異なる手法を導入する。AVCのMMCO/スライディングウィンドウと比較したときの、RPSの概念についての最も基本的な違いは、各々の特定のスライスに対して、現在のピクチャまたは任意の後続のピクチャによって使用される参照ピクチャの完全なセットが提供されるということである。したがって、現在または未来のピクチャによる使用のためにDPBに保持されなければならないすべてのピクチャの完全なセットがシグナリングされる。これは、DPBに対する相対的な変化のみがシグナリングされるAVC方式とは異なる。RPSの概念により、DPBに参照ピクチャの正しいステータスを維持するために、復号順序においてより早いピクチャからの情報は必要とされない。
RPSの利点を活用して誤り耐性を高めるために、HEVCにおけるピクチャ復号とDPB操作の順序は、AVCと比較して変更される。AVCでは、ピクチャマーキングおよびバッファ操作(DPBからの復号されたピクチャの出力と削除の両方)は一般に、現在のピクチャが復号された後に適用される。HEVCでは、RPSがまず現在のピクチャのスライスヘッダから復号され、次いで、ピクチャマーキングおよびバッファ操作が一般に現在のピクチャを復号する前に適用される。
HEVCにおける各スライスヘッダは、スライスを含むピクチャに対するRPSのシグナリングのためのパラメータを含まなければならない。唯一の例外は、IDRスライスに対してはRPSがシグナリングされないことである。代わりに、RPSは空であると推測される。IDRピクチャに属しないIスライスに対して、復号順序においてIピクチャの前にあったピクチャからのインター予測を使用する、復号順序においてIピクチャの後にあるピクチャがあり得るので、IスライスがIピクチャに属する場合であっても、RPSが提供されることがある。RPSの中のピクチャの数は、SPSにおけるsps_max_dec_pic_bufferingシンタックス要素によって指定されるようなDPBサイズ限界を超えないものとする。
各ピクチャは、出力順序を表すPOC値と関連付けられる。スライスヘッダは、完全なPOC値の最下位ビットを表す固定長の符号語、pic_order_cnt_lsbを含み、これはPOC LSBとしても知られている。符号語の長さはSPSにおいてシグナリングされ、4ビットと16ビットの間であり得る。RPSの概念は、参照ピクチャを特定するためにPOCを使用する。それ自体のPOC値の他に、各スライスヘッダは、RPSの中の各ピクチャのPOC値(またはLSB)のコーディングされた表現を直接含み、またはSPSから継承する。
各ピクチャに対するRPSは、5つのRPSサブセットとも呼ばれる、参照ピクチャの5つの異なるセットを含む。RefPicSetStCurrBeforeは、復号順序と出力順序の両方で現在のピクチャより前にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャを含む。RefPicSetStCurrAfterは、復号順序において現在のピクチャの前にあり、出力順序において現在のピクチャの後にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャを含む。RefPicSetStFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての短期参照ピクチャを含む。RefPicSetLtCurrは、現在のピクチャのインター予測において使用され得るすべての長期参照ピクチャを含む。RefPicSetLtFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての長期参照ピクチャを含む。
RPSは、現在のピクチャよりPOC値の低い短期参照ピクチャ、現在のピクチャよりPOC値の高い短期参照ピクチャ、および長期参照ピクチャという、異なるタイプの参照ピクチャにわたって反復する最大で3つのループを使用してシグナリングされる。加えて、参照ピクチャが現在のピクチャによる参照のために使用される(リストRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurrのうちの1つに含まれる)か、またはされない(リストRefPicSetStFollまたはRefPicSetLtFollのうちの1つに含まれる)かを示すフラグ(used_by_curr_pic_X_flag)が、各参照ピクチャに対して送信される。
図4は、RPS400のすべてのサブセット402の中のエントリ(たとえば、ピクチャ)を伴う現在のピクチャB14を有するRPS400を示す。図4の例では、現在のピクチャB14は、5つのサブセット402(RPSサブセットとしても知られている)の各々の中の厳密に1つのピクチャを含む。P8は、RefPicSetStCurrBeforeと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において前にありB14によって使用されるからである。P12は、RefPicSetStCurrAfterと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において後にありB14によって使用されるからである。P13は、RefPicSetStFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)短期参照ピクチャであるからである。P4は、RefPicSetLtCurrと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用される長期参照ピクチャであるからである。I0は、RefPicSetStLtFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが現在のピクチャによって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)長期参照ピクチャであるからである。
RPS400の短期部分は、スライスヘッダに直接含まれ得る。代替的に、スライスヘッダは、アクティブなSPSにおいて送信されるRPSのあらかじめ定められたリストを参照するインデックスを表すシンタックス要素のみを含み得る。RPS402の短期部分は、以下で説明されるようなインターRPSと、ここで説明されるようなイントラRPSという、2つの異なる方式のいずれかを使用してシグナリングされ得る。イントラRPSが使用されるとき、参照ピクチャの2つの異なるリストの長さを表すnum_negative_picsおよびnum_positive_picsがシグナリングされる。これらのリストは、それぞれ、現在のピクチャと比較して負のPOC差分および正のPOC差分を伴う参照ピクチャを含む。これらのリストの中の各要素は、リストの中の前の要素に対する相対的なPOC値の差から1を引いたものを表す可変長符号を用いて符号化される。
シーケンスパラメータセットにおいて再発するRPSを符号化するとき、シーケンスパラメータセットにおいてすでに符号化されている別のRPSに関連して1つのRPS(たとえば、RPS400)の要素を符号化することが可能である。これはインターRPSと呼ばれる。シーケンスパラメータセットのすべてのRPSは同じネットワーク抽象化レイヤ(NAL)ユニットの中にあるので、この方法と関連付けられる誤り耐性問題はない。インターRPSシンタックスは、現在のピクチャのRPSが以前に復号されたピクチャのRPSから予測され得るという事実を利用する。これは、現在のピクチャのすべての参照ピクチャが以前のピクチャの参照ピクチャまたは以前に復号されたピクチャ自体のいずれかでなければならないからである。これらのピクチャのいずれが参照ピクチャであるべきであるか、および現在のピクチャの予測のために使用されるべきであるかを示すことだけが必要である。したがって、シンタックスは、予測子として使用するためのRPSを指し示すインデックス、現在のRPSのdelta POCを取得するために予測子のdelta_POCに加算されるべきdelta_POC、ならびに、どのピクチャが参照ピクチャであるか、およびそれらが未来のピクチャの予測のためだけに使用されるかどうかを示すためのインジケータのセットを備える。ある実施形態では、デルタPOCは、現在の参照ピクチャと別の(たとえば、以前の)参照ピクチャとの間のPOC値の差を指す。
長期参照ピクチャの使用を活用することを望むエンコーダは、SPSシンタックス要素long_term_ref_pics_present_flagを1に設定しなければならない。長期参照ピクチャは次いで、各長期ピクチャの完全なPOC値の最下位ビットを表す固定長の符号語pos_lst_ltによってスライスヘッダにおいてシグナリングされ得る。各pos_lsb_ltは、特定の長期ピクチャのためにシグナリングされたpic_order_cnt_lsb符号語のコピーである。SPSの中の長期ピクチャのセットをPOC LSB値のリストとしてシグナリングすることも可能である。長期ピクチャに対するPOC LSBは、このリストに対するインデックスとしてスライスヘッダにおいてシグナリングされ得る。
現在のピクチャに対する長期参照ピクチャの完全なPOC距離の計算を可能にするために、delta_poc_msb_cycle_lt_minus1シンタックス要素が追加でシグナリングされ得る。符号語delta_poc_msb_cycle_lt_minus1は、RPSの中の任意の他の参照ピクチャと同じPOC LSB値を有する各長期参照ピクチャに対してシグナリングされることが必要とされる。
HEVCにおける参照ピクチャマーキングのために、通常は、ピクチャ復号の前にDPBの中にある数のピクチャが存在する。それらの一部は、予測に利用可能であり得るので、「参照のために使用される」とマークされる。その他は予測に利用不可能であり得るが出力を待機しているので、「参照のために使用されない」とマークされる。スライスヘッダが解析されると、スライスデータが復号される前に、ピクチャマーキングプロセスが行われる。DPBの中に存在し「参照のために使用される」とマークされるがRPSに含まれないピクチャは「参照のために使用されない」とマークされる。DPBの中に存在しないが参照ピクチャセットに含まれるピクチャは、used_by_curr_pic_X_flagが0に等しい場合は無視される。しかしながら、代わりにused_by_curr_pic_X_flagが1に等しい場合、この参照ピクチャは、現在のピクチャにおける予測のために使用されることが意図されていたが、失われている。そして、意図しないピクチャの喪失が推測され、デコーダは適切な行動をとらなければならない。
現在のピクチャを復号した後、それは「短期参照のために使用される」とマークされる。
次に、HEVCにおける参照ピクチャリスト構築が論じられる。HEVCでは、現在の復号されたピクチャ以外の参照ピクチャのデータ要素(たとえば、サンプル値または動きベクトル)から導出される予測を示すために、インター予測という用語が使用される。AVCのように、ピクチャは複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、1つまたは複数の参照ピクチャリストにおいて編成される。参照インデックスは、リストの中の参照ピクチャのいずれが予測信号を作成するために使用されるべきかを特定する。
単一の参照ピクチャリスト、リスト0がPスライスのために使用され、2つの参照ピクチャリスト、リスト0およびリスト1がBスライスのために使用される。AVCと同様に、HEVCにおける参照ピクチャリスト構築は、参照ピクチャリスト初期化および参照ピクチャリスト修正を含む。
AVCでは、リスト0に対する初期化プロセスは、(復号順序が使用される)Pスライスおよび(出力順序が使用される)Bスライスに対しては異なる。HEVCでは、出力順序は両方の場合において使用される。
参照ピクチャリスト初期化は、3つのRPSサブセット、RefPicSetStCurrBefore、RefPicSetStCurrAfter、およびRefPicSetLtCurrに基づいて、デフォルトのリスト0およびリスト1(スライスがBスライスである場合)を作成する。出力順序がより前(後)の短期ピクチャがまず、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、次いで、出力順序がより後(前)の短期ピクチャが、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、最後に、長期ピクチャが末尾に挿入される。RPSに関して、リスト0に対して、RefPicSetStCurrBeforeの中のエントリは初期のリストに挿入され、RefPicSetStCurrAfterの中のエントリが後に続く。その後、利用可能であれば、RefPicSetLtCurrの中のエントリが付加される。
HEVCにおいて、リストの中のエントリの数がアクティブな参照ピクチャの目標の数(ピクチャパラメータセットまたはスライスヘッダにおいてシグナリングされる)より少ないとき、上記のプロセスが繰り返される(参照ピクチャリストにすでに追加されている参照ピクチャが再び追加される)。エントリの数が目標の数より多いとき、リストは切り詰められる。
参照ピクチャリストが初期化された後で、参照ピクチャリスト修正コマンドに基づいて、1つの特定の参照ピクチャがリストの中の1つより多くの位置において現れ得る事例を含めて、現在のピクチャに対する参照ピクチャが任意の順序で並べられ得るように、参照ピクチャリストが修正され得る。リスト修正の存在を示すフラグが1に設定されるとき、固定された数(参照ピクチャリストの中のエントリの目標の数に等しい)のコマンドがシグナリングされ、各コマンドが参照ピクチャリストに対して1つのエントリを挿入する。参照ピクチャは、RPSシグナリングから導出される現在のピクチャに対する参照ピクチャのリストへのインデックスによって、コマンドにおいて特定される。これは、H.264/AVCにおける参照ピクチャリスト修正とは異なり、ピクチャはピクチャ番号(frame_numシンタックス要素から導出される)または長期参照ピクチャインデックスのいずれかによって特定され、たとえば、初期リストの最初の2つのエントリを交換するために、または、初期リストの最初に1つのエントリを挿入して他方のエントリをシフトするために、より少数のコマンドしか必要とされないことがあり得る。
参照ピクチャリストは、現在のピクチャより大きいTemporalIdを伴う任意の参照ピクチャを含むことが許容される。HEVCビットストリームは、いくつかの時間的なサブレイヤからなり得る。各NALユニットは、TemporalId(temporal_id_plus1-1に等しい)によって示されるような特定のサブレイヤに属する。
参照ピクチャ管理は、参照ピクチャリストに直接基づく。JCT-VC文書JCTVC-G643は、DPBの中の参照ピクチャの管理のために、参照ピクチャリスト0、参照ピクチャリスト1、ならびにアイドル参照ピクチャリストという3つの参照ピクチャリストを直接使用するための手法を含み、それにより、1)スライディングウィンドウおよびMMCOプロセス、ならびにAVCにおける参照ピクチャリスト初期化および修正プロセス、または、2)参照ピクチャセット、ならびにHEVCにおける参照ピクチャリスト初期化および修正プロセスのいずれかのための、シグナリングおよび復号プロセスの必要をなくす。
残念ながら、参照ピクチャリスト(RPL)ベースの参照ピクチャ管理には欠点がある。たとえば、一部のRPLベースの参照ピクチャ管理方式は、ビットストリームにおけるシンタックス要素のシグナリングの面で最適化されていない。これにより、そのようなRPLベースの手法は、RPSベースの手法などの他の明白な参照ピクチャ管理の手法と比較すると、シグナリングのためのビットカウントがより多くなる。RPLベースの手法のシグナリングの非効率性は、いくつかの側面によるものである。
たとえば、RPL構造における一部のシンタックス要素は、より非効率なエントロピーコーディングを用いてコーディングされる。たとえば、短期参照ピクチャ(STRP)のデルタPOC値を表すシンタックス要素のコーディングは、デルタPOC値が正の値または負の値のいずれかを有し得るので、左のビットが最初の、符号付き整数0次指数ゴロム符号化されたシンタックス要素(たとえば、se(v))を使用する。指数ゴロム符号を使用して任意の非負の整数xを符号化するために、最初のステップはx+1を二進数で書くことである。次に、書かれたビットを数え、1を引き、そして、その数の開始0ビットを以前のビット文字列の前に書く。符号の最初のいくつかの値は、0⇒1⇒1、1⇒10⇒010、2⇒11⇒011、3⇒100⇒00100である。しかしながら、これは、デルタPOCの符号値と絶対値が別々にコーディングされれば、より効率的にすることができる。
(たとえば、参照ピクチャリスト0および参照ピクチャリスト1のための)RPLインデックスを、それらがパラメータセット(たとえば、SPS)の中のあらかじめ定められたRPL構造を参照するときにシグナリングすることは、両方のインデックスを常にシグナリングするような方式ほど効率が高くないことがある。多くの場合、RPL0およびRPL1のあらかじめ定められたRPL構造は、ピクチャのRPLがパラメータセットの中のあらかじめ定められたRPL構造を参照するときにRPL0のインデックスとRPL1のインデックスが同じになるように、なされ得る。
さらに、コーディングされたビデオビットストリームへと参照ピクチャリスト構造を書き込むための、インターRPLコーディングはない。たとえば、RPL構造は、ビットストリームにおける以前にシグナリングされたRPL構造を参照せずにコーディングされ得る。ある実施形態では、RPL構造は、参照ピクチャ候補へのポインタのインデクシングされたリストを含むプログラミング構造物を指す。
本明細書において説明される問題を解決し、欠点に対処する、個々におよび/または組合せで適用され得るいくつかの態様が、本明細書において説明される。それらのいくつかの態様の各々は以下で詳述される。
一態様では、デルタPOC値がSTRPのためにコーディングされるとき、符号値および絶対値はビデオビットストリームにおいて別々にコーディングされる。各RPL構造の中のデルタPOC値が同じ符号値を有する(たとえば、同じRPL構造の中のすべてのデルタPOCが正のデルタPOC値であるか、または負のデルタPOC値であるかのいずれか)かどうかを示すために、あらかじめ定められたRPL構造と同じパラメータセット(たとえば、SPS、PPS)においてフラグがシグナリングされる。このフラグは、「all_rpl_entries_same_sign_flag」と呼ばれ得る。
all_rpl_entries_same_sign_flagが1に等しいとき、RPL構造の中のすべてのエントリの符号値(たとえば、STRPのデルタPOC値の符号値)を示すために、RPL構造においてフラグがシグナリングされる。all_rpl_entries_same_sign_flagが0に等しいとき、各RPL構造の中のSTRPと関連付けられるエントリの各々の符号値を示すために、RPL構造においてフラグがシグナリングされる。ある実施形態では、RPL構造の中のSTRPエントリのデルタPOC値の絶対値は、符号なし整数0次指数ゴロム符号(たとえば、ue(v))を使用してコーディングされる。
代替として、all_rpl_entries_same_sign_flagという1つのフラグための代わりに、各RPL構造リストに対して1つずつ(たとえば、RPL0のためのRPL構造リストおよびRPL1のためのRPL構造リスト)、2つのフラグがシグナリングされ得る。
符号化のために、パラメータセットの中のRPL0リストおよびRPL1リストのためのあらかじめ定められたRPL構造を作成するとき、RPL0およびRPL1のためのリストの中のRPL構造は、リスト0のためのRPL構造およびリスト1のためのRPL構造が対になるようになされ得る。したがって、ピクチャがパラメータセットの中のあらかじめ定められたRPL構造を参照するとき、そのピクチャのRPL0のためのインデックスおよびRPL0のためのインデックスは同じである。
上記の点に関連して、フラグは、あらかじめ定められたRPL構造を参照するRPL1のためのシンタックス要素がスライスヘッダに存在するかしないかを示し得る。このフラグは「rpl1_idx_present_flag」と呼ばれ得る。このフラグは、フラグの意図される範囲または持続性に応じて、SPSまたはPPSにおいてシグナリングされ得る。ある実施形態では、PPSにおけるフラグのシグナリングが好ましい。
rpl1_idx_present_flagの値に基づいて、以下のことが当てはまる。rpl1_idx_present_flagが1に等しいとき、フラグを含むパラメータセットと関連付けられるスライスヘッダのRPL1があらかじめ定められたRPL構造およびそのインデックスを参照するかどうかは、スライスヘッダにおいてシグナリングされず、代わりに、同じスライスの中のRPL0のための対応するシンタックス要素から推測される。すなわち、ref_pic_list_sps_flag[1]およびref_pic_list_idx[1]はシグナリングされず、それぞれ、ref_pic_list_sps_flag[0]およびref_pic_list_idx[0]の値から推測(たとえば、複製)される。それ以外の場合、rpl1_idx_present_flagが0に等しいとき、ref_pic_list_sps_flag[1]およびref_pic_list_idx[1]は、フラグを含むパラメータセットと関連付けられるスライスヘッダに存在する。
代替として、rpl1_idx_present_flagの値に基づいて、以下のことが当てはまる。rpl1_idx_present_flagが1に等しいとき、RPL1のインデックスは、フラグを含むパラメータセットと関連付けられるスライスヘッダのRPL1があらかじめ定められたRPL構造を参照するときは、スライスヘッダにおいてシグナリングされない。むしろ、RPL1のインデックスは、同じスライスの中のRPL0のための対応するシンタックス要素から推測される。すなわち、ref_pic_list_idx[1]はシグナリングされず、それぞれ、ref_pic_list_idx[0]の値から推測(たとえば、複製)される。それ以外の場合、rpl1_idx_present_flagが0に等しいとき、ref_pic_list_idx[1]は、フラグを含むパラメータセットと関連付けられるスライスヘッダに存在する。
RPL1のためのリストの中のRPL構造が、RPL0のためのリストの中のRPL構造と同一のコンテンツを有するかどうかを示すために、フラグが利用され得る。このフラグは、「rpl1_copy_from_rpl0_flag」と呼ばれ得る。このフラグは、あらかじめ定められたRPL構造を含む同じパラメータセットにおいてシグナリングされ、あらかじめ定められたRPL構造のシグナリングの前に位置特定されるものとする。
rpl1_copy_from_rpl0_flagの値に基づいて、以下のことが当てはまる。rpl1_copy_from_rpl0_flagが1に等しいとき、リスト1のためのRPL構造の数はシグナリングされず、代わりに、リスト0のためのRPL構造の数と同じであると推測される。リスト1のためのRPL構造はシグナリングされない。代わりに、リスト0のためのあらかじめ定められたRPL構造が構文解析されてデコーダにおいて復号された後で、リスト0のための各RPL構造に対して、厳密に同じRPL構造の複製が作成され、RPL構造の複製は同じインデックスを伴うリスト1のためのRPL構造として割り当てられる。それ以外の場合、rpl1_copy_from_rpl0_flagが0に等しいとき、リスト1のためのRPL構造の数およびリスト1のためのRPL構造がシグナリングされる。
RPL構造の内容は、別のRPL構造から予測され得る。パラメータセットの中のあらかじめ定められたRPL構造が2つのリスト(たとえば、リスト0のためのRPL構造リストおよびリスト1のためのRPL構造リスト)へと分割されるとき、リスト0のためのリストの中のRPL構造だけが、インターRPLのための参照として使用され得る。リスト0のためのリストの中のRPL構造は、そのRPL構造のインデックス未満のインデックスを伴う同じリストの中の別のRPL構造だけを指し、一方で、リスト1のためのリストの中のRPL構造は、リスト0のためのリストの中の任意のRPL構造を指すことができる。スライスヘッダにおいて明示的にシグナリングされるRPL構造は、リスト0のためのリストの中のあらかじめ定められたRPL構造のいずれをも指すことができる。代替として、リスト0またはリスト1のためのリストの中のRPL構造は、そのRPL構造のインデックスより小さいインデックスを伴うリスト0のためのリストの中の別のRPL構造だけを指すことができる。スライスヘッダにおいて明示的にシグナリングされるRPL構造は、リスト0のためのリストの中のあらかじめ定められたRPL構造のいずれをも指すことができる。
1つの代替形態では、パラメータセットの中のあらかじめ定められたRPL構造が2つのリスト(たとえば、リスト0のためのRPL構造リストおよびリスト1のためのRPL構造リスト)へと分割されるとき、リスト0のためのリストの中のRPL構造は、そのRPL構造のインデックスより小さいインデックスを伴うリスト0のためのリストの中の別のRPL構造のみを指すことができる。同様に、リスト1のためのリストの中のRPL構造は、そのRPL構造のインデックスより小さいインデックスを伴うリスト1のためのリストの中の別のRPL構造のみを指すことができる。RPL0のためのスライスヘッダにおいて明示的にシグナリングされるRPL構造は、リスト0のためのリストの中のあらかじめ定められたRPL構造のいずれをも指すことができ、RPL1のためのスライスヘッダにおいて明示的にシグナリングされるRPL構造は、リスト1のためのリストの中のあらかじめ定められたRPL構造のいずれをも指すことができる。
別の代替形態では、パラメータセットの中のあらかじめ定められたRPL構造が2つのリストへと分割されない(たとえば、リスト0のためのRPL構造リストおよびリスト1のためのRPL構造リストが1つのリストでシグナリングされる)とき、RPL構造は、そのインデックスより小さいインデックスを伴うリストの中の別のRPL構造のみを指すことができる。スライスヘッダにおいて明示的にシグナリングされるRPL構造は、あらかじめ定められたRPL構造のいずれをも指すことができる。
インターRPLでは、参照RPL構造のためのインデックスは、現在のRPL構造インデックスと参照RPL構造インデックスのデルタから1を引いたものとしてコーディングされ、ue(v)コーディングを用いてコーディングされ得る。1つの代替形態では、参照RPLインデックスは、u(v)コーディングを使用して直接コーディングされる。インデックスを表現するために使用されるビットの数は、参照に適したリストの中のRPL構造の数の二進対数として設定される。たとえば、リスト0のためのリストの中のRPL構造のみが参照として使用され得るとき、参照RPLインデックスを表現するためのビットの数は、リスト0のためのリストの中のRPL構造の数の二進対数である。別の代替形態では、参照RPL構造のためのインデックスは、インターRPLのモードに応じて、ue(v)またはu(v)のいずれかを使用してコーディングされ得る。
インターRPLをサポートするために、各RPL構造は以下で説明されるモードのうちの1つを使用してコーディングされる。以下のモードの順序は、モードの値の順序を必ずしも意味しないことに留意されたい。モードの指示は、次のようにコーディングされ得る。ある実施形態では、モードの指示は、単にue(v)を使用してコーディングされ得る。ある実施形態では、モードの指示は、定義されたモードの総数の二進対数である、モードを表すためのビットの数を用いて、u(v)を使用してコーディングされ得る。
第1のRPLコーディングモードは、イントラコーディングモードである。このモードは、RPL構造の内容をシグナリングするための他の機構と同じように機能する。たとえば、2018年8月17日に出願された「Reference Picture Management in Video Coding」という表題の米国仮出願第62/719,360号において説明される方法を参照されたい。代替として、0より大きい整数値が、各RPL構造に対してシグナリングされ、granularity_valと呼ばれ得る。granularity_valの値は、RPL構造においてSTRPのPOCデルタ値を表す各値をスケーリングまたは分割するために使用される。
第2のRPLコーディングモードは、同じまたは均等な差を有する、参照RPL構造および現在のRPL構造の中のSTRPに対するデルタPOC値を利用する、インターコーディングモードである。このモードを使用してRPLをコーディングするために、以下の情報がビットストリームにおいてシグナリングされる。
始めに、コーディングモードおよび参照インデックスがビットストリームにおいてシグナリングされる。参照インデックスは、参照RPL構造のインデックスである。参照インデックスは、上で説明されたようにコーディングされ得る。しかしながら、機構はまた、ue(v)としてコーディングされる、現在のRPL構造インデックスと参照RPL構造インデックスとのデルタから1を引いたものとして、参照インデックスをコーディングしてもよい。オフセットもビットストリームにおいてシグナリングされる。オフセットは、参照RPL構造の中のSTRPのデルタPOCと現在のRPL構造の中のSTRPのデルタPOCとの間の差である。オフセットの値は、正の値だけに制約されてもよく(たとえば、参照RPL構造の中のSTRPのデルタPOC値が現在のRPL構造の中のSTRPのデルタPOC値未満である場合、現在のRPL構造をコーディングするためにこのモードを使用することはできない)、負の値だけに制約されてもよく、または正もしくは負のいずれかであってもよい。オフセットは、ue(v)としてコーディングされる場合、term_minus1を用いてシグナリングされ得る。エントリが現在のRPL構造の中のエントリとして使用されるかどうかを示すための、参照RPL構造の中の各エントリに対するフラグも、ビットストリームにおいてシグナリングされる。エントリが参照RPL構造の中のSTRPエントリであり、現在のRPL構造の中のエントリとして使用されるとき、エントリは、現在のRPL構造の中のSTRPエントリでもあり、その値は、参照RPL構造の中のエントリ値からオフセットを引いたものである(オフセットをコーディングするために_minus1項が使用される場合には1を足す)。エントリが参照RPL構造の中の長期参照ピクチャ(LTRP)エントリであり、現在のRPL構造の中のエントリとして使用されるとき、エントリは、現在のRPL構造の中のLTRPエントリでもあり、その値は、参照RPL構造の中のエントリのために単に複製される。
第3のRPLコーディングモードは、現在のRPL構造の中のエントリ(たとえば、STRPおよびLTRP)が参照RPL構造の中のエントリの上位集合であるという事実を利用する、インターコーディングモードである。すなわち、参照RPL構造の中のすべてのエントリが、追加の0個以上のエントリを伴う最初のX個(参照RPL構造の中のエントリの数でXを置き換える)と同じである。このモードを使用してRPLをコーディングするために、以下の情報がビットストリームにおいてシグナリングされる。
始めに、コーディングモードおよび参照インデックスが、ビットストリームにおいてシグナリングされる。参照インデックスは、参照RPL構造のインデックスである。参照インデックスは上で説明されたようにコーディングされ得る。追加のエントリの数もビットストリームにおいてシグナリングされる。追加のエントリの数は、現在のRPL構造の中のエントリの数と参照RPL構造の中のエントリの数との差である。エントリが参照RPL構造の中のSTRPエントリであるとき、エントリは、現在のRPL構造の中のSTRPエントリでもあり、その値は、参照RPL構造の中のエントリに対して単に複製される。エントリが参照RPL構造の中のLTRPエントリであるとき、エントリは、現在のRPL構造の中のLTRPエントリでもあり、その値は、参照RPL構造の中のエントリに対して単に複製される。参照RPL構造からすべてのエントリが現在のRPL構造へと複製された後で、各々の追加のエントリに対して、以下の情報がシグナリングされる。長期参照ピクチャがビットストリームにおいて使用される場合(すなわち、これは同じパラメータセットの中のフラグによって示され得る)、追加のエントリがLTRPエントリであるか、またはSTRPエントリであるかを示すために、フラグがシグナリングされる。エントリがLTRPエントリである場合、LTRPエントリのPOC LSBがシグナリングされる。それ以外の場合、STRPエントリのデルタPOCがシグナリングされる。デルタPOCの値は、以前のSTRPエントリからのデルタとして、または単に現在のピクチャのPOCからのデルタとしてシグナリングされ得る。
第4のRPLコーディングモードは、現在のRPL構造の中のエントリ(たとえば、STRPおよびLTRP)が、参照RPL構造の中のエントリと厳密に同じであるか、または、符号値が反転した状態で厳密に同じであるかのいずれかであるという事実を利用する、インターコーディングモードである。このモードを使用してRPLをコーディングするために、以下の情報がビットストリームにおいてシグナリングされる。
始めに、コーディングモードおよび参照インデックスがシグナリングされる。参照インデックスは参照RPL構造のインデックスである。参照インデックスは上で説明されたようにコーディングされ得る。任意選択で、符号値が反転しているかどうかを示すためのフラグも、ビットストリームにおいてシグナリングされる。
ビットストリームが前方インター予測(たとえば、現在のピクチャのPOC値より小さいPOC値を伴うピクチャに関するインター予測)および後方インター予測(たとえば、現在のピクチャのPOC値より大きいPOC値を伴うピクチャに関するインター予測)を用いてコーディングされるとき、RPLの中の参照ピクチャに対する以下の制約が適用される。ピクチャの各RPLに対して、RPLの中のすべての参照ピクチャは、インター予測方向が同じであり、たとえば、すべての参照ピクチャが前方インター予測のための参照ピクチャであり、または、すべての参照ピクチャが後方インター予測のための参照ピクチャである。ピクチャのRPLのペアに対して、以下の条件が真ではない限り、RPL0とRPL1の両方に含まれる参照ピクチャはないものとする。その条件とは、RPL0とRPL1の両方が同じ順序で同じ参照ピクチャを含むということである。そのような条件では、RPL1の中の最初のピクチャ(すなわち、インデックスが最低のピクチャ)を除くすべての参照ピクチャがRPL1から除去される。代替として、RPL0の中の最初のピクチャ(すなわち、インデックスが最低のピクチャ)を除くすべての参照ピクチャがRPL0から除去される。
第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るかどうかを示すためのフラグを使用する、ビデオコーディング技法が本明細書で開示される。すなわち、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、コーディングされたビデオビットストリームに存在せず、第1の参照ピクチャリスト構造の候補と同じであると推測される。一方、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補はコーディングされたビデオビットストリームに存在する。この方式でフラグを利用することによって、ビデオコーディングにおけるコーダ/デコーダ(「コーデック」としても知られている)は、現在のコードと比較して改善される(たとえば、使用するビットが少なくなる、必要な帯域幅が少なくなる、より効率的であるなど)。現実問題として、改善されたビデオコーディングプロセスは、ビデオが送信されるとき、受信されるとき、および/または見られるときに、より良いユーザ体験をユーザに提供する。
ある実施形態では、候補は、対応するブロックのインター予測を実行するのに利用可能な動きベクトルのリストの1つである。符号化の間、エンコーダは、インター予測のための動きベクトル候補のリストを生成し、最良の圧縮をもたらす候補を選択し、選択された候補をRPL構造インデックスによってシグナリングする。
図5は、ビデオビットストリーム500の実施形態の概略図である。本明細書では、ビデオビットストリーム500は、コーディングされたビデオビットストリーム、ビットストリーム、またはそれらの変形として呼ばれることもある。図5に示されるように、ビットストリーム500は、シーケンスパラメータセット(SPS)510、ピクチャパラメータセット(PPS)512、スライスヘッダ514、および画像データ520を備える。
SPS510は、ピクチャのシーケンス(SOP)の中のすべてのピクチャに共通のデータを含む。対照的に、PPS512は、ピクチャ全体に共通のデータを含む。スライスヘッダ514は、たとえば、スライスタイプ、参照ピクチャのうちのいずれが使用されるかなどの、現在のスライスについての情報を含む。SPS510およびPPS512は、総称的にパラメータセットと呼ばれ得る。SPS510、PPS512、およびスライスヘッダ514は、ネットワーク抽象化レイヤ(NAL)ユニットのタイプである。画像データ520は、符号化または復号されている画像もしくはビデオと関連付けられるデータを備える。画像データ520は単に、ビットストリーム500において搬送されているペイロードまたはデータと呼ばれ得る。
ある実施形態では、SPS510、PPS512、スライスヘッダ514、またはビットストリーム500の別の部分は、その各々が複数の参照ピクチャエントリを含む、複数の参照ピクチャリスト構造を搬送する。ビットストリーム500は、実際の適用例では他のパラメータおよび情報を含み得ることを、当業者は理解するであろう。
図6は、ビデオデコーダ(たとえば、ビデオデコーダ30)によって実装されるコーディングされたビデオビットストリーム(たとえば、ビットストリーム500)を復号する方法600の実施形態である。方法600は、復号されたビットストリームがビデオエンコーダ(たとえば、ビデオエンコーダ20)から直接または間接的に受信された後で実行され得る。方法600は、フラグがある値に設定されるとき、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るので、復号プロセスを改善する(たとえば、従来の復号プロセスよりも復号プロセスを効率的に、高速にするなど)。すなわち、第2の参照ピクチャリスト構造は、HEVCおよびAVCにおけるようにあらゆる状況においてコーディングされたビットストリームにおいてシグナリングされる必要はない。したがって、現実問題として、コーデックの性能が改善され、これはより良いユーザ体験につながる。
ブロック602において、コーディングされたビデオビットストリーム(たとえば、ビデオビットストリーム500)からフラグが構文解析される。ある実施形態では、このフラグはrpl1_copy_from_rpl0_flagと指定される。ある実施形態では、このフラグはコーディングされたビデオビットストリームのSPS(たとえば、SPS510)に含まれる。ある実施形態では、このフラグの第1の値は1である。ある実施形態では、このフラグの第2の値は0である。ある実施形態では、このフラグは、コーディングされたビデオビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に置かれる。
ブロック604において、第1の参照ピクチャリスト構造の候補はコーディングされたビデオビットストリームから構文解析される。ある実施形態では、第1の参照ピクチャリスト構造の候補は、コーディングされたビデオビットストリームのSPS(たとえば、SPS510)に含まれる。ある実施形態では、フラグおよび第1の参照ピクチャリスト構造の候補は、互いに別々に構文解析される。すなわち、フラグが最初に構文解析され、次いで第1の参照ピクチャリスト構造の候補が構文解析され、またはこの逆である。
ブロック606において、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補が、コーディングされたビデオビットストリームに存在しないと決定され、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測される。ある実施形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのSPS(たとえば、SPS510)に存在しない。ブロック608において、フラグが第2の値を有するとき、第2の参照ピクチャリスト構造の候補は、コーディングされたビデオビットストリームに存在すると決定される。
ブロック610において、参照ピクチャリストは、第1の参照ピクチャリスト構造の候補、第2の参照ピクチャリスト構造の候補、またはそれらの何らかの組合せを使用して生成される。参照ピクチャリストは、たとえば、図4に関連して図示され説明されたピクチャなどの、1つまたは複数のピクチャを特定し得る。
ブロック612において、再構築されたブロックを生成するために、参照ピクチャリストに基づいてインター予測が実行される。ある実施形態では、再構築されたブロックは、電子デバイス(たとえば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど)のディスプレイまたはスクリーン上でユーザに表示するための画像を生成または作成するために使用され得る。
図7は、ビデオエンコーダ(たとえば、ビデオエンコーダ20)によって実施されるビデオビットストリーム(たとえば、ビットストリーム500)を符号化する方法700の実施形態である。方法700は、(たとえば、ビデオからの)ピクチャがビデオビットストリームへと符号化され、次いでビデオデコーダ(たとえば、ビデオデコーダ30)に向かって送信されることになるときに実行され得る。方法700は、フラグがある値に設定されるとき、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであると推測され得るので、符号化プロセスを改善する(たとえば、従来の符号化プロセスよりも符号化プロセスを効率的に、高速にするなど)。すなわち、第2の参照ピクチャリスト構造は、HEVCおよびAVCにおけるようにあらゆる状況においてコーディングされたビットストリームにおいてシグナリングされる必要はない。したがって、現実問題として、コーデックの性能が改善され、これはより良いユーザ体験につながる。
ブロック702において、第2の参照ピクチャリスト構造の候補がビデオビットストリームにおいて符号化されず、第2の参照ピクチャリスト構造の候補が第1の参照ピクチャリスト構造の候補と同じであるとビデオデコーダによって推測されるべきであるとき、第1の値を伴うフラグがビデオビットストリームへと符号化される。ある実施形態では、このフラグはrpl1_copy_from_rpl0_flagと指定される。ある実施形態では、フラグの第1の値は1である。ある実施形態では、このフラグはコーディングされたビデオビットストリーム(たとえば、ビデオビットストリーム500)のSPS(たとえば、SPS510)において符号化される。ある実施形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのSPSに存在しない。ある実施形態では、フラグは、コーディングされたビデオビットストリームにおいて、任意のあらかじめ定められた参照ピクチャリスト構造の前に符号化される。
ブロック704において、第2の参照ピクチャリスト構造の候補がビデオビットストリームへと符号化されるとき、第2の値を伴うフラグがビデオビットストリームへと符号化される。ある実施形態では、フラグの第2の値は0である。ある実施形態では、フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補は、ビデオコーディングされたビットストリームのSPSに存在する。
ブロック706において、フラグが第1の値を用いて符号化されるとき、第1の参照ピクチャリスト構造は、ビデオビットストリームへと符号化される。ブロック708において、フラグが第2の値を用いて符号化されるとき、第1の参照ピクチャリスト構造および第2の参照ピクチャリスト構造は、ビデオビットストリームへと符号化される。
ブロック710において、ビデオビットストリームは、ビデオデコーダ(たとえば、ビデオデコーダ30)に向かって送信される。ビデオデコーダによって受信されると、符号化されるビデオビットストリームは、電子デバイス(たとえば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど)のディスプレイまたはスクリーン上でユーザに表示するための画像を生成または作成するために(たとえば、上で説明されたように)復号され得る。
本明細書において開示される技法の説明は、最新のVVC WDに関連して与えられる。加えて、本明細書において開示される技法を実装するのに適した定義、シンタックス、およびセマンティクスも与えられる。
始めに、いくつかの定義が与えられる。イントラランダムアクセスポイント(IRAP)ピクチャは、各ビデオコーディングレイヤ(VCL)NALユニットがIRAP_NUTに等しいnal_unit_typeを有するようなコーディングされたピクチャである。長期参照ピクチャ(LTRP)は、「長期参照のために使用される」とマークされるピクチャである。非IRAPピクチャは、各VCL NALユニットがNON_IRAP_NUTに等しいnal_unit_typeを有するコーディングされたピクチャである。参照ピクチャリストは、PまたはBスライスのインター予測のために使用される参照ピクチャのリストである。2つの参照ピクチャリスト、参照ピクチャリスト0および参照ピクチャリスト1は、非IRAPピクチャの各スライスに対して生成される。ピクチャと関連付けられる2つの参照ピクチャリストの中のすべてのエントリによって参照される固有のピクチャのセットは、関連するピクチャ、または復号順序において関連するピクチャの後にある任意のピクチャのインター予測のために使用され得る、すべての参照ピクチャを含む。Pスライスのスライスデータを復号するために、参照ピクチャリスト0だけがインター予測のために使用される。Bスライスのスライスデータを復号するために、両方の参照ピクチャリストがインター予測のために使用される。Iスライスのスライスデータを復号するために、インター予測のために参照ピクチャリストは使用されない。短期参照ピクチャ(STRP)は、「短期参照のために使用される」とマークされるピクチャである。
次に、いくつかの略語が与えられる。本明細書では、LTRPは長期参照ピクチャを意味し、STRPは短期参照ピクチャを意味する。
本開示の以下の部分は、本明細書において開示される技法を実装するのに適したシンタックスおよびセマンティクスを提供する。
NALユニットヘッダシンタックス
Figure 2022500923
シーケンスパラメータセットRBSPシンタックス
Figure 2022500923
ピクチャパラメータセットRBSPシンタックス
Figure 2022500923
スライスヘッダシンタックス
Figure 2022500923
参照ピクチャリスト構造シンタックス
Figure 2022500923
NALユニットヘッダセマンティクス
forbidden_zero_bitは0に等しいものとする。nal_unit_typeはNALユニットに含まれるRBSPデータ構造のタイプを指定する。
Figure 2022500923
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、TemporalId=nuh_temporal_id_plus1-1のように指定される。nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、SEI NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
シーケンスパラメータセットRBSPセマンティクス
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのために復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を、MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)として指定する。log2_mac_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャ記憶バッファの単位で、コーディングされたビデオシーケンス(CVS)に対する復号されたピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。0に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいていずれのコーディングされるピクチャのインター予測にも使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいて1つまたは複数のコーディングされるピクチャのインター予測のために使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのために復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を、MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb)として指定する。additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
1に等しいall_rpl_entries_same_sign_flagは、各ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のすべてのSTRPエントリが同じ符号値を有することを指定し、この符号は正の値または負の値を示す。0に等しいall_rpl_entries_same_sign_flagは、各ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のSTRPエントリが同じ符号値を有することも有しないこともあることを指定する。1に等しいrpl1_copy_from_rpl0_flagは、num_ref_pic_lists_in_sps[1]およびref_pic_list_struct(1,rplsIdx,ltrpFlag)が存在しないことを指定し、以下のことが適用される。num_ref_pic_lists_in_sps[1]の値は、num_ref_pic_lists_in_sps[0]の値に等しく設定される。シンタックス構造ref_pic_list_struct(1,rplsIdx,ltrpFlag)は、ref_pic_list_struct(0,rplsIdx,ltrpFlag)の値と同一であると推測される。その結果、ref_pic_list_struct(1,rplsIdx,ltrpFlag)の中のシンタックス要素はそれぞれ、ref_pic_list_struct(0,rplsIdx,ltrpFlag)の中のシンタックス要素に等しいと推測される。
num_ref_pic_lists_in_sps[i]は、SPSに含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の数を指定する。num_ref_pic_lists_in_sps[i]の値は、両端を含めて0から64の範囲にあるものとする。listIdx(0または1に等しい)の各値に対して、デコーダは、全体でnum_ref_pic_lists_in_sps[i]個のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のためにメモリを割り振るべきであり、それは、現在のピクチャのスライスヘッダにおいて直接シグナリングされる1つのref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造があり得るからである。
ピクチャパラメータセットRBSPセマンティクス
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。0に等しいrpl1_idx_present_flagは、ref_pic_list_sps_flag[1]およびref_pic_list_idx[1]がスライスヘッダに存在しないことを指定する。1に等しいrpl1_idx_present_flagは、ref_pic_list_sps_flag[1]およびref_pic_list_idx[1]がスライスヘッダに存在し得ることを指定する。
スライスヘッダセマンティクス
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeはTable 7-3(表7)に従ってスライスのコーディングタイプを指定する。
Figure 2022500923
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPSの中のlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[i]が0に等しいとき、ref_pic_list_sps_flag[i]の値は0に等しいものとする。rpl1_idx_present_flagが0に等しく、ref_pic_list_sps_flag[0]が存在するとき、ref_pic_list_sps_flag[1]の値は、ref_pic_list_sps_flag[0]の値に等しいと推測される。ref_pic_list_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の、アクティブSPSに含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_idx[i]は、Ceil(Log2(num_ref_pic_lists_in_sps[i]))ビットによって表される。存在しないとき、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端を含めて0からnum_ref_pic_lists_in_sps[i]-1の範囲にあるものとする。rpl1_idx_present_flagが0に等しく、ref_pic_list_sps_flag[0]が存在するとき、ref_pic_list_idx[1]の値は、ref_pic_list_idx[0]の値に等しいと推測される。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在することと、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することとを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を、NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1として指定する。num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]は、num_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]は、num_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[i]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。
代替として、0または1に等しいiに対して、上記の後で次のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、参照ピクチャリストlistIdxに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[listIdx]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。rpl_mode[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のシンタックス要素のコーディングモードを指定する。num_strp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx][rplsIdx]の値は、0に等しいと推測される。変数NumEntriesInList[listIdx][rplsIdx]は、NumEntriesInList[listIdx][rplsIdx]=num_strp_entries[listIdx][rplsIdx]+num_ltrp_entries[listIdx][rplsIdx]のように導出される。NumEntriesInList[listIdx][rplsIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいstrp_entries_sign_flag[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のすべてのSTRPエントリが0以上の値を有することを指定する。0に等しいstrp_entries_sign_flag[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のすべてのSTRPエントリが0未満の値を有することを指定する。
1に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][rplsIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[listIdx][rplsIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][rplsIdx][i]の合計は、num_ltrp_entries[listIdx][rplsIdx]に等しくなければならないということが、ビットストリーム適合の要件である。1に等しいstrp_entry_sign_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のi番目のエントリが0以上の値を有することを指定する。0に等しいstrp_entries_sign_flag[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のi番目のエントリが0未満の値を有することを指定する。存在しないとき、strp_entries_sign_flag[listIdx][rplsIdx][i]の値は、strp_entries_sign_flag[listIdx][rplsIdx]の値に等しいと推測される。
delta_poc_st[listIdx][rplsIdx][i]は、i番目のエントリがref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。アレイDeltaPocSt[listIdx][rplsIdx]は次のように導かれる。
for(i=0;i<NumEntriesInList[listIdx][rplsIdx];i++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
DeltaPocSt[listIdx][rplsIdx][i]=(strp_entry_sign_flag[listIdx][rplsIdx][i])?
delta_poc_st[listIdx][rplsIdx][i]:0- delta_poc_st[listIdx][rplsIdx][i]
}
}
model_ref_rpl_idx_delta_minus1[listIdx][rplsIdx]に1を足したものは、rplsIdxの値と参照ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)のインデックスとの間の差を指定する。rpl_mode[listIdx][rplsIdx]が1に等しいとき、変数RefRplIdxは次のように導かれる。
RefRplIdx=rplsIdx-(model_ref_rpl_idx_delta_minus1[listIdx][rplsIdx]+1)
strp_offset_val_minus1[listIdx][rplsIdx]に1を足したものは、現在のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)のdelta_poc_st[listIdx][rplsIdx][i]の値を計算するために、参照ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中の各STRPエントリから差し引かれるべき値を指定する。1に等しいref_entry_used_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(0,RefRplIdx,ltrpFlag)の中のi番目のエントリがref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のエントリとして使用されることを指定する。0に等しいref_entry_used_flag[listIdx][rplsIdx]は、ref_pic_list_struct(0,RefRplIdx,ltrpFlag)の中のi番目のエントリがref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)の中のエントリとして使用されないことを指定する。
rpl_mode[listIdx][rplsIdx]が1に等しいとき、シンタックス要素lt_ref_pic_flag[listIdx][rplsIdx][i]の値の推測に対して以下のことが当てはまり、lt_ref_pic_flag[listIdx][rplsIdx][i]が1に等しいとき、poc_lsb_lt[listIdx][rplsIdx][i]の値の推測に対して、ならびに、変数DeltaPocSt[listIdx][rplsIdx][i](lt_ref_pic_flag[listIdx][rplsIdx][i]が0に等しいとき)および変数NumEntriesInList[listIdx][rplsIdx]の導出に対して以下のことが当てはまる。
currEntryIdx=0
for(i=0;i<NumEntriesInList[0][RefRplsIdx];i++){
if(ref_entry_used_flag[listIdx][rplsIdx][i]){
lt_ref_pic_flag[listIdx][rplsIdx][currEntryIdx])=lt_ref_pic_flag[0][RefRplsIdx][i])
if(!lt_ref_pic_flag[0][RefRplsIdx][i])
DeltaPocSt[listIdx][rplsIdx][currEntryIdx]=DeltaPocSt[0][RefRplsIdx][i]
else
poc_lsb_lt[listIdx][rplsIdx][currEntryIdx]=poc_lsb_lt[0][RefRplsIdx][i]
currEntryIdx++
}
}
NumEntriesInList[listIdx][rplsIdx]=currEntryIdx
mode2_ref_rpl_idx[listIdx][rplsIdx]は、参照ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)のインデックスを指定する。シンタックス要素mode2_ref_rpl_idx[listIdx][rplsIdx]は、Ceil(Log2(num_ref_pic_lists_in_sps[0]))ビットによって表現される。rpl_mode[listIdx][rplsIdx]が2に等しいとき、変数RefRplIdxは次のように導かれる。
RefRplIdx=mode2_ref_rpl_idx[listIdx][rplsIdx]
num_additional_entries[listIdx][rplsIdx]は、NumEntriesInList[listIdx][rplsIdx]とNumEntriesInList[0][RefRplIdx]との間のデルタを指定する。add_lt_ref_pic_flag[listIdx][rplsIdx][i]は、lt_ref_pic_flag[listIdx][rplsIdx][NumEntriesInList[0][RefRplIdx]+i]の値の推測のために使用される。存在しないとき、add_lt_ref_pic_flag[listIdx][rplsIdx][i]の値は、0に等しいと推測される。add_strp_entry_sign_flag[listIdx][rplsIdx][i]は、strp_entry_sign_flag[listIdx][rplsIdx][NumEntriesInList[0][RefRplIdx]+i]の値の推測のために使用される。存在しないとき、add_strp_entries_sign_flag[listIdx][rplsIdx][i]の値は、strp_entries_sign_flag[listIdx][rplsIdx]の値に等しくなるように設定される。
add_delta_poc_st[listIdx][rplsIdx][i]は、delta_poc_st[listIdx][rplsIdx][NumEntriesInList[0][RefRplIdx]+i]の値の推測のために使用される。add_delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。add_poc_lsb_lt[listIdx][rplsIdx][i]は、poc_lsb_lt[listIdx][rplsIdx][NumEntriesInList[0][RefRplIdx]+i]の値の推測のために使用される。add_poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
rpl_mode[listIdx][rplsIdx]が2に等しいとき、シンタックス要素strp_entries_sign_flag[listIdx][rplsIdx]、lt_ref_pic_flag[listIdx][rplsIdx][i]の値の推測のために以下のことが適用され、lt_ref_pic_flag[listIdx][rplsIdx][i]が1に等しいとき、poc_lsb_lt[listIdx][rplsIdx][i]の値の推測のために、ならびに、変数DeltaPocSt[listIdx][rplsIdx][i](lt_ref_pic_flag[listIdx][rplsIdx][i]が0に等しいとき)および変数NumEntriesInList[listIdx][rplsIdx]の導出のために以下のことが適用される。
strp_entries_sign_flag[listIdx][rplsIdx]=strp_entries_sign_flag[0][RefRplsIdx]
for(i=0;i<NumEntriesInList[0][RefRplsIdx];i++){
lt_ref_pic_flag[listIdx][rplsIdx][i])=lt_ref_pic_flag[0][RefRplsIdx][i])
if(!lt_ref_pic_flag[0][RefRplsIdx][i])
DeltaPocSt[listIdx][rplsIdx][i]=DeltaPocSt[0][RefRplsIdx][i]
else
poc_lsb_lt[listIdx][rplsIdx][i]=poc_lsb_lt[0][RefRplsIdx][i]
}
currEntryIdx=NumEntriesInList[0][RefRplsIdx]
for(i=0;i<num_additional_entries[listIdx][rplsIdx];i++,currEntryIdx++){
lt_ref_pic_flag[listIdx][rplsIdx][currEntryIdx])=add_lt_ref_pic_flag[listIdx][rplsIdx][i])
if(!add_lt_ref_pic_flag[listIdx][rplsIdx][i])
DeltaPocSt[listIdx][rplsIdx][currEntryIdx]=(add_strp_entry_sign_flag[listIdx][rplsIdx][i])?
add_delta_poc_st[listIdx][rplsIdx][i]: 0-add_delta_poc_st[listIdx][rplsIdx][i]
else
poc_lsb_lt[listIdx][rplsIdx][currEntryIdx]=add_poc_lsb_lt[listIdx][rplsIdx][i]
}
NumEntriesInList[listIdx][rplsIdx]=currEntryIdx
mode3_ref_rpl_idx[listIdx][rplsIdx]は、参照ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)のインデックスを指定する。シンタックス要素mode3_ref_rpl_idx[listIdx][rplsIdx]は、Ceil(Log2(num_ref_pic_lists_in_sps[0]))ビットによって表現される。rpl_mode[listIdx][rplsIdx]が3に等しいとき、変数RefRplIdxは次のように導かれる。
RefRplIdx=mode3_ref_rpl_idx[listIdx][rplsIdx]
rpl_mode[listIdx][rplsIdx]が3に等しいとき、シンタックス要素lt_ref_pic_flag[listIdx][rplsIdx][i]の値の推測のために以下のことが適用され、lt_ref_pic_flag[listIdx][rplsIdx][i]が1に等しいとき、poc_lsb_lt[listIdx][rplsIdx][i]の値の推測のために、ならびに、変数DeltaPocSt[listIdx][rplsIdx][i](lt_ref_pic_flag[listIdx][rplsIdx][i]が0に等しいとき)および変数NumEntriesInList[listIdx][rplsIdx]の導出のために以下のことが適用される。
for(i=0;i<NumEntriesInList[0][RefRplsIdx];i++){
lt_ref_pic_flag[listIdx][rplsIdx][i])=lt_ref_pic_flag[0][RefRplsIdx][i])
if(!lt_ref_pic_flag[0][RefRplsIdx][i])
DeltaPocSt[listIdx][rplsIdx][i]=0-DeltaPocSt[0][RefRplsIdx][i]
else
poc_lsb_lt[listIdx][rplsIdx][i]=poc_lsb_lt[0][RefRplsIdx][i]
}
NumEntriesInList[listIdx][rplsIdx]=NumEntriesInList[0][RefRplsIdx]
一般的な復号プロセスが提供される。
現在のピクチャCurrPicに対して、復号プロセスは次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの最初のスライスだけに対して呼び出される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの最初のスライスだけに対して呼び出される。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「短期参照のために使用される」とマークされる。
NALユニット復号プロセスが提供される。
このプロセスへの入力は、現在のピクチャのNALユニットおよび関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
スライス復号プロセスが提供される。
ピクチャ順序カウントのための復号プロセスは次の通りである。
このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。
現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
PicOrderCntValは次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。
復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする。関数PicOrderCnt(picX)は、PicOrderCnt(picX)=ピクチャpicXのPicOrderCntValのように規定される。関数DiffPicOrderCnt(picA,picB)は、DiffPicOrderCnt(picA,picB)=PicOrderCnt(picA)-PicOrderCnt(picB)のように規定される。ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じCVSの中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
参照ピクチャリスト構築のための復号プロセスが提供される。
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合確認の目的で導出されてもよいが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-DeltaPocSt[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i][RplsIdx[i]]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][RplsIdx[i]][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャマーキングのための復号プロセスが提供される。
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値によって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。以下のことが適用される。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
図8は、本開示の実施形態によるビデオコーディングデバイス800(たとえば、ビデオエンコーダ20またはビデオデコーダ30)の概略図である。ビデオコーディングデバイス800は、本明細書で説明されるような開示された実施形態を実施するのに適している。ビデオコーディングデバイス800は、データを受信するための入口ポート810および受信機ユニット(Rx)820、データを処理するためのプロセッサ、論理ユニット、または中央処理装置(CPU)830、データを送信するための送信機ユニット(Tx)840および出口ポート850、ならびにデータを記憶するためのメモリ860を備える。ビデオコーディングデバイス800は、光または電気信号の出入のために、出口ポート810、受信機ユニット820、送信機ユニット840、および出口ポート850に結合された、光-電子(OE)コンポーネントおよび電子-光(EO)コンポーネントも備え得る。
プロセッサ830はハードウェアおよびソフトウェアによって実装される。プロセッサ830は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、およびデジタルシグナルプロセッサ(DSP)として実装され得る。プロセッサ830は、入口ポート810、受信機ユニット820、送信機ユニット840、出口ポート850、およびメモリ860と通信している。プロセッサ830はコーディングモジュール870を備える。コーディングモジュール870は、上で説明された開示された実施形態を実装する。たとえば、コーディングモジュール870は、様々なネットワーキング機能を実装し、処理し、準備し、または提供する。したがって、コーディングモジュール870を含むことは、ビデオコーディングデバイス800の機能にかなりの改善をもたらし、異なる状態へのビデオコーディングデバイス800の変換を生み出す。代替として、コーディングモジュール870は、メモリ860に記憶されておりプロセッサ830によって実行される命令として実装される。
ビデオコーディングデバイス800はまた、ユーザとの間でデータをやり取りするための入力および/または出力(I/O)デバイス880を含み得る。I/Oデバイス880は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカーなどの、出力デバイスを含み得る。I/Oデバイス880は、キーボード、マウス、トラックボールなどの入力デバイス、および/またはそのような出力デバイスとインターフェースするための対応するインターフェースも含み得る。
メモリ860は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備え、そのようなプログラムが実行のために選択されるときにプログラムを記憶するための、およびプログラム実行の間に読み取られる命令とデータを記憶するための、オーバーフローデータストレージデバイスとして使用され得る。メモリ860は、揮発性および/または不揮発性であってもよく、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三項コンテンツアドレス指定可能メモリ(TCAM)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
図9は、コーディングのための手段900のある実施形態の概略図である。実施形態において、コーディングのための手段900は、ビデオコーディングデバイス902(たとえば、ビデオエンコーダ20またはビデオデコーダ30)において実装される。ビデオコーディングデバイス902は受信手段901を含む。受信手段901は、符号化すべきピクチャを受信し、または復号すべきビットストリームを受信するように構成される。ビデオコーディングデバイス902は、受信手段901に結合された送信手段907を含む。送信手段907は、ビットストリームをデコーダに送信し、または復号された画像を表示手段(たとえば、I/Oデバイス880のうちの1つ)に送信するように構成される。
ビデオコーディングデバイス902は記憶手段903を含む。記憶手段903は、受信手段901または送信手段907のうちの少なくとも1つに結合される。記憶手段903は命令を記憶するように構成される。ビデオコーディングデバイス902はまた処理手段905を含む。処理手段905は記憶手段903に結合される。処理手段905は、本明細書で開示される方法を実行するために、記憶手段903に記憶されている命令を実行するように構成される。
本明細書に記載される例示的な方法のステップは、必ずしも説明される順序で実行される必要はなく、そのような方法のステップの順序は、単に例示的であるものとして理解されるべきであることも理解されたい。同様に、追加のステップがそのような方法に含まれてもよく、本開示の様々な実施形態と一貫した方法で、いくつかのステップが省略されてもよく、または組み合わせられてもよい。
いくつかの実施形態が本開示において提供されたが、開示されるシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく多くの他の具体的な形式で具現化され得ることを理解されたい。これらの例は、限定ではなく例示であると見なされるべきであり、意図は本明細書で与えられる詳細に限定されないものとする。たとえば、別のシステムでは様々な要素およびコンポーネントが組み合わされ、もしくは統合されてもよく、またはいくつかの特徴が省略され、または実装されなくてもよい。
加えて、様々な実施形態において個別または別個のものとして説明され例示されている技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技法、もしくは方法と組み合わされ、または統合され得る。結合される、または直接結合される、または互いに通信するものとして、示されもしくは論じられた他の項目は、電気的に、機械的に、または別様にのいずれでも、何らかのインターフェース、デバイス、または中間コンポーネントを通じて、間接的に結合され、または通信していてもよい。変更、置換、および変形の他の例が、当業者により認識可能であり、本明細書で開示される趣旨および範囲から逸脱することなく行われ得る。
12 ソースデバイス
14 デスティネーションデバイス
16 コンピュータ可読媒体
18 ビデオソース
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
32 表示デバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
52 変換処理ユニット
54 量子化ユニット
56 エントロピーコーディングユニット
58 逆量子化ユニット
60 逆変換ユニット
64 参照フレームメモリ
70 エントロピー復号ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
82 参照フレームメモリ
510 SPS
512 PPS
514 スライスヘッダ
520 画像データ
810 入口ポート
820 受信機ユニット
830 プロセッサ
840 送信機ユニット
850 出口ポート
860 メモリ
870 コーディングモジュール
880 I/Oデバイス
901 受信手段
902 ビデオコーディングデバイス
903 記憶手段
905 処理手段
907 送信手段

Claims (31)

  1. ビデオデコーダによって実施されるコーディングされたビデオビットストリームを復号する方法であって、
    前記コーディングされたビデオビットストリームから、フラグを構文解析するステップと、
    前記コーディングされたビデオビットストリームから、第1の参照ピクチャリスト構造の候補を構文解析するステップと、
    前記フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補が前記コーディングされたビデオビットストリームに存在しないと決定し、前記第2の参照ピクチャリスト構造の前記候補が前記第1の参照ピクチャリスト構造の前記候補と同じであると推測するステップと、
    前記フラグが第2の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が前記コーディングされたビデオビットストリームに存在すると決定するステップと、
    前記コーディングされたビデオビットストリームから、前記第1の参照ピクチャリスト構造の前記候補または前記第2の参照ピクチャリスト構造の前記候補のうちの少なくとも1つを使用して参照ピクチャリストを生成するステップと、
    再構築されたブロックを生成するために前記参照ピクチャリストに基づいてインター予測を実行するステップとを備える、方法。
  2. 前記フラグがrpl1_copy_from_rpl0_flagと指定される、請求項1に記載の方法。
  3. 前記フラグが前記コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)に含まれる、請求項1から2のいずれか一項に記載の方法。
  4. 前記フラグが前記第1の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が前記ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)に存在しない、請求項1から3のいずれか一項に記載の方法。
  5. 前記フラグが前記第2の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が、前記ビデオコーディングされたビットストリームの前記SPSに存在する、請求項1から4のいずれか一項に記載の方法。
  6. 前記フラグの前記第1の値が1である、請求項1から5のいずれか一項に記載の方法。
  7. 前記フラグの前記第2の値が0である、請求項1から6のいずれか一項に記載の方法。
  8. 前記フラグが、前記コーディングされたビデオビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に置かれる、請求項1から7のいずれか一項に記載の方法。
  9. ビデオエンコーダによって実施されるビデオビットストリームを符号化する方法であって、
    第2の参照ピクチャリスト構造の候補が前記ビデオビットストリームにおいて符号化されず、前記第2の参照ピクチャリスト構造の前記候補が第1の参照ピクチャリスト構造の候補と同じであるとビデオデコーダによって推測されるべきであるとき、第1の値を用いてフラグを前記ビデオビットストリームへと符号化するステップと、
    前記第2の参照ピクチャリスト構造の前記候補が前記ビデオビットストリームへと符号化されるとき、第2の値を用いてフラグを前記ビデオビットストリームへと符号化するステップと、
    前記フラグが前記第1の値を用いて符号化されるとき、前記第1の参照ピクチャリスト構造の前記候補を前記ビデオビットストリームへと符号化するステップと、
    前記フラグが前記第2の値を用いて符号化されるとき、前記第1の参照ピクチャリスト構造の前記候補および前記第2の参照ピクチャリスト構造の前記候補を前記ビデオビットストリームへと符号化するステップと、
    前記ビデオビットストリームを前記ビデオデコーダに向かって送信するステップとを備える、方法。
  10. 前記フラグがrpl1_copy_from_rpl0_flagと指定される、請求項9に記載の方法。
  11. 前記フラグが、前記コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)において符号化される、請求項9から10のいずれか一項に記載の方法。
  12. 前記フラグが前記第1の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が、前記ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)に存在しない、請求項9から11のいずれか一項に記載の方法。
  13. 前記フラグが前記第1の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が、前記ビデオコーディングされたビットストリームの前記SPSに存在する、請求項9から12のいずれか一項に記載の方法。
  14. 前記フラグの前記第1の値が1であり、前記フラグの前記第2の値が0であり、前記第1の参照ピクチャリスト構造の前記候補が、前記ビデオコーディングされたビットストリームのシーケンスパラメータセット(SPS)において符号化される、請求項9から13のいずれか一項に記載の方法。
  15. 前記フラグが、前記コーディングされたビデオビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に符号化される、請求項9から14のいずれか一項に記載の方法。
  16. コーディングされたビデオビットストリームを受信するように構成される受信機と、
    前記受信機に結合されるメモリであって、命令を記憶する、メモリと、
    前記メモリに結合されるプロセッサとを備え、前記プロセッサが、前記プロセッサに、
    前記コーディングされたビデオビットストリームから、フラグを構文解析させ、
    前記コーディングされたビデオビットストリームから、第1の参照ピクチャリスト構造の候補を構文解析させ、
    前記フラグが第1の値を有するとき、第2の参照ピクチャリスト構造の候補が前記コーディングされたビデオビットストリームに存在しないと決定させて、前記第2の参照ピクチャリスト構造の前記候補が前記第1の参照ピクチャリスト構造の前記候補と同じであると推測させ、
    前記フラグが第2の値を有するとき、前記第2の参照ピクチャリスト構造の前記候補が前記コーディングされたビデオビットストリームに存在すると決定させ、
    前記コーディングされたビデオビットストリームから、前記第1の参照ピクチャリスト構造の前記候補または前記第2の参照ピクチャリスト構造の前記候補のうちの少なくとも1つを使用して参照ピクチャリストを生成させ、
    再構築されたブロックを生成するために前記参照ピクチャリストに基づいてインター予測を実行させる
    ために前記メモリに記憶されている前記命令を実行するように構成される、復号デバイス。
  17. 前記再構築されたブロックを使用して生成される画像を表示するように構成されるディスプレイをさらに備える、請求項16に記載の復号デバイス。
  18. 前記フラグがrpl1_copy_from_rpl0_flagと指定される、請求項16から17のいずれか一項に記載の復号デバイス。
  19. 前記フラグが前記コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)に含まれる、請求項16から18のいずれか一項に記載の復号デバイス。
  20. 前記フラグが前記第1の値を有するとき、前記第2の参照ピクチャリスト構造が、前記コーディングされたビデオビットストリームの前記SPSに存在せず、前記フラグが前記第2の値を有するとき、前記第2の参照ピクチャリスト構造が、前記コーディングされたビデオビットストリームの前記SPSに存在する、請求項16から19のいずれか一項に記載の復号デバイス。
  21. 前記フラグの前記第1の値が1であり、前記フラグの前記第2の値が0である、請求項16から20のいずれか一項に記載の復号デバイス。
  22. 前記フラグが、前記コーディングされたビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に置かれる、請求項16から21のいずれか一項に記載の復号デバイス。
  23. 第2の参照ピクチャリスト構造の候補が前記ビデオビットストリームにおいて符号化されず、前記第2の参照ピクチャリスト構造の前記候補が第1の参照ピクチャリスト構造の候補と同じであるとビデオデコーダによって推測されるべきであるとき、第1の値を用いてフラグを前記ビデオビットストリームへと符号化し、
    前記第2の参照ピクチャリスト構造の前記候補が前記ビデオビットストリームへと符号化されるとき、第2の値を用いてフラグを前記ビデオビットストリームへと符号化し、
    前記フラグが前記第1の値を用いて符号化されるとき、前記第1の参照ピクチャリスト構造を前記ビデオビットストリームへと符号化し、
    前記フラグが前記第2の値を用いて符号化されるとき、前記第1の参照ピクチャリスト構造および前記第2の参照ピクチャリスト構造を前記ビデオビットストリームへと符号化する
    ように構成されるプロセッサと、
    前記プロセッサに結合される送信機であって、前記ビデオビットストリームを前記ビデオデコーダに向かって送信するように構成される、送信機とを備える、符号化デバイス。
  24. 前記フラグがrpl1_copy_from_rpl0_flagと指定される、請求項23に記載の符号化デバイス。
  25. 前記フラグが、前記コーディングされたビデオビットストリームのシーケンスパラメータセット(SPS)において符号化される、請求項23から24のいずれか一項に記載の符号化デバイス。
  26. 前記フラグが前記第1の値を有するとき、前記第2の参照ピクチャリスト構造が、前記コーディングされたビデオビットストリームの前記SPSに存在せず、前記フラグが前記第2の値を有するとき、前記第2の参照ピクチャリスト構造が、前記コーディングされたビデオビットストリームの前記SPSに存在する、請求項23から25のいずれか一項に記載の符号化デバイス。
  27. 前記フラグの前記第1の値が1であり、前記フラグの前記第2の値が0である、請求項23から26のいずれか一項に記載の符号化デバイス。
  28. 前記フラグが、前記コーディングされたビットストリームにおいて、いずれのあらかじめ定められた参照ピクチャリスト構造よりも前に符号化される、請求項23から27のいずれか一項に記載の符号化デバイス。
  29. 復号すべきビットストリームを受信するように構成される受信機と、
    前記受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、
    前記受信機または前記送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、
    前記メモリに結合されるプロセッサであって、請求項1から15のいずれか一項に記載の方法を実行するために前記メモリに記憶されている前記命令を実行するように構成される、プロセッサとを備える、コーディング装置。
  30. 請求項23から28のいずれか一項に記載の符号化デバイスを含む、エンコーダと、
    前記エンコーダと通信しているデコーダであって、請求項16から22のいずれか一項に記載の復号デバイスを含む、デコーダとを備える、システム。
  31. 復号すべきビットストリームを受信するように構成される受信手段と、
    前記受信手段に結合される送信手段であって、復号された画像を表示手段に送信するように構成される、送信手段と、
    前記受信手段または前記送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、
    前記記憶手段に結合される処理手段であって、請求項1から15のいずれか一項に記載の方法を実行するために前記記憶手段に記憶されている前記命令を実行するように構成される、処理手段とを備える、コーディングのための手段。
JP2021514110A 2018-09-12 2019-09-12 ビデオエンコーダ、ビデオデコーダ、および対応物 Active JP7483693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023206231A JP2024026290A (ja) 2018-09-12 2023-12-06 参照ピクチャリスト構造のための候補シグナリング

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862730172P 2018-09-12 2018-09-12
US62/730,172 2018-09-12
US201962848147P 2019-05-15 2019-05-15
US62/848,147 2019-05-15
PCT/US2019/050861 WO2020056172A1 (en) 2018-09-12 2019-09-12 Candidate signaling for reference picture list structures

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023206231A Division JP2024026290A (ja) 2018-09-12 2023-12-06 参照ピクチャリスト構造のための候補シグナリング

Publications (2)

Publication Number Publication Date
JP2022500923A true JP2022500923A (ja) 2022-01-04
JP7483693B2 JP7483693B2 (ja) 2024-05-15

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067966A1 (en) * 2010-11-17 2012-05-24 Qualcomm Incorporated Reference picture list construction for generalized p/b frames in video coding
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067966A1 (en) * 2010-11-17 2012-05-24 Qualcomm Incorporated Reference picture list construction for generalized p/b frames in video coding
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling

Also Published As

Publication number Publication date
KR20240032173A (ko) 2024-03-08
AU2024200359A1 (en) 2024-02-08
JP7460817B2 (ja) 2024-04-02
CN112690003B (zh) 2022-06-28
JP2024026290A (ja) 2024-02-28
CN117459729A (zh) 2024-01-26
EP4164227A1 (en) 2023-04-12
CN117544779A (zh) 2024-02-09
MX2021002950A (es) 2021-07-21
EP4300954A2 (en) 2024-01-03
US20210195236A1 (en) 2021-06-24
EP3847812A4 (en) 2021-11-03
CN112840651B (zh) 2023-11-10
AU2019339411A1 (en) 2021-04-15
BR112021004662A2 (pt) 2021-06-01
ES2935979T3 (es) 2023-03-13
BR112021004667A2 (pt) 2021-06-01
PT3847804T (pt) 2023-01-19
CN117544780A (zh) 2024-02-09
KR20210055080A (ko) 2021-05-14
EP3847804B1 (en) 2022-12-07
KR20230129599A (ko) 2023-09-08
WO2020056164A1 (en) 2020-03-19
US20210195235A1 (en) 2021-06-24
AU2019338463A1 (en) 2021-04-15
MX2021002951A (es) 2021-07-15
AU2023237082A1 (en) 2023-10-12
KR102573250B1 (ko) 2023-08-30
EP3847810A4 (en) 2021-11-03
AU2019337644A1 (en) 2021-04-15
EP3847804A1 (en) 2021-07-14
EP4300954A3 (en) 2024-01-10
AU2019339411B2 (en) 2023-05-25
JP2023076474A (ja) 2023-06-01
JP7270725B2 (ja) 2023-05-10
CN113170165A (zh) 2021-07-23
WO2020056172A1 (en) 2020-03-19
EP3847810A1 (en) 2021-07-14
WO2020056168A1 (en) 2020-03-19
JP2022500919A (ja) 2022-01-04
CN117834880A (zh) 2024-04-05
KR102643058B1 (ko) 2024-02-29
KR20210057109A (ko) 2021-05-20
MX2021002952A (es) 2021-07-21
JP2022500922A (ja) 2022-01-04
CN115174900B (zh) 2023-06-06
KR20210055079A (ko) 2021-05-14
CN117412047A (zh) 2024-01-16
EP3847812B1 (en) 2024-02-14
CN115174900A (zh) 2022-10-11
US20210195178A1 (en) 2021-06-24
CN117412038A (zh) 2024-01-16
EP3847804A4 (en) 2021-10-27
KR20230145226A (ko) 2023-10-17
AU2023219935A1 (en) 2023-09-14
AU2019338463B2 (en) 2023-10-26
CN112690003A (zh) 2021-04-20
AU2019337644B2 (en) 2023-06-29
BR112021004684A2 (pt) 2021-06-01
CN115174899A (zh) 2022-10-11
CN115174899B (zh) 2023-06-06
CN115174901A (zh) 2022-10-11
JP7242839B2 (ja) 2023-03-20
CN112840651A (zh) 2021-05-25
KR102585975B1 (ko) 2023-10-05
EP3847812A1 (en) 2021-07-14
CN113170165B (zh) 2023-10-20
JP2023067904A (ja) 2023-05-16
FI3847804T3 (fi) 2023-01-13

Similar Documents

Publication Publication Date Title
JP7278366B2 (ja) ビデオコーディングにおける参照ピクチャ管理
JP7460817B2 (ja) ビットストリームを復号する方法
JP7483693B2 (ja) ビデオエンコーダ、ビデオデコーダ、および対応物

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501