JP2020511861A5 - - Google Patents

Download PDF

Info

Publication number
JP2020511861A5
JP2020511861A5 JP2019551679A JP2019551679A JP2020511861A5 JP 2020511861 A5 JP2020511861 A5 JP 2020511861A5 JP 2019551679 A JP2019551679 A JP 2019551679A JP 2019551679 A JP2019551679 A JP 2019551679A JP 2020511861 A5 JP2020511861 A5 JP 2020511861A5
Authority
JP
Japan
Prior art keywords
sei message
encoded video
video data
sei
cvs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019551679A
Other languages
Japanese (ja)
Other versions
JP2020511861A (en
Filing date
Publication date
Priority claimed from US15/926,833 external-priority patent/US10701400B2/en
Application filed filed Critical
Publication of JP2020511861A publication Critical patent/JP2020511861A/en
Publication of JP2020511861A5 publication Critical patent/JP2020511861A5/ja
Pending legal-status Critical Current

Links

Description

[0323]プログラムコードは、プロセッサによって実行され得、それは、1つまたは複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、あるいは他の同等の集積回路またはディスクリートロジック回路のような1つまたは複数のプロセッサを含み得る。そのようなプロセッサは、この開示に説明された技法のうちの任意のものを実行するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携した1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としてインプリメントされ得る。それ故に、「プロセッサ」という用語は、ここに使用される場合、前述の構造のうちの任意のもの、前述の構造の任意の組み合わせ、あるいはここに説明された技法のインプリメンテーションに適した任意の他の構造または装置を指し得る。加えて、いくつかの態様では、ここに説明された機能は、符号化および復号のために構成された専用ソフトウェアモジュールまたはハードウェアモジュール内で提供され得るか、あるいは組み合わされたビデオ符号化器−復号器(CODEC)中に組み込まれ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオデータを符号化する方法であって、
ビデオデータを受信することと、
符号化デバイスが、前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報(SEI)メッセージを生成することと、ここにおいて、前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記SEIメッセージを含めることと
を備える、方法。
[C2] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するために前記符号化デバイスが使用することができる1つまたは複数のパラメータで構成される、C1に記載の方法。
[C3] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定する、C1に記載の方法。
[C4] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定する、C1に記載の方法。
[C5] 前記SEIメッセージのシンタックス要素は、前記SEIメッセージのタイプを示す、C1に記載の方法。
[C6] 前記情報は、前記符号化されたビデオデータとともに含まれる、C1に記載の方法。
[C7] ファイルに前記符号化されたビデオデータと前記SEIメッセージとを書き込むことと、ここにおいて、前記符号化されたビデオデータと前記SEIメッセージとは、ファイルフォーマットにしたがって前記ファイルに書き込まれる、
前記符号化されたビデオデータが読み取られる前に前記SEIが読み取られることができる前記ファイル中に前記SEIメッセージを配置するために前記ファイルフォーマットを使用することと
をさらに備える、C1に記載の方法。
[C8] ストリーミングのために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、ストリーミングフォーマットにしたがってカプセル化される、
前記ストリーミングフォーマットにしたがって、符号化されたビデオデータの記述を生成することと、ここにおいて、前記記述は、前記SEIメッセージを含む、
をさらに備える、C1に記載の方法。
[C9] ネットワーク上での送信のために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、コンテナフォーマットにしたがってカプセル化される、
前記コンテナフォーマットにしたがって、第1のパケットを生成することと、ここにおいて、前記第1のパケットのペイロード部分は、記述子として前記SEIメッセージを含む、
前記符号化されたビデオデータを含む1つまたは複数のパケットを生成することと、ここにおいて、前記1つまたは複数のパケットは、送信順序で前記第1のパケットに続く、 をさらに備える、C1に記載の方法。
[C10] ネットワーク上での送信のために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、リアルタイム転送プロトコルにしたがってカプセル化される、
セッション記述プロトコルにしたがって、セッション記述を生成することと、ここにおいて、前記セッション記述は、前記SEIメッセージを含む、
をさらに備える、C1に記載の方法。
[C11] 符号化デバイスであって、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報(SEI)メッセージを生成することと、ここにおいて、前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記SEIメッセージを含めることと
を行うように構成されたプロセッサと
を備える、符号化デバイス。
[C12] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するために前記符号化デバイスが使用することができる1つまたは複数のパラメータで構成される、C11に記載の符号化デバイス。
[C13] 前記プロセッサは、
前記情報が前記ビデオデータを提示するのに必要とされると決定すること
を行うようにさらに構成される、C11に記載の符号化デバイス。
[C14] 前記プロセッサは、
前記情報が前記ビデオデータを提示するのに必要とされないと決定すること
を行うようにさらに構成される、C11に記載の符号化デバイス。
[C15] 前記SEIメッセージのシンタックス要素は、前記SEIメッセージのタイプを示す、C11に記載の符号化デバイス。
[C16] 前記情報は、前記符号化されたビデオデータとともに含まれる、C11に記載の符号化デバイス。
[C17] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
ビデオデータを受信することと、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報(SEI)メッセージを生成することと、ここにおいて、前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記SEIメッセージを含めることと
を行わせる命令を備える、非一時的コンピュータ可読媒体。
[C18] 装置であって、
ビデオデータを受信するための手段と、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報(SEI)メッセージを生成するための手段と、ここにおいて、前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化するための手段と、
前記符号化されたビデオデータとともに前記SEIメッセージを含めるための手段と を備える、装置。
[C19] ビデオデータを復号する方法であって、
復号デバイスにおいて、符号化されたビデオビットストリーム、補足エンハンスメント情報(SEI)メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信することと、
前記SEIメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を備える、方法。
[C20] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定し、および前記復号デバイスは、前記情報にしたがって前記ビデオデータを構成する、C19に記載の方法。
[C21] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定し、および前記復号デバイスは、前記情報を使用することなしに前記符号化されたビデオデータを復号する、C19に記載の方法。
[C22] 前記SEIメッセージのシンタックス要素は、前記SEIメッセージのタイプを示す、C19に記載の方法。
[C23] 前記符号化されたビデオビットストリーム、前記SEIメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、ファイル中で受信され、前記ファイルは、ファイルフォーマットにしたがってフォーマットされ、および前記ファイルフォーマットにしたがって、前記SEIメッセージは、前記符号化されたビデオビットストリームを含む前記ファイルの一部の前の、前記復号デバイスによって読み取られる前記ファイルの一部中にある、C19に記載の方法。
[C24] 前記符号化されたビデオビットストリーム、前記SEIメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、データストリーム中で受信され、前記データストリームは、ストリーミングフォーマットにしたがってフォーマットされ、
前記データストリームから、前記符号化されたビデオデータの記述を読み取ること、ここにおいて、前記記述は、前記SEIメッセージを含む、
C19に記載の方法。
[C25] 前記符号化されたビデオビットストリーム、前記SEIメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、複数のネットワークパケット中で受信され、
前記複数のネットワークパケットからの第1のパケットのペイロード部分から前記SEIメッセージを読み取ることと、
前記複数のネットワークパケットからの1つまたは複数のパケットから前記符号化されたビデオデータを読み取ることと、ここにおいて、前記1つまたは複数のパケットは、送信順序で前記第1のパケットに続く、
C19に記載の方法。
[C26] 前記符号化されたビデオビットストリーム、前記SEIメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、ネットワーク上で受信され、前記符号化されたビデオビットストリームは、リアルタイム転送プロトコルにしたがってカプセル化され、前記SEIメッセージは、セッション記述中に含まれ、前記セッション記述は、セッション記述プロトコルにしたがってフォーマットされる、C19に記載の方法。
[C27] 復号デバイスであって、
符号化されたビデオビットストリーム、補足エンハンスメント情報(SEI)メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を記憶するように構成されたメモリと、
前記SEIメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を行うように構成されたプロセッサと
を備える、復号デバイス。
[C28] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定し、および前記復号デバイスは、前記情報にしたがって前記ビデオデータを構成する、C27に記載の復号デバイス。
[C29] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定し、および前記復号デバイスは、前記情報を使用することなしに前記符号化されたビデオデータを復号する、C27に記載の復号デバイス。
[C30] 前記SEIメッセージのシンタックス要素は、前記SEIメッセージのタイプを示す、C27に記載の復号デバイス。
[C31] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
符号化されたビデオビットストリーム、補足エンハンスメント情報(SEI)メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信することと、
前記SEIメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を行わせる命令を備える、非一時的コンピュータ可読媒体。
[C32] 装置であって、
符号化されたビデオビットストリーム、補足エンハンスメント情報(SEI)メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信するための手段と、
前記SEIメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号するための手段と、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を備える、装置。
[0323] The program code may be executed by a processor, which may be one or more digital signal processors (DSPs), general purpose microprocessors, application specific integrated circuits (ASICs), field programmable logic arrays (FPGAs), or others. It may include one or more processors such as equivalent integrated circuits or discrete logic circuits. Such a processor may be configured to perform any of the techniques described in this disclosure. The general purpose processor can be a microprocessor, but in the alternative, the processor can be any conventional processor, controller, microcontroller, or state machine. Processors are also implemented as a combination of computing devices, such as a combination of DSP and microprocessor, multiple microprocessors, one or more microprocessors associated with a DSP core, or any other such configuration. obtain. Therefore, the term "processor", when used herein, is any of the above-mentioned structures, any combination of the above-mentioned structures, or any suitable for the implementation of the techniques described herein. Can refer to other structures or devices. In addition, in some embodiments, the functionality described herein may be provided within a dedicated software or hardware module configured for coding and decoding, or a combined video encoder-. It can be incorporated into a decoder (CODEC).
The inventions described in the claims at the time of filing the application of the present application are described below.
[C1] A method of encoding video data.
Receiving video data and
The coding device determines whether the information associated with the video data is required to present the video data, where the information is required to decode the video data. Not considered,
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
A method.
[C2] The coding device comprises one or more parameters that can be used by the coding device to determine if the information is needed to present the video data. The method according to C1.
[C3] The method of C1, wherein the coding device determines that the information is required to present the video data.
[C4] The method of C1, wherein the coding device determines that the information is not required to present the video data.
[C5] The method according to C1, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C6] The method of C1, wherein the information is included with the encoded video data.
[C7] Writing the encoded video data and the SEI message to the file, and here, the encoded video data and the SEI message are written to the file according to the file format.
Using the file format to place the SEI message in the file where the SEI can be read before the encoded video data is read.
The method according to C1, further comprising.
[C8] Encapsulating the encoded video data for streaming, wherein the encoded video data is encapsulated according to a streaming format.
Producing a description of the encoded video data according to the streaming format, wherein the description includes the SEI message.
The method according to C1, further comprising.
[C9] Encapsulating the encoded video data for transmission over a network, wherein the encoded video data is encapsulated according to a container format.
The first packet is generated according to the container format, and here, the payload portion of the first packet includes the SEI message as a descriptor.
C1 further comprises generating one or more packets containing the encoded video data, wherein the one or more packets follow the first packet in transmission order. The method described.
[C10] Encapsulating the encoded video data for transmission over a network, wherein the encoded video data is encapsulated according to a real-time transfer protocol.
Generating a session description according to the session description protocol, wherein the session description comprises the SEI message.
The method according to C1, further comprising.
[C11] A coding device,
With a memory configured to store video data,
Determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
With a processor configured to do
A coding device comprising.
[C12] The coding device comprises one or more parameters that can be used by the coding device to determine if the information is needed to present the video data. The coding device according to C11.
[C13] The processor is
Determining that the information is needed to present the video data
The coding device according to C11, further configured to do so.
[C14] The processor is
Determining that the information is not needed to present the video data
The coding device according to C11, further configured to do so.
[C15] The coding device according to C11, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C16] The coding device according to C11, wherein the information is included with the coded video data.
[C17] When executed by one or more processors, the one or more processors.
Receiving video data and
Determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
A non-transitory computer-readable medium with instructions to perform.
[C18] A device
Means for receiving video data and
A means for determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A means for generating a supplementary enhancement information (SEI) message, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Means for encoding the video data and
A device comprising means for including the SEI message along with the encoded video data.
[C19] A method of decoding video data.
Receiving the encoded video bitstream, the supplemental enhancement information (SEI) message, and the information associated with the encoded video bitstream at the decoding device.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
A method.
[C20] The method of C19, wherein the decoding device determines that the information is required to present the video data, and the decoding device constructs the video data according to the information.
[C21] The decoding device determines that the information is not required to present the video data, and the decoding device decodes the encoded video data without using the information. , C19.
[C22] The method of C19, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C23] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in a file, and the file is formatted according to a file format. And according to the file format, the SEI message is described in C19, which is in a part of the file read by the decoding device, before the part of the file containing the encoded video bitstream. Method.
[C24] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in the data stream and the data stream is formatted according to the streaming format. Being done
Reading a description of the encoded video data from the data stream, where the description comprises the SEI message.
The method according to C19.
[C25] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in a plurality of network packets.
Reading the SEI message from the payload portion of the first packet from the plurality of network packets
Reading the encoded video data from one or more packets from the plurality of network packets, wherein the one or more packets follow the first packet in transmission order.
The method according to C19.
[C26] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received on the network and the encoded video bitstream is real-time. The method of C19, wherein the SEI message is encapsulated according to a transfer protocol, the SEI message is included in the session description, and the session description is formatted according to the session description protocol.
[C27] A decryption device
A memory configured to store an encoded video bitstream, a supplemental enhancement information (SEI) message, and information associated with the encoded video bitstream.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
With a processor configured to do
A decryption device.
[C28] The decoding device according to C27, wherein the decoding device determines that the information is required to present the video data, and the decoding device constitutes the video data according to the information. ..
[C29] The decoding device determines that the information is not required to present the video data, and the decoding device decodes the encoded video data without using the information. , C27.
[C30] The decoding device according to C27, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C31] When executed by one or more processors, the one or more processors.
Receiving encoded video bitstreams, supplemental enhancement information (SEI) messages, and information associated with said encoded video bitstreams.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
A non-transitory computer-readable medium with instructions to perform.
[C32] A device
A means for receiving an encoded video bitstream, a supplemental enhancement information (SEI) message, and information associated with the encoded video bitstream, and
Means for using the SEI message to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said. Not required to decrypt the video data, and said SEI message includes a field indicating whether the information is needed to present the video data.
Means for decoding the encoded video bitstream to produce the video data, and here the encoded video bitstream, are required for the information to present the video data. Decrypted according to the result of deciding whether,
A device that comprises.

Claims (15)

ビデオデータを符号化する方法であって、
前記ビデオデータを取得することと、
前記符号化デバイスによってインプリメントされる基準に基づいて、復号されたビデオビットストリームのコーディングされたビデオシーケンス(CVS)のコンテンツを処理することに関連付けられた任意の補足エンハンスメント情報(SEI)メッセージが所望のユーザエクスペリエンスを可能にするために必須と見なされるかどうかを決定することと、ここにおいて、前記復号されたビデオビットストリームは、前記ビデオデータに関連付けられた符号化されたビデオビットストリームの復号から生じる、
前記CVS内のSEIメッセージのタイプのセットが、前記符号化デバイスによって必須であると見なされるという決定に基づいて、
前記CVS内のSEIメッセージのタイプの前記セットが、前記符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記CVSのコンテンツを処理するために必須であると決定されたことを示す情報を含むSEIメッセージを生成することと、ここで、SEIメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記SEIメッセージ内に含めるために、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの数を示す第1のシンタックス要素を生成することと、
SEIメッセージのタイプの前記セット内に含まれるSEIメッセージの各タイプについて、前記SEIメッセージ内に含めるために、SEIメッセージのタイプを示す第2のシンタックス要素を生成することと、
前記SEIメッセージ内に、前記第1のシンタックス要素と前記第2のシンタックス要素とを含めることと、
前記符号化されたビデオビットストリームを生成するために前記ビデオデータを符号化することと、
前記符号化されたビデオビットストリームと前記SEIメッセージを送信することと、
を備える、方法。
A method of coding video data
And obtaining said video data,
Any supplementary enhancement information (SEI) message associated with processing the coded video sequence (CVS) content of the decoded video bitstream based on the criteria implemented by the encoding device is desired. Determining whether it is considered essential to enable the user experience, where the decrypted video bitstream results from decoding the encoded video bitstream associated with the video data. ,
Based on the determination that the set of SEI message types in the CVS is considered essential by the coding device.
Information indicating that the set of SEI message types within the CVS has been determined by the encoding device to be essential for processing the content of the CVS to enable the desired user experience. Generating an SEI message that includes, and here the set of SEI message types, does not affect the decoding of the encoded video bitstream.
To generate a first syntax element indicating the number of SEI message types included in the set of SEI message types for inclusion in the SEI message.
For each type of SEI message contained within said set of SEI message types, generating a second syntax element indicating the type of SEI message to be included within said SEI message.
Including the first syntax element and the second syntax element in the SEI message,
Encoding the video data to generate the encoded video bitstream, and
Sending the encoded video bitstream and the SEI message,
A method.
要件に基づいて、前記CVSの第1のアクセスユニット内に前記SEIメッセージを含めることをさらに備える、請求項1に記載の方法。 The method of claim 1 , further comprising including the SEI message within the first access unit of the CVS, based on the requirements. 要件に基づいて、現在のアクセスユニットに前記SEIメッセージを含めることと、前記現在のアクセスユニットから前記CVSの終了までの各アクセスユニットに前記SEIメッセージを含めることとをさらに備える、請求項1に記載の方法。 The first aspect of the present invention further comprises including the SEI message in the current access unit and including the SEI message in each access unit from the current access unit to the end of the CVS, based on the requirements. the method of. コンテンツ作成器から受け取られる入力に基づいて、前記符号化デバイスによってインプリメントされる前記基準を定義することをさらに備える、請求項1に記載の方法。 The method of claim 1 , further comprising defining the criteria implemented by the coding device based on the input received from the content creator. ストリーミングのために前記符号化されたビデオビットストリームをカプセル化することと、ここにおいて、前記符号化されたビデオビットストリームは、ストリーミングフォーマットにしたがってカプセル化される、
前記ストリーミングフォーマットにしたがって、符号化されたビデオビットストリームの記述を生成することと、ここにおいて、前記記述は、前記SEIメッセージを含む、
をさらに備える、請求項1に記載の方法。
And encapsulating the encoded video bit stream for streaming, wherein the encoded video bit stream is encapsulated according to a streaming format,
Producing a description of the encoded video bitstream according to the streaming format, wherein the description includes the SEI message.
The method according to claim 1, further comprising.
ネットワーク上での送信のために前記符号化されたビデオビットストリームをカプセル化することと、ここにおいて、前記符号化されたビデオビットストリームは、コンテナフォーマットにしたがってカプセル化される、
前記コンテナフォーマットにしたがって、第1のパケットを生成することと、ここにおいて、前記第1のパケットのペイロード部分は、記述子として前記SEIメッセージを含む、
前記符号化されたビデオビットストリームを含む1つまたは複数のパケットを生成することと、ここにおいて、前記1つまたは複数のパケットは、送信順序で前記第1のパケットに続く、
をさらに備える、請求項1に記載の方法。
And encapsulating the encoded video bit stream for transmission over a network, wherein the encoded video bit stream is encapsulated according container format,
The first packet is generated according to the container format, and here, the payload portion of the first packet includes the SEI message as a descriptor.
Generating one or more packets containing the encoded video bitstream , wherein the one or more packets follow the first packet in transmission order.
The method according to claim 1, further comprising.
ネットワーク上での送信のために前記符号化されたビデオビットストリームをカプセル化することと、ここにおいて、前記符号化されたビデオビットストリームは、リアルタイム転送プロトコルにしたがってカプセル化される、
セッション記述プロトコルにしたがって、セッション記述を生成することと、ここにおいて、前記セッション記述は、前記SEIメッセージを含む、
をさらに備える、請求項1に記載の方法。
Encapsulating the encoded video bitstream for transmission over a network, wherein the encoded video bitstream is encapsulated according to a real-time transfer protocol.
Generating a session description according to the session description protocol, wherein the session description includes the SEI message.
The method according to claim 1, further comprising.
装置であって、
ビデオデータを受信するための手段と、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報(SEI)メッセージを生成するための手段と、ここにおいて、前記SEIメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化するための手段と、
前記符号化されたビデオデータとともに前記SEIメッセージを含めるための手段と
を備える、装置。
It ’s a device,
Means for receiving video data and
A means for determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A means for generating a supplementary enhancement information (SEI) message, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Means for encoding the video data and
A device comprising means for including the SEI message along with the encoded video data.
ビデオデータを復号する方法であって、
復号デバイスにおいて、符号化されたビデオビットストリーム、および前記符号化されたビデオビットストリームに関連付けられた補足エンハンスメント情報(SEI)メッセージを受信することと、
前記符号化されたビデオビットストリームのコーディングされたビデオシーケンス(CVS)内のSEIメッセージのタイプのセットが、前記符号化されたビデオビットストリームの符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記CVSのコンテンツを処理するために必須であると決定されたことを示す情報を含む前記SEIメッセージを処理することと、ここで、SEIメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記SEIメッセージ内で、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの数を示す第1のシンタックス要素を受信することと、
前記第1のシンタックス要素に基づいて、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの前記数を決定することと、
SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの前記数の前記決定に応答して、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージの各タイプについて、SEIメッセージのタイプを示す第2のシンタックス要素を受信することと、
SEIメッセージのタイプの前記セット中のSEIメッセージの各タイプが、前記符号化デバイスによって、前記所望のユーザエクスペリエンスを可能にするために前記CVSのコンテンツを処理するために必須であると決定されていると決定することと、
復号されたビデオデータを生成するために、前記符号化されたビデオビットストリームを復号することと、
を備える、方法。
It ’s a way to decrypt video data.
In the decoding device, comprising: receiving encoded video bit stream, and the encoded supplemental enhancement information associated with the video bit stream (SEI) message,
The set of SEI message types in the coded video sequence (CVS) of the encoded video bitstream allows the desired user experience by the encoding device of the encoded video bitstream. Processing the SEI message containing information indicating that it has been determined to be essential for processing the content of the CVS, and where the set of SEI message types is the encoded video. Does not affect bitstream decoding,
In the SEI message, receiving a first syntax element indicating the number of SEI message types contained in the set of SEI message types.
Determining the number of SEI message types contained within the set of SEI message types based on the first syntax element.
In response to the determination of the number of SEI message types contained within the set of SEI message types, the type of SEI message is indicated for each type of SEI message contained within the set of SEI message types. Receiving the second syntax element and
Types of SEI Messages Each type of SEI message in the set has been determined by the coding device to be essential for processing the content of the CVS to enable the desired user experience. To decide that
Decoding the encoded video bitstream to generate the decoded video data, and
A method.
前記CVSの第1のアクセスユニット中で前記SEIメッセージを受信することをさらに備え、好ましくは/または、現在のアクセスユニット中で、および前記現在のアクセスユニットから前記CVSの終了までの各アクセスユニット中で前記SEIメッセージを受信することをさらに備え、好ましくは/または、前記SEIメッセージのコンテンツに基づいて、前記復号デバイスが前記所望のユーザエクスペリエンスを提供する可能にするために前記CVSを処理するように構成されたシステムレベル処理エンティティを含むかどうか決定することをさらに備え、好ましくは/または、前記符号化されたビデオビットストリーム、および前記符号化されたビデオビットストリームに関連付けられた前記SEIメッセージは、ファイル中で受信され、前記ファイルは、ファイルフォーマットにしたがってフォーマットされ、および前記ファイルフォーマットにしたがって、前記SEIメッセージは、前記符号化されたビデオビットストリームを含む前記ファイルの一部の前の、前記復号デバイスによって読み取られる前記ファイルの一部中にある、請求項に記載の方法。 Further comprising receiving the SEI message in the first access unit of the CVS, preferably / or in the current access unit and in each access unit from the current access unit to the end of the CVS. Further comprising receiving the SEI message in, preferably / or processing the CVS to allow the decryption device to provide the desired user experience based on the content of the SEI message. further comprising determining whether to include a configured system-level processing entity, preferably / or the SEI messages the encoded video bit stream, and associated with the encoded video bit stream , The file is formatted according to the file format, and according to the file format, the SEI message is before the portion of the file containing the encoded video bitstream, said. 9. The method of claim 9 , which is part of the file read by the decryption device. 前記符号化されたビデオビットストリーム、および前記符号化されたビデオビットストリームに関連付けられた前記SEIメッセージは、データストリーム中で受信され、前記データストリームは、ストリーミングフォーマットにしたがってフォーマットされ、
前記データストリームから、符号化されたビデオビットストリームの記述を読み取ること、ここにおいて、前記記述は、前記SEIメッセージを含む、
請求項に記載の方法。
The encoded video bit stream, and the encoded said SEI message associated with the video bit stream is received in the data stream, the data stream is formatted according to a streaming format,
From the data stream, reading the description of marks Goka video bit stream, wherein said description includes the SEI message,
The method according to claim 9.
前記符号化されたビデオビットストリーム、および前記符号化されたビデオビットストリームに関連付けられた前記SEIメッセージは、複数のネットワークパケット中で受信され、
前記複数のネットワークパケットからの第1のパケットのペイロード部分から前記SEIメッセージを読み取ることと、
前記複数のネットワークパケットからの1つまたは複数のパケットから前記符号化されたビデオビットストリームを読み取ることと、ここにおいて、前記1つまたは複数のパケットは、送信順序で前記第1のパケットに続く、
請求項に記載の方法。
The encoded video bit stream, and the associated with the encoded video bit stream SEI message is received in a plurality of network packets,
Reading the SEI message from the payload portion of the first packet from the plurality of network packets
Reading the encoded video bitstream from one or more packets from the plurality of network packets, wherein the one or more packets follow the first packet in transmission order.
The method according to claim 9.
前記符号化されたビデオビットストリーム、前記符号化されたビデオビットストリームに関連付けられた前記SEIメッセージは、ネットワーク上で受信され、前記符号化されたビデオビットストリームは、リアルタイム転送プロトコルにしたがってカプセル化され、前記SEIメッセージは、セッション記述中に含まれ、前記セッション記述は、セッション記述プロトコルにしたがってフォーマットされる、請求項に記載の方法。 The encoded video bit stream, the SEI message associated with the encoded video bit stream is received over a network, the encoded video bit stream is encapsulated according to the Real-time Transport Protocol The method of claim 9 , wherein the SEI message is included in the session description and the session description is formatted according to the session description protocol. 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、請求項1〜請求項7または請求項9〜請求項13のうちのいずれか一項の方法を実行させる命令を備える、
一時的コンピュータ可読媒体。
When executed by one or more processors, the instruction to cause the one or more processors to execute the method of any one of claims 1 to 7 or 9 to 13. Prepare, prepare
Non- temporary computer-readable medium.
装置であって、
前記符号化されたビデオビットストリームのコーディングされたビデオシーケンス(CVS)内のSEIメッセージのタイプのセットが、前記符号化されたビデオビットストリームの符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記CVSのコンテンツを処理するために必須であると決定されたことを示す情報を含む前記SEIメッセージを処理するための手段と、ここで、SEIメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記SEIメッセージ内で、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの数を示す第1のシンタックス要素を受信するための手段と、
前記第1のシンタックス要素に基づいて、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの前記数を決定するための手段と、
SEIメッセージのタイプの前記セット内に含まれるSEIメッセージの各タイプについて、SEIメッセージのタイプの前記セット内に含まれるSEIメッセージのタイプの前記数の前記決定に応答して、SEIメッセージのタイプを示す第2のシンタックス要素を受信するための手段と、
SEIメッセージのタイプの前記セット中のSEIメッセージの各タイプが、前記符号化デバイスによって、前記所望のユーザエクスペリエンスを可能にするために前記CVSのコンテンツを処理するために必須であると決定されていると決定するための手段と、
復号されたビデオデータを生成するために、前記符号化されたビデオビットストリームを復号するための手段と、
を備える、装置。
It ’s a device,
The set of SEI message types in the coded video sequence (CVS) of the encoded video bitstream allows the desired user experience by the encoding device of the encoded video bitstream. Means for processing the SEI message, including information indicating that it has been determined to be essential for processing the content of the CVS, and where the set of SEI message types is said to be encoded. Does not affect the decryption of the video bitstream
In the SEI message, a means for receiving a first syntax element indicating the number of SEI message types contained in the set of SEI message types, and
Means for determining the number of SEI message types contained within the set of SEI message types based on the first syntax element.
For each type of SEI message contained within the set of SEI message types, the type of SEI message is indicated in response to the determination of the number of SEI message types contained within the set of SEI message types. Means for receiving the second syntax element,
Types of SEI Messages Each type of SEI message in the set has been determined by the coding device to be essential for processing the content of the CVS to enable the desired user experience. And the means to decide
Means for decoding the encoded video bitstream to generate the decoded video data, and
A device that comprises.
JP2019551679A 2017-03-21 2018-03-21 Mandatory and non-mandatory video supplemental information signaling Pending JP2020511861A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762474540P 2017-03-21 2017-03-21
US62/474,540 2017-03-21
US15/926,833 2018-03-20
US15/926,833 US10701400B2 (en) 2017-03-21 2018-03-20 Signalling of summarizing video supplemental information
PCT/US2018/023598 WO2018175609A1 (en) 2017-03-21 2018-03-21 Signalling of essential and non-essential video supplemental information

Publications (2)

Publication Number Publication Date
JP2020511861A JP2020511861A (en) 2020-04-16
JP2020511861A5 true JP2020511861A5 (en) 2021-04-08

Family

ID=63581211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551679A Pending JP2020511861A (en) 2017-03-21 2018-03-21 Mandatory and non-mandatory video supplemental information signaling

Country Status (9)

Country Link
US (1) US10701400B2 (en)
EP (1) EP3603075A1 (en)
JP (1) JP2020511861A (en)
KR (1) KR102613593B1 (en)
CN (1) CN110419223B (en)
AU (1) AU2018237153B2 (en)
BR (1) BR112019019250A2 (en)
TW (1) TW201904297A (en)
WO (1) WO2018175609A1 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
CN114402623B (en) * 2019-04-19 2023-06-09 北京达佳互联信息技术有限公司 Supplemental enhancement information message for embedded images
WO2020256615A1 (en) * 2019-06-21 2020-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Video coding layer up-switching indication
CN112215378B (en) * 2019-07-11 2022-09-30 浙江远图技术股份有限公司 Hospital appointment outpatient system optimization algorithm based on LINGO
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
KR20220065804A (en) * 2019-09-23 2022-05-20 텔레폰악티에볼라겟엘엠에릭슨(펍) Provides segment existence information
CN117978996A (en) * 2020-04-11 2024-05-03 Lg电子株式会社 Point cloud data transmitting device and method, and point cloud data receiving device and method
WO2021210867A1 (en) * 2020-04-12 2021-10-21 엘지전자 주식회사 Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data
CN116325753A (en) * 2020-09-25 2023-06-23 抖音视界有限公司 Sub-bit stream extraction
CA3215231A1 (en) * 2021-04-12 2022-10-20 Martin Pettersson Message referencing
CN115225913A (en) * 2021-04-20 2022-10-21 中兴通讯股份有限公司 Code stream processing method and device, terminal equipment and storage medium
CN114501070B (en) * 2022-04-14 2022-07-19 全时云商务服务股份有限公司 Encoding and decoding method, processing method and system for video conference synchronous extra information
CN114745600B (en) * 2022-06-10 2022-09-27 中国传媒大学 Video label labeling method and device based on SEI
EP4300477A1 (en) * 2022-06-30 2024-01-03 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding a video sequence associated with alpha channel information
WO2024039723A1 (en) * 2022-08-17 2024-02-22 Bytedance Inc. Presence and relative decoding order of neural-network post-filter sei messages
WO2024061330A1 (en) * 2022-09-21 2024-03-28 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024076141A1 (en) * 2022-10-05 2024-04-11 엘지전자 주식회사 Image encoding/decoding method, device, and recording medium for storing bitstream based on post-decoding filter

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003098475A1 (en) * 2002-04-29 2003-11-27 Sony Electronics, Inc. Supporting advanced coding formats in media files
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
WO2009127961A1 (en) * 2008-04-16 2009-10-22 Nokia Corporation Decoding order recovery in session multiplexing
CN102972024A (en) * 2011-05-11 2013-03-13 松下电器产业株式会社 Video transmission device and video transmission method
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US20140078249A1 (en) 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
KR101844236B1 (en) * 2014-02-10 2018-04-02 엘지전자 주식회사 Method and apparatus for transmitting/receiving broadcast signal for 3-dimentional (3d) broadcast service
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages

Similar Documents

Publication Publication Date Title
JP2020511861A5 (en)
JP2015534773A5 (en)
JP6242916B2 (en) Transcode metadata
US10140105B2 (en) Converting source code
JP2017508338A5 (en)
PH12020500016A1 (en) Picture data encoding method and apparatus and picture data decoding method and apparatus
JP2019535198A5 (en)
JP2017513372A5 (en)
JP2010182323A5 (en)
JP2015527814A5 (en)
RU2007137805A (en) METHOD, DEVICE AND SYSTEM FOR EFFECTIVE CODING AND DECODING OF VIDEO DATA
JP2007535860A (en) Session description message extension
CN105828096B (en) Method and device for processing media stream file
WO2012162995A1 (en) Method and device for transmitting stream media
CN111683293A (en) Method for playing H.265 video across browsers based on HTTP-FLV protocol
CN113557705B (en) Method and apparatus to facilitate use of a streaming manifest including profile indications
CN110858919A (en) Data processing method and device in media file playing process and storage medium
CN108540481B (en) Online playing method and device for audio file
WO2017092433A1 (en) Method and device for video real-time playback
JP7241874B2 (en) Method, apparatus, and computer program for signaling available portions of encapsulated media content
JP6597604B2 (en) Reception device, transmission device, data communication method, and data processing method
KR102208814B1 (en) Method and apparatus for transmitting and receiving a packet in a communication system
CN110574378B (en) Method and apparatus for media content asset change
CN108600826B (en) Method and device for playing TS (transport stream)
CN114009030A (en) Techniques for signaling and identifying access unit boundaries