JP2020511861A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020511861A5 JP2020511861A5 JP2019551679A JP2019551679A JP2020511861A5 JP 2020511861 A5 JP2020511861 A5 JP 2020511861A5 JP 2019551679 A JP2019551679 A JP 2019551679A JP 2019551679 A JP2019551679 A JP 2019551679A JP 2020511861 A5 JP2020511861 A5 JP 2020511861A5
- Authority
- JP
- Japan
- Prior art keywords
- sei message
- encoded video
- video data
- sei
- cvs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000000576 supplementary Effects 0.000 claims description 6
- 230000000153 supplemental Effects 0.000 claims description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 2
Description
[0323]プログラムコードは、プロセッサによって実行され得、それは、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、あるいは他の同等の集積回路またはディスクリートロジック回路のような１つまたは複数のプロセッサを含み得る。そのようなプロセッサは、この開示に説明された技法のうちの任意のものを実行するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としてインプリメントされ得る。それ故に、「プロセッサ」という用語は、ここに使用される場合、前述の構造のうちの任意のもの、前述の構造の任意の組み合わせ、あるいはここに説明された技法のインプリメンテーションに適した任意の他の構造または装置を指し得る。加えて、いくつかの態様では、ここに説明された機能は、符号化および復号のために構成された専用ソフトウェアモジュールまたはハードウェアモジュール内で提供され得るか、あるいは組み合わされたビデオ符号化器−復号器（ＣＯＤＥＣ）中に組み込まれ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] ビデオデータを符号化する方法であって、
ビデオデータを受信することと、
符号化デバイスが、前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、ここにおいて、前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記ＳＥＩメッセージを含めることと
を備える、方法。
[Ｃ２] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するために前記符号化デバイスが使用することができる１つまたは複数のパラメータで構成される、Ｃ１に記載の方法。
[Ｃ３] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定する、Ｃ１に記載の方法。
[Ｃ４] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定する、Ｃ１に記載の方法。
[Ｃ５] 前記ＳＥＩメッセージのシンタックス要素は、前記ＳＥＩメッセージのタイプを示す、Ｃ１に記載の方法。
[Ｃ６] 前記情報は、前記符号化されたビデオデータとともに含まれる、Ｃ１に記載の方法。
[Ｃ７] ファイルに前記符号化されたビデオデータと前記ＳＥＩメッセージとを書き込むことと、ここにおいて、前記符号化されたビデオデータと前記ＳＥＩメッセージとは、ファイルフォーマットにしたがって前記ファイルに書き込まれる、
前記符号化されたビデオデータが読み取られる前に前記ＳＥＩが読み取られることができる前記ファイル中に前記ＳＥＩメッセージを配置するために前記ファイルフォーマットを使用することと
をさらに備える、Ｃ１に記載の方法。
[Ｃ８] ストリーミングのために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、ストリーミングフォーマットにしたがってカプセル化される、
前記ストリーミングフォーマットにしたがって、符号化されたビデオデータの記述を生成することと、ここにおいて、前記記述は、前記ＳＥＩメッセージを含む、
をさらに備える、Ｃ１に記載の方法。
[Ｃ９] ネットワーク上での送信のために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、コンテナフォーマットにしたがってカプセル化される、
前記コンテナフォーマットにしたがって、第１のパケットを生成することと、ここにおいて、前記第１のパケットのペイロード部分は、記述子として前記ＳＥＩメッセージを含む、
前記符号化されたビデオデータを含む１つまたは複数のパケットを生成することと、ここにおいて、前記１つまたは複数のパケットは、送信順序で前記第１のパケットに続く、 をさらに備える、Ｃ１に記載の方法。
[Ｃ１０] ネットワーク上での送信のために前記符号化されたビデオデータをカプセル化することと、ここにおいて、前記符号化されたビデオデータは、リアルタイム転送プロトコルにしたがってカプセル化される、
セッション記述プロトコルにしたがって、セッション記述を生成することと、ここにおいて、前記セッション記述は、前記ＳＥＩメッセージを含む、
をさらに備える、Ｃ１に記載の方法。
[Ｃ１１] 符号化デバイスであって、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、ここにおいて、前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記ＳＥＩメッセージを含めることと
を行うように構成されたプロセッサと
を備える、符号化デバイス。
[Ｃ１２] 前記符号化デバイスは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するために前記符号化デバイスが使用することができる１つまたは複数のパラメータで構成される、Ｃ１１に記載の符号化デバイス。
[Ｃ１３] 前記プロセッサは、
前記情報が前記ビデオデータを提示するのに必要とされると決定すること
を行うようにさらに構成される、Ｃ１１に記載の符号化デバイス。
[Ｃ１４] 前記プロセッサは、
前記情報が前記ビデオデータを提示するのに必要とされないと決定すること
を行うようにさらに構成される、Ｃ１１に記載の符号化デバイス。
[Ｃ１５] 前記ＳＥＩメッセージのシンタックス要素は、前記ＳＥＩメッセージのタイプを示す、Ｃ１１に記載の符号化デバイス。
[Ｃ１６] 前記情報は、前記符号化されたビデオデータとともに含まれる、Ｃ１１に記載の符号化デバイス。
[Ｃ１７] １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
ビデオデータを受信することと、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、ここにおいて、前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化することと、
前記符号化されたビデオデータとともに前記ＳＥＩメッセージを含めることと
を行わせる命令を備える、非一時的コンピュータ可読媒体。
[Ｃ１８] 装置であって、
ビデオデータを受信するための手段と、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報（ＳＥＩ）メッセージを生成するための手段と、ここにおいて、前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化するための手段と、
前記符号化されたビデオデータとともに前記ＳＥＩメッセージを含めるための手段と を備える、装置。
[Ｃ１９] ビデオデータを復号する方法であって、
復号デバイスにおいて、符号化されたビデオビットストリーム、補足エンハンスメント情報（ＳＥＩ）メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信することと、
前記ＳＥＩメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を備える、方法。
[Ｃ２０] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定し、および前記復号デバイスは、前記情報にしたがって前記ビデオデータを構成する、Ｃ１９に記載の方法。
[Ｃ２１] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定し、および前記復号デバイスは、前記情報を使用することなしに前記符号化されたビデオデータを復号する、Ｃ１９に記載の方法。
[Ｃ２２] 前記ＳＥＩメッセージのシンタックス要素は、前記ＳＥＩメッセージのタイプを示す、Ｃ１９に記載の方法。
[Ｃ２３] 前記符号化されたビデオビットストリーム、前記ＳＥＩメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、ファイル中で受信され、前記ファイルは、ファイルフォーマットにしたがってフォーマットされ、および前記ファイルフォーマットにしたがって、前記ＳＥＩメッセージは、前記符号化されたビデオビットストリームを含む前記ファイルの一部の前の、前記復号デバイスによって読み取られる前記ファイルの一部中にある、Ｃ１９に記載の方法。
[Ｃ２４] 前記符号化されたビデオビットストリーム、前記ＳＥＩメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、データストリーム中で受信され、前記データストリームは、ストリーミングフォーマットにしたがってフォーマットされ、
前記データストリームから、前記符号化されたビデオデータの記述を読み取ること、ここにおいて、前記記述は、前記ＳＥＩメッセージを含む、
Ｃ１９に記載の方法。
[Ｃ２５] 前記符号化されたビデオビットストリーム、前記ＳＥＩメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、複数のネットワークパケット中で受信され、
前記複数のネットワークパケットからの第１のパケットのペイロード部分から前記ＳＥＩメッセージを読み取ることと、
前記複数のネットワークパケットからの１つまたは複数のパケットから前記符号化されたビデオデータを読み取ることと、ここにおいて、前記１つまたは複数のパケットは、送信順序で前記第１のパケットに続く、
Ｃ１９に記載の方法。
[Ｃ２６] 前記符号化されたビデオビットストリーム、前記ＳＥＩメッセージ、および前記符号化されたビデオビットストリームに関連付けられた前記情報は、ネットワーク上で受信され、前記符号化されたビデオビットストリームは、リアルタイム転送プロトコルにしたがってカプセル化され、前記ＳＥＩメッセージは、セッション記述中に含まれ、前記セッション記述は、セッション記述プロトコルにしたがってフォーマットされる、Ｃ１９に記載の方法。
[Ｃ２７] 復号デバイスであって、
符号化されたビデオビットストリーム、補足エンハンスメント情報（ＳＥＩ）メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を記憶するように構成されたメモリと、
前記ＳＥＩメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を行うように構成されたプロセッサと
を備える、復号デバイス。
[Ｃ２８] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされると決定し、および前記復号デバイスは、前記情報にしたがって前記ビデオデータを構成する、Ｃ２７に記載の復号デバイス。
[Ｃ２９] 前記復号デバイスは、前記情報が前記ビデオデータを提示するのに必要とされないと決定し、および前記復号デバイスは、前記情報を使用することなしに前記符号化されたビデオデータを復号する、Ｃ２７に記載の復号デバイス。
[Ｃ３０] 前記ＳＥＩメッセージのシンタックス要素は、前記ＳＥＩメッセージのタイプを示す、Ｃ２７に記載の復号デバイス。
[Ｃ３１] １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
符号化されたビデオビットストリーム、補足エンハンスメント情報（ＳＥＩ）メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信することと、
前記ＳＥＩメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定することと、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号することと、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を行わせる命令を備える、非一時的コンピュータ可読媒体。
[Ｃ３２] 装置であって、
符号化されたビデオビットストリーム、補足エンハンスメント情報（ＳＥＩ）メッセージ、および前記符号化されたビデオビットストリームに関連付けられた情報を受信するための手段と、
前記ＳＥＩメッセージを使用して、前記情報が前記符号化されたビデオビットストリーム中のビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされず、および前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
ビデオデータを作り出すために前記符号化されたビデオビットストリームを復号するための手段と、ここにおいて、前記符号化されたビデオビットストリームは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを決定することの結果にしたがって復号される、
を備える、装置。
[0323] The program code may be executed by a processor, which may be one or more digital signal processors (DSPs), general purpose microprocessors, application specific integrated circuits (ASICs), field programmable logic arrays (FPGAs), or others. It may include one or more processors such as equivalent integrated circuits or discrete logic circuits. Such a processor may be configured to perform any of the techniques described in this disclosure. The general purpose processor can be a microprocessor, but in the alternative, the processor can be any conventional processor, controller, microcontroller, or state machine. Processors are also implemented as a combination of computing devices, such as a combination of DSP and microprocessor, multiple microprocessors, one or more microprocessors associated with a DSP core, or any other such configuration. obtain. Therefore, the term "processor", when used herein, is any of the above-mentioned structures, any combination of the above-mentioned structures, or any suitable for the implementation of the techniques described herein. Can refer to other structures or devices. In addition, in some embodiments, the functionality described herein may be provided within a dedicated software or hardware module configured for coding and decoding, or a combined video encoder-. It can be incorporated into a decoder (CODEC).
The inventions described in the claims at the time of filing the application of the present application are described below.
[C1] A method of encoding video data.
Receiving video data and
The coding device determines whether the information associated with the video data is required to present the video data, where the information is required to decode the video data. Not considered,
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
A method.
[C2] The coding device comprises one or more parameters that can be used by the coding device to determine if the information is needed to present the video data. The method according to C1.
[C3] The method of C1, wherein the coding device determines that the information is required to present the video data.
[C4] The method of C1, wherein the coding device determines that the information is not required to present the video data.
[C5] The method according to C1, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C6] The method of C1, wherein the information is included with the encoded video data.
[C7] Writing the encoded video data and the SEI message to the file, and here, the encoded video data and the SEI message are written to the file according to the file format.
Using the file format to place the SEI message in the file where the SEI can be read before the encoded video data is read.
The method according to C1, further comprising.
[C8] Encapsulating the encoded video data for streaming, wherein the encoded video data is encapsulated according to a streaming format.
Producing a description of the encoded video data according to the streaming format, wherein the description includes the SEI message.
The method according to C1, further comprising.
[C9] Encapsulating the encoded video data for transmission over a network, wherein the encoded video data is encapsulated according to a container format.
The first packet is generated according to the container format, and here, the payload portion of the first packet includes the SEI message as a descriptor.
C1 further comprises generating one or more packets containing the encoded video data, wherein the one or more packets follow the first packet in transmission order. The method described.
[C10] Encapsulating the encoded video data for transmission over a network, wherein the encoded video data is encapsulated according to a real-time transfer protocol.
Generating a session description according to the session description protocol, wherein the session description comprises the SEI message.
The method according to C1, further comprising.
[C11] A coding device,
With a memory configured to store video data,
Determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
With a processor configured to do
A coding device comprising.
[C12] The coding device comprises one or more parameters that can be used by the coding device to determine if the information is needed to present the video data. The coding device according to C11.
[C13] The processor is
Determining that the information is needed to present the video data
The coding device according to C11, further configured to do so.
[C14] The processor is
Determining that the information is not needed to present the video data
The coding device according to C11, further configured to do so.
[C15] The coding device according to C11, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C16] The coding device according to C11, wherein the information is included with the coded video data.
[C17] When executed by one or more processors, the one or more processors.
Receiving video data and
Determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A supplementary enhancement information (SEI) message is generated, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Encoding the video data and
To include the SEI message along with the encoded video data
A non-transitory computer-readable medium with instructions to perform.
[C18] A device
Means for receiving video data and
A means for determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A means for generating a supplementary enhancement information (SEI) message, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Means for encoding the video data and
A device comprising means for including the SEI message along with the encoded video data.
[C19] A method of decoding video data.
Receiving the encoded video bitstream, the supplemental enhancement information (SEI) message, and the information associated with the encoded video bitstream at the decoding device.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
A method.
[C20] The method of C19, wherein the decoding device determines that the information is required to present the video data, and the decoding device constructs the video data according to the information.
[C21] The decoding device determines that the information is not required to present the video data, and the decoding device decodes the encoded video data without using the information. , C19.
[C22] The method of C19, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C23] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in a file, and the file is formatted according to a file format. And according to the file format, the SEI message is described in C19, which is in a part of the file read by the decoding device, before the part of the file containing the encoded video bitstream. Method.
[C24] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in the data stream and the data stream is formatted according to the streaming format. Being done
Reading a description of the encoded video data from the data stream, where the description comprises the SEI message.
The method according to C19.
[C25] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received in a plurality of network packets.
Reading the SEI message from the payload portion of the first packet from the plurality of network packets
Reading the encoded video data from one or more packets from the plurality of network packets, wherein the one or more packets follow the first packet in transmission order.
The method according to C19.
[C26] The encoded video bitstream, the SEI message, and the information associated with the encoded video bitstream are received on the network and the encoded video bitstream is real-time. The method of C19, wherein the SEI message is encapsulated according to a transfer protocol, the SEI message is included in the session description, and the session description is formatted according to the session description protocol.
[C27] A decryption device
A memory configured to store an encoded video bitstream, a supplemental enhancement information (SEI) message, and information associated with the encoded video bitstream.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
With a processor configured to do
A decryption device.
[C28] The decoding device according to C27, wherein the decoding device determines that the information is required to present the video data, and the decoding device constitutes the video data according to the information. ..
[C29] The decoding device determines that the information is not required to present the video data, and the decoding device decodes the encoded video data without using the information. , C27.
[C30] The decoding device according to C27, wherein the syntax element of the SEI message indicates the type of the SEI message.
[C31] When executed by one or more processors, the one or more processors.
Receiving encoded video bitstreams, supplemental enhancement information (SEI) messages, and information associated with said encoded video bitstreams.
The SEI message is used to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said to be the video data. Is not required to decrypt, and the SEI message includes a field indicating whether the information is required to present the video data.
Decoding the encoded video bitstream to produce the video data and, here, whether the encoded video bitstream is required for the information to present the video data. Decrypted according to the result of determining,
A non-transitory computer-readable medium with instructions to perform.
[C32] A device
A means for receiving an encoded video bitstream, a supplemental enhancement information (SEI) message, and information associated with the encoded video bitstream, and
Means for using the SEI message to determine if the information is needed to present the video data in the encoded video bitstream, where the information is said. Not required to decrypt the video data, and said SEI message includes a field indicating whether the information is needed to present the video data.
Means for decoding the encoded video bitstream to produce the video data, and here the encoded video bitstream, are required for the information to present the video data. Decrypted according to the result of deciding whether,
A device that comprises.
Claims (15)
前記ビデオデータを取得することと、
前記符号化デバイスによってインプリメントされる基準に基づいて、復号されたビデオビットストリームのコーディングされたビデオシーケンス（ＣＶＳ）のコンテンツを処理することに関連付けられた任意の補足エンハンスメント情報（ＳＥＩ）メッセージが所望のユーザエクスペリエンスを可能にするために必須と見なされるかどうかを決定することと、ここにおいて、前記復号されたビデオビットストリームは、前記ビデオデータに関連付けられた符号化されたビデオビットストリームの復号から生じる、
前記ＣＶＳ内のＳＥＩメッセージのタイプのセットが、前記符号化デバイスによって必須であると見なされるという決定に基づいて、
前記ＣＶＳ内のＳＥＩメッセージのタイプの前記セットが、前記符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記ＣＶＳのコンテンツを処理するために必須であると決定されたことを示す情報を含むＳＥＩメッセージを生成することと、ここで、ＳＥＩメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記ＳＥＩメッセージ内に含めるために、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの数を示す第１のシンタックス要素を生成することと、
ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージの各タイプについて、前記ＳＥＩメッセージ内に含めるために、ＳＥＩメッセージのタイプを示す第２のシンタックス要素を生成することと、
前記ＳＥＩメッセージ内に、前記第１のシンタックス要素と前記第２のシンタックス要素とを含めることと、
前記符号化されたビデオビットストリームを生成するために前記ビデオデータを符号化することと、
前記符号化されたビデオビットストリームと前記ＳＥＩメッセージを送信することと、
を備える、方法。 A method of coding video data
And obtaining said video data,
Any supplementary enhancement information (SEI) message associated with processing the coded video sequence (CVS) content of the decoded video bitstream based on the criteria implemented by the encoding device is desired. Determining whether it is considered essential to enable the user experience, where the decrypted video bitstream results from decoding the encoded video bitstream associated with the video data. ,
Based on the determination that the set of SEI message types in the CVS is considered essential by the coding device.
Information indicating that the set of SEI message types within the CVS has been determined by the encoding device to be essential for processing the content of the CVS to enable the desired user experience. Generating an SEI message that includes, and here the set of SEI message types, does not affect the decoding of the encoded video bitstream.
To generate a first syntax element indicating the number of SEI message types included in the set of SEI message types for inclusion in the SEI message.
For each type of SEI message contained within said set of SEI message types, generating a second syntax element indicating the type of SEI message to be included within said SEI message.
Including the first syntax element and the second syntax element in the SEI message,
Encoding the video data to generate the encoded video bitstream, and
Sending the encoded video bitstream and the SEI message,
A method.
前記ストリーミングフォーマットにしたがって、符号化されたビデオビットストリームの記述を生成することと、ここにおいて、前記記述は、前記ＳＥＩメッセージを含む、
をさらに備える、請求項１に記載の方法。 And encapsulating the encoded video bit stream for streaming, wherein the encoded video bit stream is encapsulated according to a streaming format,
Producing a description of the encoded video bitstream according to the streaming format, wherein the description includes the SEI message.
The method according to claim 1, further comprising.
前記コンテナフォーマットにしたがって、第１のパケットを生成することと、ここにおいて、前記第１のパケットのペイロード部分は、記述子として前記ＳＥＩメッセージを含む、
前記符号化されたビデオビットストリームを含む１つまたは複数のパケットを生成することと、ここにおいて、前記１つまたは複数のパケットは、送信順序で前記第１のパケットに続く、
をさらに備える、請求項１に記載の方法。 And encapsulating the encoded video bit stream for transmission over a network, wherein the encoded video bit stream is encapsulated according container format,
The first packet is generated according to the container format, and here, the payload portion of the first packet includes the SEI message as a descriptor.
Generating one or more packets containing the encoded video bitstream , wherein the one or more packets follow the first packet in transmission order.
The method according to claim 1, further comprising.
セッション記述プロトコルにしたがって、セッション記述を生成することと、ここにおいて、前記セッション記述は、前記ＳＥＩメッセージを含む、
をさらに備える、請求項１に記載の方法。 Encapsulating the encoded video bitstream for transmission over a network, wherein the encoded video bitstream is encapsulated according to a real-time transfer protocol.
Generating a session description according to the session description protocol, wherein the session description includes the SEI message.
The method according to claim 1, further comprising.
ビデオデータを受信するための手段と、
前記ビデオデータに関連付けられた情報が前記ビデオデータを提示するのに必要とされるかどうかを決定するための手段と、ここにおいて、前記情報は、前記ビデオデータを復号するために必要とされない、
補足エンハンスメント情報（ＳＥＩ）メッセージを生成するための手段と、ここにおいて、前記ＳＥＩメッセージは、前記情報が前記ビデオデータを提示するのに必要とされるかどうかを示すフィールドを含む、
前記ビデオデータを符号化するための手段と、
前記符号化されたビデオデータとともに前記ＳＥＩメッセージを含めるための手段と
を備える、装置。 It ’s a device,
Means for receiving video data and
A means for determining whether the information associated with the video data is required to present the video data, and where the information is not required to decode the video data.
A means for generating a supplementary enhancement information (SEI) message, wherein the SEI message includes a field indicating whether the information is required to present the video data.
Means for encoding the video data and
A device comprising means for including the SEI message along with the encoded video data.
復号デバイスにおいて、符号化されたビデオビットストリーム、および前記符号化されたビデオビットストリームに関連付けられた補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、
前記符号化されたビデオビットストリームのコーディングされたビデオシーケンス（ＣＶＳ）内のＳＥＩメッセージのタイプのセットが、前記符号化されたビデオビットストリームの符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記ＣＶＳのコンテンツを処理するために必須であると決定されたことを示す情報を含む前記ＳＥＩメッセージを処理することと、ここで、ＳＥＩメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記ＳＥＩメッセージ内で、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの数を示す第１のシンタックス要素を受信することと、
前記第１のシンタックス要素に基づいて、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの前記数を決定することと、
ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの前記数の前記決定に応答して、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージの各タイプについて、ＳＥＩメッセージのタイプを示す第２のシンタックス要素を受信することと、
ＳＥＩメッセージのタイプの前記セット中のＳＥＩメッセージの各タイプが、前記符号化デバイスによって、前記所望のユーザエクスペリエンスを可能にするために前記ＣＶＳのコンテンツを処理するために必須であると決定されていると決定することと、
復号されたビデオデータを生成するために、前記符号化されたビデオビットストリームを復号することと、
を備える、方法。 It ’s a way to decrypt video data.
In the decoding device, comprising: receiving encoded video bit stream, and the encoded supplemental enhancement information associated with the video bit stream (SEI) message,
The set of SEI message types in the coded video sequence (CVS) of the encoded video bitstream allows the desired user experience by the encoding device of the encoded video bitstream. Processing the SEI message containing information indicating that it has been determined to be essential for processing the content of the CVS, and where the set of SEI message types is the encoded video. Does not affect bitstream decoding,
In the SEI message, receiving a first syntax element indicating the number of SEI message types contained in the set of SEI message types.
Determining the number of SEI message types contained within the set of SEI message types based on the first syntax element.
In response to the determination of the number of SEI message types contained within the set of SEI message types, the type of SEI message is indicated for each type of SEI message contained within the set of SEI message types. Receiving the second syntax element and
Types of SEI Messages Each type of SEI message in the set has been determined by the coding device to be essential for processing the content of the CVS to enable the desired user experience. To decide that
Decoding the encoded video bitstream to generate the decoded video data, and
A method.
前記データストリームから、符号化されたビデオビットストリームの記述を読み取ること、ここにおいて、前記記述は、前記ＳＥＩメッセージを含む、
請求項９に記載の方法。 The encoded video bit stream, and the encoded said SEI message associated with the video bit stream is received in the data stream, the data stream is formatted according to a streaming format,
From the data stream, reading the description of marks Goka video bit stream, wherein said description includes the SEI message,
The method according to claim 9.
前記複数のネットワークパケットからの第１のパケットのペイロード部分から前記ＳＥＩメッセージを読み取ることと、
前記複数のネットワークパケットからの１つまたは複数のパケットから前記符号化されたビデオビットストリームを読み取ることと、ここにおいて、前記１つまたは複数のパケットは、送信順序で前記第１のパケットに続く、
請求項９に記載の方法。 The encoded video bit stream, and the associated with the encoded video bit stream SEI message is received in a plurality of network packets,
Reading the SEI message from the payload portion of the first packet from the plurality of network packets
Reading the encoded video bitstream from one or more packets from the plurality of network packets, wherein the one or more packets follow the first packet in transmission order.
The method according to claim 9.
非一時的コンピュータ可読媒体。 When executed by one or more processors, the instruction to cause the one or more processors to execute the method of any one of claims 1 to 7 or 9 to 13. Prepare, prepare
Non- temporary computer-readable medium.
前記符号化されたビデオビットストリームのコーディングされたビデオシーケンス（ＣＶＳ）内のＳＥＩメッセージのタイプのセットが、前記符号化されたビデオビットストリームの符号化デバイスによって、所望のユーザエクスペリエンスを可能にするために前記ＣＶＳのコンテンツを処理するために必須であると決定されたことを示す情報を含む前記ＳＥＩメッセージを処理するための手段と、ここで、ＳＥＩメッセージのタイプの前記セットは、前記符号化されたビデオビットストリームの復号に影響を及ぼさない、
前記ＳＥＩメッセージ内で、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの数を示す第１のシンタックス要素を受信するための手段と、
前記第１のシンタックス要素に基づいて、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの前記数を決定するための手段と、
ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージの各タイプについて、ＳＥＩメッセージのタイプの前記セット内に含まれるＳＥＩメッセージのタイプの前記数の前記決定に応答して、ＳＥＩメッセージのタイプを示す第２のシンタックス要素を受信するための手段と、
ＳＥＩメッセージのタイプの前記セット中のＳＥＩメッセージの各タイプが、前記符号化デバイスによって、前記所望のユーザエクスペリエンスを可能にするために前記ＣＶＳのコンテンツを処理するために必須であると決定されていると決定するための手段と、
復号されたビデオデータを生成するために、前記符号化されたビデオビットストリームを復号するための手段と、
を備える、装置。 It ’s a device,
The set of SEI message types in the coded video sequence (CVS) of the encoded video bitstream allows the desired user experience by the encoding device of the encoded video bitstream. Means for processing the SEI message, including information indicating that it has been determined to be essential for processing the content of the CVS, and where the set of SEI message types is said to be encoded. Does not affect the decryption of the video bitstream
In the SEI message, a means for receiving a first syntax element indicating the number of SEI message types contained in the set of SEI message types, and
Means for determining the number of SEI message types contained within the set of SEI message types based on the first syntax element.
For each type of SEI message contained within the set of SEI message types, the type of SEI message is indicated in response to the determination of the number of SEI message types contained within the set of SEI message types. Means for receiving the second syntax element,
Types of SEI Messages Each type of SEI message in the set has been determined by the coding device to be essential for processing the content of the CVS to enable the desired user experience. And the means to decide
Means for decoding the encoded video bitstream to generate the decoded video data, and
A device that comprises.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762474540P | 2017-03-21 | 2017-03-21 | |
| US62/474,540 | 2017-03-21 | ||
| US15/926,833 | 2018-03-20 | ||
| US15/926,833 US10701400B2 (en) | 2017-03-21 | 2018-03-20 | Signalling of summarizing video supplemental information |
| PCT/US2018/023598 WO2018175609A1 (en) | 2017-03-21 | 2018-03-21 | Signalling of essential and non-essential video supplemental information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020511861A JP2020511861A (en) | 2020-04-16 |
| JP2020511861A5 true JP2020511861A5 (en) | 2021-04-08 |
Family
ID=63581211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019551679A Pending JP2020511861A (en) | 2017-03-21 | 2018-03-21 | Mandatory and non-mandatory video supplemental information signaling |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10701400B2 (en) |
| EP (1) | EP3603075A1 (en) |
| JP (1) | JP2020511861A (en) |
| KR (1) | KR102613593B1 (en) |
| CN (1) | CN110419223B (en) |
| AU (1) | AU2018237153B2 (en) |
| BR (1) | BR112019019250A2 (en) |
| TW (1) | TW201904297A (en) |
| WO (1) | WO2018175609A1 (en) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019245303A1 (en) * | 2018-06-22 | 2019-12-26 | Lg Electronics Inc. | Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video |
| EP3591972A1 (en) * | 2018-07-02 | 2020-01-08 | Axis AB | Method and system for encoding video with overlay |
| US10630976B2 (en) * | 2018-08-17 | 2020-04-21 | Qualcomm Incorporated | Display refresh blocks determination for video coding |
| US11323731B2 (en) * | 2019-03-08 | 2022-05-03 | Tencent America LLC | Method and apparatus for video coding |
| CN114402623B (en) * | 2019-04-19 | 2023-06-09 | 北京达佳互联信息技术有限公司 | Supplemental enhancement information message for embedded images |
| US20220360787A1 (en) * | 2019-06-21 | 2022-11-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Video coding layer up-switching indication |
| CN112215378B (en) * | 2019-07-11 | 2022-09-30 | 浙江远图技术股份有限公司 | Hospital appointment outpatient system optimization algorithm based on LINGO |
| US11336894B2 (en) * | 2019-09-20 | 2022-05-17 | Tencent America LLC | Signaling of reference picture resampling with resampling picture size indication in video bitstream |
| CN114556961A (en) * | 2019-09-23 | 2022-05-27 | 瑞典爱立信有限公司 | Providing segment presence information |
| CN117978996A (en) * | 2020-04-11 | 2024-05-03 | Lg电子株式会社 | Point cloud data transmitting device and method, and point cloud data receiving device and method |
| WO2021210867A1 (en) * | 2020-04-12 | 2021-10-21 | 엘지전자 주식회사 | Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data |
| JP2023542214A (en) * | 2020-09-25 | 2023-10-05 | 北京字節跳動網絡技術有限公司 | Sub bitstream extraction |
| EP4324211A1 (en) * | 2021-04-12 | 2024-02-21 | Telefonaktiebolaget LM Ericsson (publ) | Message referencing |
| CN115225913A (en) * | 2021-04-20 | 2022-10-21 | 中兴通讯股份有限公司 | Code stream processing method and device, terminal equipment and storage medium |
| CN114501070B (en) * | 2022-04-14 | 2022-07-19 | 全时云商务服务股份有限公司 | Encoding and decoding method, processing method and system for video conference synchronous extra information |
| CN114745600B (en) * | 2022-06-10 | 2022-09-27 | 中国传媒大学 | Video label labeling method and device based on SEI |
| EP4300477A1 (en) * | 2022-06-30 | 2024-01-03 | Beijing Xiaomi Mobile Software Co., Ltd. | Encoding/decoding a video sequence associated with alpha channel information |
| WO2024039723A1 (en) * | 2022-08-17 | 2024-02-22 | Bytedance Inc. | Presence and relative decoding order of neural-network post-filter sei messages |
| WO2024061330A1 (en) * | 2022-09-21 | 2024-03-28 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
| WO2024076141A1 (en) * | 2022-10-05 | 2024-04-11 | 엘지전자 주식회사 | Image encoding/decoding method, device, and recording medium for storing bitstream based on post-decoding filter |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2403835B (en) * | 2002-04-29 | 2005-11-23 | Sony Electronics Inc | Apparatus and method for providing supplemental enhancement information associated with multimedia data |
| US20040006575A1 (en) * | 2002-04-29 | 2004-01-08 | Visharam Mohammed Zubair | Method and apparatus for supporting advanced coding formats in media files |
| WO2009127961A1 (en) * | 2008-04-16 | 2009-10-22 | Nokia Corporation | Decoding order recovery in session multiplexing |
| JPWO2012153450A1 (en) * | 2011-05-11 | 2014-07-31 | パナソニック株式会社 | Moving image transmitting apparatus and moving image transmitting method |
| US9674499B2 (en) * | 2012-08-15 | 2017-06-06 | Qualcomm Incorporated | Compatible three-dimensional video communications |
| US20140079116A1 (en) | 2012-09-20 | 2014-03-20 | Qualcomm Incorporated | Indication of interlaced video data for video coding |
| JP6456980B2 (en) * | 2014-02-10 | 2019-01-23 | エルジー エレクトロニクス インコーポレイティド | Broadcast signal transmission / reception method and apparatus for 3D broadcasting service |
| US9716900B2 (en) * | 2014-06-20 | 2017-07-25 | Qualcomm Incorporated | Extensible design of nesting supplemental enhancement information (SEI) messages |
-
2018
- 2018-03-20 US US15/926,833 patent/US10701400B2/en active Active
- 2018-03-21 TW TW107109723A patent/TW201904297A/en unknown
- 2018-03-21 BR BR112019019250A patent/BR112019019250A2/en unknown
- 2018-03-21 EP EP18716076.7A patent/EP3603075A1/en active Pending
- 2018-03-21 KR KR1020197030601A patent/KR102613593B1/en active IP Right Grant
- 2018-03-21 JP JP2019551679A patent/JP2020511861A/en active Pending
- 2018-03-21 AU AU2018237153A patent/AU2018237153B2/en active Active
- 2018-03-21 CN CN201880017733.2A patent/CN110419223B/en active Active
- 2018-03-21 WO PCT/US2018/023598 patent/WO2018175609A1/en unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020511861A5 (en) | ||
| JP6505791B2 (en) | Metadata transcoding | |
| JP2015534773A5 (en) | ||
| US10140105B2 (en) | Converting source code | |
| JP2017508338A5 (en) | ||
| JP2017525225A5 (en) | ||
| PH12020500016A1 (en) | Picture data encoding method and apparatus and picture data decoding method and apparatus | |
| JP2019535198A5 (en) | ||
| JP2017513372A5 (en) | ||
| JP2010182323A5 (en) | ||
| JP2015527814A5 (en) | ||
| RU2007137805A (en) | METHOD, DEVICE AND SYSTEM FOR EFFECTIVE CODING AND DECODING OF VIDEO DATA | |
| JP2007535860A (en) | Session description message extension | |
| CN105828096B (en) | Method and device for processing media stream file | |
| WO2012162995A1 (en) | Method and device for transmitting stream media | |
| CN111683293A (en) | Method for playing H.265 video across browsers based on HTTP-FLV protocol | |
| GB2593897A (en) | Method, device, and computer program for improving random picture access in video streaming | |
| TW202041039A (en) | Methods and apparatus to facilitate using a streaming manifest including a profile indication | |
| CN110858919A (en) | Data processing method and device in media file playing process and storage medium | |
| CN108540481B (en) | Online playing method and device for audio file | |
| WO2017092433A1 (en) | Method and device for video real-time playback | |
| JP7241874B2 (en) | Method, apparatus, and computer program for signaling available portions of encapsulated media content | |
| JP6597604B2 (en) | Reception device, transmission device, data communication method, and data processing method | |
| KR102208814B1 (en) | Method and apparatus for transmitting and receiving a packet in a communication system | |
| CN108600826B (en) | Method and device for playing TS (transport stream) |