JP2022084017A - Decoding apparatus - Google Patents
Decoding apparatus Download PDFInfo
- Publication number
- JP2022084017A JP2022084017A JP2021190767A JP2021190767A JP2022084017A JP 2022084017 A JP2022084017 A JP 2022084017A JP 2021190767 A JP2021190767 A JP 2021190767A JP 2021190767 A JP2021190767 A JP 2021190767A JP 2022084017 A JP2022084017 A JP 2022084017A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- video
- processing unit
- audio
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、復号装置に関する。 The present invention relates to a decoding device.
従来、音声信号及び映像信号などのストリーム信号の圧縮符号化技術が知られている。圧縮符号化技術で用いるパケットは、ストリーム信号を構成するビットストリームを含む第1パケットと、ビットストリームに関する制御情報を含む第2パケットと、を含む。例えば、圧縮符号化技術で用いるパケットとしては、MMT(MPEG Media Transport)パケットを用いることができる(例えば、非特許文献1、2)。
Conventionally, compression coding techniques for stream signals such as audio signals and video signals are known. The packet used in the compression coding technique includes a first packet including a bitstream constituting a stream signal and a second packet containing control information about the bitstream. For example, as a packet used in the compression coding technique, an MMT (MPEG Media Transport) packet can be used (for example, Non-Patent
発明者等は、鋭意検討の結果、上述した圧縮符号化技術において、第1パケット及び第2パケットの処理方法が定められていないことに着目し、第1パケット及び第2パケットを適切に処理するための構成を検討する必要性を見出した。 As a result of diligent studies, the inventors pay attention to the fact that the processing method of the first packet and the second packet is not defined in the above-mentioned compression coding technique, and appropriately process the first packet and the second packet. We found the need to consider the configuration for this.
そこで、本発明は、上述した課題を解決するためになされたものであり、ビットストリームを含む第1パケット及び制御情報を含む第2パケットを適切に処理するための構成を実装する復号装置を提供することを目的とする。 Therefore, the present invention has been made to solve the above-mentioned problems, and provides a decoding device that implements a configuration for appropriately processing a first packet including a bit stream and a second packet containing control information. The purpose is to do.
開示の一態様に係る復号装置は、音声信号及び映像信号の少なくともいずれか1つのビットストリームを含む第1パケットに関する復号処理を実行する第1処理部と、前記復号処理に関する制御情報を含む第2パケットを処理する第2処理部と、を備え、前記第2処理部は、前記第1処理部とは独立して設けられる。 The decoding device according to one aspect of the disclosure includes a first processing unit that executes a decoding process for a first packet including at least one bitstream of an audio signal and a video signal, and a second processing unit that includes control information related to the decoding process. A second processing unit for processing packets is provided, and the second processing unit is provided independently of the first processing unit.
本発明によれば、ビットストリームを含む第1パケット及び制御情報を含む第2パケットを適切に処理するための構成を実装する復号装置を提供することができる。 According to the present invention, it is possible to provide a decoding device that implements a configuration for appropriately processing a first packet including a bit stream and a second packet containing control information.
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。 Next, an embodiment of the present invention will be described. In the description of the drawings below, the same or similar parts are designated by the same or similar reference numerals. However, it should be noted that the drawings are schematic and the ratio of each dimension is different from the actual one.
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。 Therefore, the specific dimensions should be determined in consideration of the following explanation. In addition, it goes without saying that parts having different dimensional relationships and ratios are included between the drawings.
[開示の概要]
開示の概要に係る符号化装置は、音声信号及び映像信号の少なくともいずれか1つのビットストリームを含む第1パケットに関する符号化処理を実行する第1処理部と、前記符号化処理に関する制御情報を含む第2パケットを処理する第2処理部と、を備え、前記第2処理部は、前記第1処理部とは独立して設けられる。
[Summary of disclosure]
The coding device according to the outline of the disclosure includes a first processing unit that executes a coding process for a first packet including at least one bitstream of an audio signal and a video signal, and control information related to the coding process. A second processing unit for processing the second packet is provided, and the second processing unit is provided independently of the first processing unit.
開示の概要では、制御情報を含む第2パケットを処理する第2処理部は、ビットストリームを含む第1パケットに関する符号化処理を実行する第1処理部とは独立して設けられる。このような構成によれば、第1処理部については、FPGA(Field-Programmable Gate Array)によって構成し、第2処理部についてはCPU(Central Processing Unit)によって構成するなどのように、第1パケット及び第2パケットを適切に処理するための構成を実装することができる。 In the outline of the disclosure, the second processing unit that processes the second packet containing the control information is provided independently of the first processing unit that executes the coding process for the first packet including the bit stream. According to such a configuration, the first processing unit is configured by FPGA (Field-Programmable Gate Array), the second processing unit is configured by CPU (Central Processing Unit), and so on. And a configuration for properly processing the second packet can be implemented.
開示の概要に係る復号装置は、音声信号及び映像信号の少なくともいずれか1つのビットストリームを含む第1パケットに関する復号処理を実行する第1処理部と、前記復号処理に関する制御情報を含む第2パケットを処理する第2処理部と、を備え、前記第2処理部は、前記第1処理部とは独立して設けられる。 The decoding device according to the outline of the disclosure includes a first processing unit that executes a decoding process for a first packet including at least one bitstream of an audio signal and a video signal, and a second packet containing control information related to the decoding process. The second processing unit is provided with a second processing unit for processing the above, and the second processing unit is provided independently of the first processing unit.
開示の概要では、制御情報を含む第2パケットを処理する第2処理部は、ビットストリームを含む第1パケットに関する復号処理を実行する第1処理部とは独立して設けられる。このような構成によれば、第1処理部については、FPGAによって構成し、第2処理部についてはCPUによって構成するなどのように、第1パケット及び第2パケットを適切に処理するための構成を実装することができる。 In the outline of the disclosure, the second processing unit that processes the second packet containing the control information is provided independently of the first processing unit that executes the decoding process for the first packet including the bit stream. According to such a configuration, the first processing unit is configured by FPGA, the second processing unit is configured by CPU, and so on, so that the first packet and the second packet are appropriately processed. Can be implemented.
ここで、「第1処理部及び第2処理部が独立する」とは、第1処理部を構成するデバイス及び第2処理部を構成するデバイスが物理的に別々であることを意味する。デバイスとしては、FPGA、CPU、ASIC(Application Specific Integrated Circuit)、CPLD(Complex Programmable Logic Device)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)などの中から選択された1以上のデバイスであってもよい。これらのデバイスは、単にプロセッサと称されてもよい。 Here, "the first processing unit and the second processing unit are independent" means that the device constituting the first processing unit and the device constituting the second processing unit are physically separate. The device is one or more devices selected from FPGA, CPU, ASIC (Application Specific Integrated Circuit), CPLD (Complex Programmable Logic Device), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), etc. May be. These devices may simply be referred to as processors.
[実施形態]
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。図1は、実施形態に係る伝送システム10を示す図である。図1に示すように、デジタル無線伝送システムは、送信装置100及び受信装置200を備える。
[Embodiment]
(Transmission system)
Hereinafter, the transmission system according to the embodiment will be described. FIG. 1 is a diagram showing a
実施形態において、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。伝送のためのパケット形式としては、MMTP(MPEG Media Transport Protocol)に準拠するMMTPパケットが用いられてもよい(例えば、ISO/IEC 23008-1)。さらに、MMTPパケットは、ARIB STD-B60、ARIB TR-B39などで規定される形式を有していてもよい。MMTPパケットは、映像信号について用いられてもよく、音声信号に用いられてもよい。 In embodiments, the transmission system may be a digital wireless transmission system. The digital wireless transmission system may be a system used for 4K or 8K satellite broadcasting. As the packet format for transmission, an MMTP packet conforming to MMTP (MPEG Media Transport Protocol) may be used (for example, ISO / IEC 23008-1). Further, the MMTP packet may have a format specified by ARIB STD-B60, ARIB TR-B39, or the like. The MMTP packet may be used for a video signal or an audio signal.
送信装置100から受信装置200への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
The transmission from the transmitting
(送信装置の概要)
以下において、実施形態に係る送信装置の概要について説明する。図2は、実施形態に係る送信装置100を示すブロック図である。
(Overview of transmitter)
Hereinafter, the outline of the transmission device according to the embodiment will be described. FIG. 2 is a block diagram showing a
図2に示すように、送信装置100は、音声コアエンコーダ101と、音声システムエンコーダ103と、映像コアエンコーダ105と、映像システムエンコーダ107と、時刻サーバ109と、マルチプレクサ111と、送信部113と、を有する。
As shown in FIG. 2, the
音声コアエンコーダ101は、音声信号のビットストリームを含む第1パケット(以下、音声パケット)に関する符号化処理を実行する第1処理部及び第1音声処理部の一例である。音声コアエンコーダ101は、音声パケットを生成するとともに、音声パケットを音声システムエンコーダ103に出力する。音声コアエンコーダ101は、1以上のプロセッサによって構成される。
The
音声システムエンコーダ103は、符号化処理に関する制御情報を含む第2パケット(以下、音声システムパケット)を処理する第2処理部及び第2音声処理部の一例である。音声システムエンコーダ103は、音声システムパケットを生成するとともに、音声パケット及び音声システムパケットをマルチプレクサに出力する。音声システムエンコーダ103は、1以上のプロセッサによって構成される。
The
ここで、音声コアエンコーダ101及び音声システムエンコーダ103は、音声に関する符号化装置130を構成してもよい。音声システムエンコーダ103は、音声コアエンコーダ101とは独立して設けられる。例えば、音声コアエンコーダ101は、FPGAによって構成されており、音声システムエンコーダ103は、CPUによって構成されてもよい。符号化装置130は、時刻サーバ109を含んでもよい。符号化装置130は、マルチプレクサ111を含んでもよい。
Here, the
映像コアエンコーダ105は、映像信号のビットストリームを含む第1パケット(以下、映像パケット)に関する符号化処理を実行する第1処理部及び第1映像処理部の一例である。映像コアエンコーダ105は、映像パケットを生成するとともに、映像パケットを映像システムエンコーダ107に出力する。映像コアエンコーダ105は、1以上のプロセッサによって構成される。
The
映像システムエンコーダ107は、符号化処理に関する制御情報を含む第2パケット(以下、映像システムパケット)を処理する第2処理部及び第2映像処理部の一例である。映像システムエンコーダ107は、映像システムパケットを生成するとともに、映像パケット及び映像システムパケットをマルチプレクサに出力する。映像システムエンコーダ107は、1以上のプロセッサによって構成される。
The
ここで、映像コアエンコーダ105及び映像システムエンコーダ107は、映像に関する符号化装置150を構成してもよい。映像システムエンコーダ107は、映像コアエンコーダ105とは独立して設けられる。例えば、映像コアエンコーダ105は、FPGAによって構成されており、映像システムエンコーダ107は、CPUによって構成されてもよい。符号化装置150は、時刻サーバ109を含んでもよい。符号化装置150は、マルチプレクサ111を含んでもよい。
Here, the
なお、符号化装置130及び符号化装置150は、1つの符号化装置を構成してもよい。
The
時刻サーバ109は、時刻を管理するサーバである。時刻サーバ109は、NTP(Network Time Protocol)サーバであってもよく、PTP(Precision Time Protocol)サーバであってもよい。時刻サーバ109によって管理される時刻は、後述する受信装置200の時刻サーバ213によって管理される時刻と同期していてもよい。時刻サーバ109によって管理される時刻としては、UTC(Coordinated Universal Time)時刻が用いられてもよい。時刻サーバ109によって管理される時刻は、絶対時刻と称されてもよい。
The
実施形態では、音声コアエンコーダ101及び音声システムエンコーダ103が独立しているため、時刻サーバ109は、音声コアエンコーダ101に接続されず、音声システムエンコーダ103に接続されることに留意すべきである。同様に、映像コアエンコーダ105及び映像システムエンコーダ107が独立しているため、時刻サーバ109は、映像コアエンコーダ105に接続されず、映像システムエンコーダ107に接続されることに留意すべきである。
It should be noted that in the embodiment, since the
マルチプレクサ111は、音声パケット、映像パケット、音声システムパケット及び映像システムパケットを多重する。このようなケースにおいて、マルチプレクサ111は、音声システムパケット及び映像システムパケットを1つの音声・映像システムパケットにマージしてもよい。マルチプレクサ111に入力された音声システムパケット及び映像システムパケットは破棄される。マルチプレクサ111は、音声パケット、映像パケット、音声・映像システムパケットを含む伝送ストリームを送信部113に出力する。
The
送信部113は、伝送ストリームを受信装置200に送信する。伝送ストリームの伝送方式は、特に限定されるものではない。送信部113は、MMT/IPレイヤ以下のレイヤで必要な処理を実行する。例えば、送信部113は、誤り訂正符号化処理、OFDM変調処理などを実行してもよい。
The
(符号化装置の詳細)
以下において、符号化装置の詳細について説明する。図3は、符号化装置130及び符号化装置150の詳細について説明するための図である。
(Details of encoding device)
The details of the coding apparatus will be described below. FIG. 3 is a diagram for explaining the details of the
図3の上段に示すように、音声コアエンコーダ101は、音声信号を圧縮符号化することによって音声パケットを生成する。音声コアエンコーダ101は、音声パケットを音声システムエンコーダ103に出力する。圧縮符号化方式は、ISO/IEC 23008-3(MPEG-H Audio)に準拠する方式であってもよい。音声コアエンコーダ101は、MHAS(MPEG-H Audio Stream)パケットをMMTPパケットに格納し、MMTPパケットをIP(Internet Protocol)パケットに格納する。MMTPパケットは、ISO/IEC 23008-1に準拠するパケットであってもよい。IPパケットは、UDP(User Datagram Protocol)を用いて伝送されてもよく、TCP(Transmission Control Protocol)を用いて伝送されてもよい。実施形態において、音声パケットは、MMTPパケットを意味してもよい。
As shown in the upper part of FIG. 3, the
例えば、音声コアエンコーダ101は、音声信号を圧縮符号化したビットストリームに含まれる3種類の情報(設定情報、フレームデータ及びメタデータ)のそれぞれを含むMHASパケットを生成する。設定情報は、圧縮符号化に関する設定情報である。フレームデータは、音声信号を圧縮符号化した情報である。メタデータは、音声信号の属性を定義する情報である。
For example, the
なお、音声コアエンコーダ101に入力される音声信号は、ステレオ音声信号であってもよく、5.1チャンネル音声信号であってもよく、22.2チャンネル音声信号であってもよい。
The audio signal input to the
音声システムエンコーダ103は、制御情報を含む音声システムパケットを生成する。音声システムエンコーダ103は、音声パケット及び音声システムパケットをマルチプレクサ111に出力する。制御情報は、MPT(MMT Package Table)と称されてもよい。音声システムエンコーダ103は、MPTをMMTPパケットに格納し、MMTPパケットをIPパケットに格納する。MMTPパケットは、ISO/IEC 23008-1に準拠するパケットであってもよい。IPパケットは、UDPを用いて伝送されてもよく、TCPを用いて伝送されてもよい。実施形態において、音声システムパケットは、MMTPパケットを意味してもよい。
The
なお、上述した音声コアエンコーダ101は、音声信号の圧縮符号化に特化しているため、音声パケットには制御情報(MPT)が含まれないことに留意すべきである。
It should be noted that since the
制御情報は、音声パケットの復号後のビットストリームを出力する時刻を示す情報要素を含んでもよい。ビットストリームを出力する時刻は、時刻サーバ109から取得される時刻に基づいた時刻である。例えば、ビットストリームを出力する時刻として、取得される時刻そのものが用いられてもよく、取得される時刻に一定の時間を加算した時刻が用いられてもよく、取得される時刻から一定の時間を減算した時刻が用いられてもよい。どのような時刻を用いるかは、送信側と受信側とで予め定めておく。時刻を示す情報要素は、MPU(Media Processing Unit)タイムスタンプ記述子と称されてもよい。
The control information may include an information element indicating the time when the bitstream after decoding the voice packet is output. The time to output the bitstream is a time based on the time acquired from the
制御情報は、音声パケットと対応するシーケンス番号を示す情報要素を含んでもよい。シーケンス番号は、MPU毎のシーケンス番号であってもよい。MPUは、MMTにおけるデータの処理単位であってもよい。 The control information may include an information element indicating a sequence number corresponding to the voice packet. The sequence number may be a sequence number for each MPU. The MPU may be a data processing unit in the MMT.
制御情報は、MMTPパケットが音声に関するものであることを示す情報要素を含んでもよく、さらにその圧縮符号化方式を示す情報要素を含んでもよい。このような情報要素は、あらかじめ音声システムエンコーダ103に設定しておくか、あるいは音声システムエンコーダ103に入力されたMMTPパケットに格納されるMHASパケットを解析して特定する。このような情報要素は、MPTのasset_typeに格納される情報要素(例えば、mhm1)であってもよい。
The control information may include an information element indicating that the MMTP packet is related to voice, and may further include an information element indicating the compression coding method thereof. Such an information element is set in the
ここで、音声システムエンコーダ103は、音声パケット(MMTPパケット)の拡張ヘッダの少なくとも一部を削除してもよい。例えば、1つのオーディオフレームに含まれる音声信号のサンプル数を指定する情報要素が拡張ヘッダに含まれる場合に、音声システムエンコーダ103は、音声信号のサンプル数を指定する情報要素を削除してもよい。音声システムエンコーダ103は、拡張ヘッダの少なくとも一部が削除された音声パケット(MMTPパケット)を出力してもよい。拡張ヘッダの少なくとも一部を削除することで、例えば、ARIB TR-B39で規定されるMMTPパケットとの互換性を保つことができる。なお、オーディオフレームは、音声信号の符号化処理の最小単位であり、例えば、1024個の音声サンプルを含んでもよい。
Here, the
図3の中段に示すように、映像コアエンコーダ105は、映像信号を圧縮符号化することによって映像パケットを生成する。映像コアエンコーダ105は、映像パケットを映像システムエンコーダ107に出力する。圧縮符号化方式は、ISO/IEC23008-2(HEVC;High Efficiency Video Coding)に準拠する方式であってもよい。圧縮符号化方式は、ISO/IEC 23090-3(VVC;Versatile Video Coding)に準拠する方式であってもよい。映像コアエンコーダ105は、VVCの符号を含むNAL(Network Abstraction Unit)ユニットをMMTPパケットに格納し、MMTPパケットをIPパケットに格納する。MMTPパケットは、ISO/IEC 23008-1に準拠するパケットであってもよい。IPパケットは、UDPであってもよい。実施形態において、映像パケットは、MMTPパケットを意味してもよい。
As shown in the middle of FIG. 3, the
例えば、映像コアエンコーダ105は、映像信号を圧縮符号化したビットストリームに含まれる3種類の情報(設定情報、フレームデータ及びメタデータ)のそれぞれを含むNALユニットを生成する。設定情報は、圧縮符号化に関する設定情報である。フレームデータは、映像信号を圧縮符号化した情報である。メタデータは、映像信号の属性を定義する情報である。
For example, the
なお、映像コアエンコーダ105に入力される映像信号は、各種の解像度(2K、4K、8Kなど)を有する映像信号であってもよく、ERP(Equirectangular Projection)などの射影変換を用いた全天周映像信号であってもよい。
The video signal input to the
映像システムエンコーダ107は、制御情報を含む映像システムパケットを生成する。映像システムエンコーダ107は、映像パケット及び映像システムパケットをマルチプレクサ111に出力する。制御情報は、MPTと称されてもよい。映像システムエンコーダ107は、MPTをMMTPパケットに格納し、MMTPパケットをIPパケットに格納する。MMTPパケットは、ISO/IEC 23008-1に準拠するパケットであってもよい。IPパケットは、UDPであってもよい。実施形態において、映像システムパケットは、MMTPパケットを意味してもよい。
The
なお、上述した映像コアエンコーダ105は、映像信号の圧縮符号化に特化しているため、映像パケットには制御情報(MPT)が含まれないことに留意すべきである。
It should be noted that since the
制御情報は、映像パケットの復号後のビットストリームを出力する時刻を示す情報要素を含んでもよい。ビットストリームを出力する時刻は、時刻サーバ109から取得される時刻に基づいた時刻である。例えば、ビットストリームを出力する時刻として、取得される時刻そのものが用いられてもよく、取得される時刻に一定の時間を加算した時刻が用いられてもよく、取得される時刻から一定の時間を減算した時刻が用いられてもよい。どのような時刻を用いるかは、送信側と受信側とで予め定めておく。時刻を示す情報要素は、MPUタイムスタンプ記述子と称されてもよい。
The control information may include an information element indicating the time when the bitstream after decoding the video packet is output. The time to output the bitstream is a time based on the time acquired from the
なお、ビットストリームを出力する時刻は、時刻サーバ109から取得される時刻に基づいた時刻であるため、映像信号及び音声信号を適切に同期させることができることに留意すべきである。
It should be noted that since the time for outputting the bitstream is the time based on the time acquired from the
制御情報は、映像パケットと対応するシーケンス番号を示す情報要素を含んでもよい。シーケンス番号は、MPU毎のシーケンス番号であってもよい。MPUは、MMTにおけるデータの処理単位であってもよい。 The control information may include an information element indicating a sequence number corresponding to the video packet. The sequence number may be a sequence number for each MPU. The MPU may be a data processing unit in the MMT.
制御情報は、MMTPパケットが映像に関するものであることを示す情報要素を含んでもよく、さらにその圧縮符号化方式を示す情報要素を含んでもよい。このような情報要素は、あらかじめ映像システムエンコーダ107に設定しておくか、あるいは、映像システムエンコーダ107に入力されたMMTPパケットの中のNALユニットを解析して特定する。このような情報要素は、MPTのasset_typeに格納される情報要素であってもよい。
The control information may include an information element indicating that the MMTP packet is related to video, and may further include an information element indicating the compression coding method thereof. Such an information element is set in the
図3の下段に示すように、マルチプレクサ111は、音声パケット、映像パケット、音声・映像システムパケットを送信部113に出力する。音声パケット、映像パケット、音声・映像システムパケットが多重された伝送ストリームは、MMTPフローと称されてもよく、パッケージと称されてもよい。
As shown in the lower part of FIG. 3, the
ここで、マルチプレクサ111は、MMTPパケットが音声又は映像に関するものであることを示す情報要素を制御情報に基づいて、MMTPパケットが音声及び映像の双方に関するものであることを示す情報要素を新たに生成し、新たに生成された情報要素を含む新たな制御情報(MPT)を生成する。マルチプレクサ111は、音声システムエンコーダ103及び映像システムエンコーダ107から出力された「時刻を示す情報要素」(例えば、MPUタイムスタンプ記述子)を新たな制御情報(MPT)に格納する。
Here, the
(受信装置の概要)
以下において、実施形態に係る受信装置の概要について説明する。図4は、実施形態に係る受信装置200を示すブロック図である。
(Overview of receiver)
Hereinafter, the outline of the receiving device according to the embodiment will be described. FIG. 4 is a block diagram showing a receiving
図4に示すように、受信装置200は、受信部201と、デマルチプレクサ203と、音声システムデコーダ205と、音声コアデコーダ207と、映像システムデコーダ209と、映像コアデコーダ211と、時刻サーバ213と、を有する。
As shown in FIG. 4, the receiving
受信部201は、音声パケット、映像パケット、音声・映像システムパケットを含む伝送ストリームを受信する。受信部201は、伝送ストリームの伝送方式は、特に限定されるものではない。受信部201は、MMT/IPレイヤ以下のレイヤで必要な処理を実行する。例えば、受信部201は、OFDM復調処理、誤り訂正復号処理などを実行してもよい。
The receiving
デマルチプレクサ203は、伝送ストリームから音声パケット及び音声・映像システムパケットを分離する。デマルチプレクサ203は、伝送ストリームから映像パケット及び音声・映像システムパケットを分離する。デマルチプレクサ203は、音声パケット及び音声・映像システムパケットを音声システムデコーダ205に出力し、映像パケット及び音声・映像システムパケットを映像システムデコーダ209に出力する。
The
音声システムデコーダ205は、符号化処理に関する制御情報を含む第2パケット(音声・映像システムパケット)を処理する第2処理部及び第2音声処理部の一例である。音声システムデコーダ205は、音声・映像システムパケットに含まれる音声に関する制御情報を取得し、音声パケットを音声コアデコーダ207に出力する。音声システムデコーダ205は、1以上のプロセッサによって構成される。なお、音声システムデコーダ205は、音声・映像システムパケットに含まれる映像に関する制御情報を無視してもよい。
The
音声コアデコーダ207は、第1パケット(音声パケット)に関する復号処理を実行する第1処理部及び第1音声処理部の一例である。音声コアデコーダ207は、1以上のプロセッサによって構成される。
The
ここで、音声システムデコーダ205及び音声コアデコーダ207は、音声に関する復号装置230を構成してもよい。音声システムデコーダ205は、音声コアデコーダ207とは独立して設けられる。例えば、音声システムデコーダ205は、CPUによって構成されており、音声コアデコーダ207は、FPGAによって構成されてもよい。復号装置230は、時刻サーバ213を含んでもよい。復号装置230は、デマルチプレクサ203を含んでもよい。
Here, the
映像システムデコーダ209は、符号化処理に関する制御情報を含む第2パケット(音声・映像システムパケット)を処理する第2処理部及び第2映像処理部の一例である。映像システムデコーダ209は、音声・映像システムパケットに含まれる映像に関する制御情報を取得し、映像パケットを映像コアデコーダ211に出力する。映像システムデコーダ209は、1以上のプロセッサによって構成される。なお、映像システムデコーダ209は、音声・映像システムパケットに含まれる音声に関する制御情報を無視してもよい。
The
映像コアデコーダ211は、第1パケット(映像パケット)に関する復号処理を実行する第1処理部及び第1映像処理部の一例である。映像コアデコーダ211は、1以上のプロセッサによって構成される。
The
ここで、映像システムデコーダ209及び映像コアデコーダ211は、映像に関する復号装置250を構成してもよい。映像システムデコーダ209は、映像コアデコーダ211とは独立して設けられる。例えば、映像システムデコーダ209は、CPUによって構成されており、映像コアデコーダ211は、FPGAによって構成されてもよい。復号装置250は、時刻サーバ213を含んでもよい。復号装置250は、デマルチプレクサ203を含んでもよい。
Here, the
なお、復号装置230及び復号装置250は、1つの復号装置を構成してもよい。
The
時刻サーバ213は、時刻を管理するサーバである。時刻サーバ213は、時刻サーバ109と同様に、NTPサーバであってもよく、PTPサーバであってもよい。時刻サーバ213によって管理される時刻は、上述した送信装置100の時刻サーバ109によって管理される時刻と同期していてもよい。時刻サーバ213によって管理される時刻としては、UTC時刻が用いられてもよい。時刻サーバ213によって管理される時刻は、絶対時刻と称されてもよい。
The
実施形態では、音声システムデコーダ205及び音声コアデコーダ207が独立しているため、時刻サーバ213は、音声コアデコーダ207に接続されず、音声システムデコーダ205に接続されることに留意すべきである。同様に、映像システムデコーダ209及び映像コアデコーダ211が独立しているため、時刻サーバ213は、映像コアデコーダ211に接続されず、映像システムデコーダ209に接続されることに留意すべきである。
It should be noted that in the embodiment, since the
(復号装置の詳細)
以下において、復号装置の詳細について説明する。図5は、復号装置230及び復号装置250の詳細について説明するための図である。
(Details of decryption device)
The details of the decoding device will be described below. FIG. 5 is a diagram for explaining the details of the
図5の上段に示すように、デマルチプレクサ203は、音声パケット、映像パケット及び音声・映像システムパケットを含む伝送ストリームを受信部201から取得する。デマルチプレクサ203は、音声パケット及び音声・映像システムパケットを音声システムデコーダ205に出力する。デマルチプレクサ203は、映像パケット及び音声・映像システムパケットを映像システムデコーダ209に出力する。
As shown in the upper part of FIG. 5, the
図5の中段に示すように、音声システムデコーダ205は、音声に関する制御情報を含む音声・映像システムパケットを処理する。音声システムデコーダ205は、音声パケットを音声コアデコーダ207に出力する。上述したように、制御情報は、MPTと称されてもよい。音声システムデコーダ205は、IPパケットに格納されたMMTPパケットを取得し、MMTPパケットに格納されたMPTを取得する。
As shown in the middle of FIG. 5, the
ここで、音声システムデコーダ205は、音声パケット(MMTPパケット)の拡張ヘッダの少なくとも一部を追加してもよい。例えば、1つのオーディオフレームに含まれる音声信号のサンプル数を指定する情報要素が拡張ヘッダから送信装置100で削除された場合に、音声システムデコーダ205は、音声信号のサンプル数を指定する情報要素を拡張ヘッダに追加してもよい。音声システムデコーダ205は、拡張ヘッダの少なくとも一部が追加された音声パケット(MMTPパケット)を出力してもよい。例えば、1つのオーディオフレームに1024個の音声サンプルが含まれる場合に、音声システムデコーダ205は、拡張ヘッダに1024を追加(格納)する。
Here, the
なお、1つのオーディオフレームに含まれる音声サンプルの数は、放送サービス毎に予め定められていてもよい。すなわち、音声システムデコーダ205は、放送サービスによって音声サンプルの数を特定することが可能であり、放送サービスに応じて音声サンプルの数を追加(格納)してもよい。或いは、音声システムデコーダ205は、オーディオフレームに含まれる音声サンプルに相当するMHASパケットについて音声サンプルをカウントすることによって、カウントされた音声サンプルの数を追加(格納)してもよい。
The number of audio samples included in one audio frame may be predetermined for each broadcasting service. That is, the
さらに、音声システムデコーダ205は、音声・映像システムパケットに含まれる「時刻を示す情報要素」(例えば、MPUタイムスタンプ記述子)に基づいて、音声パケットを音声コアデコーダ207に出力するタイミングを調整してもよい。例えば、音声システムデコーダ205は、時刻サーバ213から取得する時刻とMPUタイムスタンプ記述子によって特定される時刻とを比較することによって、音声パケットを音声コアデコーダ207に出力するタイミングを調整してもよい。具体的には、音声コアデコーダ207にMHASパケットを入力し、そのMHASパケットを復号後に音声を出力するまでの遅延をTとしたとき、音声システムデコーダ205は、MPUタイムスタンプ記述子によって特定される時刻よりTだけ以前の時刻に、MHASパケットを音声コアデコーダ207に出力する。或いは、音声システムデコーダ205は、直前のMPUに対応するMPUタイムスタンプ記述子によって特定される時刻(T1)と現MPUに対応するMPUタイムスタンプ記述子によって特定される時刻(T2)とを比較することによって、音声パケットを音声コアデコーダ207に出力するタイミングを調整してもよい。具体的には、直前のMPUに対応する最初のMHASパケットを音声コアデコーダ207に出力してから、T2-T1の時間が経過後に後続のMPUに対応する最初のMHASパケットを音声コアデコーダ207に出力する。
Further, the
音声コアデコーダ207は、音声パケットに関する復号処理を実行することによって音声信号を取得する。復号方式は、ISO/IEC 23008-3(MPEG-H Audio)に準拠する方式であってもよい。音声コアデコーダ207は、IPパケットに格納されたMMTPパケットを取得し、MMTPパケットに格納されたMHASパケットを取得する。
The
図5の下段に示すように、映像システムデコーダ209は、映像に関する制御情報を含む音声・映像システムパケットを処理する。映像システムデコーダ209は、映像パケットを映像コアデコーダ211に出力する。上述したように、制御情報は、MPTと称されてもよい。映像システムデコーダ209は、IPパケットに格納されたMMTPパケットを取得し、MMTPパケットに格納されたMPTを取得する。
As shown in the lower part of FIG. 5, the
さらに、映像システムデコーダ209は、音声・映像システムパケットに含まれる「時刻を示す情報要素」(例えば、MPUタイムスタンプ記述子)に基づいて、映像パケットを映像コアデコーダ211に出力するタイミングを調整してもよい。例えば、映像システムデコーダ209は、時刻サーバ213から取得する時刻とMPUタイムスタンプ記述子によって特定される時刻とを比較することによって、映像パケットを映像コアデコーダ211に出力するタイミングを調整してもよい。具体的には、映像コアデコーダ211にMPU先頭のNALユニットを入力し、そのMPUに属する映像フレームを出力するまでの遅延をT'としたとき、映像システムデコーダ209は、MPUタイムスタンプ記述子によって特定される時刻よりT'だけ以前の時刻にNALユニットを映像コアデコーダ211に出力する。或いは、映像システムデコーダ209は、直前のMPUに対応するMPUタイムスタンプ記述子によって特定される時刻(T1’)と現MPUに対応するMPUタイムスタンプ記述子によって特定される時刻(T2’)とを比較することによって、映像パケットを映像コアデコーダ211に出力するタイミングを調整してもよい。具体的には、直前のMPUに対応する最初のNALユニットを映像コアデコーダ211に出力してから、T2'-T1'の時間が経過後に、後続のMPUに対応する最初のNALユニットを映像コアデコーダ211に出力する。
Further, the
映像コアデコーダ211は、映像パケットに関する復号処理を実行することによって映像信号を取得する。復号方式は、ISO/IEC23008-2(HEVC;High Efficiency Video Coding)に準拠する方式であってもよい。復号方式は、ISO/IEC 23090-3(VVC;Versatile Video Coding)に準拠する方式であってもよい。映像コアデコーダ211は、IPパケットに格納されたMMTPパケットを取得し、MMTPパケットに格納されたNALユニットを取得する。
The
(MMTPパケット)
以下において、MMTPパケットについて説明する。上述したように、MMTPパケットは、音声パケットの一例であってもよく、映像パケットの一例であってもよい。ここでは、音声パケットについて例示する。
(MMTP packet)
The MMTP packet will be described below. As described above, the MMTP packet may be an example of an audio packet or an example of a video packet. Here, a voice packet will be illustrated.
図6に示すように、MMTでは、オーディオフレーム、MPU(Media Processing Unit)、MFU(Media Fragment Unit)などの単位が規定されている。 As shown in FIG. 6, in MMT, units such as an audio frame, an MPU (Media Processing Unit), and an MFU (Media Fragment Unit) are defined.
オーディオフレームは、音声信号の符号化処理の最小単位である。オーディオフレームは、典型的には1024個の音声サンプルを含んでもよい。 An audio frame is the smallest unit of audio signal coding processing. The audio frame may typically contain 1024 audio samples.
MPUは、MMTにおけるデータの処理単位である。MPUは、所定長(例えば、500msec程度)のオーディオフレームを含んでもよい。所定長は、映像信号に関する処理単位(Movie Fragment)の時間長と同程度であってもよい。 MPU is a data processing unit in MMT. The MPU may include an audio frame having a predetermined length (for example, about 500 msec). The predetermined length may be about the same as the time length of the processing unit (Movie Fragment) related to the video signal.
MFUは、MMTPパケットによって伝送されるデータの単位である。MFUは、MPUを分割することによって生成されてもよい。MFUは、MPUの生成を省略して、AU(Access Unit)又はNALユニットから直接的に生成されてもよい。上述したMHASパケットは、MFUとして扱われてもよい。 MFU is a unit of data transmitted by an MMTP packet. The MFU may be generated by splitting the MPU. The MFU may be generated directly from the AU (Access Unit) or NAL unit, omitting the generation of the MPU. The above-mentioned MHAS packet may be treated as an MFU.
MMTPパケットは、1個以上のMFUを含む。MFUのサイズが大きい場合には、1個のMFUから2個以上のMTTPパケットが生成されてもよい。MFUのサイズが小さい場合には、2個以上のMFUから1個のMTTPパケットが生成されてもよい。 An MMTP packet contains one or more MFUs. If the size of the MFU is large, one MFU may generate two or more MTTP packets. If the size of the MFU is small, one MTTP packet may be generated from two or more MFUs.
(MPT)
以下において、MPTについて説明する。上述したように、MPTは、制御情報の一例である。ここでは、音声信号に関するMPTについて例示する。
(MPT)
The MPT will be described below. As mentioned above, MPT is an example of control information. Here, an example of MPT related to an audio signal is given.
図7に示すように、MPTは、table_id、version、MPT_mode、MMT_package_id_length、MMT_package_idを含んでもよい。 As shown in FIG. 7, the MPT may include table_id, version, MPT_mode, MMT_package_id_length, and MMT_package_id.
table_idは、MPTの構成を表す識別子を格納するフィールドである。versionは、MPTのバージョンを格納するフィールドである。MPT_modeは、MPTがサブセットに分割されているときの動作を格納するフィールドである。MMT_package_id_lengthは、MMT_package_idの長さを格納するフィールドである。MMT_package_idは、パッケージを識別する値を格納するフィールドである。 table_id is a field that stores an identifier that represents the configuration of MPT. version is a field that stores the version of MPT. MPT_mode is a field that stores the behavior when the MPT is divided into subsets. MMT_package_id_length is a field that stores the length of MMT_package_id. MMT_package_id is a field that stores a value that identifies the package.
さらに、MPTは、アセット情報を格納するフィールド(以下、アセット情報ループ)を含む。図8に示すように、アセット情報ループは、identifier_type、asset_id_scheme、asset_id_length、asset_id、asset_type、asset_check_relation_flag、location_countを含む。 Further, the MPT includes a field for storing asset information (hereinafter referred to as an asset information loop). As shown in FIG. 8, the asset information loop includes identifier_type, asset_id_scheme, asset_id_length, asset_id, asset_type, asset_check_relation_flag, location_count.
identifier_typeは、MMTPパケットフローのID体系を格納するフィールドである。asset_id_schemeは、アセットIDの形式を格納するフィールドである。asset_id_lengthは、asset_idの長さを格納するフィールドである。asset_idは、アセットIDを格納するフィールドである。asset_typeは、アセットの種類を格納するフィールドである。asset_clock_relation_flagは、アセットのクロック情報フィールドの有無を格納するフィールドである。location_countは、アセットのロケーションを格納するフィールドである。 identifier_type is a field that stores the ID system of the MMTP packet flow. asset_id_scheme is a field that stores the format of the asset ID. asset_id_length is a field that stores the length of asset_id. asset_id is a field that stores the asset ID. asset_type is a field that stores the type of asset. asset_clock_relation_flag is a field that stores the presence or absence of the clock information field of the asset. location_count is a field that stores the location of the asset.
このような背景下において、アセット情報ループは、図8に示すフィールドに加えて、アセット記述子を格納する領域(asset_descriptors_byte)を含む。アセット記述子を格納する領域は、上述したMPUタイムスタンプ記述子を格納することが可能である。MPUタイムスタンプ記述子は、MPUのシーケンス番号の変更に応じて更新される。 Under such a background, the asset information loop includes an area (asset_descriptors_byte) for storing the asset descriptor in addition to the field shown in FIG. The area for storing the asset descriptor can store the MPU time stamp descriptor described above. The MPU timestamp descriptor is updated in response to changes in the MPU sequence number.
さらに、アセット情報ループは、MPUを提示する位置を提供するMPU提示領域指定記述子を含んでもよい。上述したMPU毎のシーケンス番号は、MPU提示領域指定記述子に含まれてもよい。 In addition, the asset information loop may include an MPU presentation area specification descriptor that provides a location to present the MPU. The above-mentioned sequence number for each MPU may be included in the MPU presentation area specification descriptor.
(MMTPパケットのヘッダ)
以下において、MMTPパケットのヘッダについて説明する。図10に示すように、MMTPパケットのヘッダは、Version、packet_counter_flag、FEC_Type、extension_flag、RAP_flag、packet_id、timestamp、packet_sequence_number、extension headerを含む。
(Header of MMTP packet)
The header of the MMTP packet will be described below. As shown in FIG. 10, the header of the MMTP packet includes Version, packet_counter_flag, FEC_Type, extension_flag, RAP_flag, packet_id, timestamp, packet_sequence_number, extension header.
Versionは、MMTPのバージョン番号を格納するフィールドである。packet_counter_flagは、パケットカウンタが存在するか否かを示すフラグを格納するフィールドである。FEC_Typeは、MMTPパケットの誤り訂正に関する情報を格納するフィールドである。extension_flagは、MMTPパケットのヘッダ拡張を行うか否かを示すフラグを格納するフィールドである。RAP_flagは、MMTペイロードがランダムアクセスポイントの先頭を含むか否かを示すフラグを格納するフィールドである。packet_idは、MMTPパケットのペイロードのデータを識別する識別子を格納するフィールドである。timestampは、MMTPパケットの先頭のバイトが送信エンティティから送信される時刻を格納するフィールドである。例えば、時刻は、NTPタイムスタンプによって表される。packet_sequence_numberは、同一のパケット識別子を有するMMTPパケットの順序を格納するフィールドである。extension headerは、MTTPパケットのヘッダ拡張の種別を格納するフィールドである。 Version is a field that stores the version number of MMTP. packet_counter_flag is a field that stores a flag indicating whether or not a packet counter exists. FEC_Type is a field that stores information related to error correction of MMTP packets. extension_flag is a field that stores a flag indicating whether to extend the header of the MMTP packet. RAP_flag is a field that stores a flag indicating whether the MMT payload contains the beginning of a random access point. packet_id is a field that stores an identifier that identifies the data in the payload of an MMTP packet. timestamp is a field that stores the time when the first byte of the MMTP packet is sent by the sending entity. For example, the time is represented by an NTP time stamp. packet_sequence_number is a field that stores the sequence of MMTP packets with the same packet identifier. The extension header is a field that stores the type of header extension for MTTP packets.
(MFUのヘッダ)
以下において、MFUのヘッダについて説明する。図10に示すように、MFUのヘッダは、MPU Fragment Type、Timed Flag、Fragmentation Indicator、aggregation_flag、fragment_counter、MPU_sequence_number、movie_fragment_sequence_number、offset、priority、dep_counterを含む。
(MFU header)
The header of MFU will be described below. As shown in FIG. 10, the MFU header includes the MPU Fragment Type, Timed Flag, Fragmentation Indicator, aggregation_flag, fragment_counter, MPU_sequence_number, movie_fragment_sequence_number, offset, priority, dep_counter.
MPU Fragment Typeは、MMTPのペイロードに格納する情報のフラグメントの種別を格納するフィールドである。Timed Flagは、MMTPのペイロードに格納するデータが提示時間を指定するか否かを示すフラグを格納するフィールドである。Fragmentation Indicatorは、MMTPのペイロードに格納するデータの分割状態を格納するフィールドである。aggregation_flagは、MMTPのペイロードに2以上のデータが格納されているか否かを示すフラグを格納するフィールドである。fragment_counterは、MMTPパケットのペイロードに格納されたデータよりも後に存在する分割データの数を格納するフィールドである。MPU_sequence_numberは、MMTPのペイロードにMPUメタデータ、ムービーフラグメントメタデータ又はMFUが格納される場合に、これらのデータの属するMPUのシーケンス番号を格納するフィールドである。movie_fragment_sequence_numberは、MFUが属するムービーフラグメントのシーケンス番号を格納するフィールドである。offsetは、MFUが属するMPUにおけるMFUのオフセットを格納するフィールドである。priorityは、MFUが属するMPUにおけるMFUの相対的な重要度を格納するフィールドである。dep_counterは、MFUを復号しなければ復号できないMFUの数を格納するフィールドである。 MPU Fragment Type is a field that stores the type of fragment of information stored in the payload of MMTP. Timed Flag is a field that stores a flag indicating whether or not the data stored in the payload of MMTP specifies the presentation time. The Fragmentation Indicator is a field that stores the split state of the data stored in the MMTP payload. aggregation_flag is a field that stores a flag indicating whether or not two or more data are stored in the MMTP payload. fragment_counter is a field that stores the number of fragmented data that exist after the data stored in the payload of the MMTP packet. The MPU_sequence_number is a field that stores the sequence number of the MPU to which the MPU metadata, the movie fragment metadata, or the MFU belongs when the MPU metadata, the movie fragment metadata, or the MFU is stored in the MMTP payload. movie_fragment_sequence_number is a field that stores the sequence number of the movie fragment to which the MFU belongs. offset is a field that stores the MFU offset in the MPU to which the MFU belongs. priority is a field that stores the relative importance of the MFU in the MPU to which the MFU belongs. dep_counter is a field that stores the number of MFUs that cannot be decrypted without decrypting the MFUs.
(作用及び効果)
実施形態では、符号化装置130又は符号化装置150において、制御情報を含む第2パケット(音声・映像システムパケット)を処理する第2処理部(音声システムエンコーダ103又は映像システムエンコーダ107)は、ビットストリームを含む第1パケットに関する符号化処理を実行する第1処理部(音声コアエンコーダ101又は映像コアエンコーダ105)とは独立して設けられる。このような構成によれば、第1処理部については、FPGAによって構成し、第2処理部についてはCPUによって構成するなどのように、第1パケット及び第2パケットを適切に処理するための構成を実装することができる。
(Action and effect)
In the embodiment, in the
実施形態では、復号装置230又は復号装置250において、制御情報を含む第2パケット(音声・映像システムパケット)を処理する第2処理部(音声システムデコーダ205又は映像システムデコーダ209)は、ビットストリームを含む第1パケットに関する復号処理を実行する第1処理部(音声コアデコーダ207又は映像コアデコーダ211)とは独立して設けられる。このような構成によれば、第1処理部については、FPGAによって構成し、第2処理部についてはCPUによって構成するなどのように、第1パケット及び第2パケットを適切に処理するための構成を実装することができる。
In the embodiment, in the
実施形態では、制御情報は、音声信号又は映像信号の復号後のビットストリームを出力する時刻を示す情報要素を含む。このような構成によれば、第2処理部が第1処理部と独立して設けられることを前提とした場合に、第2処理部(音声システムデコーダ205又は映像システムデコーダ209)が音声パケット又は映像パケットを出力するタイミングを調整することができる。従って、第1処理部(音声コアデコーダ207又は映像コアデコーダ211)は、同期を意識することなく、音声パケット又は映像パケットを直ちにデコードすることができ、復号装置230又は復号装置250の構成を全体として単純化することができる。
In the embodiment, the control information includes an information element indicating a time when the bitstream after decoding the audio signal or the video signal is output. According to such a configuration, assuming that the second processing unit is provided independently of the first processing unit, the second processing unit (
[その他の実施形態]
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
[Other embodiments]
Although the invention has been described by the disclosure described above, the statements and drawings that form part of this disclosure should not be understood to limit the invention. This disclosure will reveal to those skilled in the art various alternative embodiments, examples and operational techniques.
上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。 Although not specifically mentioned in the above disclosure, terms relating to MMT may be interpreted based on the contents specified in ISO / IEC 23008-1, ARIB STD-B60, ARIB TR-B39 and the like.
上述した開示では、音声信号又は映像信号の復号後のビットストリームを出力する時刻を示す情報要素として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。ビットストリームを出力する時刻を示す情報要素は、MPU拡張タイムスタンプ記述子であってもよい。 In the above disclosure, the MPU time stamp descriptor is exemplified as an information element indicating the time when the bitstream after decoding the audio signal or the video signal is output. However, the above disclosure is not limited to this. The information element indicating the time when the bitstream is output may be an MPU extended time stamp descriptor.
上述した開示では、音声システムパケット及び映像システムパケットが1つの音声・映像システムパケットにマージされるケースについて例示した。しかしながら、上述した開示はこれに限定されるものではない。音声システムパケット及び映像システムパケットは、1つの音声・映像システムパケットにマージされることなく、伝送ストリームとして伝送されてもよい。このようなケースにおいて、マルチプレクサ111は、音声パケット、映像パケット、音声システムパケット及び映像システムパケットを多重してもよい。同様に、デマルチプレクサ203は、音声パケット、映像パケット、音声システムパケット及び映像システムパケットを分離してもよい。
In the above disclosure, the case where the audio system packet and the video system packet are merged into one audio / video system packet has been exemplified. However, the above disclosure is not limited to this. The voice system packet and the video system packet may be transmitted as a transmission stream without being merged into one voice / video system packet. In such a case, the
上述した開示では、音声信号又は映像信号の復号後のビットストリームを出力する時刻が時刻サーバ109及び時刻サーバ213から取得されるケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。音声信号又は映像信号の復号後のビットストリームを出力する時刻は、ARIB STD-B60、ARIB TR-B39などで規定されているように、NTPパケットを放送波で伝送することによって取得されてもよい。
In the above-mentioned disclosure, the case where the time to output the bitstream after decoding the audio signal or the video signal is acquired from the
上述した開示では特に触れていないが、送信装置100及び受信装置200が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
Although not specifically mentioned in the above disclosure, a program may be provided that causes a computer to execute each process performed by the transmitting
或いは、送信装置100及び受信装置200が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
Alternatively, a chip composed of a memory for storing a program for executing each process performed by the transmitting
10…伝送システム、100…送信装置、101…音声コアエンコーダ、103…音声システムエンコーダ、105…映像コアエンコーダ、107…映像システムエンコーダ、109…時刻サーバ、111…マルチプレクサ、113…送信部、200...受信装置、201…受信部、203…デマルチプレクサ、205…音声システムデコーダ、207…音声コアデコーダ、209…映像システムデコーダ、211…映像コアデコーダ、213…時刻サーバ 10 ... transmission system, 100 ... transmitter, 101 ... voice core encoder, 103 ... voice system encoder, 105 ... video core encoder, 107 ... video system encoder, 109 ... time server, 111 ... multiplexer, 113 ... transmitter, 200. .. Receiver, 201 ... Receiver, 203 ... Demultiplexer, 205 ... Audio system decoder, 207 ... Audio core decoder, 209 ... Video system decoder, 211 ... Video core decoder, 213 ... Time server
Claims (6)
前記復号処理に関する制御情報を含む第2パケットを処理する第2処理部と、を備え、
前記第2処理部は、前記第1処理部とは独立して設けられる、復号装置。 A first processing unit that executes decoding processing for a first packet including at least one bitstream of an audio signal and a video signal, and a first processing unit.
A second processing unit that processes a second packet including control information related to the decoding process is provided.
The second processing unit is a decoding device provided independently of the first processing unit.
前記第2処理部は、前記音声信号に対応する第2音声処理部と、前記映像信号に対応する第2映像処理部と、を含む、請求項1乃至請求項5のいずれか1項に記載の復号装置。 The first processing unit includes a first audio processing unit corresponding to the audio signal and a first video processing unit corresponding to the video signal.
The second aspect of claim 1 to claim 5, wherein the second processing unit includes a second audio processing unit corresponding to the audio signal and a second video processing unit corresponding to the video signal. Decoding device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020195560 | 2020-11-25 | ||
JP2020195560 | 2020-11-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022084017A true JP2022084017A (en) | 2022-06-06 |
Family
ID=81855509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021190767A Pending JP2022084017A (en) | 2020-11-25 | 2021-11-25 | Decoding apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022084017A (en) |
-
2021
- 2021-11-25 JP JP2021190767A patent/JP2022084017A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868802B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP6302274B2 (en) | Transmitting apparatus and receiving apparatus | |
JP6868838B2 (en) | Transmitter, receiver, transmitter and receiver | |
KR102117445B1 (en) | Method and apparatus for packet header compression | |
JP6369773B1 (en) | Transmission method, reception method, transmission device, and reception device | |
JP2015119477A (en) | Transmission method, reception method, transmission apparatus and reception apparatus | |
JP7359819B2 (en) | Transmission method, reception method, transmission device and reception device | |
JP7361287B2 (en) | Transmission method and transmission device | |
JP7307237B2 (en) | Receiving method, transmitting method, receiving device and transmitting device | |
JP2016036130A (en) | Transmission method, reception method, transmission device and reception device | |
JP2023164690A (en) | Transmission device, reception device, transmission method and reception method | |
JP2022084017A (en) | Decoding apparatus | |
JP2022084018A (en) | Encoding apparatus | |
JP2021197584A (en) | Multiple signal conversion device and program thereof, and receiver | |
JP2020205633A (en) | Transmission method, reception method, transmission device and reception device | |
JP7257646B2 (en) | Transmission method, reception method, transmission device and reception device | |
WO2016021153A1 (en) | Transmission method, reception method, transmission device, and reception device |