JP2015226305A - Encoding device - Google Patents
Encoding device Download PDFInfo
- Publication number
- JP2015226305A JP2015226305A JP2014112114A JP2014112114A JP2015226305A JP 2015226305 A JP2015226305 A JP 2015226305A JP 2014112114 A JP2014112114 A JP 2014112114A JP 2014112114 A JP2014112114 A JP 2014112114A JP 2015226305 A JP2015226305 A JP 2015226305A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- decoding
- mmtp
- video
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
この発明は、映像信号や音声信号を符号化してビットストリームを生成する符号化装置及び符号化方法と、ビットストリームに多重化されている符号化データを復号する復号装置及び復号方法とに関するものである。 The present invention relates to an encoding device and an encoding method for encoding a video signal and an audio signal to generate a bit stream, and a decoding device and a decoding method for decoding encoded data multiplexed in the bit stream. is there.
日本のディジタル放送では、以下の非特許文献1に記載されているように、映像信号や音声信号の符号化データである映像ストリームと音声ストリームは、MPEG−2(Moving Picture Experts Group Phase−2)のシステム規格であるトランスポートストリーム(TS)形式で多重化されて伝送される。このとき、符号化装置は、映像ストリーム及び音声ストリームに関連するメタデータの符号化データについても、映像ストリーム及び音声ストリームと一緒に多重化して伝送する。
In Japanese digital broadcasting, as described in Non-Patent
MPEG−2でのトランスポートストリーム(TS)の他に、MPEGで標準化が進められている新しいトランスポート方式として、MMT(MPEG Media Transport)があり、MMTは、1つのプログラムを構成する1以上の映像コンポーネント(映像ストリーム)と音声コンポーネント(音声ストリーム)を伝送する際、コンポーネント毎に、異なる伝送形態(例えば、放送、通信など)での伝送を可能にしている。 In addition to the transport stream (TS) in MPEG-2, there is MMT (MPEG Media Transport) as a new transport system that is being standardized in MPEG, and MMT is one or more that constitute one program. When transmitting a video component (video stream) and an audio component (audio stream), it is possible to transmit in a different transmission form (for example, broadcast, communication, etc.) for each component.
ここで、HEVC/H.265(以下、「HEVC」と称する)は、MPEG及びITU(International Telecommunication Union)で標準化された新しい映像符号化方式である。
HEVCでは、時間階層符号化(時間方向にスケーラブルな符号化)が導入されており、アクセスユニット(1ピクチャを復号するために必要な符号化データを含む単位)を構成する符号化単位のNAL(Network Abstraction Layer)ユニット毎に階層レベルを指定することができる。
Here, HEVC / H. H.265 (hereinafter referred to as “HEVC”) is a new video encoding method standardized by MPEG and ITU (International Telecommunication Union).
In HEVC, temporal hierarchical coding (scalable coding in the time direction) has been introduced, and the NAL (the coding unit that constitutes an access unit (a unit including coded data necessary for decoding one picture)) (Network Abstraction Layer) A hierarchical level can be specified for each unit.
図9はHEVCでの時間階層符号化例を示す説明図である。
図9において、TemporalIDは各アクセスユニット(AU)の階層レベルを示す識別情報である。
IRAPは、HEVCで規定されているIRAP(Intra random access point)ピクチャのことであり、ビットストリームの途中から復号を開始するときに、表示順でIRAPピクチャ以降のピクチャについては正常に復号されることが保証される。
GOP(Group Of Pictures)は、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化された場合に、前記1以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合である。即ち、符号化順で先頭のアクセスユニット(AU)であるIRAPピクチャと、そのIRAPピクチャに続くアクセスユニット(AU)(IRAPピクチャ以外のピクチャ)との集合である。
FIG. 9 is an explanatory diagram showing an example of time hierarchy coding in HEVC.
In FIG. 9, TemporalID is identification information indicating the hierarchical level of each access unit (AU).
IRAP is an IRAP (Intra Random Access Point) picture defined by HEVC. When decoding is started from the middle of a bitstream, pictures following the IRAP picture in the display order are normally decoded. Is guaranteed.
GOP (Group Of Pictures) may decode all of the video signals of the one or more access units when the video signal of one or more access units (AU) is encoded by the inter-frame predictive coding method. It is a set of possible access units (AU). That is, it is a set of an IRAP picture that is the first access unit (AU) in the coding order and an access unit (AU) (picture other than the IRAP picture) that follows the IRAP picture.
時間階層符号化の内容は公知であるため詳細な説明を省略するが、時間階層符号化の制約として、符号化対象のアクセスユニット(AU)が有する階層レベルより大きい階層レベルを有するアクセスユニット(AU)は参照することができないというものがある。
このような制約を設けることで、例えば図11の例で階層レベル2以下(TemporalID≦2)のアクセスユニット(AU)は、復号時に階層レベル3(TemoralID=3)のアクセスユニット(AU)を参照しないため、階層レベル3のアクセスユニット(AU)を復号することなく階層レベル2以下(TemporalID≦2)のアクセスユニット(AU)を復号することが可能である。
なお、HEVCでは、最大階層が6までの参照構造による時間階層符号化が可能である。
Since the contents of the time hierarchy coding are known, detailed description thereof will be omitted. However, as a restriction on the time hierarchy coding, an access unit (AU) having a higher hierarchy level than that of the access unit (AU) to be encoded ) Cannot be referred to.
By providing such a restriction, for example, in the example of FIG. 11, an access unit (AU) at
In HEVC, temporal hierarchy coding is possible using a reference structure with a maximum hierarchy of up to 6.
図10は図9のピクチャ構造で符号化される各ピクチャの符号化順及び表示順を示す説明図である。
図10に示すように、階層レベル3のアクセスユニットと階層レベル2以下のアクセスユニットが表示順で交互になるように符号化されていれば、階層レベル0から階層レベル3のすべてのアクセスユニットを復号した場合の表示フレームレートが2N(Hz)であったときに、階層レベル2以下のアクセスユニットのみを復号した場合には表示フレームレートN(Hz)で再生することができる。従って、表示フレームレートがN(Hz)以下に対応している復号装置で再生する場合には階層レベル2以下のアクセスユニットのみを復号装置に渡せばよい。
FIG. 10 is an explanatory diagram showing the encoding order and display order of each picture encoded with the picture structure of FIG.
As shown in FIG. 10, if the access units at the hierarchy level 3 and the access units at the
例えばMMTでは、図10のように構成された映像のビットストリームを多重化して配信するときに、階層レベル2以下のアクセスユニットのみで構成されるアクセスユニットの集合と階層レベル3のアクセスユニットのみで構成されるアクセスユニットの集合に対し、それぞれ異なる値の識別子を付与して配信することができる。なおMMTでは、同一の識別子を付与したアクセスユニットの集合をアセットと呼ぶ。階層レベル2以下のアクセスユニットで構成されるアセットの識別子をA0、階層レベル3のアクセスユニットで構成されるアセットの識別子をA1として、アセットごとに異なる伝送形態で伝送することも可能であり、例えばアセットA0を放送で伝送し、アセットA1を通信で伝送することも可能である。
MMTでは、アセット間で提示時刻の同期をとるために、GOP単位に表示順で先頭のアクセスユニットの提示時刻をNTP(Network Time Protocol)形式で記述する記述子を用意しており、GOP単位に本記述子を多重化して伝送することができる。またアセットが異なる場合にはアセットごとに先頭のアクセスユニットの提示時刻を伝送することができ、異なる伝送形態で伝送された複数のアセットを受信側で受け取った場合も提示時刻で同期をとって再生(提示)することができる。
For example, in MMT, when a video bit stream configured as shown in FIG. 10 is multiplexed and distributed, only a set of access units composed of access units of
In order to synchronize the presentation time between assets, MMT provides a descriptor that describes the presentation time of the first access unit in the NTP (Network Time Protocol) format in display order in GOP units. This descriptor can be multiplexed and transmitted. Also, if the assets are different, the presentation time of the first access unit can be transmitted for each asset, and even when multiple assets transmitted in different transmission formats are received at the receiving side, playback is performed with the presentation time synchronized (Presentation).
従来の符号化装置は以上のように構成されているので、図9のように時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し、アセットごとに異なる伝送形態を用いて伝送した場合には、復号装置において各アクセスユニットの復号タイミングに基づき、図10に示すような符号化順と同じ順番のビットストリームを再構成する必要があるが、MMTでは各アクセスユニットの復号時刻を伝送することができないため、ビットストリームを再構成できないという課題があった。 Since the conventional encoding apparatus is configured as described above, different assets are configured according to the hierarchical level of each access unit from the bitstream of the video encoded in time hierarchy as shown in FIG. When transmission is performed using a different transmission form, it is necessary to reconstruct a bitstream in the same order as the encoding order as shown in FIG. 10 based on the decoding timing of each access unit in the decoding device. Since the decoding time of each access unit cannot be transmitted, there is a problem that the bitstream cannot be reconfigured.
この発明は上記のような課題を解決するためになされたもので、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる符号化装置、復号装置、符号化方法及び復号方法を得ることを目的とする。 The present invention has been made to solve the above-described problems, and even when a bit stream of video that has been time-hierarchically coded constitutes different assets according to the hierarchy level of each access unit and is transmitted, the decoding apparatus An encoding device, a decoding device, an encoding method, and a decoding method capable of reconstructing and decoding a bit stream encoded in time hierarchy based on the decoding timing of each access unit.
この発明に係る符号化装置は、
映像のアクセスユニット単位に映像信号を符号化して、前記映像信号の符号化データを出力する映像符号化手段と、
前記映像符号化手段により1以上のアクセスユニットの映像信号がフレーム間予測符号化方式で符号化された場合に、前記1以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニットの集合であるGOP毎に、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、符号化順で先頭のアクセスユニットの復号時刻を示す復号時刻情報とを含む制御情報を符号化して、GOP単位の制御情報の符号化データを出力する制御情報符号化手段と、
前記映像符号化手段から出力された映像信号の符号化データのアクセスユニット単位に、このアクセスユニットの復号時刻と前記符号化順で先頭のアクセスユニットの復号時刻との差を符号化して、時刻情報の符号化データを出力する時刻情報符号化手段と、
前記映像符号化手段から出力された映像信号の符号化データと前記時刻情報符号化手段から出力された時刻情報の符号化データと前記制御情報符号化手段から出力された制御情報の符号化データを多重化し、多重化後の符号化データであるビットストリームを出力する多重化手段と
を備えたものである。
The encoding device according to the present invention is:
Video encoding means for encoding a video signal in units of video access units and outputting encoded data of the video signal;
A plurality of accesses capable of decoding all of the video signals of the one or more access units when the video signal of the one or more access units is encoded by the interframe predictive encoding method by the video encoding means. Control information including presentation time information indicating the presentation time of the first access unit in the presentation order and decoding time information indicating the decoding time of the first access unit in the encoding order is encoded for each GOP that is a set of units. Control information encoding means for outputting encoded data of control information in GOP units;
For each access unit of encoded data of the video signal output from the video encoding means, the difference between the decoding time of this access unit and the decoding time of the first access unit in the encoding order is encoded to obtain time information Time information encoding means for outputting the encoded data of
The encoded data of the video signal output from the video encoding means, the encoded data of time information output from the time information encoding means, and the encoded data of control information output from the control information encoding means. And multiplexing means for outputting a bit stream that is multiplexed encoded data.
この発明によれば、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる効果がある。 According to the present invention, even when a bit stream of video encoded in time hierarchy is configured and transmitted with different assets according to the hierarchy level of each access unit, the decoding apparatus uses the time hierarchy based on the decoding timing of each access unit. The encoded bit stream can be reconstructed and decoded.
実施の形態1.
図1はこの発明の実施の形態1による符号化装置を示す構成図である。
図1において、音声符号化部1はディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG−4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する処理を実施する。また符号化されたアクセスユニットの提示時刻(PTS)を音声MMTPパケット生成部8へ出力する。
音声MMTPペイロード生成部2は音声符号化部1により符号化されたメタデータとアクセスユニット(AU)単位の音声信号の符号化データからなる音声MMTPペイロードを生成する処理を実施する。
FIG. 1 is a block diagram showing an encoding apparatus according to
In FIG. 1, when a digital audio signal is given, the
The audio MMTP
HEVC符号化部3はディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する処理を実施する。
映像MMTPペイロード生成部4はHEVC符号化部3により符号化されたメタデータとアクセスユニット(AU)単位の映像信号の符号化データからなる映像MMTPペイロードを生成する処理を実施する。なお、HEVC符号化部3及び映像MMTPペイロード生成部4から映像符号化手段が構成されている。
When a digital video signal is given, the HEVC encoding unit 3 encodes the video signal by the HEVC method for each video access unit (AU), and generates a video stream that is encoded data of the video signal. At the same time, a process for encoding the metadata related to the video stream is performed.
The video MMTP payload generation unit 4 performs a process of generating a video MMTP payload composed of metadata encoded by the HEVC encoding unit 3 and encoded data of a video signal in units of access units (AU). The HEVC encoding unit 3 and the video MMTP payload generation unit 4 constitute video encoding means.
制御情報符号化部5は音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報として、MMTで規定されているPAメッセージと呼ばれる制御情報を符号化する処理を実施する。
図11にPAメッセージの構成を示す。PAメッセージは1個以上のテーブルから構成される。
PAメッセージに含まれる1つのテーブルには、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。MMTでは、映像コンポーネント及び音声コンポーネントがアセットと呼ばれる。
The control information encoding unit 5 encodes control information called PA message defined by MMT as control information related to the audio stream generated by the
FIG. 11 shows the configuration of the PA message. The PA message is composed of one or more tables.
In one table included in the PA message, information on one or more video components (video streams) and audio components (audio streams) constituting one program (referred to as a package in MMT) is described. In MMT, video components and audio components are called assets.
具体的には、アセットを識別するアセットID、アセットの種類(HEVC形式の映像ストリームやMPEG−4 オーディオ形式の音声ストリームなどの種類)を識別するアセットタイプ、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報、各アセットに関するメタ情報を記述するための各種記述子が、パッケージを構成するアセットの数分だけテーブルに含まれている。
記述子には、各アセットのMPU(Media Processing Unit)を構成しているアクセスユニット(AU)の中で、提示順(表示順)で先頭のアクセスユニット(AU)の提示時刻(表示時刻)を示すMPUタイムスタンプ記述子(提示時刻情報)などMMT規格で定義されている記述子の他に、ユーザーが独自に新たな記述子を定義することも可能であり、独自記述子としてMPU時刻情報記述子が含まれる。
Specifically, an asset ID for identifying an asset, an asset type for identifying an asset type (a type such as a video stream in HEVC format or an audio stream in MPEG-4 audio format), encoded data and metadata of each asset Various descriptors for describing information on asset acquisition destinations, such as packet IDs indicating stored MMTP packets or IP addresses when IP is distributed, and meta information on each asset are the number of assets constituting the package. Only included in the table.
In the descriptor, the presentation time (display time) of the first access unit (AU) in the presentation order (display order) among the access units (AU) constituting the MPU (Media Processing Unit) of each asset is displayed. In addition to the descriptors defined in the MMT standard, such as the MPU time stamp descriptor (presentation time information) to be shown, the user can also define a new descriptor independently. Includes children.
なお、MPUは、1以上のアクセスユニット(AU)から構成されており、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。 The MPU is composed of one or more access units (AU), and is a unit that can perform video and audio decoding processing by the MPU alone. Also, the MPU decodes all of the video signals of the one or more access units (AU) when the video signals of the one or more access units (AU) are encoded by the inter-frame predictive coding method. It becomes the same unit as GOP which is a set of a plurality of access units (AU).
MPU時刻情報記述子には、復号時刻(DTS)や提示時刻(PTS)などの時刻情報を記述する単位を示す情報(timescale)やMPUを構成しているアクセスユニット(AU)の中で、符号化順で先頭のアクセスユニット(AU)の復号時刻を算出するための情報(initial_presentation_time_delay)、MPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)、各アクセスユニットの復号時刻や提示時刻を算出するための情報を符号化するときの符号長を示す情報(time_offset_length_minus1)などが記述されている。 The MPU time information descriptor includes a code indicating information (timescale) indicating a unit describing time information such as a decoding time (DTS) and a presentation time (PTS), and an access unit (AU) constituting the MPU. Whether the information (initial_presentation_time_delay) for calculating the decoding time of the head access unit (AU) in the order of generation and the information for calculating the decoding time and presentation time of each access unit constituting the MPU are encoded Flags indicating whether or not (presentation_time_offset_present_flag, decoding_time_offset_present_flag), and information indicating the code length when encoding the information for calculating the decoding time and the presentation time of each access unit Information (time_offset_length_minus1) and the like are described.
制御MMTPペイロード生成部6は制御情報符号化部5により符号化された制御情報の符号化データからなる制御MMTPペイロードを生成する処理を実施する。
なお、制御情報符号化部5の一部及び制御MMTPペイロード生成部6から制御情報符号化手段が構成されている。また、制御情報符号化部5の他の一部は時刻情報符号化手段を構成している。
The control MMTP
Note that a control information encoding unit includes a part of the control information encoding unit 5 and the control MMTP
映像MMTPパケット生成部9は、映像MMTPペイロード生成部4により生成された映像MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する映像MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。必須ヘッダにはMMTPペイロードに含まれる符号化データの種別に応じて割り当てられるパケットIDなどが含まれる。
拡張ヘッダは、MMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)が含まれる。
The video MMTP packet generation unit 9 adds a predetermined MMTP header to the video MMTP payload generated by the video MMTP payload generation unit 4 to generate a video MMTP packet constituting a bit stream. The MMTP header is composed of an essential header including information to be encoded as essential and an extension header including information to be encoded as an option. The essential header includes a packet ID assigned according to the type of encoded data included in the MMTP payload.
The extension header has a flag value indicating whether to encode information (presentation time information and decoding time information) for calculating a presentation time and a decoding time for each access unit of encoded data included in the MMTP payload. Accordingly, presentation time information (presentation_time_offset) and decoding time information (decoding_time_offset) are included.
音声MMTPパケット生成部8は、音声MMTPペイロード生成部2により生成された音声MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する音声MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。拡張ヘッダの内容については、映像MMTPパケット生成部にて符号化される拡張ヘッダと同じである。
The voice
制御MMTPパケット生成部10は、制御MMTPペイロード生成部6により生成された制御MMTPペイロードに所定のMMTPヘッダを付与し、ビットストリームを構成する制御MMTPパケットを生成する。
The control MMTP
MMTPパケット多重化部7は、音声MMTPパケット生成部により生成された音声MMTPパケットと、制御MMTPパケット生成部により生成された制御MMTPパケットと、映像MMTPパケット生成部により生成された映像MMTPパケットとを多重化してビットストリームを構成する処理を実施する。
MMTPパケット多重化部7は、アセットごとに異なるビットストリームを構成することもできる。例えば図9に示すように時間階層符号化された映像ビットストリームの階層レベル2以下のアクセスユニットを含むアセットのMMTPパケットから構成されるビットストリーム1と、階層レベル3のアクセスユニットを含むアセットのMMTPパケットから構成されるビットストリーム2として、それぞれのビットストリームを異なる伝送形態で送ることも可能である。
なお、MMTPパケット多重化部7は多重化手段を構成している。
The MMTP packet multiplexing unit 7 combines the audio MMTP packet generated by the audio MMTP packet generation unit, the control MMTP packet generated by the control MMTP packet generation unit, and the video MMTP packet generated by the video MMTP packet generation unit. A process of multiplexing and forming a bitstream is performed.
The MMTP packet multiplexing unit 7 can also configure a different bit stream for each asset. For example, as shown in FIG. 9, a
The MMTP packet multiplexing unit 7 constitutes multiplexing means.
図1の例では、符号化装置の構成要素である音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及び制御MMTPパケット生成部10等のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、符号化装置がコンピュータで構成されていてもよい。
符号化装置をコンピュータで構成する場合、音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及び制御MMTPパケット生成部10等の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 1, an
When the encoding apparatus is configured by a computer, an
図2はこの発明の実施の形態1による符号化装置の処理内容(符号化方法)を示すフローチャートである。
FIG. 2 is a flowchart showing the processing contents (encoding method) of the encoding apparatus according to
図3はこの発明の実施の形態1による復号装置を示す構成図である。
図3において、MMTPパケット解析部12は、符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力された1以上のアセットを含む1以上のビットストリームが入力する。MMTPパケット解析部12は、ビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得し、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。
3 is a block diagram showing a decoding apparatus according to
3, the MMTP
制御MMTPペイロード処理部13はMMTPパケット解析部12から出力された制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関する情報、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報を復号する。パケットIDやアセットの取得先に関する情報はMMTPパケット解析部へ出力する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関するMPUタイムスタンプ記述子とMPU時刻情報記述子を復号する。
The control MMTP
Further, the control MMTP
In addition, the control MMTP
MMTPパケット解析部12は、MMTPヘッダに含まれているパケットIDを取得し、取得したパケットIDと制御MMTPペイロード処理部13より出力された各アセットのパケットIDとを照合し、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号または映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する処理を実施する。
The MMTP
また、MMTPパケット解析部12は、制御MMTPペイロード処理部13により復号されたMPU時刻情報記述子に記述されているMPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)の値に応じて、MMTP拡張ヘッダより提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を復号し、MPUタイムスタンプ記述子に記述されている提示順で先頭のアクセスユニット(AU)の提示時刻とMPU時刻情報記述子に記述されている符号化順で先頭のアクセスユニット(AU)の復号時刻を算出するための情報(initial_presentation_time_delay)を復号して得られる符号化順で先頭のアクセスユニット(AU)の復号時刻とから各アクセスユニット(AU)の提示時刻および復号時刻を算出する処理を実施する。算出された提示時刻および復号時刻は、アクセスユニットに含まれる符号化データの種別に応じて、音声MMTPペイロード処理部15および映像MMTPペイロード処理部19へ出力される。
Further, the MMTP
アセット分離部14は制御MMTPペイロード処理部13により復号されたPAメッセージのテーブルに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定し、音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力し、映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する処理を実施する。
The asset separation unit 14 refers to the asset ID, asset type, and packet ID described in the PA message table decoded by the control MMTP
音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードから音声ストリームのMFU(Media Fragment Unit)又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する処理を実施する。MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)または1NALユニットを1MFUと定義することができる。
また、音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する処理を実施する。音声ESバッファ16は音声ES及びメタデータを一時的に格納するメモリである。
The audio MMTP
In addition, the audio MMTP
音声ストリーム復号部17は、各アクセスユニット(AU)のDTS(復号時刻)になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納する処理を実施する。
音声データバッファ18は音声ストリーム復号部17により復号された音声信号とPTS(提示時刻)を一時的に格納するメモリである。
When the DTS (decoding time) of each access unit (AU) is reached, the audio
The
映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する処理を実施する。
また、映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する処理を実施する。
HEVCESバッファ20はHEVCエレメンタリーストリーム及びメタデータを一時的に格納するメモリである。
The video MMTP
In addition, the video MMTP
The
HEVCES復号部21は各アクセスユニット(AU)のDTS(復号時刻)になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する処理を実施する。
復号画像バッファ22はHEVCES復号部21により復号された各アクセスユニット(AU)の復号画像とPTS(提示時刻)を一時的に格納するメモリである。
なお、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22から映像復号手段が構成されている。
When the
The decoded
The video MMTP
図3の例では、復号装置の構成要素であるMMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ESバッファ16、音声ストリーム復号部17、音声データバッファ18、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22のそれぞれが専用のハードウェア(バッファ以外は、例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、復号装置がコンピュータで構成されていてもよい。
復号装置をコンピュータで構成する場合、音声ESバッファ16、音声データバッファ18、HEVCESバッファ20及び復号画像バッファ22をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、MMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ストリーム復号部17、映像MMTPペイロード処理部19及びHEVCES復号部21の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 3, the MMTP
When the decoding apparatus is configured by a computer, the
図4はこの発明の実施の形態1による復号装置の処理内容(復号方法)を示すフローチャートである。
FIG. 4 is a flowchart showing the processing contents (decoding method) of the decoding apparatus according to
次に動作について説明する。
最初の符号化装置の処理内容を説明する。
音声符号化部1は、ディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG−4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する(図2のステップST1)。
HEVC符号化部3は、ディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する(ステップST2)。
Next, the operation will be described.
The processing contents of the first encoding device will be described.
When a digital audio signal is given, the
When a digital video signal is given, the HEVC encoding unit 3 encodes the video signal by the HEVC method for each video access unit (AU), and generates a video stream that is encoded data of the video signal. At the same time, metadata about the video stream is encoded (step ST2).
ここで、図5はMMTでビットストリームを伝送する場合の符号化データの概要を示す説明図である。
図5において、アクセスユニット(AU)は、映像であれば、1ピクチャを復号するために必要な符号化データを含む単位であり、音声であれば、符号化単位となる1以上のサンプルから構成されるフレームである。
NALユニットはHEVCの符号化単位であり、1アクセスユニット(AU)は、1以上のNALユニットから構成される。
MPUは、1以上のアクセスユニットから構成され、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。
MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)又は1NALユニットを1MFUと定義することができる。
Here, FIG. 5 is an explanatory diagram showing an outline of encoded data when a bit stream is transmitted by MMT.
In FIG. 5, an access unit (AU) is a unit that includes encoded data necessary for decoding one picture if it is a video, and is composed of one or more samples that are an encoding unit if it is audio. Is the frame to be played.
The NAL unit is a HEVC encoding unit, and one access unit (AU) is composed of one or more NAL units.
The MPU is composed of one or more access units, and is a unit that can perform video and audio decoding processing by the MPU alone. Also, the MPU decodes all of the video signals of the one or more access units (AU) when the video signals of the one or more access units (AU) are encoded by the inter-frame predictive coding method. It becomes the same unit as GOP which is a set of a plurality of access units (AU).
The MFU is a smaller unit than the MPU, and one access unit (AU) or one NAL unit can be defined as one MFU.
図6はMPUの構成例を示す説明図である。
図6において、MPUメタデータは、MPUに関連するメタデータが記述されるものである。なおMPUメタデータは符号化しなくてもよい。
ムービーフラグメントメタデータ(MFメタ)は、1アクセスユニット(AU)の符号化データ(サンプルデータ)に付随するメタデータが記述されるものである。例えば、アクセスユニット(AU)の符号化データがファイル形式で格納される場合、アクセスユニット(AU)毎に、符号化データが格納されているアドレスや符号化データのデータ長、当該アクセスユニット(AU)の時間長に関する情報が含まれる。なおムービーフラグメントメタデータは符号化しなくてもよい。
MPUメタデータ、ムービーフラグメントメタデータ、MFU及びMMTの制御情報は、MMTPパケット化されて伝送される。MMTPパケットはMMTPヘッダとMMTPペイロードから構成される。
FIG. 6 is an explanatory diagram showing a configuration example of the MPU.
In FIG. 6, MPU metadata describes metadata related to the MPU. The MPU metadata may not be encoded.
Movie fragment metadata (MF metadata) describes metadata accompanying encoded data (sample data) of one access unit (AU). For example, when the encoded data of the access unit (AU) is stored in a file format, for each access unit (AU), the address where the encoded data is stored, the data length of the encoded data, the access unit (AU) ) Is included. Movie fragment metadata may not be encoded.
MPU metadata, movie fragment metadata, MFU and MMT control information are transmitted as MMTP packets. The MMTP packet is composed of an MMTP header and an MMTP payload.
音声MMTPペイロード生成部2は、音声符号化部1からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の音声信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び音声信号の符号化データ(サンプルデータ)からなる音声MMTPペイロードを生成する(ステップST3)。
映像MMTPペイロード生成部4は、HEVC符号化部3からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の映像信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び映像信号の符号化データ(サンプルデータ)からなる映像MMTPペイロードを生成する(ステップST4)。
When the audio MMTP
When receiving the encoded data of metadata (MPU metadata, MF meta, etc.) and the encoded data of the video signal in units of access units (AU) from the HEVC encoder 3, the video MMTP payload generator 4 receives the MPU. A video MMTP payload composed of encoded data of MPU metadata in units, encoded data of MF meta in units of access units (AU), and encoded data (sample data) of video signals is generated (step ST4).
制御情報符号化部5は、音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報を符号化する(ステップST5)。
音声ストリーム及び映像ストリームに関する制御情報として、例えば、MMTで規定されているPAメッセージやMPU時刻情報記述子などを符号化する。
PAメッセージには、上述したように、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。
即ち、PAメッセージには、音声符号化部1及びHEVC符号化部3により生成されたアセット(映像ストリーム、音声ストリーム)を識別するアセットID、アセットの種類を識別するアセットタイプ、各アセットのMPUを構成しているアクセスユニット(AU)の中で、提示順で先頭のアクセスユニット(AU)の提示時刻を示すMPUタイムスタンプ記述子、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDなどが記述されている。
The control information encoding unit 5 encodes the control information regarding the audio stream generated by the
As control information related to an audio stream and a video stream, for example, a PA message or an MPU time information descriptor defined by MMT is encoded.
As described above, in the PA message, information on one or more video components (video streams) and audio components (audio streams) constituting one program (referred to as a package in MMT) is described.
That is, the PA message includes an asset ID for identifying an asset (video stream, audio stream) generated by the
図7はMPU時刻情報記述子を示す説明図である。
MPU時刻情報記述子には、図7に示すように、どのMPUに関連する情報を含むかを識別するためのシーケンス番号(mpu_sequence_number)と、符号化順でMPU先頭のアクセスユニットの復号時刻と提示順でMPU先頭のアクセスユニットの提示時刻の時間差(initial_presentation_time_delay)と、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報を表す単位(timescale)(1/timeslcale秒)、アクセスユニットの単位で提示時刻情報を符号化するか否かを示すフラグ(presentation_time_offset_present_flag)、アクセスユニットの単位で復号時刻情報を符号化するか否かを示すフラグ(decoding_time_offset_present_flag)、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報の符号長(time_offset_length_minus1)などが記述されている。なお、timescale、presentation_time_offset_present_flag、decoding_time_offset_present_flag、time_offset_length_minus1は常に固定値を用いるようにすれば、符号化しなくてもよい。
FIG. 7 is an explanatory diagram showing the MPU time information descriptor.
In the MPU time information descriptor, as shown in FIG. 7, a sequence number (mpu_sequence_number) for identifying which MPU-related information is included, and the decoding time and presentation of the MPU head access unit in coding order The time difference (initial_presentation_time_delay) of the presentation time of the MPU head access unit in order, the unit of presentation time information encoded in the unit of access unit and the display time information (timescale) (1 / timescale second), the unit of access unit A flag (presentation_time_offset_present_flag) indicating whether or not the presentation time information is encoded, and a flag (encoding or not decoding time information is encoded in units of access units) ecoding_time_offset_present_flag), the code length of the presentation time information and display time information encoding in units of access units (time_offset_length_minus1), etc. are described. Note that timescale, presentation_time_offset_present_flag, decoding_time_offset_present_flag, and time_offset_length_minus1 do not have to be encoded if fixed values are always used.
制御MMTPペイロード生成部6は、制御情報符号化部5から制御情報の符号化データを受けると、その制御情報の符号化データからなる制御MMTPペイロードを生成する(ステップST6)。
映像MMTPパケット生成部は、映像MMTPペイロード生成部により生成された映像MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する映像MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。必須ヘッダにはMMTPペイロードに含まれる符号化データの種別に応じて割り当てられるパケットIDなどが含まれる。
When receiving the encoded data of the control information from the control information encoding unit 5, the control MMTP
The video MMTP packet generation unit adds a predetermined MMTP header to the video MMTP payload generated by the video MMTP payload generation unit to generate a video MMTP packet constituting a bit stream. The MMTP header is composed of an essential header including information to be encoded as essential and an extension header including information to be encoded as an option. The essential header includes a packet ID assigned according to the type of encoded data included in the MMTP payload.
拡張ヘッダは、MMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)が含まれる。
提示時刻情報(presentation_time_offset)は、MMTPペイロードに含まれる符号化データのアクセスユニットの提示時刻と提示順でMPU先頭アクセスユニットの提示時刻の差である。
復号時刻情報(decoding_time_offset)は、MMTPペイロードに含まれる符号化データのアクセスユニットの復号時刻と符号化順でMPU先頭アクセスユニットの復号時刻の差である。
なお提示時刻情報(presentation_time_offset)は、復号時刻情報(decoding_time_offset)を復号して算出されるアクセスユニットの復号時刻からの差を符号化するようにしてもよい。
The extension header has a flag value indicating whether to encode information (presentation time information and decoding time information) for calculating a presentation time and a decoding time for each access unit of encoded data included in the MMTP payload. Accordingly, presentation time information (presentation_time_offset) and decoding time information (decoding_time_offset) are included.
The presentation time information (presentation_time_offset) is a difference between the presentation time of the access unit of the encoded data included in the MMTP payload and the presentation time of the MPU head access unit in the presentation order.
The decoding time information (decoding_time_offset) is the difference between the decoding time of the access unit of the encoded data included in the MMTP payload and the decoding time of the MPU head access unit in the encoding order.
The presentation time information (presentation_time_offset) may be encoded as a difference from the decoding time of the access unit calculated by decoding the decoding time information (decoding_time_offset).
音声MMTPパケット生成部8は、音声MMTPペイロード生成部2により生成された音声MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する音声MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。
The voice
制御MMTPパケット生成部10は、制御MMTPペイロード生成部6により生成された制御MMTPペイロードに所定のMMTPヘッダを付与し、ビットストリームを構成する制御MMTPパケットを生成する。
このMMTPパケットを生成する際、所定のMMTPヘッダを付与するが、このMMTPヘッダには、MMTPペイロードに含まれている符号化データの種別に応じて割り当てられるパケットIDが含まれる。
The control MMTP
When this MMTP packet is generated, a predetermined MMTP header is added, and this MMTP header includes a packet ID assigned according to the type of encoded data included in the MMTP payload.
MMTPパケット多重化部7は、音声MMTPパケット生成部8により生成された音声MMTPパケットと、制御MMTPパケット生成部10により生成された制御MMTPパケットと、映像MMTPパケット生成部9により生成された映像MMTPパケットとを多重化してビットストリームを構成する。(ステップST7)
The MMTP packet multiplexing unit 7 includes a voice MMTP packet generated by the voice MMTP
次に復号装置の処理内容を説明する。
MMTPパケット解析部12は、符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力された1以上のアセットを含む1以上のビットストリームを入力して、そのビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得する。
MMTPパケット解析部12は、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ、HEVCピクチャ構造記述子)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。
Next, processing contents of the decoding device will be described.
The MMTP
The MMTP
一方、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する。
また、MMTPパケット解析部12は、制御MMTPペイロード処理部13により復号されたMPU時刻情報記述子に記述されているMPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)の値に応じて、MMTP拡張ヘッダより提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を復号し、MPUタイムスタンプ記述子に記述されている提示順で先頭のアクセスユニット(AU)の提示時刻とMPU時刻情報記述子に記述されている符号化順で先頭のアクセスユニット(AU)の復号時刻とから各アクセスユニット(AU)の提示時刻および復号時刻を算出する処理を実施する。算出された提示時刻および復号時刻は、アクセスユニットに含まれる符号化データの種別に応じて、音声MMTPペイロード処理部15および映像MMTPペイロード処理部19へ出力される。
On the other hand, if the packet ID indicates that the encoded data included in the MMTP payload is an audio signal or a video signal, the MMTP packet is output to the asset separation unit 14.
Further, the MMTP
制御MMTPペイロード処理部13はMMTPパケット解析部12から出力された制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関する情報、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報を復号する。パケットIDやアセットの取得先に関する情報はMMTPパケット解析部へ出力する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関するMPUタイムスタンプ記述子とMPU時刻情報記述子を復号する。
The control MMTP
Further, the control MMTP
In addition, the control MMTP
アセット分離部14は、制御MMTPペイロード処理部13がPAメッセージを復号すると、そのPAメッセージのテーブルに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定する。
When the control MMTP
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力する。
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。
If the MMTP payload included in the MMTP packet output from the MMTP
If the MMTP payload included in the MMTP packet output from the MMTP
音声MMTPペイロード処理部15は、アセット分離部14から音声MMTPペイロードを受けると、その音声MMTPペイロードから音声ストリームのMFU又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する。
音声MMTPペイロードから音声ESを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、音声MMTPペイロード処理部15は、アセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する。
When the audio MMTP
Since the process itself for generating the audio ES from the audio MMTP payload is a known technique, detailed description thereof is omitted.
In addition, the audio MMTP
音声ストリーム復号部17は、MMTPパケット解析部にて復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とMMTPパケット解析部にて復号したPTS(提示時刻)を音声データバッファ18に格納する。
これにより、外部の再生装置(図示せず)は、音声データバッファ18に格納されている音声信号とPTS(提示時刻)を取り出せば、その提示時刻に音声信号を再生することができる。
The audio
Thus, if an external playback device (not shown) takes out the audio signal and the PTS (presentation time) stored in the
映像MMTPペイロード処理部19は、アセット分離部14から映像MMTPペイロードを受けると、その映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する。
映像MMTPペイロードからHEVCエレメンタリーストリームを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、映像MMTPペイロード処理部19は、アセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する。
When the video MMTP
Since the process itself for generating the HEVC elementary stream from the video MMTP payload is a known technique, detailed description thereof is omitted.
In addition, the video MMTP
HEVCES復号部21は、MMTPパケット解析部にて復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とMMTPパケット解析部にて復号したPTS(提示時刻)を復号画像バッファ22に格納する。
これにより、外部の再生装置(図示せず)は、復号画像バッファ22に格納されている復号画像とPTS(提示時刻)を取り出せば、その提示時刻に復号画像を再生することができる。
TemporalIDが0からMのアクセスユニットから構成される時間階層符号化された映像ビットストリームを、TemporalIDが0から(M−1)のアクセスユニットから構成されるビットストリームとTemporalIDがMのアクセスユニットから構成されるビットストリームに分離して、それぞれのビットストリームが異なる伝送路を用いて伝送されるときの処理について説明する。
図12に分離前のビットストリームと分離後のビットストリームの一例を示す。
The
Thus, if an external playback device (not shown) takes out the decoded image and the PTS (presentation time) stored in the decoded
A temporal bitstream-coded video bitstream composed of access units with
FIG. 12 shows an example of the bit stream before separation and the bit stream after separation.
MMTPパケット解析部12は、入力されたビットストリームを構成しているMMTPパケットに含まれている制御MMTPペイロードを制御MMTPペイロード処理部13に出力し、そのビットストリームを構成しているMMTPパケットに含まれている音声MMTPペイロード又は映像MMTPペイロードをアセット分離部14に出力する。
The MMTP
制御MMTPペイロード処理部13は、MMTPパケット解析部12から制御MMTPペイロードを受けると、その制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する(ステップST15)。
制御MMTPペイロード処理部13は、PAメッセージに記述されているアセットに関する情報などから、映像ビットストリームが時間階層符号化されていて、時間階層レベル(TemporalID)によって2以上のアセット(例えばアセット1、アセット2)に分離されてアセットごとに異なる伝送路から取得していること、アセット間の依存関係(アセット2はアセット1と依存関係にあること)などの情報を取得する。
Upon receiving the control MMTP payload from the MMTP
The control MMTP
アセット分離部14は、MMTPパケット解析部12からMMTPパケットを受け取ると、PAメッセージに記述された映像アセットに関する情報に基づいて、パケットIDを参照して、そのMMTPパケットに含まれている映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。例えば映像アセットがアセット1とアセット2から構成されている場合には、それぞれのアセットに関する映像MMTPペイロードが映像MMTPペイロード処理部へ出力される。
When the asset separation unit 14 receives the MMTP packet from the MMTP
映像MMTPペイロード処理部19は、アセット分離部14から2以上の映像アセットに係る映像MMTPペイロードを受けるとそれぞれの映像MMTPペイロードからHEVCエレメンタリーストリームを生成して、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納するとともに、各々の映像MMTPペイロードに含まれているアクセスユニットの復号時刻と提示時刻をHEVCESバッファ20に格納する(ステップST19)。
When the video MMTP
HEVCES復号部21は、例えばアセット1とアセット2の依存関係に基づき、アセット1のアクセスユニットのDTSとアセット2のアクセスユニットのDTSを比較することによって、分離前のHEVCエレメンタリーストリームの符号化順を特定することができ、異なるビットストリームに分離して入力されたHEVCエレメンタリーストリームを正しい復号時刻でHEVCESバッファ20から取り出して、当該アクセスユニット(AU)の映像信号を復号することができる。
The
以上で明らかなように、この実施の形態1によれば、1以上のアクセスユニット(AU)の映像信号が時間階層符号化された場合に、各アクセスユニットの階層レベルに応じて異なるアセットを構成する場合に、各アセットを構成するMPUの単位にMPU時刻情報記述子を符号化し、MPU時刻情報記述子に含まれるMMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、MPUを構成するアクセスユニットの単位に、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を符号化するように構成したので、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる符号化装置、復号装置が得られる効果がある。 As apparent from the above, according to the first embodiment, when video signals of one or more access units (AU) are time-hierarchically encoded, different assets are configured according to the hierarchical level of each access unit. In this case, the MPU time information descriptor is encoded in the unit of MPU constituting each asset, and the presentation time and the decoding time are calculated in the access unit unit of the encoded data included in the MMTP payload included in the MPU time information descriptor. The presentation time information (presentation_time_offset) and the decoding time information (in accordance with the value of a flag indicating whether or not to encode information (presentation time information and decoding time information) for each access unit constituting the MPU decoding_time_offset) is encoded so that the time hierarchy Even when different encoded video bitstreams are configured and transmitted according to the hierarchical level of each access unit, the decoding apparatus re-generates the time-stream encoded bitstream based on the decoding timing of each access unit. There is an effect that an encoding device and a decoding device that can be configured and decoded are obtained.
なお、本願発明はその発明の範囲内において、実施の形態の自由な組み合わせ、あるいは実施の形態の任意の構成要素の変形、もしくは実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, free combination of the embodiments, modification of any component of the embodiment, or omission of any component in the embodiment is possible.
1 音声符号化部、2 音声MMTPペイロード生成部、3 HEVC符号化部(映像符号化手段)、4 映像MMTPペイロード生成部(映像符号化手段)、5 制御情報符号化部(制御情報符号化手段、時刻情報符号化手段)、6 制御MMTPペイロード生成部(制御情報符号化手段)、7 MMTPパケット多重化部(多重化手段)、8 音声MMTPパケット生成部、9 映像MMTPパケット生成部、10 制御MMTPパケット生成部、12 MMTPパケット解析部、13 制御MMTPペイロード処理部(提示時刻算出手段)、14 アセット分離部、15 音声MMTPペイロード処理部、16 音声ESバッファ、17 音声ストリーム復号部、18 音声データバッファ、19 映像MMTPペイロード処理部(映像復号手段)、20 HEVCESバッファ(映像復号手段)、21 HEVCES復号部(映像復号手段)、22 復号画像バッファ(映像復号手段)。
DESCRIPTION OF
Claims (1)
前記映像符号化手段により1以上のアクセスユニットの映像信号がフレーム間予測符号化方式で符号化された場合に、前記1以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニットの集合であるGOP毎に、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、符号化順で先頭のアクセスユニットの復号時刻を示す復号時刻情報とを含む制御情報を符号化して、GOP単位の制御情報の符号化データを出力する制御情報符号化手段と、
前記映像符号化手段から出力された映像信号の符号化データのアクセスユニット単位に、このアクセスユニットの復号時刻と前記符号化順で先頭のアクセスユニットの復号時刻との差を符号化して、時刻情報の符号化データを出力する時刻情報符号化手段と、
前記映像符号化手段から出力された映像信号の符号化データと前記時刻情報符号化手段から出力された時刻情報の符号化データと前記制御情報符号化手段から出力された制御情報の符号化データを多重化し、多重化後の符号化データであるビットストリームを出力する多重化手段と
を備えた符号化装置。 Video encoding means for encoding a video signal in units of video access units and outputting encoded data of the video signal;
A plurality of accesses capable of decoding all of the video signals of the one or more access units when the video signal of the one or more access units is encoded by the interframe predictive encoding method by the video encoding means. Control information including presentation time information indicating the presentation time of the first access unit in the presentation order and decoding time information indicating the decoding time of the first access unit in the encoding order is encoded for each GOP that is a set of units. Control information encoding means for outputting encoded data of control information in GOP units;
For each access unit of encoded data of the video signal output from the video encoding means, the difference between the decoding time of this access unit and the decoding time of the first access unit in the encoding order is encoded to obtain time information Time information encoding means for outputting the encoded data of
The encoded data of the video signal output from the video encoding means, the encoded data of time information output from the time information encoding means, and the encoded data of control information output from the control information encoding means. An encoding apparatus comprising: multiplexing means for multiplexing and outputting a bit stream that is encoded data after multiplexing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112114A JP2015226305A (en) | 2014-05-30 | 2014-05-30 | Encoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112114A JP2015226305A (en) | 2014-05-30 | 2014-05-30 | Encoding device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019152048A Division JP6879344B2 (en) | 2019-08-22 | 2019-08-22 | Decryptor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015226305A true JP2015226305A (en) | 2015-12-14 |
Family
ID=54842769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014112114A Pending JP2015226305A (en) | 2014-05-30 | 2014-05-30 | Encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015226305A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067367B2 (en) | 2018-08-24 | 2022-05-16 | 日本電信電話株式会社 | Video transmission device and video transmission method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007012218A (en) * | 2005-07-01 | 2007-01-18 | Sony Computer Entertainment Inc | Player, video decoder and synchronizing playback method |
JP2007336578A (en) * | 2004-06-02 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
JP2011109665A (en) * | 2009-11-18 | 2011-06-02 | Tektronix Internatl Sales Gmbh | Method and apparatus for multiplexing video elementary stream without coded timing information |
WO2013146571A1 (en) * | 2012-03-28 | 2013-10-03 | 日本放送協会 | Encoding device and decoding device and program for same |
JP2014204340A (en) * | 2013-04-05 | 2014-10-27 | 株式会社東芝 | Electronic apparatus, control method of electronic apparatus and control program of electronic apparatus |
WO2014196189A1 (en) * | 2013-06-05 | 2014-12-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Data decoding method, data decoding apparatus, and data transmitting method |
-
2014
- 2014-05-30 JP JP2014112114A patent/JP2015226305A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336578A (en) * | 2004-06-02 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
JP2007012218A (en) * | 2005-07-01 | 2007-01-18 | Sony Computer Entertainment Inc | Player, video decoder and synchronizing playback method |
JP2011109665A (en) * | 2009-11-18 | 2011-06-02 | Tektronix Internatl Sales Gmbh | Method and apparatus for multiplexing video elementary stream without coded timing information |
WO2013146571A1 (en) * | 2012-03-28 | 2013-10-03 | 日本放送協会 | Encoding device and decoding device and program for same |
JP2014204340A (en) * | 2013-04-05 | 2014-10-27 | 株式会社東芝 | Electronic apparatus, control method of electronic apparatus and control program of electronic apparatus |
WO2014196189A1 (en) * | 2013-06-05 | 2014-12-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Data decoding method, data decoding apparatus, and data transmitting method |
Non-Patent Citations (2)
Title |
---|
大槻一博, 外4名: "MMTを用いたスーパーハイビジョン衛星放送システムにおける制御信号の提案 Proposal of Signaling Informa", 映像情報メディア学会技術報告, vol. Vol.37, No.41, pp.1-4, JPN6017049078, 11 October 2013 (2013-10-11), JP, ISSN: 0003937253 * |
河村 侑輝, 外4名: "MMTにおけるMPEG−2 TSコンテンツ多重方式の検討 A Study on Multiplexing Scheme for MPEG-2", 情報処理学会研究報告, JPN6018048887, 21 February 2014 (2014-02-21), JP, pages 1 - 6, ISSN: 0004039214 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067367B2 (en) | 2018-08-24 | 2022-05-16 | 日本電信電話株式会社 | Video transmission device and video transmission method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7381661B2 (en) | How to send | |
JP5575949B2 (en) | Broadcast data transmission method and apparatus | |
JP7067653B2 (en) | Decoding device | |
JP6344392B2 (en) | Encoding device, encoding method, transmitting device, decoding device, decoding method, and receiving device | |
JP6641344B2 (en) | Encoding device | |
JP7306527B2 (en) | decoding device | |
JP2015226305A (en) | Encoding device | |
JP6825075B2 (en) | Decryptor | |
JP7003308B2 (en) | Decoding device | |
KR101941781B1 (en) | Method and Apparatus for Receiving 8K Broadcasting based on MMT | |
JP6257448B2 (en) | Encoding device, decoding device, encoding method, and decoding method | |
WO2020040085A1 (en) | Video transmission device and video transmission method | |
JP2023076538A (en) | Transmission method, reception method, transmission device, and reception device | |
KR20120058373A (en) | Video transmission and device playing system based on http streaming using svc server | |
JP2016072697A (en) | Reproducing apparatus and broadcasting apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190528 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190822 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200508 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200929 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201027 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201027 |