JP7003308B2 - Decoding device - Google Patents
Decoding device Download PDFInfo
- Publication number
- JP7003308B2 JP7003308B2 JP2021003453A JP2021003453A JP7003308B2 JP 7003308 B2 JP7003308 B2 JP 7003308B2 JP 2021003453 A JP2021003453 A JP 2021003453A JP 2021003453 A JP2021003453 A JP 2021003453A JP 7003308 B2 JP7003308 B2 JP 7003308B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- mmtp
- video
- decoding
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この発明は、映像信号や音声信号を符号化してビットストリームを生成する符号化装置及び符号化方法と、ビットストリームに多重化されている符号化データを復号する復号装置及び復号方法とに関するものである。 The present invention relates to a coding device and a coding method for encoding a video signal or an audio signal to generate a bit stream, and a decoding device and a decoding method for decoding the coded data multiplexed in the bit stream. be.
日本のディジタル放送では、以下の非特許文献1に記載されているように、映像信号や音声信号の符号化データである映像ストリームと音声ストリームは、MPEG-2(Moving Picture Experts Group Phase-2)のシステム規格であるトランスポートストリーム(TS)形式で多重化されて伝送される。このとき、符号化装置は、映像ストリーム及び音声ストリームに関連するメタデータの符号化データについても、映像ストリーム及び音声ストリームと一緒に多重化して伝送する。
In digital broadcasting in Japan, as described in Non-Patent
MPEG-2でのトランスポートストリーム(TS)の他に、MPEGで標準化が進められている新しいトランスポート方式として、MMT(MPEG Media Transport)があり、MMTは、1つのプログラムを構成する1以上の映像コンポーネント(映像ストリーム)と音声コンポーネント(音声ストリーム)を伝送する際、コンポーネント毎に、異なる伝送形態(例えば、放送、通信など)での伝送を可能にしている。 In addition to the transport stream (TS) in MPEG-2, there is MMT (MPEG Media Transmission) as a new transport method that is being standardized by MPEG, and MMT is one or more that constitutes one program. When transmitting a video component (video stream) and an audio component (audio stream), it is possible to transmit in different transmission modes (for example, broadcasting, communication, etc.) for each component.
ここで、HEVC/H.265(以下、「HEVC」と称する)は、MPEG及びITU(International Telecommunication Union)で標準化された新しい映像符号化方式である。
HEVCでは、時間階層符号化(時間方向にスケーラブルな符号化)が導入されており、アクセスユニット(1ピクチャを復号するために必要な符号化データを含む単位)を構成する符号化単位のNAL(Network Abstraction Layer)ユニット毎に階層レベルを指定することができる。
Here, HEVC / H. 265 (hereinafter referred to as "HEVC") is a new video coding method standardized by MPEG and ITU (International Telecommunication Union).
In HEVC, time-hierarchical coding (time-wise scalable coding) has been introduced, and NAL (a unit containing coding data necessary for decoding one picture) is a coding unit. Network Operation Layer) Hierarchical level can be specified for each unit.
図8はHEVCでの時間階層符号化例を示す説明図である。
図8において、TemporalIDは各アクセスユニット(AU)の階層レベルを示す識別情報である。
TemporalID=L0の場合、0の階層だけであるため、時間階層符号化は行われていない。
TemporalID=L1の場合、最大階層が1の階層であり、時間階層符号化が行われている。
同様に、TemporalID=L2,L3の場合、最大階層がそれぞれ2,3の階層であり、時間階層符号化が行われている。
FIG. 8 is an explanatory diagram showing an example of time-hierarchical coding in HEVC.
In FIG. 8, the Temporal ID is identification information indicating the hierarchy level of each access unit (AU).
When TemporalID = L 0 , the time hierarchy coding is not performed because there is only a hierarchy of 0.
When TemporalID = L1, the maximum layer is 1 , and time layer coding is performed.
Similarly, when TemporalID = L2 and L3, the maximum layers are 2 and 3 layers, respectively, and time layer coding is performed.
時間階層符号化の内容は公知であるため詳細な説明を省略するが、時間階層符号化の制約として、符号化対象のアクセスユニット(AU)が有する階層レベルより大きい階層レベルを有するアクセスユニット(AU)は参照することができないというものがある。
なお、HEVCでは、最大階層が6までの参照構造による時間階層符号化が可能である。
Since the content of time-hierarchical coding is known, detailed description thereof will be omitted, but as a limitation of time-hierarchical coding, an access unit (AU) having a hierarchy level higher than that of the access unit (AU) to be encoded has. ) Cannot be referred to.
In HEVC, time-layer coding with a reference structure having a maximum layer of up to 6 is possible.
図9はピクチャ構造の一例を示す説明図である。
図9において、IRAPは、HEVCで規定されているIRAP(Intra random access point)ピクチャのことであり、ビットストリームの途中から復号を開始するときに、表示順でIRAPピクチャ以降のピクチャについては正常に復号されることが保証される。
GOP(Group Of Pictures)は、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化された場合に、前記1以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合である。即ち、符号化順で先頭のアクセスユニット(AU)であるIRAPピクチャと、そのIRAPピクチャに続くアクセスユニット(AU)(IRAPピクチャ以外のピクチャ)との集合である。
また、SOPは、階層レベル0を有し、符号化順で先頭のピクチャと、そのピクチャに続く階層レベル1以上のピクチャの集合である。
1つのシーケンスのビットストリームは、1以上のGOPから構成され、1つのGOPは1以上のSOPから構成される。図9の例では、L3のSOPとL2のSOPからGOPが構成されている。
FIG. 9 is an explanatory diagram showing an example of a picture structure.
In FIG. 9, the IRAP is an IRAP (Intra Random access point) picture defined by HEVC, and when decoding is started from the middle of a bit stream, the pictures after the IRAP picture are normally displayed in the display order. Guaranteed to be decrypted.
GOP (Group Of Pictures) can decode all the video signals of one or more access units when the video signals of one or more access units (AU) are encoded by the interframe prediction coding method. It is a set of a plurality of possible access units (AUs). That is, it is a set of an IRAP picture which is the first access unit (AU) in the coding order and an access unit (AU) (a picture other than the IRAP picture) following the IRAP picture.
Further, the SOP is a set of the first picture in the coding order and the pictures of the
A bitstream of a sequence is composed of one or more GOPs, and one GOP is composed of one or more SOPs. In the example of FIG. 9, the GOP is composed of the SOP of L 3 and the SOP of L 2 .
図10は図9のピクチャ構造で符号化される各ピクチャの符号化順及び表示順を示す説明図である。
先頭のSOPにおいて、符号化順で先頭のアクセスユニット(AU)であるIRAPピクチャに続く各ピクチャは、1つ前のSOPのピクチャを参照画像として符号化されているものである。
このため、IRAPピクチャに続く各ピクチャを正常に復号するには、1つ前のSOPのピクチャを参照する必要があるため、1つ前のSOPのピクチャが既に復号されている必要がある。
よって、先頭のSOPのIRAPピクチャから復号を開始する場合には、1つ前のSOPのピクチャを参照することができない(1つ前のSOPのピクチャが復号されていない)ので、そのIRAPピクチャに続く各ピクチャは、正常に復号を行うことができない。
HEVCでは、符号化順でIRAPピクチャに続くピクチャであって、IRAPピクチャより表示順が早いピクチャはLP(Leading Picutre)と呼ばれ、IRAPピクチャから復号を開始した場合、LPは正常に復号を行うことができない。
なお、IRAPピクチャは、フレーム内符号化方式で符号化されているため、1つ前のSOPのピクチャが復号されていなくても、正常に復号を行うことができる。
FIG. 10 is an explanatory diagram showing a coding order and a display order of each picture encoded by the picture structure of FIG.
In the first SOP, each picture following the IRAP picture which is the first access unit (AU) in the coding order is encoded with the picture of the previous SOP as a reference image.
Therefore, in order to normally decode each picture following the IRAP picture, it is necessary to refer to the picture of the previous SOP, so that the picture of the previous SOP needs to be already decoded.
Therefore, when decoding is started from the IRAP picture of the first SOP, the picture of the previous SOP cannot be referred to (the picture of the previous SOP is not decoded), so that the IRAP picture is used. Each subsequent picture cannot be decrypted normally.
In HEVC, a picture that follows an IRAP picture in the coding order and has a faster display order than the IRAP picture is called LP (Reading Picture), and when decoding is started from the IRAP picture, LP normally decodes. Can't.
Since the IRAP picture is encoded by the in-frame coding method, it can be normally decoded even if the previous SOP picture is not decoded.
例えば、ディジタル放送では、複数のビットストリームが同時に配信され、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられる。
複数のビットストリームには、IRAPピクチャが周期的に挿入されているため、ユーザのチャンネル切替時には、いずれかのIRAPピクチャから復号を開始することで、表示映像を切り替えることができる。
For example, in digital broadcasting, a plurality of bitstreams are delivered at the same time, and the bitstream to be displayed is switched by switching channels by the user.
Since the IRAP picture is periodically inserted into the plurality of bitstreams, the display image can be switched by starting decoding from any of the IRAP pictures when the user channel is switched.
従来の符号化装置は以上のように構成されているので、時間階層符号化を行う場合、最大階層が大きくなるほど、SOPを構成するピクチャの数が多くなる。このため、復号装置がIRAPピクチャから復号を開始する場合、正常に復号を行うことができないLPの数が増加するので、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられる場合、切替後のビットストリームによるピクチャが表示されるまでに多くの時間を要し、何のピクチャも表示されない時間が長くなってしまう課題があった。
即ち、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられた場合、先頭のLP(図10の例では、B25のピクチャ)の表示時刻からIRAPピクチャの表示時刻になるまでの間、何のピクチャも表示されなくなるので、SOPを構成するピクチャの数が多くなるほど、何のピクチャも表示されない時間が長くなってしまう課題があった。
Since the conventional coding device is configured as described above, when time-layer coding is performed, the larger the maximum layer, the larger the number of pictures constituting the SOP. Therefore, when the decoding device starts decoding from the IRAP picture, the number of LPs that cannot be normally decoded increases. Therefore, if the bit stream to be displayed is switched by the channel switching by the user, the bit stream to be displayed is switched after the switching. It takes a lot of time to display a picture by a bitstream, and there is a problem that the time when no picture is displayed becomes long.
That is, when the bit stream to be displayed is switched by the channel switching by the user, what is the period from the display time of the first LP (the picture of B25 in the example of FIG. 10) to the display time of the IRAP picture. Since the pictures are not displayed, there is a problem that the time when no pictures are displayed becomes longer as the number of pictures constituting the SOP increases.
この発明は上記のような課題を解決するためになされたもので、ユーザによりチャンネルが切り替えられたときに何のピクチャも表示されない時間を無くして、シームレスなチャンネル切替を実現することができる符号化装置、復号装置、符号化方法及び復号方法を得ることを目的とする。 The present invention has been made to solve the above-mentioned problems, and it is possible to realize seamless channel switching by eliminating the time when no picture is displayed when the channel is switched by the user. It is an object of the present invention to obtain an apparatus, a decoding apparatus, a coding method and a decoding method.
この発明に係る復号装置は、MMT(MPEG Media Transport)が規定する伝送方式で伝送される映像信号の符号化データを復号する復号装置であって、符号化データに含まれる制御情報であるPAメッセージから、フレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるGOPにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報から符号化順で先頭のアクセスユニットの提示時刻を算出するための情報と、を得る制御情報復号手段と、制御情報復号手段が取得した、提示順で先頭のアクセスユニットの提示時刻情報と、符号化順で先頭のアクセスユニットの提示時刻を算出するための情報とを用いて、符号化データに含まれる映像信号を復号する復号手段とを備えたものである。 The decoding device according to the present invention is a decoding device that decodes coded data of a video signal transmitted by a transmission method defined by MMT (MPEG Media Transport), and is a PA message that is control information included in the coded data. Therefore, in the GOP, which is a set of a plurality of access units encoded by the inter-frame predictive coding method, the presentation time information indicating the presentation time of the first access unit in the presentation order and the presentation of the first access unit in the presentation order. The control information decoding means for obtaining the information for calculating the presentation time of the first access unit in the coding order from the presentation time information indicating the time, and the control information decoding means acquired by the control information decoding means for the first access unit in the presentation order. It is provided with a decoding means for decoding a video signal included in the coded data by using the presentation time information and information for calculating the presentation time of the first access unit in the coding order.
この発明によれば、MMT(MPEG Media Transport)が規定する伝送方式で伝送される映像信号の符号化データを復号する復号装置であって、符号化データに含まれる制御情報であるPAメッセージから、フレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるGOPにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報から符号化順で先頭のアクセスユニットの提示時刻を算出するための情報と、を得る制御情報復号手段と、制御情報復号手段が取得した、提示順で先頭のアクセスユニットの提示時刻情報と、符号化順で先頭のアクセスユニットの提示時刻を算出するための情報とを用いて、符号化データに含まれる映像信号を復号する復号手段とを備えたので、ユーザによりチャンネルが切り替えられたときに何のピクチャも表示されない時間を無くして、シームレスなチャンネル切替を実現することができる効果がある。 According to the present invention, it is a decoding device that decodes coded data of a video signal transmitted by a transmission method defined by MMT (MPEG Media Transport), and from a PA message that is control information included in the coded data. In GOP, which is a set of multiple access units encoded by the inter-frame predictive coding method, the presentation time information indicating the presentation time of the first access unit in the presentation order and the presentation time of the first access unit in the presentation order are displayed. The control information decoding means for obtaining the information for calculating the presentation time of the first access unit in the coding order from the presentation time information shown, and the presentation time of the first access unit in the presentation order acquired by the control information decoding means. Since it is provided with a decoding means for decoding the video signal included in the coded data by using the information and the information for calculating the presentation time of the first access unit in the coding order, the channel can be switched by the user. There is an effect that seamless channel switching can be realized by eliminating the time when no picture is displayed at the time.
実施の形態1.
図1はこの発明の実施の形態1による符号化装置を示す構成図である。
図1において、音声符号化部1はディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG-4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する処理を実施する。
音声MMTPペイロード生成部2は音声符号化部1により符号化されたメタデータとアクセスユニット(AU)単位の音声信号の符号化データからなる音声MMTPペイロードを生成する処理を実施する。
FIG. 1 is a block diagram showing a coding device according to the first embodiment of the present invention.
In FIG. 1, when a digital voice signal is given, the
The voice MMTP
HEVC符号化部3はディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する処理を実施する。
映像MMTPペイロード生成部4はHEVC符号化部3により符号化されたメタデータとアクセスユニット(AU)単位の映像信号の符号化データからなる映像MMTPペイロードを生成する処理を実施する。なお、HEVC符号化部3及び映像MMTPペイロード生成部4から映像符号化手段が構成されている。
ここで、音声ストリームや映像ストリームに関するメタデータとして、例えば、各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)などを示す時刻情報を記述することができる。
When a digital video signal is given, the HEVC coding unit 3 encodes the video signal in the video access unit (AU) unit by the HEVC method, and generates a video stream which is encoded data of the video signal. At the same time, a process of encoding the metadata related to the video stream is performed.
The video MMTP
Here, as metadata related to the audio stream and the video stream, for example, time information indicating DTS (decoding time), PTS (presentation time), etc. of each access unit (AU) can be described.
制御情報符号化部5は音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報として、MMTで規定されているPAメッセージと呼ばれる制御情報を符号化する処理を実施する。
PAメッセージには、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。MMTでは、映像コンポーネント及び音声コンポーネントがアセットと呼ばれる。
具体的には、アセットを識別するアセットID、アセットの種類(HEVC形式の映像ストリームやMPEG-4 オーディオ形式の音声ストリームなどの種類)を識別するアセットタイプ、各アセットのMPU(Media Processing Unit)を構成しているアクセスユニット(AU)の中で、提示順(表示順)で先頭のアクセスユニット(AU)の提示時刻(表示時刻)を示すMPUタイムスタンプ記述子(提示時刻情報)、HEVCピクチャ構造記述子、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDなどが、パッケージを構成するアセットの数分だけPAメッセージに含まれている。
なお、MPUは、1以上のアクセスユニット(AU)から構成されており、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。
The control information coding unit 5 encodes control information called a PA message defined by the MMT as control information regarding the voice stream generated by the
The PA message describes information about one or more video components (video streams) and audio components (audio streams) that make up one program (referred to as a package in MMT). In MMT, video and audio components are called assets.
Specifically, the asset ID that identifies the asset, the asset type that identifies the asset type (type such as a video stream in HEVC format or the audio stream in MPEG-4 audio format), and the MPU (Media Processing Unit) of each asset. MPU time stamp descriptor (presentation time information) indicating the presentation time (display time) of the first access unit (AU) in the presentation order (display order) among the configured access units (AU), HEVC picture structure. A descriptor, a packet ID indicating an MMTP packet storing encoded data and metadata of each asset, and the like are included in the PA message for the number of assets constituting the package.
The MPU is composed of one or more access units (AUs), and is a unit capable of performing video and audio decoding processing by the MPU alone. Further, when the video signals of one or more access units (AU) are encoded by the interframe prediction coding method, the MPU decodes all the video signals of the one or more access units (AU). It is the same unit as GOP, which is a set of multiple access units (AU) that can be used.
HEVCピクチャ構造記述子には、MPUを構成しているアクセスユニット(AU)の中で、符号化順で先頭のアクセスユニット(AU)より提示順が早いアクセスユニット(AU)の個数(LPの枚数)を示す個数情報(num_of_leading_picture)、符号化順で先頭のアクセスユニット(AU)を構成しているNALユニット(ナルユニット)の符号化方式を示すピクチャタイプ情報(rap_type)、LPを構成しているNALユニットの符号化方式を示すピクチャタイプ情報(nal_unit_type_of_leading_picture)などが記述されている。 In the HEVC picture structure descriptor, the number of access units (AU) (number of LPs) whose presentation order is earlier than that of the first access unit (AU) in the coding order among the access units (AU) constituting the MPU. ), Picture type information (rap_type) indicating the coding method of the NAL unit (null unit) constituting the first access unit (AU) in the coding order, and LP. Picture type information (nal_unit_type_of_reading_picture) indicating the coding method of the NAL unit and the like are described.
制御MMTPペイロード生成部6は制御情報符号化部5により符号化された制御情報の符号化データからなる制御MMTPペイロードを生成する処理を実施する。
なお、制御情報符号化部5及び制御MMTPペイロード生成部6から制御情報符号化手段が構成されている。
The control MMTP
The control information coding unit 5 and the control MMTP
MMTPパケット生成部7は音声MMTPペイロード生成部2により生成された音声MMTPペイロードと、映像MMTPペイロード生成部4により生成された映像MMTPペイロードと、制御MMTPペイロード生成部6により生成された制御MMTPペイロードとを多重化して、ビットストリームを構成するMMTPパケットを生成する処理を実施する。このMMTPパケットを生成する際、所定のMMTPヘッダを付与するが、このMMTPヘッダには、MMTPペイロードに含まれている符号化データの種別に応じて割り当てられるパケットIDが含まれる。なお、MMTPパケット生成部7は多重化手段を構成している。
The MMTP packet generation unit 7 includes a voice MMTP payload generated by the voice MMTP
図1の例では、符号化装置の構成要素である音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及びMMTPパケット生成部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、符号化装置がコンピュータで構成されていてもよい。
符号化装置をコンピュータで構成する場合、音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及びMMTPパケット生成部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による符号化装置の処理内容(符号化方法)を示すフローチャートである。
In the example of FIG. 1, a
When the coding device is configured by a computer, the
FIG. 2 is a flowchart showing the processing content (coding method) of the coding apparatus according to the first embodiment of the present invention.
図3はこの発明の実施の形態1による復号装置を示す構成図である。
図3において、ストリーム選択部11は複数の符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力されたビットストリーム(MMTPパケットからなるビットストリーム)の中から、提示対象のビットストリームを選択して、そのビットストリームをMMTPパケット解析部12に出力する処理を実施する。
また、ストリーム選択部11は提示対象のビットストリームを切り替える指令が与えられた場合、複数の符号化装置から出力されたビットストリームの中から、切替後のビットストリームを選択して、当該ビットストリームをMMTPパケット解析部12に出力するとともに、制御MMTPペイロード処理部13により算出された提示時刻になるまでの間、切替前のビットストリームも引き続きMMTPパケット解析部12に出力する処理を実施する。なお、ストリーム選択部11はビットストリーム選択手段を構成している。
FIG. 3 is a block diagram showing a decoding device according to the first embodiment of the present invention.
In FIG. 3, the
Further, when a command for switching the bitstream to be presented is given, the
MMTPパケット解析部12はストリーム選択部11から出力されたビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得し、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ、HEVCピクチャ構造記述子)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。一方、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する処理を実施する。
The MMTP
制御MMTPペイロード処理部13はMMTPパケット解析部12から出力された制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージ及びPAメッセージに含まれているHEVCピクチャ構造記述子を復号する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているMPUタイムスタンプ記述子が示す提示順で先頭のアクセスユニット(AU)の提示時刻と、HEVCピクチャ構造記述子に記述されている個数情報(num_of_leading_picture)が示す符号化順で先頭のアクセスユニット(AU)より提示順が早いアクセスユニット(AU)の個数(LPの枚数)とから、符号化順で先頭のアクセスユニット(AU)の提示時刻を算出する処理を実施する。符号化順で先頭のアクセスユニット(AU)は、先頭のSOPのIRAPピクチャである。なお、制御MMTPペイロード処理部13は提示時刻算出手段を構成している。
The control MMTP
Further, the control MMTP
アセット分離部14は制御MMTPペイロード処理部13により復号されたPAメッセージに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定し、音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力し、映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する処理を実施する。
The asset separation unit 14 is included in the MMTP packet output from the MMTP
音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードから音声ストリームのMFU(Media Fragment Unit)又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する処理を実施する。MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)または1NALユニットを1MFUと定義することができる。
また、音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する処理を実施する。
音声ESバッファ16は音声ES及びメタデータを一時的に格納するメモリである。
The audio MMTP
Further, the audio MMTP
The
音声ストリーム復号部17は音声ESバッファ16からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する処理を実施する。
また、音声ストリーム復号部17は各アクセスユニット(AU)のDTS(復号時刻)になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納する処理を実施する。
音声データバッファ18は音声ストリーム復号部17により復号された音声信号とPTS(提示時刻)を一時的に格納するメモリである。
The voice
Further, when the DTS (decoding time) of each access unit (AU) is reached, the audio
The
映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する処理を実施する。
また、映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する処理を実施する。
HEVCESバッファ20はHEVCエレメンタリーストリーム及びメタデータを一時的に格納するメモリである。
The video MMTP
Further, the video MMTP
The
HEVCES復号部21はHEVCESバッファ20からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する処理を実施する。
また、HEVCES復号部21は各アクセスユニット(AU)のDTS(復号時刻)になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する処理を実施する。
復号画像バッファ22はHEVCES復号部21により復号された各アクセスユニット(AU)の復号画像とPTS(提示時刻)を一時的に格納するメモリである。
なお、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22から映像復号手段が構成されている。
The
Further, when the DTS (decoding time) of each access unit (AU) is reached, the
The decoded
The video decoding means is composed of the video MMTP
図3の例では、復号装置の構成要素であるストリーム選択部11、MMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ESバッファ16、音声ストリーム復号部17、音声データバッファ18、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22のそれぞれが専用のハードウェア(バッファ以外は、例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、復号装置がコンピュータで構成されていてもよい。
復号装置をコンピュータで構成する場合、音声ESバッファ16、音声データバッファ18、HEVCESバッファ20及び復号画像バッファ22をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、ストリーム選択部11、MMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ストリーム復号部17、映像MMTPペイロード処理部19及びHEVCES復号部21の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図4はこの発明の実施の形態1による復号装置の処理内容(復号方法)を示すフローチャートである。
In the example of FIG. 3, a
When the decoding device is configured by a computer, the
FIG. 4 is a flowchart showing the processing content (decoding method) of the decoding apparatus according to the first embodiment of the present invention.
次に動作について説明する。
最初の符号化装置の処理内容を説明する。
音声符号化部1は、ディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG-4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する(図2のステップST1)。
HEVC符号化部3は、ディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する(ステップST2)。
Next, the operation will be described.
The processing contents of the first coding device will be described.
When a digital voice signal is given, the
When a digital video signal is given, the HEVC coding unit 3 encodes the video signal in the video access unit (AU) unit by the HEVC method, and generates a video stream which is the coded data of the video signal. At the same time, the metadata related to the video stream is encoded (step ST2).
ここで、図5はMMTでビットストリームを伝送する場合の符号化データの概要を示す説明図である。
図5において、アクセスユニット(AU)は、映像であれば、1ピクチャを復号するために必要な符号化データを含む単位であり、音声であれば、符号化単位となる1以上のサンプルから構成されるフレームである。
NALユニットはHEVCの符号化単位であり、1アクセスユニット(AU)は、1以上のNALユニットから構成される。
MPUは、1以上のアクセスユニットから構成され、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。
MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)又は1NALユニットを1MFUと定義することができる。
Here, FIG. 5 is an explanatory diagram showing an outline of coded data when a bit stream is transmitted by MMT.
In FIG. 5, the access unit (AU) is a unit including coding data necessary for decoding one picture in the case of video, and is composed of one or more samples serving as a coding unit in the case of audio. It is a frame to be done.
The NAL unit is a coding unit of HEVC, and one access unit (AU) is composed of one or more NAL units.
The MPU is composed of one or more access units, and is a unit capable of performing video and audio decoding processing by the MPU alone. Further, when the video signals of one or more access units (AU) are encoded by the interframe prediction coding method, the MPU decodes all the video signals of the one or more access units (AU). It is the same unit as GOP, which is a set of multiple access units (AU) that can be used.
An MFU is a unit smaller than an MPU, and one access unit (AU) or one NAL unit can be defined as one MFU.
図6はMPUの構成例を示す説明図である。
図6において、MPUメタデータは、MPUに関連するメタデータが記述されるものであり、MPUに含まれる各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す時刻情報などを記述することができる。
ムービーフラグメントメタデータ(MFメタ)は、1アクセスユニット(AU)の符号化データ(サンプルデータ)に付随するメタデータが記述されるものである。例えば、アクセスユニット(AU)の符号化データがファイル形式で格納される場合、アクセスユニット(AU)毎に、符号化データが格納されているアドレスや符号化データのデータ長、当該アクセスユニット(AU)の提示時刻に関する情報が含まれる。
MPUメタデータ、ムービーフラグメントメタデータ、MFU及びMMTの制御情報は、MMTPパケット化されて伝送される。MMTPパケットはMMTPヘッダとMMTPペイロードから構成される。
FIG. 6 is an explanatory diagram showing a configuration example of the MPU.
In FIG. 6, the MPU metadata describes metadata related to the MPU, such as time information indicating the DTS (decoding time) and PTS (presentation time) of each access unit (AU) included in the MPU. Can be described.
The movie fragment metadata (MF meta) describes the metadata attached to the coded data (sample data) of one access unit (AU). For example, when the coded data of the access unit (AU) is stored in a file format, the address where the coded data is stored, the data length of the coded data, and the access unit (AU) are stored for each access unit (AU). ) Contains information about the presentation time.
MPU metadata, movie fragment metadata, MFU and MMT control information are transmitted in MMTP packets. An MMTP packet consists of an MMTP header and an MMTP payload.
音声MMTPペイロード生成部2は、音声符号化部1からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の音声信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び音声信号の符号化データ(サンプルデータ)からなる音声MMTPペイロードを生成する(ステップST3)。
映像MMTPペイロード生成部4は、HEVC符号化部3からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の映像信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び映像信号の符号化データ(サンプルデータ)からなる映像MMTPペイロードを生成する(ステップST4)。
When the voice MMTP
When the video MMTP
制御情報符号化部5は、音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報を符号化する(ステップST5)。
音声ストリーム及び映像ストリームに関する制御情報として、例えば、MMTで規定されているPAメッセージやHEVCピクチャ構造記述子などを符号化する。
PAメッセージには、上述したように、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。
即ち、PAメッセージには、音声符号化部1及びHEVC符号化部3により生成されたアセット(映像ストリーム、音声ストリーム)を識別するアセットID、アセットの種類を識別するアセットタイプ、各アセットのMPUを構成しているアクセスユニット(AU)の中で、提示順で先頭のアクセスユニット(AU)の提示時刻を示すMPUタイムスタンプ記述子、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDなどが記述されている。
The control information coding unit 5 encodes control information regarding the audio stream generated by the
As control information related to the audio stream and the video stream, for example, a PA message defined by MMT, a HEVC picture structure descriptor, or the like is encoded.
As described above, the PA message describes information about one or more video components (video stream) and audio components (audio stream) constituting one program (referred to as a package in MMT).
That is, in the PA message, the asset ID that identifies the assets (video stream, audio stream) generated by the
図7はHEVCピクチャ構造記述子を示す説明図である。
HEVCピクチャ構造記述子には、図7に示すように、MPUを構成しているアクセスユニット(AU)の中で、符号化順で先頭のアクセスユニット(AU)より提示順が早いアクセスユニット(AU)の個数(LPの枚数)を示す個数情報(num_of_leading_picture)が記述されている。
また、符号化順で先頭のアクセスユニット(AU)を構成しているNALユニットの符号化方式を示すピクチャタイプ情報(rap_type)や、LPを構成しているNALユニットの符号化方式を示すピクチャタイプ情報(nal_unit_type_of_leading_picture)などが記述されている。
FIG. 7 is an explanatory diagram showing a HEVC picture structure descriptor.
As shown in FIG. 7, the HEVC picture structure descriptor includes an access unit (AU) having an earlier presentation order than the first access unit (AU) in the coding order among the access units (AU) constituting the MPU. ) Number information (num_of_reading_texture) indicating the number (number of LPs) is described.
Further, the picture type information (rap_type) indicating the coding method of the NAL unit constituting the first access unit (AU) in the coding order and the picture type indicating the coding method of the NAL unit constituting the LP. Information (nal_unit_type_of_reading_code) and the like are described.
制御MMTPペイロード生成部6は、制御情報符号化部5から制御情報の符号化データを受けると、その制御情報の符号化データからなる制御MMTPペイロードを生成する(ステップST6)。
MMTPパケット生成部7は、音声MMTPペイロード生成部2により生成された音声MMTPペイロードと、映像MMTPペイロード生成部4により生成された映像MMTPペイロードと、制御MMTPペイロード生成部6により生成された制御MMTPペイロードとを多重化して、ビットストリームを構成するMMTPパケットを生成する(ステップST7)。
このMMTPパケットを生成する際、所定のMMTPヘッダを付与するが、このMMTPヘッダには、MMTPペイロードに含まれている符号化データの種別に応じて割り当てられるパケットIDが含まれる。
When the control MMTP
The MMTP packet generation unit 7 includes an audio MMTP payload generated by the audio MMTP
When the MMTP packet is generated, a predetermined MMTP header is added, and the MMTP header includes a packet ID assigned according to the type of coded data included in the MMTP payload.
次に復号装置の処理内容を説明する。
ストリーム選択部11は、複数の符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力されたビットストリーム(MMTPパケットからなるビットストリーム)が与えられる。
ストリーム選択部11は、複数のビットストリームの中から、ユーザにより指定されたチャンネルのビットストリーム(提示対象のビットストリーム)を選択して、そのビットストリームをMMTPパケット解析部12に出力する。
Next, the processing contents of the decoding device will be described.
The
The
MMTPパケット解析部12は、ストリーム選択部11からビットストリームを受けると、そのビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得する。
MMTPパケット解析部12は、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。
一方、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する。
When the MMTP
If the packet ID indicates that the coded data included in the MMTP payload is control information (PA message), the MMTP
On the other hand, if the packet ID indicates that the coded data included in the MMTP payload is an audio signal or a video signal, the MMTP packet is output to the asset separation unit 14.
制御MMTPペイロード処理部13は、MMTPパケット解析部12から制御MMTPペイロードを受けると、その制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージ及びPAメッセージに含まれるHEVCピクチャ構造記述子を復号する。
When the control MMTP
アセット分離部14は、制御MMTPペイロード処理部13がPAメッセージを復号すると、そのPAメッセージに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定する。
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力する。
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。
When the control MMTP
If the MMTP payload contained in the MMTP packet output from the MMTP
If the MMTP payload contained in the MMTP packet output from the MMTP
音声MMTPペイロード処理部15は、アセット分離部14から音声MMTPペイロードを受けると、その音声MMTPペイロードから音声ストリームのMFU又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する。
音声MMTPペイロードから音声ESを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、音声MMTPペイロード処理部15は、アセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する。
When the audio MMTP
Since the process itself of generating the voice ES from the voice MMTP payload is a known technique, detailed description thereof will be omitted.
Further, the audio MMTP
音声ストリーム復号部17は、音声ESバッファ16からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する。
音声ストリーム復号部17は、復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納する。
これにより、外部の再生装置(図示せず)は、音声データバッファ18に格納されている音声信号とPTS(提示時刻)を取り出せば、その提示時刻に音声信号を再生することができる。
The voice
The audio
As a result, the external playback device (not shown) can reproduce the voice signal at the presentation time by taking out the voice signal and the PTS (presentation time) stored in the
映像MMTPペイロード処理部19は、アセット分離部14から映像MMTPペイロードを受けると、その映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する。
映像MMTPペイロードからHEVCエレメンタリーストリームを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、映像MMTPペイロード処理部19は、アセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する。
When the video MMTP
Since the process itself for generating the HEVC elemental stream from the video MMTP payload is a known technique, detailed description thereof will be omitted.
Further, the video MMTP
HEVCES復号部21は、HEVCESバッファ20からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する。
HEVCES復号部21は、復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する。
これにより、外部の再生装置(図示せず)は、復号画像バッファ22に格納されている復号画像とPTS(提示時刻)を取り出せば、その提示時刻に復号画像を再生することができる。
The
The
As a result, if an external playback device (not shown) takes out the decoded image and the PTS (presentation time) stored in the decoded
外部の再生装置(図示せず)が復号画像と音声信号を再生しているとき、ユーザがリモコン等を用いて、チャンネルを切り替える操作を行うと、提示対象の映像ストリームを切り替える指令(この切替指令には、切替後のチャンネルを示す情報が含まれている)がストリーム選択部11に与えられる。
ストリーム選択部11は、外部からチャンネルの切替指令を受けると(図4のステップST11:Yesの場合)、複数のビットストリームの中から、その切替指令が示す切替後のチャンネルのビットストリームを選択して、そのビットストリームをMMTPパケット解析部12に出力する(ステップST12)。
また、ストリーム選択部11は、ユーザによりチャンネルが切り替えられたときに何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現するために、制御MMTPペイロード処理部13からビットストリームの出力停止指令を受けるまでの間(ステップST13:Noの場合)、切替前のチャンネルのビットストリームも引き続きMMTPパケット解析部12に出力する(ステップST14)。ビットストリームの出力停止指令は、後述するように、現在時刻が符号化順で先頭のアクセスユニット(AU)の提示時刻になると出力される。
ストリーム選択部11は、制御MMTPペイロード処理部13からビットストリームの出力停止指令を受けると、切替前のチャンネルのビットストリームの出力を停止して、切替後のチャンネルのビットストリームだけをMMTPパケット解析部12に出力する。
When an external playback device (not shown) is playing a decoded image and an audio signal and the user performs an operation to switch channels using a remote controller or the like, a command to switch the video stream to be presented (this switching command). Contains information indicating the channel after switching) is given to the
When the
Further, the
When the
MMTPパケット解析部12は、ストリーム選択部11から切替後のチャンネルのビットストリームを受けると、チャンネルの切替前と同様に、そのビットストリームを構成しているMMTPパケットに含まれている制御MMTPペイロードを制御MMTPペイロード処理部13に出力し、そのビットストリームを構成しているMMTPパケットに含まれている音声MMTPペイロード又は映像MMTPペイロードをアセット分離部14に出力する。
また、MMTPパケット解析部12は、ストリーム選択部11から切替前のチャンネルのビットストリームを受けると、切替後のチャンネルのビットストリームに対する処理と並列の処理で、切替前のチャンネルのビットストリームを構成しているMMTPパケットに含まれている制御MMTPペイロードを制御MMTPペイロード処理部13に出力し、そのビットストリームを構成しているMMTPパケットに含まれている音声MMTPペイロード又は映像MMTPペイロードをアセット分離部14に出力する。
When the MMTP
Further, when the MMTP
制御MMTPペイロード処理部13は、MMTPパケット解析部12から切替後のチャンネルのビットストリームに係る制御MMTPペイロードを受けると、チャンネルの切替前と同様に、その制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージ及びPAメッセージに含まれるHEVCピクチャ構造記述子を復号する(ステップST15)。
制御MMTPペイロード処理部13は、PAメッセージ及びPAメッセージに含まれるHEVCピクチャ構造記述子を復号すると、そのPAメッセージに記述されているMPUタイムスタンプ記述子が示す提示順で先頭のアクセスユニット(AU)の提示時刻と、HEVCピクチャ構造記述子に記述されている個数情報(num_of_leading_picture)が示す符号化順で先頭のアクセスユニット(AU)より提示順が早いアクセスユニット(AU)の個数(LPの枚数)とから、符号化順で先頭のアクセスユニット(AU)の提示時刻を算出する(ステップST16)。
When the control MMTP
When the control MMTP
図10の例では、符号化順で先頭のアクセスユニット(AU)はIRAP32であり、提示順で先頭のアクセスユニット(AU)はB25である。また、IRAP32より提示順が早いアクセスユニット(AU)の個数(LPの枚数)は7個である。
したがって、提示順で先頭のアクセスユニット(AU)であるB25の提示時刻が、例えば、18時00分00秒であり、フレームレートが120枚/1秒であれば、IRAP32の提示時刻は、B25の提示時刻(18時00分00秒)の58msec(=7/120)後になる。
制御MMTPペイロード処理部13は、現在時刻が符号化順で先頭のアクセスユニット(AU)の提示時刻になると(ステップST17:Yesの場合)、切替前のチャンネルのビットストリームの出力停止指令をストリーム選択部11に出力する(ステップST18)。
In the example of FIG. 10, the first access unit (AU) in the coding order is IRAP32, and the first access unit (AU) in the presentation order is B25. Further, the number of access units (AU) (the number of LPs) whose presentation order is earlier than that of IRAP32 is 7.
Therefore, if the presentation time of B25, which is the first access unit (AU) in the presentation order, is, for example, 18:00:00 and the frame rate is 120 frames / second, the presentation time of IRAP32 is B25. It will be 58 msec (= 7/120) after the presentation time (18:00:00).
When the current time reaches the presentation time of the first access unit (AU) in the coding order (in the case of step ST17: Yes), the control MMTP
アセット分離部14は、MMTPパケット解析部12から切替後のチャンネルに係るMMTPパケットを受けると、チャンネルの切替前と同様に、そのMMTPパケットに含まれている音声MMTPペイロードを音声MMTPペイロード処理部15に出力し、そのMMTPパケットに含まれている映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。
また、アセット分離部14は、MMTPパケット解析部12から切替前のチャンネルに係るMMTPパケットを受けると、切替後のチャンネルのビットストリームに対する処理と並列の処理で、切替前のチャンネルに係るMMTPパケットに含まれている音声MMTPペイロードを音声MMTPペイロード処理部15に出力し、そのMMTPパケットに含まれている映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。
When the asset separation unit 14 receives the MMTP packet related to the channel after switching from the MMTP
Further, when the asset separation unit 14 receives the MMTP packet related to the channel before switching from the MMTP
映像MMTPペイロード処理部19は、アセット分離部14から切替前のチャンネルに係る映像MMTPペイロードを受けると(現在時刻が提示順で先頭のアクセスユニット(AU)の提示時刻になる前)、チャンネルの切替前と同様に、その映像MMTPペイロードからHEVCエレメンタリーストリームを生成して、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納するとともに、その映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する(ステップST19)。
また、映像MMTPペイロード処理部19は、アセット分離部14から切替後のチャンネルに係る映像MMTPペイロードを受けると、切替前のチャンネルのビットストリームに対する処理と並列の処理で、切替後のチャンネルに係る映像MMTPペイロードからHEVCエレメンタリーストリームを生成して、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納するとともに、その映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する(ステップST20)。
When the video MMTP
Further, when the video MMTP
HEVCES復号部21は、チャンネルの切替前と同様に、HEVCESバッファ20からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する。
これにより、HEVCES復号部21は、復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握するが、切替後のチャンネルについては、IRAPが最初に復号することが可能なアクセスユニット(AU)であり(図10のGOP構成では、IRAP32のアクセスユニット(AU))、IRAPより提示順が早いLPのアクセスユニット(AU)の映像信号を復号することができない。このため、切替後のチャンネルについては、IRAPの提示時刻になるまでの間、どのアクセスユニット(AU)の映像信号も復号して表示することができない。
The
As a result, the
そこで、HEVCES復号部21は、切替後のチャンネルに係るIRAPの提示時刻になるまでの間、切替前のチャンネルに係るアクセスユニット(AU)の映像信号を復号して、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する。
これにより、外部の再生装置(図示せず)は、切替後のチャンネルに係るIRAPの提示時刻になるまでの間、切替前のチャンネルに係る復号画像を再生することができる。
したがって、ユーザによりチャンネルが切り替えられたときに何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる。
Therefore, the
As a result, the external playback device (not shown) can reproduce the decoded image related to the channel before switching until the presentation time of IRAP related to the channel after switching is reached.
Therefore, it is possible to realize seamless channel switching by eliminating the time when no decoded image is displayed when the channel is switched by the user.
音声MMTPペイロード処理部15は、アセット分離部14から切替前のチャンネルに係る音声MMTPペイロードを受けると(現在時刻が提示順で先頭のアクセスユニット(AU)の提示時刻になる前)、チャンネルの切替前と同様に、その音声MMTPペイロードから音声ESを生成して、その音声ESを音声ESバッファ16に格納するとともに、その音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する。
また、音声MMTPペイロード処理部15は、アセット分離部14から切替後のチャンネルに係る音声MMTPペイロードを受けると、切替前のチャンネルのビットストリームに対する処理と並列の処理で、切替後のチャンネルに係る音声MMTPペイロードから音声ESを生成して、その音声ESを音声ESバッファ16に格納するとともに、その音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する。
When the voice MMTP
Further, when the voice MMTP
音声ストリーム復号部17は、チャンネルの切替前と同様に、音声ESバッファ16からメタデータを取り出して、そのメタデータに記述されている時刻情報(各アクセスユニット(AU)のDTS(復号時刻)やPTS(提示時刻)を示す情報)を復号する。
音声ストリーム復号部17は、復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納する。
これにより、外部の再生装置(図示せず)は、音声データバッファ18に格納されている音声信号とPTS(提示時刻)を取り出せば、その提示時刻に音声信号を再生することができる。
The voice
The audio
As a result, the external playback device (not shown) can reproduce the voice signal at the presentation time by taking out the voice signal and the PTS (presentation time) stored in the
ここでは、音声ストリーム復号部17が、HEVCES復号部21と同様に、切替後のチャンネルに係るIRAPの提示時刻になるまでの間は、切替前のチャンネルに係るアクセスユニット(AU)の音声信号を復号して、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納することを想定しているが、音声信号については、映像信号のようにフレーム間予測符号化方式で符号化されないため、IRAPより提示順が早いLPのアクセスユニット(AU)の音声信号も復号することができる。このため、切替後のチャンネルに係るIRAPの提示時刻になるまでの間であっても、切替前のチャンネルに係るアクセスユニット(AU)の音声信号を復号せずに、切替後のチャンネルに係るアクセスユニット(AU)の音声信号を復号するようにしてもよい。
Here, like the
復号装置では、復号処理を終了するまで、ステップST11~ST20の処理を繰り返し実施する(ステップST21)。 In the decoding device, the processes of steps ST11 to ST20 are repeatedly executed until the decoding process is completed (step ST21).
以上で明らかなように、この実施の形態1によれば、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化された場合に、1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOP毎に、提示順で先頭のアクセスユニット(AU)の提示時刻を示す提示時刻情報と、符号化順で先頭のアクセスユニット(AU)より提示順が早いアクセスユニット(AU)の個数を示す個数情報とを含む制御情報を符号化するように構成したので、復号側において、ユーザによりチャンネルが切り替えられたときに、何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる可能な符号化装置が得られる効果がある。 As is clear from the above, according to the first embodiment, when the video signals of one or more access units (AU) are encoded by the inter-frame predictive coding method, one or more access units (AU). For each GOP, which is a set of a plurality of access units (AUs) capable of decoding all of the video signals of the above, the presentation time information indicating the presentation time of the first access unit (AU) in the presentation order and the coding order. Since the control information including the number information indicating the number of access units (AU) whose presentation order is earlier than that of the first access unit (AU) is encoded in, the channel is switched by the user on the decoding side. Occasionally, there is an effect of obtaining a coding device capable of realizing seamless channel switching by eliminating the time when no decoded image is displayed.
また、この実施の形態1によれば、提示対象のビットストリームを切り替える指令が与えられた場合、ストリーム選択部11が、複数の符号化装置から出力されたビットストリームの中から、切替後のビットストリームを選択して、当該ビットストリームをMMTPパケット解析部12に出力するとともに、制御MMTPペイロード処理部13により算出された提示時刻になるまで(ビットストリームの出力停止指令を受けるまで)、切替前のビットストリームも引き続きMMTPパケット解析部12に出力し、HEVCES復号部21が、切替後のビットストリームに多重化されている映像信号の符号化データからアクセスユニット単位の映像信号を復号するとともに、制御MMTPペイロード処理部13により算出された提示時刻になるまでの間、切替前のビットストリームに多重化されている映像信号の符号化データからアクセスユニット単位の映像信号を復号するように構成したので、ユーザによりチャンネルが切り替えられたときに、何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる復号装置が得られる効果がある。
Further, according to the first embodiment, when a command for switching the bit stream to be presented is given, the
実施の形態2.
上記実施の形態1では、HEVCES復号部21が、切替後のチャンネルに係るIRAPの提示時刻になるまでの間、切替前のチャンネルに係るアクセスユニット(AU)の映像信号を復号して、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納するものを示したが、切替後のチャンネルに係るLPのアクセスユニット(AU)であっても、そのアクセスユニット(AU)を構成しているNALユニットの符号化方式によっては、IRAPの復号前であっても、復号することが可能な場合がある。
IRAPの復号前であっても、LPのアクセスユニット(AU)が復号可能であるか否かは、HEVCピクチャ構造記述子に記述されているピクチャタイプ情報(nal_unit_type_of_leading_picture)を参照すれば、LPを構成しているNALユニットの符号化方式が分かるため判断することができる。例えば、LPを構成しているNALユニットの符号化方式がフレーム内符号化方式であれば、1つ前のSOPのアクセスユニット(AU)の映像信号が復号されていなくても、復号することが可能である。
In the first embodiment, the
Whether or not the access unit (AU) of the LP can be decoded even before the decoding of the IRAP can be determined by referring to the picture type information (nal_unit_type_of_leading_picture) described in the HEVC picture structure descriptor to configure the LP. Since the coding method of the NAL unit being used is known, it can be determined. For example, if the coding method of the NAL unit constituting the LP is an in-frame coding method, even if the video signal of the access unit (AU) of the previous SOP is not decoded, it can be decoded. It is possible.
HEVCES復号部21は、IRAPの復号前であっても、切替後のチャンネルに係るLPのアクセスユニット(AU)を復号することが可能であれば、そのアクセスユニット(AU)の映像信号を復号して、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する。
例えば、図10のGOP構成において、LPであるB25,B25,B27,B28は復号できないが、B29,B30,B31の復号可能であれば、B29,B30,B31の映像信号を復号して、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する。
これにより、外部の再生装置(図示せず)は、切替後のチャンネルに係るIRAPの提示時刻になるまでの間において、B25,B25,B27,B28の提示時刻では、切替前のチャンネルに係る復号画像を再生し、B29,B30,B31の提示時刻では、切替後のチャンネルに係る復号画像を再生することができる。
The
For example, in the GOP configuration of FIG. 10, the LPs B25, B25, B27, and B28 cannot be decoded, but if the B29, B30, and B31 can be decoded, the video signals of the B29, B30, and B31 are decoded. The decoded image and PTS (presentation time), which are the decoded video signals, are stored in the decoded
As a result, the external playback device (not shown) decodes the channel before switching at the presentation times of B25, B25, B27, and B28 until the presentation time of IRAP related to the channel after switching is reached. The image is reproduced, and at the presentation times of B29, B30, and B31, the decoded image related to the switched channel can be reproduced.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 It should be noted that, within the scope of the present invention, any combination of embodiments can be freely combined, any component of each embodiment can be modified, or any component can be omitted in each embodiment. ..
1 音声符号化部、2 音声MMTPペイロード生成部、3 HEVC符号化部(映像符号化手段)、4 映像MMTPペイロード生成部(映像符号化手段)、5 制御情報符号化部(制御情報符号化手段)、6 制御MMTPペイロード生成部(制御情報符号化手段)、7 MMTPパケット生成部(多重化手段)、11 ストリーム選択部(ビットストリーム選択手段)、12 MMTPパケット解析部、13 制御MMTPペイロード処理部(提示時刻算出手段)、14 アセット分離部、15 音声MMTPペイロード処理部、16 音声ESバッファ、17 音声ストリーム復号部、18 音声データバッファ、19 映像MMTPペイロード処理部(映像復号手段)、20 HEVCESバッファ(映像復号手段)、21 HEVCES復号部(映像復号手段)、22 復号画像バッファ(映像復号手段)。 1 Voice coding unit, 2 Voice MMTP payload generation unit, 3 HEVC coding unit (video coding means), 4 Video MMTP payload generation unit (video coding means), 5 Control information coding unit (control information coding means) ), 6 Control MMTP payload generation unit (control information coding means), 7 MMTP packet generation unit (multiplexing means), 11 stream selection unit (bit stream selection means), 12 MMTP packet analysis unit, 13 control MMTP payload processing unit. (Presentation time calculation means), 14 Asset separation unit, 15 Audio MMTP payload processing unit, 16 Audio ES buffer, 17 Audio stream decoding unit, 18 Audio data buffer, 19 Video MMTP payload processing unit (Video decoding means), 20 HEVCES buffer (Video decoding means), 21 HEVCES decoding unit (video decoding means), 22 decoded image buffer (video decoding means).
Claims (1)
前記符号化データに含まれる制御情報であるPAメッセージから、フレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるGOPにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、前記提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報から符号化順で先頭のアクセスユニットの提示時刻を算出するための情報と、を得る制御情報復号手段と、
前記制御情報復号手段が取得した、前記提示順で先頭のアクセスユニットの提示時刻情報と、前記符号化順で先頭のアクセスユニットの提示時刻を算出するための情報とを用いて、前記符号化データに含まれる前記映像信号を復号する復号手段と、
を備えた復号装置。 It is a decoding device that decodes the coded data of the video signal transmitted by the transmission method specified by MMT (MPEG Media Transport).
From the PA message which is the control information included in the coded data, the presentation indicating the presentation time of the first access unit in the presentation order in the GOP which is a set of a plurality of access units encoded by the inter-frame predictive coding method. A control information decoding means for obtaining time information and information for calculating the presentation time of the first access unit in the coding order from the presentation time information indicating the presentation time of the first access unit in the presentation order.
The coded data is obtained by using the presentation time information of the first access unit in the presentation order and the information for calculating the presentation time of the first access unit in the coding order acquired by the control information decoding means. Decoding means for decoding the video signal included in the
Decoding device equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003453A JP7003308B2 (en) | 2021-01-13 | 2021-01-13 | Decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003453A JP7003308B2 (en) | 2021-01-13 | 2021-01-13 | Decoding device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019238152A Division JP6825075B2 (en) | 2019-12-27 | 2019-12-27 | Decryptor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021072640A JP2021072640A (en) | 2021-05-06 |
JP7003308B2 true JP7003308B2 (en) | 2022-01-20 |
Family
ID=75713783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021003453A Active JP7003308B2 (en) | 2021-01-13 | 2021-01-13 | Decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7003308B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336578A (en) | 2004-06-02 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
JP2015015706A (en) | 2013-07-03 | 2015-01-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Data transmission method, data reproduction method, data transmitter and data reproducer |
JP2015023574A (en) | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Storage method, reproduction method, storage device, and reproducer |
JP2015119477A (en) | 2013-12-16 | 2015-06-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method, reception method, transmission apparatus and reception apparatus |
-
2021
- 2021-01-13 JP JP2021003453A patent/JP7003308B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336578A (en) | 2004-06-02 | 2007-12-27 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
JP2015015706A (en) | 2013-07-03 | 2015-01-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Data transmission method, data reproduction method, data transmitter and data reproducer |
JP2015023574A (en) | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Storage method, reproduction method, storage device, and reproducer |
JP2015119477A (en) | 2013-12-16 | 2015-06-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method, reception method, transmission apparatus and reception apparatus |
Non-Patent Citations (3)
Title |
---|
河村 侑輝 他,MMTにおけるMPEG-2 TSコンテンツ多重方式の検討,情報処理学会研究報告,Vol. 2014-AVM-84, No.1,日本,一般社団法人情報処理学会,2014年02月14日,pp. 1-6 |
青木 秀一 他,放送・通信連携のためのMMTの運用方法の検討 A Study on MMT for Hybrid Delivery on Broadcast and Broadb,情報処理学会研究報告,Vol. 2014-AVM-84, No. 2,一般社団法人情報処理学会,2014年02月14日,pp. 1-6 |
青木 秀一 他,次世代放送システムにおけるMMTの運用方法の検討 A Study on Implementation of MMT in Next Generation Br,FIT2013 (第12回情報科学技術フォーラム),日本,一般社団法人情報処理学会,2013年08月,pp. 355-356 |
Also Published As
Publication number | Publication date |
---|---|
JP2021072640A (en) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100711635B1 (en) | Picture coding method | |
KR101215615B1 (en) | Method and apparatus for changing codec to reproduce video and audio data stream encoded by different codec within the same channel | |
US7502070B2 (en) | Method and apparatus for processing a data series including processing priority data | |
CN102396221B (en) | Support for blocking trick mode operations | |
JP2022113844A (en) | Transmitting method | |
JP2018186524A (en) | Content transmitting device and content reproduction device | |
JP7067653B2 (en) | Decoding device | |
WO1999004566A1 (en) | Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium | |
US9549179B2 (en) | Personal video recorder | |
JP5369599B2 (en) | Video encoding apparatus and video encoding method | |
JP6641344B2 (en) | Encoding device | |
JP7003308B2 (en) | Decoding device | |
JP6825075B2 (en) | Decryptor | |
US7269839B2 (en) | Data distribution apparatus and method, and data distribution system | |
JP6257448B2 (en) | Encoding device, decoding device, encoding method, and decoding method | |
JP7306527B2 (en) | decoding device | |
JP4102223B2 (en) | Data processing apparatus and data processing method | |
JP2015226305A (en) | Encoding device | |
JP2007221826A (en) | Receiving terminal and reception method | |
KR100530920B1 (en) | Image and voice transmitting apparatus and receiving apparatus | |
JP2006304309A (en) | Transmitter, receiver, and communication system | |
JP2004048657A (en) | Image/audio receiving apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7003308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |