JP6684433B2 - Transmission device, transmission method, and program - Google Patents

Transmission device, transmission method, and program Download PDF

Info

Publication number
JP6684433B2
JP6684433B2 JP2015128881A JP2015128881A JP6684433B2 JP 6684433 B2 JP6684433 B2 JP 6684433B2 JP 2015128881 A JP2015128881 A JP 2015128881A JP 2015128881 A JP2015128881 A JP 2015128881A JP 6684433 B2 JP6684433 B2 JP 6684433B2
Authority
JP
Japan
Prior art keywords
packet
data
control information
data packet
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015128881A
Other languages
Japanese (ja)
Other versions
JP2017017383A (en
Inventor
愼治 根岸
愼治 根岸
和博 石谷
和博 石谷
道人 石井
道人 石井
岳人 渡辺
岳人 渡辺
義明 大石
義明 大石
康行 茶木
康行 茶木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015128881A priority Critical patent/JP6684433B2/en
Priority to PCT/JP2016/067324 priority patent/WO2016208418A1/en
Publication of JP2017017383A publication Critical patent/JP2017017383A/en
Application granted granted Critical
Publication of JP6684433B2 publication Critical patent/JP6684433B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder

Description

本技術は、送信装置、送信方法、並びに、プログラムに関し、特に、再生対象となるデータとデータの再生に用いる制御情報とを個別にパケット化して多重化したデータストリームを受信する装置において、データを迅速又は確実に再生できるようにした送信装置、送信方法、並びに、プログラムに関する。   The present technology relates to a transmission device, a transmission method, and a program, and particularly, in a device that receives a data stream in which data to be reproduced and control information used to reproduce the data are individually packetized and multiplexed. The present invention relates to a transmission device, a transmission method, and a program that enable quick or reliable reproduction.

従来、デジタル放送のデータ構造として、例えば、ISO 13818-1に規定されるMPEG-2 TS（Transport Stream）が用いられている。MPEG-2 TSでは、ビデオ信号のピクチャやオーディオ信号のフレームといった単位毎のデコード時刻や提示時刻を含む時刻情報が、ビデオ信号やオーディオ信号のパケットのヘッダ内に符号化される。そのため、時刻情報とその時刻情報に対応するデータの先頭とがデータストリーム上で近接しており、両者の対応付けが容易である。   Conventionally, as a data structure of digital broadcasting, for example, MPEG-2 TS (Transport Stream) defined in ISO 13818-1 has been used. In MPEG-2 TS, time information including decoding time and presentation time for each unit such as a picture of a video signal or a frame of an audio signal is encoded in a header of a packet of the video signal or the audio signal. Therefore, the time information and the head of the data corresponding to the time information are close to each other on the data stream, and it is easy to associate the two.

一方、例えばMPEG-H規格のPart1で規定されるMMT（MPEG Media Transport）を用いた標準規格であるARIB-STD-B60では、ビデオ信号やオーディオ信号とそれらに対応する時刻情報が、特許文献１に記載のMMTメッセージを用いた方法により個別にパケット化される。そして、ビデオ信号やオーディオ信号のデータを含むパケット（以下、データパケットと称する）と、時刻情報等の制御情報を含むパケット（以下、制御情報パケットと称する）とが、個別にデータストリームに多重化されて伝送される。   On the other hand, for example, in ARIB-STD-B60, which is a standard using MMT (MPEG Media Transport) defined in Part 1 of the MPEG-H standard, video signals and audio signals and time information corresponding to them are disclosed in Patent Document 1 It is individually packetized by the method using the MMT message described in. Then, a packet containing data of a video signal or an audio signal (hereinafter referred to as a data packet) and a packet containing control information such as time information (hereinafter referred to as a control information packet) are individually multiplexed in a data stream. And transmitted.

特許５６７２４０７号公報Japanese Patent No. 5672407

ところで、制御情報パケットを対応するデータパケットの後に多重化して伝送する場合、データストリームを受信する受信装置は、データパケットの受信後も制御情報パケットを受信するまでは、データパケットに含まれるデータのデータ時刻及び提示時刻が未知の状態となり、データパケットに含まれるデータを再生することができない。   By the way, when the control information packet is multiplexed and transmitted after the corresponding data packet, the receiving device that receives the data stream does not transmit the data included in the data packet until it receives the control information packet even after receiving the data packet. The data time and the presentation time are unknown, and the data contained in the data packet cannot be reproduced.

また、受信装置は、伝送エラー等により制御情報パケットが受信できなくても、制御情報パケットの受信の失敗を検出できなかったり、検出が遅延したりして、適切な対応を行えない恐れがある。   Further, even if the control device cannot receive the control information packet due to a transmission error or the like, the receiving device may not be able to detect the failure of receiving the control information packet, or the detection may be delayed, and it may not be possible to take appropriate measures. .

そこで、本技術は、再生対象となるデータとデータの再生に用いる制御情報とを個別にパケット化して多重化したデータストリームを受信する装置において、データを迅速又は確実に再生できるようにするものである。   Therefore, the present technology enables a device that receives a data stream in which data to be played back and control information used to play back the data are individually packetized and multiplexed so that the data can be played back quickly or reliably. is there.

本技術の一側面の送信装置は、再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成する多重化部と、前記データストリームを送信する送信部とを備え、前記多重化部は、前記再生データの所定の処理単位のうちの１つの第１の処理単位に対応する前記制御情報を含む制御情報パケットを、前記第１の処理単位を含む第１のデータパケットより前及び後に多重化する。 A transmission device according to one aspect of the present technology individually multiplexes a data packet, which is a packet including reproduction data, which is data to be reproduced, and a control information packet, which is a packet including control information used for reproduction of the reproduction data. A multiplexing unit for generating a data stream by converting the data stream, and a transmitting unit for transmitting the data stream, wherein the multiplexing unit is a first processing unit of the predetermined processing units of the reproduction data. the including control information packet the control information corresponding to the to the first multiplexer from the data packets before and after including the first processing unit.

前記多重化部には、前記第１の処理単位の１つ前の第２の処理単位を含む第２のデータパケットと前記第１のデータパケットの間、及び、前記第１のデータパケットと前記第１の処理単位の１つ後の第３の処理単位を含む第３のデータパケットとの間に前記制御情報パケットを多重化させることができる。 The multiplexing unit includes a second data unit including a second processing unit immediately before the first processing unit and the first data packet , and between the first data packet and the first data packet. it is possible to multiplex the pre-SL control information packets between the third data packet including a third processing unit after one of the first processing unit.

前記多重化部には、前記データストリームにおいて前記制御情報パケットを多重化可能な位置のうち、前記第１のデータパケットより前で前記第１のデータパケットに最も近い位置、及び、前記第１のデータパケットより後で前記第１のデータパケットに最も近い位置に前記制御情報パケットを多重化させることができる。 Of the positions where the control information packet can be multiplexed in the data stream, the multiplexing unit includes a position closest to the first data packet before the first data packet , and the first position . His information packet before Symbol system closest to the data packet subsequently the first data packet from can be multiplexed.

前記第１のデータパケットには、前記第１の処理単位の先頭を含ませることができる。   The first data packet may include the head of the first processing unit.

前記制御情報には、前記処理単位を再生するタイミングの制御に用いるタイミング情報を含ませることができる。   The control information may include timing information used for controlling the timing of reproducing the processing unit.

前記タイミング情報には、前記処理単位のデコードを開始する時刻を示す情報、及び、前記処理単位を提示する時刻を示す情報のうち少なくとも一方を含ませることができる。   The timing information may include at least one of information indicating a time when the decoding of the processing unit is started and information indicating a time when the processing unit is presented.

前記データパケット及び前記制御情報パケットを、MMTP（MMT Protocol） Packetとし、前記処理単位を、MPU（Media Processing Unit）とすることができる。   The data packet and the control information packet may be MMTP (MMT Protocol) Packet, and the processing unit may be MPU (Media Processing Unit).

本技術の一側面の送信方法は、再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前及び後に多重化する多重化ステップと、前記データストリームの送信を制御する送信制御ステップとを含む。 A transmission method according to one aspect of the present technology is to individually multiplex a data packet that is a packet that includes reproduction data that is data to be reproduced and a control information packet that is a packet that includes control information used to reproduce the reproduction data. To multiplex the control information packet that includes the control information corresponding to a predetermined processing unit of the reproduction data, and multiplex before and after the data packet that includes the processing unit. And a transmission control step of controlling transmission of the data stream.

本技術の一側面のプログラムは、再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前及び後に多重化する多重化ステップと、前記データストリームの送信を制御する送信制御ステップとを含む処理をコンピュータに実行させる。 A program according to one aspect of the present technology is to individually multiplex a data packet that is a packet that includes reproduction data that is data to be reproduced and a control information packet that is a packet that includes control information used to reproduce the reproduction data. And a data stream is generated thereby, and the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data is multiplexed before and after the data packet including the processing unit. The computer is caused to execute a process including steps and a transmission control step of controlling transmission of the data stream.

本技術の一側面においては、再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームが生成されるとともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットが、前記処理単位を含む前記データパケットより前及び後に多重化され、前記データストリームが送信される。 In one aspect of the present technology, a data packet, which is a packet that includes reproduction data that is data to be reproduced, and a control information packet that is a packet that includes control information used to reproduce the reproduction data, are individually multiplexed. As a result, a data stream is generated, and the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data is multiplexed before and after the data packet including the processing unit, The data stream is sent.

本技術の一側面によれば、再生対象となるデータとデータの再生に用いる制御情報とを個別にパケット化して多重化したデータストリームを受信する装置において、データを迅速又は確実に再生することができる。   According to one aspect of the present technology, in a device that receives a data stream in which data to be played back and control information used to play back the data are individually packetized and multiplexed, the data can be played back quickly or reliably. it can.

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。   Note that the effects described in the present specification are merely examples, and the effects of the present technology are not limited to the effects described in the present specification, and may have additional effects.

本技術を適用した送信装置の一実施の形態を示すブロック図である。It is a block diagram showing an embodiment of a transmitting device to which this art is applied. MMTP Packetのデータ構造の例を示す図である。It is a figure which shows the example of the data structure of MMTP Packet. 制御情報パケットのデータ構造の例を示す図である。It is a figure which shows the example of a data structure of a control information packet. データパケットの後に制御情報パケットを多重化する場合について説明するための図である。It is a figure for demonstrating the case where a control information packet is multiplexed after a data packet. 制御情報パケットを多重化する位置の例を示す図である。It is a figure which shows the example of the position which multiplexes a control information packet. 送信装置により実行される多重化処理の第１の実施の形態を説明するためのフローチャートである。6 is a flowchart for explaining the first embodiment of the multiplexing process executed by the transmitting device. 多重化処理の第１の実施の形態により多重化される制御情報パケットの位置の例を示す図である。It is a figure which shows the example of the position of the control information packet multiplexed by 1st Embodiment of a multiplexing process. 送信装置により実行される多重化処理の第２の実施の形態を説明するためのフローチャートである。It is a flow chart for explaining the 2nd embodiment of the multiplexing processing performed by the transmitter. 多重化処理の第２の実施の形態により多重化される制御情報パケットの位置の例を示す図である。It is a figure which shows the example of the position of the control information packet multiplexed by 2nd Embodiment of a multiplexing process. コンピュータの構成例を示すブロック図である。FIG. 19 is a block diagram illustrating a configuration example of a computer.

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例 Hereinafter, modes for carrying out the present technology (hereinafter, referred to as embodiments) will be described. The description will be given in the following order.
1. Embodiment 2. Modification

＜１．実施の形態＞
｛送信装置１０１の構成例｝
図１は、本技術を適用した送信装置１０１の一実施の形態を示すブロック図である。 <1. Embodiment>
{Example of configuration of transmitting device 101}
FIG. 1 is a block diagram showing an embodiment of a transmission device 101 to which the present technology is applied.

送信装置１０１は、例えばMMTによるメディアトランスポート方式により、ビデオ信号、オーディオ信号等のデータを送信する装置である。なお、以下、送信装置１０１が、ビデオ信号及びオーディオ信号を送信する場合について説明する。   The transmission device 101 is a device that transmits data such as a video signal and an audio signal by a media transport method such as MMT. In the following, a case where the transmission device 101 transmits a video signal and an audio signal will be described.

送信装置１０１は、同期制御部１１１、エンコーダ１１２、バッファ１１３、データパケット生成部１１４、制御情報パケット生成部１１５、多重化部１１６、及び、送信部１１７を含むように構成される。   The transmission device 101 is configured to include a synchronization control unit 111, an encoder 112, a buffer 113, a data packet generation unit 114, a control information packet generation unit 115, a multiplexing unit 116, and a transmission unit 117.

同期制御部１１１は、エンコーダ１１２の動作を制御する。また、同期制御部１１１は、エンコーダ１１２により符号化されたデータの再生に用いる時刻情報を生成し、制御情報パケット生成部１１５に供給する。   The synchronization control unit 111 controls the operation of the encoder 112. The synchronization control unit 111 also generates time information used for reproducing the data encoded by the encoder 112 and supplies the time information to the control information packet generation unit 115.

同期制御部１１１により生成される時刻情報は、例えば、デコード時刻及び提示時刻を含む。   The time information generated by the synchronization control unit 111 includes the decoding time and the presentation time, for example.

デコード時刻は、例えば、送信装置１０１から送信されるデータストリームを受信する受信装置においてデータのデコードを開始する時刻を示す。例えば、デコード時刻は、ビデオ信号の各ピクチャやオーディオ信号の各フレームのデコードを開始する時刻を示す。なお、受信装置は、必ずしもデコード時刻からデコードを開始する必要はなく、デコード時刻より前にデコードを開始することも可能である。   The decoding time indicates, for example, the time when decoding of data is started in the receiving device that receives the data stream transmitted from the transmitting device 101. For example, the decoding time indicates the time when decoding of each picture of the video signal and each frame of the audio signal is started. Note that the receiving device does not necessarily have to start decoding from the decoding time, and can start decoding before the decoding time.

提示時刻は、受信装置においてデータの提示を開始する時刻を示す。例えば、提示時刻は、ビデオ信号の各ピクチャに対応する画像を表示したり、オーディオ信号の各フレームに対応する音声を出力したりする時刻を示す。   The presentation time indicates the time when presentation of data is started in the receiving device. For example, the presentation time indicates the time at which an image corresponding to each picture of the video signal is displayed or a sound corresponding to each frame of the audio signal is output.

なお、デコード時刻及び提示時刻は、例えば、絶対時刻で表現するようにしてもよいし、所定の基準時刻に対する相対時刻で表現するようにしてもよい。   The decoding time and the presentation time may be expressed as, for example, absolute time or relative time with respect to a predetermined reference time.

エンコーダ１１２は、外部から入力されるビデオ信号及びオーディオ信号を符号化する。エンコーダ１１２は、符号化したビデオ信号及びオーディオ信号をバッファ１１３に格納する。   The encoder 112 encodes a video signal and an audio signal input from the outside. The encoder 112 stores the encoded video signal and audio signal in the buffer 113.

データパケット生成部１１４は、バッファ１１３に格納されたビデオ信号及びオーディオ信号をパケット化したMMTP（MMT Protocol） Packet（以下、データパケットと称する）を生成する。データパケット生成部１１４は、生成したデータパケットを多重化部１１６に供給する。   The data packet generation unit 114 generates an MMTP (MMT Protocol) Packet (hereinafter referred to as a data packet) that packetizes the video signal and the audio signal stored in the buffer 113. The data packet generator 114 supplies the generated data packet to the multiplexer 116.

制御情報パケット生成部１１５は、データパケットに含まれるビデオ信号やオーディオ信号の再生に用いる制御情報をパケット化したMMTP Packet（以下、制御情報パケットと称する）を生成する。制御情報パケットに含まれる制御情報は、同期制御部１１１により生成された時刻情報を含む。制御情報パケット生成部１１５は、生成した制御情報パケットを多重化部１１６に供給する。   The control information packet generation unit 115 generates an MMTP packet (hereinafter referred to as a control information packet) in which control information used for reproducing a video signal or an audio signal included in the data packet is packetized. The control information included in the control information packet includes the time information generated by the synchronization control unit 111. The control information packet generator 115 supplies the generated control information packet to the multiplexer 116.

多重化部１１６は、データパケット及び制御情報パケットを個別に多重化することによりデータストリーム（以下、多重化ストリームと称する）を生成し、送信部１１７に供給する。   The multiplexing unit 116 generates a data stream (hereinafter referred to as a multiplexed stream) by individually multiplexing the data packet and the control information packet, and supplies the data stream to the transmission unit 117.

送信部１１７は、多重化部１１６により生成された多重化ストリームの送信を行う。   The transmission unit 117 transmits the multiplexed stream generated by the multiplexing unit 116.

｛MMTP Packetのデータ構造の例｝
図２は、データパケット及び制御情報パケットを構成するMMTP Packetのデータ構造の例を示している。 {Example of MMTP Packet data structure}
FIG. 2 shows an example of the data structure of the MMTP Packet that constitutes the data packet and the control information packet.

MMTP Packetは、MMTP Packet Header及びMMTP Payloadを含む。   MMTP Packet includes MMTP Packet Header and MMTP Payload.

MMTP Packet Headerは、packet_id及びRAP_flagを含む。   The MMTP Packet Header includes packet_id and RAP_flag.

packet_idは、MMTP PayloadのMMTP Payload data byteに含まれるデータの種類を識別する識別子である。例えば、多重化ストリームに多重化される各ビデオ信号及び各オーディオ信号に対して、それぞれ異なるpacket_idが割り当てられる。また、データパケットと制御情報パケットには、異なるpacket_idが割り当てられる。   packet_id is an identifier for identifying the type of data included in the MMTP Payload data byte of MMTP Payload. For example, a different packet_id is assigned to each video signal and each audio signal multiplexed in the multiplexed stream. Also, different packet_ids are assigned to the data packet and the control information packet.

RAP_flagは、MMTP PayloadのMMTP Payload data byteに含まれるデータにランダムアクセスポイントが含まれるか否かを識別するフラグである。ランダムアクセスポイントとは、ランダムアクセスが可能な位置のことであり、例えば、ビデオ信号におけるランダムアクセスが可能なピクチャが該当する。   RAP_flag is a flag for identifying whether or not the data included in the MMTP Payload data byte of the MMTP Payload includes a random access point. The random access point is a position where random access is possible, and for example, a random access picture in a video signal corresponds thereto.

MMTP Payloadは、MMTP Payload Header及びMMTP Payload data byteを含む。   The MMTP Payload includes an MMTP Payload Header and an MMTP Payload data byte.

MMTP Payload Headerは、データパケットの場合のみmpu_sequence_numberを含む。mpu_sequence_numberは、MMTP Payload data byteに含まれるデータが属するMPU（Media Processing Unit）と呼ばれる処理単位に割り当てられているシーケンス番号である。mpu_sequence_numberは、packet_idが異なるデータ毎に個別に割り当てられる。例えば、多重化ストリームにpacket_id＝ID1のビデオ信号１とpacket_id＝ID2のビデオ信号２とが多重化されている場合、ビデオ信号１の先頭のMPUから順にmpu_sequence_numberが割り当てられ、同様にビデオ信号２の先頭のMPUから順にmpu_sequence_numberが割り当てられる。従って、packet_idとmpu_sequence_numberの組み合わせにより、各ビデオ信号及びオーディオ信号のMPUを識別することができる。   The MMTP Payload Header includes mpu_sequence_number only in the case of a data packet. The mpu_sequence_number is a sequence number assigned to a processing unit called an MPU (Media Processing Unit) to which the data included in the MMTP Payload data byte belongs. The mpu_sequence_number is individually assigned to each data having different packet_id. For example, when the video signal 1 of packet_id = ID1 and the video signal 2 of packet_id = ID2 are multiplexed in the multiplexed stream, mpu_sequence_number is allocated in order from the MPU at the head of the video signal 1, and similarly, Mpu_sequence_number is allocated in order from the first MPU. Therefore, the MPU of each video signal and audio signal can be identified by the combination of packet_id and mpu_sequence_number.

MPUは、例えばビデオ信号の場合、ランダムアクセスポイント間に設定される。例えば、あるランダムアクセスポイントであるピクチャから、次のランダムアクセスポイントの直前のピクチャまでが１つのMPUに割り当てられる。より具体的には、例えば、１つのGOP(Group of Pictures)が１つのMPUに割り当てられる。   For example, in the case of a video signal, the MPU is set between random access points. For example, a picture from a random access point to a picture immediately before the next random access point is assigned to one MPU. More specifically, for example, one GOP (Group of Pictures) is assigned to one MPU.

MMTP Payload data byteは、実データを含む領域である。例えば、MMTP Payload data byteは、データパケットの場合、ビデオ信号やオーディオ信号を含み、制御情報パケットの場合、制御情報を含む。   The MMTP Payload data byte is an area containing actual data. For example, the MMTP Payload data byte includes a video signal and an audio signal in the case of a data packet, and includes control information in the case of a control information packet.

なお、１つのMPUを１つのデータパケットに格納するだけでなく、１つのMPUを複数のデータパケットに分割して格納することも可能である。後者の場合、例えば、１つのMPUに含まれる複数のピクチャが複数のデータパケットに分割して格納される。   It should be noted that not only one MPU can be stored in one data packet, but also one MPU can be divided and stored in a plurality of data packets. In the latter case, for example, a plurality of pictures included in one MPU are divided and stored in a plurality of data packets.

なお、以下、説明を簡単にするために、各MPUがそれぞれ１つのデータパケットに格納される場合について説明する。   Note that, in order to simplify the description, a case where each MPU is stored in one data packet will be described below.

｛制御情報パケットのデータ構造の例｝
図３は、制御情報パケットのデータ構造の例を示している。 {Example of data structure of control information packet}
FIG. 3 shows an example of the data structure of the control information packet.

制御情報パケットのMMTP Payload data byteには、必要に応じて各種のデータテーブル等が格納される。そして、MMTP Payload data byteに格納されるデータテーブルのうちの１つにMPT（MMT Package Table）がある。MPTは、当該制御情報パケットに含まれる制御情報の対象となるデータ（ビデオ信号又はオーディオ信号）のpacket_id、MPUタイムスタンプ記述子、及び、MPU拡張タイムスタンプ記述子等を含む。   Various data tables and the like are stored in the MMTP Payload data byte of the control information packet as needed. An MPT (MMT Package Table) is one of the data tables stored in the MMTP Payload data byte. The MPT includes a packet_id of data (video signal or audio signal) to be the control information included in the control information packet, an MPU time stamp descriptor, an MPU extended time stamp descriptor, and the like.

MPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子は、当該制御情報パケットに含まれる制御情報の対象となるMPUの時刻情報を含む。例えば、ビデオ信号の場合、MPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子は、当該制御情報パケットに含まれる制御情報の対象となるMPUに含まれる各ピクチャのデコード時刻及び提示時刻を含む。また、MPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子は、当該制御情報パケットに含まれる制御情報の対象となるMPUのmpu_sequence_numberをそれぞれ含む。   The MPU time stamp descriptor and the MPU extended time stamp descriptor include time information of the MPU that is the target of the control information included in the control information packet. For example, in the case of a video signal, the MPU time stamp descriptor and the MPU extended time stamp descriptor include the decoding time and the presentation time of each picture included in the MPU that is the target of the control information included in the control information packet. Further, the MPU time stamp descriptor and the MPU extended time stamp descriptor each include the mpu_sequence_number of the MPU that is the target of the control information included in the control information packet.

なお、１つのMPUの時刻情報を１つの制御情報パケットに格納するようにしてもよいし、１つのMPUの時刻情報を複数の制御情報パケットに分割して格納するようにしてもよい。後者の場合、例えば、１つのMPUに含まれる各ピクチャの時刻情報が複数のデータパケットに分割して格納される。   The time information of one MPU may be stored in one control information packet, or the time information of one MPU may be divided and stored in a plurality of control information packets. In the latter case, for example, the time information of each picture included in one MPU is divided and stored in a plurality of data packets.

なお、以下、説明を簡単にするために、各MPUの時刻情報がそれぞれ１つの制御情報パケットに格納される場合について説明する。   In the following, for simplicity of description, a case will be described in which the time information of each MPU is stored in one control information packet.

｛制御情報パケットを多重化する位置の例｝
図４は、データパケットＰＤａの後にデータパケットＰＤａに対応する制御情報パケットＰＣａ１を多重化する場合を模式的に示している。なお、データパケットＰＤａに含まれるデータ（ビデオ信号又はオーディオ信号）が属するMPUのmpu_sequence_number、及び、制御情報パケットＰＣａ１内の時刻情報（MPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子）のmpu_sequence_numberは、ともにＮである。そして、制御情報パケットＰＣａ１には、データパケットＰＤａに含まれるデータに対応する時刻情報が含まれる。 {Example of position for multiplexing control information packet}
FIG. 4 schematically shows a case where the control information packet PCa1 corresponding to the data packet PDa is multiplexed after the data packet PDa. The mpu_sequence_number of the MPU to which the data (video signal or audio signal) included in the data packet PDa belongs and the mpu_sequence_number of the time information (MPU time stamp descriptor and MPU extended time stamp descriptor) in the control information packet PCa1 are Both are N. Then, the control information packet PCa1 includes time information corresponding to the data included in the data packet PDa.

なお、以下、データパケットに含まれるデータが属するMPUのmpu_sequence_numberのことを、単にデータパケットのmpu_sequence_numberと称する場合がある。また、以下、制御情報パケットの時刻情報のmpu_sequence_numberのことを、単に制御情報パケットのmpu_seauence_numberと称する場合がある。   Note that, hereinafter, the mpu_sequence_number of the MPU to which the data included in the data packet belongs may be simply referred to as the mpu_sequence_number of the data packet. Further, hereinafter, the mpu_sequence_number of the time information of the control information packet may be simply referred to as the mpu_seauence_number of the control information packet.

ここで、受信装置は、データパケットＰＤａを受信してから、制御情報パケットＰＣａ１を受信するまでの間、データパケットＰＤａに含まれるデータのデコード時刻及び提示時刻が未知の状態となる。そのため、受信装置は、制御情報パケットＰＣａ１を受信するまでデータパケットＰＤａに含まれるデータの再生を開始することができない。   Here, the receiving device is in a state in which the decoding time and the presentation time of the data included in the data packet PDa are unknown from the time the data packet PDa is received until the time the control information packet PCa1 is received. Therefore, the receiving device cannot start the reproduction of the data included in the data packet PDa until the control information packet PCa1 is received.

また、例えば、伝送エラー等により制御情報パケットＰＣａ１が欠落しても、受信装置は、mpu_sequence_numberがＮより後の制御情報パケット（例えば、図内の制御情報パケットＰＣａ２）を受信し、制御情報パケットのmpu_sequence_numberの矛盾を検出するまでは、制御情報パケットＰＣａ１の受信に失敗したことを検出することができない。その結果、データパケットＰＤａに含まれるデータの再生が遅延したり、再生に失敗したりする恐れがある。   Further, for example, even if the control information packet PCa1 is lost due to a transmission error or the like, the receiving device receives the control information packet whose mpu_sequence_number is after N (for example, the control information packet PCa2 in the figure), and the control information packet Until the contradiction of mpu_sequence_number is detected, it cannot be detected that the reception of the control information packet PCa1 has failed. As a result, the reproduction of the data included in the data packet PDa may be delayed or the reproduction may fail.

そこで、送信装置１０１の多重化部１１６は、図５に示されるように、データパケットＰＤｂに対応する制御情報パケットＰＣｂをデータパケットＰＤｂの前に多重化する。これにより、受信装置は、データパケットＰＤｂに含まれるデータを迅速又は確実に再生することができる。   Therefore, as shown in FIG. 5, the multiplexing unit 116 of the transmission device 101 multiplexes the control information packet PCb corresponding to the data packet PDb before the data packet PDb. As a result, the receiving device can quickly or reliably reproduce the data included in the data packet PDb.

具体的には、受信装置は、データパケットＰＤｂを受信した場合、すでに制御情報パケットＰＣｂを受信済みなので、データパケットＰＤｂに含まれるデータのデコード時刻及び提示時刻が未知となる期間が生じない。従って、受信装置は、データパケットＰＤｂに含まれるデータの再生を迅速に開始することができる。   Specifically, when the receiving device receives the data packet PDb, since the control information packet PCb has already been received, there is no period in which the decoding time and the presentation time of the data included in the data packet PDb are unknown. Therefore, the receiving device can quickly start the reproduction of the data included in the data packet PDb.

また、例えば、伝送エラー等により制御情報パケットＰＣｂが欠落しても、受信装置は、データパケットＰＤｂを受信した時点で、制御情報パケットＰＣａ１の受信に失敗したことを検出することができる。そして、例えば、受信装置は、すぐにデータパケットＰＤｂに含まれるデータに対応する時刻情報等が得られない場合の処理を実行し、データパケットＰＤｂに含まれるデータを適切な方法で迅速かつ確実に再生することができる。   Further, for example, even if the control information packet PCb is lost due to a transmission error or the like, the receiving device can detect that the reception of the control information packet PCa1 has failed at the time of receiving the data packet PDb. Then, for example, the receiving device executes the process when the time information or the like corresponding to the data included in the data packet PDb is not immediately obtained, and the data included in the data packet PDb is swiftly and surely processed by an appropriate method. Can be played.

なお、制御情報パケットＰＣｂとデータパケットＰＤｂが互いに対応するパケットであるか否かは、packet_id及びmpu_sequence_numberに基づいて判定される。具体的には、制御情報パケットＰＣｂのMPTのpacket_idとデータパケットＰＤｂのMMTP Packet Headerのpacket_idが一致し、制御情報パケットＰＣｂのMPUタイムスタンプ記述子及びMPU拡張タイムスタンプ記述子のmpu_sequence_numberとデータパケットＰＤｂのMMTP Payload Headerのmpu_sequence_numberが一致する場合、両者は互いに対応するパケットである。すなわち、データパケットＰＤｂのMMTP Payload data byteに含まれるデータの時刻情報等が、制御情報パケットＰＣｂに含まれている。一方、packet_id及びmpu_sequence_numberのうち少なくとも一方が一致しない場合、両者は対応するパケットではない。すなわち、データパケットＰＤｂのMMTP Payload data byteに含まれるデータの時刻情報等が、制御情報パケットＰＣｂに含まれていない。   It should be noted that whether or not the control information packet PCb and the data packet PDb correspond to each other is determined based on the packet_id and the mpu_sequence_number. Specifically, the packet_id of the MPT of the control information packet PCb matches the packet_id of the MMTP Packet Header of the data packet PDb, and the MPU time stamp descriptor and the mpu_sequence_number of the MPU extended time stamp descriptor of the control information packet PCb and the data packet PDb. If the mpu_sequence_number of the MMTP Payload Header of the two are the same, both are packets corresponding to each other. That is, the time information of the data included in the MMTP Payload data byte of the data packet PDb is included in the control information packet PCb. On the other hand, if at least one of packet_id and mpu_sequence_number does not match, both are not corresponding packets. That is, the time information of the data included in the MMTP Payload data byte of the data packet PDb is not included in the control information packet PCb.

｛多重化処理の第１の実施の形態｝
ここで、図６のフローチャートを参照して、送信装置１０１により実行される多重化処理の第１の実施の形態について説明する。 {First embodiment of multiplexing processing}
Here, the first embodiment of the multiplexing process executed by the transmission apparatus 101 will be described with reference to the flowchart in FIG.

ステップＳ１において、多重化部１１６は、次に多重化するデータパケットを選択する。すなわち、多重化部１１６は、データパケット生成部１１４から供給されるデータパケットの中から、次に多重化ストリームに多重化するデータパケットを選択する。   In step S1, the multiplexing unit 116 selects a data packet to be multiplexed next. That is, the multiplexing unit 116 selects a data packet to be multiplexed next in the multiplexed stream from the data packets supplied from the data packet generation unit 114.

ステップＳ２において、多重化部１１６は、選択したデータパケットを多重化する。すなわち、多重化部１１６は、選択したデータパケットを送信部１１７に供給する。送信部１１７は、供給されたデータパケットを送信する。これにより、選択したデータパケットが、多重化ストリームに多重化される。   In step S2, the multiplexing unit 116 multiplexes the selected data packet. That is, the multiplexing unit 116 supplies the selected data packet to the transmission unit 117. The transmitter 117 transmits the supplied data packet. As a result, the selected data packet is multiplexed in the multiplexed stream.

ステップＳ３において、多重化部１１６は、多重化したデータパケットがMPUの先頭を含んでいるか否かを判定する。例えば、多重化部１１６は、多重化したデータパケットのmpu_sequence_numberが、その１つ前に多重化したデータパケットのmpu_sequence_numberと異なる場合、多重化したデータパケットがMPUの先頭を含んでいると判定し、処理はステップＳ４に進む。   In step S3, the multiplexing unit 116 determines whether the multiplexed data packet includes the head of the MPU. For example, when the mpu_sequence_number of the multiplexed data packet is different from the mpu_sequence_number of the immediately previous multiplexed data packet, the multiplexing unit 116 determines that the multiplexed data packet includes the head of the MPU, The process proceeds to step S4.

ステップＳ４において、多重化部１１６は、多重化する制御情報パケットを次のMPUを含むデータパケットに対応するパケットに切り替える。具体的には、多重化部１１６は、制御情報パケット生成部１１５から供給される制御情報パケットの中から、多重化したデータパケットと同じpacket_id、及び、多重化したデータパケットのmpu_sequence_numberの次のmpu_sequence_numberがMPTに設定されている制御情報パケットを検索する。これにより、多重化したデータパケットに含まれるMPUの次のMPUを含むデータパケットに対応する制御情報パケットが検出される。   In step S4, the multiplexing unit 116 switches the control information packet to be multiplexed to the packet corresponding to the data packet including the next MPU. Specifically, the multiplexing unit 116 selects, from among the control information packets supplied from the control information packet generation unit 115, the same packet_id as the multiplexed data packet and the mpu_sequence_number next to the mpu_sequence_number of the multiplexed data packet. Searches for control information packets set to MPT. As a result, the control information packet corresponding to the data packet including the MPU next to the MPU included in the multiplexed data packet is detected.

そして、多重化部１１６は、所定のタイミングで、送信部１１７に供給する制御情報パケットを、検出した制御情報パケットに切り替える。これにより、送信部１１７から多重化ストリームに多重化されて送信される制御情報パケットが、ステップＳ２の処理で多重化したデータパケットに対応する制御情報パケットから、次のMPUを含むデータパケットに対応する制御情報パケットに切り替わる。   Then, the multiplexing unit 116 switches the control information packet supplied to the transmission unit 117 to the detected control information packet at a predetermined timing. Accordingly, the control information packet multiplexed and transmitted from the transmission unit 117 in the multiplexed stream corresponds to the data packet including the next MPU from the control information packet corresponding to the data packet multiplexed in the process of step S2. Control information packet.

なお、この切り替えは、少なくとも次のデータパケットを多重化する前までに行えばよい。例えば、多重化部１１６は、多重化したデータパケットと次に多重化するデータパケットとの間において、多重化したデータパケットに対応する制御情報パケットを多重化せずに、次のMPUを含むデータパケットに対応する制御情報パケットのみを多重化するようにしてもよい。或いは、例えば、多重化部１１６は、多重化したデータパケットと次に多重化するデータパケットとの間において、多重化したデータパケットに対応する制御情報パケットを１つ以上多重化した後、次のMPUを含むデータパケットに対応する制御情報パケットを多重化するようにしてもよい。   Note that this switching may be performed at least before the next data packet is multiplexed. For example, the multiplexing unit 116 does not multiplex the control information packet corresponding to the multiplexed data packet between the multiplexed data packet and the data packet to be multiplexed next, and includes the data including the next MPU. Only the control information packet corresponding to the packet may be multiplexed. Alternatively, for example, the multiplexing unit 116 multiplexes one or more control information packets corresponding to the multiplexed data packet between the multiplexed data packet and the next multiplexed data packet, and then The control information packet corresponding to the data packet including the MPU may be multiplexed.

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。   After that, the process returns to step S1, and the processes after step S1 are executed.

一方、ステップＳ３において、多重化部１１６は、多重化したデータパケットのmpu_sequence_numberが、その１つ前に多重化したデータパケットのmpu_sequence_numberと同じ場合、多重化したデータパケットがMPUの先頭を含んでいないと判定する。その後、ステップＳ４の処理は行われず、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。すなわち、この場合、多重化する制御情報パケットの切り替えは行われない。   On the other hand, in step S3, if the mpu_sequence_number of the multiplexed data packet is the same as the mpu_sequence_number of the data packet that was multiplexed one step before in step S3, the multiplexed data packet does not include the head of the MPU. To determine. Thereafter, the process of step S4 is not performed, the process returns to step S1, and the processes of step S1 and subsequent steps are executed. That is, in this case, switching of the control information packets to be multiplexed is not performed.

図７は、図６の多重化処理による制御情報パケット及びデータパケットの多重化位置の例を示している。なお、図７は、斜線で示される制御情報パケットが、周期的に多重化ストリームに多重化される場合の例を示している。   FIG. 7 shows an example of the multiplexing positions of the control information packet and the data packet by the multiplexing process of FIG. It should be noted that FIG. 7 shows an example in which the control information packets indicated by diagonal lines are periodically multiplexed in the multiplexed stream.

データパケットＰＤｃ１と、データパケットＰＤｃ１の前に多重化されている制御情報パケットＰＣｃ１a及びＰＣｃ１ｂは、互いに対応するパケットである。すなわち、データパケットＰＤｃ１は、mpu_sequence_numberがＮのMPUを含み、制御情報パケットＰＣｃ１ａ及びＰＣｃ１ｂは、mpu_sequence_numberがＮのMPUに対応する時刻情報を含んでいる。   The data packet PDc1 and the control information packets PCc1a and PCc1b multiplexed before the data packet PDc1 are packets corresponding to each other. That is, the data packet PDc1 includes the MPU with the mpu_sequence_number of N, and the control information packets PCc1a and PCc1b include the time information corresponding to the MPU with the mpu_sequence_number of N.

そして、データパケットＰＤｃ１を多重化してから、次のmpu_sequence_numberがＮ＋１のMPUを含むデータパケットＰＤｃ２を多重化するまでの間に、多重化する制御情報パケットがデータパケットＰＤｃ１に対応するパケットからデータパケットＰＤｃ２に対応するパケットに切り替わっている。具体的には、データパケットＰＤｃ１が多重化された後、データパケットＰＤｃ１に対応する制御情報パケットが１つ（制御情報パケットＰＣｃ１ｃ）多重化されている。その後、データパケットＰＤｃ２が多重化されるまでの間に、データパケットＰＤｃ２に対応する制御情報パケットＰＣｃ２a及びＰＣｃ２ｂが多重化されている。なお、制御情報パケットＰＣｃ２ａ及びＰＣｃ２ｂは、mpu_sequence_numberがＮ＋１のMPUに対応する時刻情報を含むパケットである。   Then, the control information packet to be multiplexed is from the packet corresponding to the data packet PDc1 to the data packet PDc2 after the data packet PDc1 is multiplexed until the next data packet PDc2 including the MPU of which the mpu_sequence_number is N + 1. Has been switched to the packet corresponding to. Specifically, after the data packet PDc1 is multiplexed, one control information packet (control information packet PCc1c) corresponding to the data packet PDc1 is multiplexed. After that, the control information packets PCc2a and PCc2b corresponding to the data packet PDc2 are multiplexed until the data packet PDc2 is multiplexed. The control information packets PCc2a and PCc2b are packets that include time information corresponding to the MPU whose mpu_sequence_number is N + 1.

これにより、受信装置は、データパケットＰＤｃ２を受信した場合、すでに制御情報パケットＰＣｃ２ａ及びＰＣｃ２ｂを受信済みなので、データパケットＰＤｃ２に含まれるデータのデコード時刻及び提示時刻が未知となる期間が生じない。従って、受信装置は、データパケットＰＤｃ２に含まれるデータの再生を迅速に開始することができる。   As a result, when the receiving device receives the data packet PDc2, it has already received the control information packets PCc2a and PCc2b, so that there is no period in which the decoding time and the presentation time of the data included in the data packet PDc2 are unknown. Therefore, the receiving device can quickly start the reproduction of the data included in the data packet PDc2.

また、例えば、伝送エラー等により制御情報パケットＰＣｃ１ａ乃至ＰＣｃ１ｃが欠落しても、受信装置は、制御情報パケットＰＣｃ２ａを受信した時点で、データパケットＰＤｃ２を受信するより前に、データパケットＰＤｃ１に対応する制御情報パケットの受信に失敗したことを検出することができる。そして、例えば、受信装置は、すぐにデータパケットＰＤｃ１に含まれるデータに対応する時刻情報等が得られない場合の処理を実行し、データパケットＰＤｃ１に含まれるデータを適切な方法で迅速かつ確実に再生することが可能になる。   Further, for example, even if the control information packets PCc1a to PCc1c are lost due to a transmission error or the like, the receiving device corresponds to the data packet PDc1 before receiving the data packet PDc2 at the time of receiving the control information packet PCc2a. It is possible to detect that the reception of the control information packet has failed. Then, for example, the receiving device executes the process when the time information or the like corresponding to the data included in the data packet PDc1 is not immediately obtained, and the data included in the data packet PDc1 can be swiftly and reliably processed by an appropriate method. It becomes possible to reproduce.

さらに、データパケットＰＤｃ１の後に制御情報パケットＰＣｃ１ｃを多重化することにより、受信装置が、制御情報パケットＰＣｃ１ｂとデータパケットＰＤｃ１の間から受信を開始しても、データパケットＰＤｃ１に対応する制御情報パケットを受信することが可能になる。その結果、受信装置は、データパケットＰＤｃ１に含まれるデータの再生を確実に開始することができる。   Further, by multiplexing the control information packet PCc1c after the data packet PDc1, even if the receiving device starts receiving between the control information packet PCc1b and the data packet PDc1, the control information packet corresponding to the data packet PDc1 is received. It becomes possible to receive. As a result, the receiving device can reliably start the reproduction of the data included in the data packet PDc1.

なお、この例では、データパケットＰＤｃ１とデータパケットＰＤｃ２の間にデータパケットＰＤｃ１に対応する制御情報パケットを１つ多重化する例を示したが、２つ以上多重化することも可能である。ただし、データパケットＰＤｃ２の前にデータパケットＰＤｃ２に対応する制御情報パケットを１つ以上多重化することが必須条件となる。また、制御情報パケットを多重化可能な位置のうち、データパケットＰＤｃ１の後でデータパケットＰＤｃ１に最も近い位置にデータパケットＰＤｃ１に対応する制御情報パケットを１つのみ多重化することにより、受信装置が、データパケットＰＤｃ１に対応する制御情報パケットの受信を失敗した場合に、受信エラーをより迅速に検出することが可能になる。   In this example, one control information packet corresponding to the data packet PDc1 is multiplexed between the data packet PDc1 and the data packet PDc2, but it is also possible to multiplex two or more. However, it is indispensable to multiplex one or more control information packets corresponding to the data packet PDc2 before the data packet PDc2. In addition, by multiplexing only one control information packet corresponding to the data packet PDc1 at the position closest to the data packet PDc1 after the data packet PDc1 among the positions where the control information packet can be multiplexed, the receiving device can When the reception of the control information packet corresponding to the data packet PDc1 fails, the reception error can be detected more quickly.

また、上述したように、データパケットＰＤｃ１とデータパケットＰＤｃ２の間にデータパケットＰＤｃ１に対応する制御情報パケットを１つも多重化しないようにすることも可能である。この場合、図６のフローチャートのステップＳ４において、ステップＳ２でデータストリームを多重化した直後に、多重化する制御情報パケットが、多重化したデータパケットに含まれるMPUの次のMPUを含むデータパケットに対応する制御情報パケットに切り替わる。   Further, as described above, it is possible not to multiplex any control information packet corresponding to the data packet PDc1 between the data packet PDc1 and the data packet PDc2. In this case, in step S4 of the flowchart of FIG. 6, immediately after multiplexing the data streams in step S2, the control information packet to be multiplexed is the data packet including the MPU next to the MPU included in the multiplexed data packet. Switch to the corresponding control information packet.

｛多重化処理の第２の実施の形態｝
次に、図８のフローチャートを参照して、送信装置１０１により実行される多重化処理の第２の実施の形態について説明する。 {Second Embodiment of Multiplexing Process}
Next, a second embodiment of the multiplexing process executed by the transmission device 101 will be described with reference to the flowchart of FIG.

ステップＳ１０１において、図６のステップＳ１の処理と同様に、次に多重化するデータパケットが選択される。   In step S101, the data packet to be multiplexed next is selected, as in the process of step S1 in FIG.

ステップＳ１０２において、多重化部１１６は、図６のステップＳ３と同様の処理により、選択したデータパケットがMPUの先頭を含んでいるか否かを判定する。選択したデータパケットがMPUの先頭を含んでいると判定された場合、処理はステップＳ１０３に進む。   In step S102, the multiplexing unit 116 determines whether or not the selected data packet includes the head of the MPU by the same processing as in step S3 of FIG. When it is determined that the selected data packet includes the head of the MPU, the process proceeds to step S103.

ステップＳ１０３において、多重化部１１６は、選択したデータパケットに対応する制御情報パケットをすでに多重化済みであるか否かを判定する。選択したデータパケットに対応する制御情報パケットをまだ多重化していないと判定された場合、処理はステップＳ１０４に進む。   In step S103, the multiplexing unit 116 determines whether the control information packet corresponding to the selected data packet has already been multiplexed. When it is determined that the control information packet corresponding to the selected data packet has not been multiplexed yet, the process proceeds to step S104.

ステップＳ１０４において、多重化部１１６は、選択したデータパケットに対応する制御情報パケットを挿入する。具体的には、多重化部１１６は、制御情報パケット生成部１１５から供給される制御情報パケットの中から、選択したデータパケットと同じpacket_id及びmpu_sequence_numberがMPTに設定されている制御情報パケットを検索する。そして、多重化部１１６は、検出した制御情報パケットを送信部１１７に供給する。送信部１１７は、供給された制御情報パケットを送信する。これにより、選択したデータパケットに対応する制御情報パケットが、多重化ストリームに多重化されて送信される。   In step S104, the multiplexing unit 116 inserts the control information packet corresponding to the selected data packet. Specifically, the multiplexing unit 116 searches the control information packets supplied from the control information packet generation unit 115 for a control information packet in which the same packet_id and mpu_sequence_number as the selected data packet are set in MPT. . Then, the multiplexing unit 116 supplies the detected control information packet to the transmission unit 117. The transmitter 117 transmits the supplied control information packet. As a result, the control information packet corresponding to the selected data packet is multiplexed with the multiplexed stream and transmitted.

その後、処理はステップＳ１０５に進む。   Then, a process progresses to step S105.

一方、ステップＳ１０３において、選択したデータパケットに対応する制御情報パケットをすでに多重化済みであると判定された場合、ステップＳ１０４の処理はスキップされ、処理はステップＳ１０５に進む。   On the other hand, when it is determined in step S103 that the control information packet corresponding to the selected data packet has already been multiplexed, the process of step S104 is skipped and the process proceeds to step S105.

また、ステップＳ１０２において、選択したデータパケットがMPUの先頭を含んでいないと判定された場合、ステップＳ１０３及びＳ１０４の処理はスキップされ、処理はステップＳ１０５に進む。   If it is determined in step S102 that the selected data packet does not include the head of the MPU, the processes of steps S103 and S104 are skipped and the process proceeds to step S105.

ステップＳ１０５において、図６のステップＳ２の処理と同様に、選択したデータパケットが多重化される。   In step S105, the selected data packet is multiplexed as in the process of step S2 in FIG.

その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。   After that, the process returns to step S101, and the processes after step S101 are executed.

図９は、図８の多重化処理による制御情報パケット及びデータパケットの多重化位置の例を示している。   FIG. 9 shows an example of the multiplexing positions of the control information packet and the data packet by the multiplexing process of FIG.

ステップＳ１０３において、データパケットＰＤｄに対応する制御情報パケットがまだ多重化されていないと判定された場合、図９に示されるように、データパケットＰＤｄの直前に、データパケットＰＤｄに対応する制御情報パケットＰＣｄが多重化される。   When it is determined in step S103 that the control information packet corresponding to the data packet PDd has not yet been multiplexed, as shown in FIG. 9, immediately before the data packet PDd, the control information packet corresponding to the data packet PDd. PCd is multiplexed.

これにより、受信装置は、データパケットＰＤｄを受信した場合、すでにデータパケットＰＤｄに対応する制御情報パケットＰＣｄを受信済みなので、データパケットＰＤｄに含まれるデータのデコード時刻及び提示時刻が未知となる期間が生じない。従って、受信装置は、データパケットＰＤｄに含まれるデータの再生を迅速に開始することができる。   As a result, when the receiving device receives the data packet PDd, it has already received the control information packet PCd corresponding to the data packet PDd, so that the decoding time and the presentation time of the data included in the data packet PDd are unknown. Does not happen. Therefore, the receiving device can quickly start the reproduction of the data included in the data packet PDd.

なお、上述した図７のように、制御情報パケットを多重化可能な位置が予め定められている場合、多重化部１１６は、多重化可能な位置のうち、データパケットＰＤｄの前で最もデータパケットＰＤｄに近い位置に制御情報パケットＰＣｄを多重化するようにすればよい。   Note that, as shown in FIG. 7 described above, when the position where the control information packet can be multiplexed is determined in advance, the multiplexing unit 116 determines that the data packet PDd is the most data packet before the data packet PDd among the positions that can be multiplexed. The control information packet PCd may be multiplexed at a position close to PDd.

また、送信装置１０１が、例えば、複数の番組のデータ、複数のビデオ信号、又は、複数のオーディオ信号を多重化する場合、ステップＳ１０１の処理において、番組毎、ビデオ信号毎、又は、オーディオ信号毎に多重化するパケットが選択される場合がある。この場合、図９の制御情報パケットＰＣｄとデータパケットＰＤｄとの間に、別の番組、別のビデオ信号、又は、別のオーディオ信号のパケットが挿入されても特に構わない。   When the transmission device 101 multiplexes data of a plurality of programs, a plurality of video signals, or a plurality of audio signals, for example, in the process of step S101, each program, each video signal, or each audio signal is processed. The packet to be multiplexed may be selected. In this case, a packet of another program, another video signal, or another audio signal may be inserted between the control information packet PCd and the data packet PDd of FIG.

さらに、ステップＳ１０２の判定処理は省略することも可能である。   Furthermore, the determination process of step S102 can be omitted.

＜２．変形例＞
上述したように、１つのMPUのデータが複数のデータパケットに分割して格納される場合が想定される。この場合、例えば、多重化部１１６は、複数のデータパケットのうちMPUの先頭を含むデータパケットより前に、当該MPUの時刻情報を含む制御情報パケットを少なくとも１つ多重化するようにすればよい。 <2. Modification>
As described above, it is assumed that the data of one MPU is divided and stored in a plurality of data packets. In this case, for example, the multiplexing unit 116 may multiplex at least one control information packet including the time information of the MPU before the data packet including the head of the MPU among the plurality of data packets. .

また、１つのMPUのデータが複数のデータパケットに分割して格納される場合、上述した図７の例において、データパケットＰＤｃ１は、mpu_sequence_numberがＮのMPUの末尾を含むデータパケットが該当し、データパケットＰＤｃ２は、mpu_sequence_numberがＮ＋１のMPUの先頭を含むデータパケットが該当する。すなわち、１つ前のMPUの末尾を含むデータパケットと、次のMPUの先頭を含むデータパケットとの間において、多重化する制御情報パケットを、次のMPUに対応する時刻情報を含む制御情報パケットに切り替えるようにすればよい。   Further, when the data of one MPU is divided and stored in a plurality of data packets, in the example of FIG. 7 described above, the data packet PDc1 corresponds to the data packet including the end of the MPU whose mpu_sequence_number is N, and The packet PDc2 corresponds to a data packet including the head of the MPU whose mpu_sequence_number is N + 1. That is, a control information packet to be multiplexed between a data packet including the end of the immediately preceding MPU and a data packet including the beginning of the next MPU is a control information packet including time information corresponding to the next MPU. You can switch to.

さらに、上述したように、１つのMPUの時刻情報が複数の制御情報パケットに分割して格納される場合が想定される。この場合、多重化部１１６は、複数の制御情報パケットを少なくとも１つずつ当該MPUの先頭を含むデータパケットより前に多重化するようにすればよい。   Furthermore, as described above, it is assumed that the time information of one MPU is divided and stored in a plurality of control information packets. In this case, the multiplexing unit 116 may multiplex at least one of the plurality of control information packets before the data packet including the head of the MPU.

また、例えば、本技術は、データパケット及び制御情報パケットが、インターネットプロトコル等によりさらにパケット化されてから多重化される場合にも適用することができる。   Further, for example, the present technology can be applied to the case where the data packet and the control information packet are further packetized by the Internet protocol or the like and then multiplexed.

さらに、本技術は、上述したビデオ信号及びオーディオ信号以外の任意の再生対象となるデータ（以下、再生データと称する）をパケット化して多重化する場合にも適用することができる。このような再生データには、例えば、字幕データ等が考えられる。   Furthermore, the present technology can also be applied to a case where data other than the above-described video signal and audio signal to be reproduced (hereinafter referred to as reproduction data) is packetized and multiplexed. For example, caption data or the like can be considered as such reproduction data.

また、本技術は、デコード時刻及び提示時刻のうち一方のみを含む時刻情報や、デコード時刻及び提示時刻以外の時刻情報を、再生データとは別にパケット化して多重化する場合にも適用することができる。   The present technology can also be applied to a case where time information including only one of the decode time and the presentation time, and time information other than the decode time and the presentation time are packetized and multiplexed separately from the reproduction data. it can.

さらに、本技術は、デコード時刻及び提示時刻以外の再生データを再生するタイミングの制御に用いるタイミング情報を、再生データとは別にパケット化して多重化する場合にも適用することができる。例えば、そのようなタイミング情報として、送信側でデコードされない再生データを受信側で再生を開始する時刻である再生時刻等が想定される。   Further, the present technology can also be applied to a case where timing information used for controlling the timing of reproducing reproduction data other than the decoding time and the presentation time is packetized and multiplexed separately from the reproduction data. For example, as such timing information, a reproduction time or the like, which is a time at which reproduction data that is not decoded on the transmission side is started on the reception side, is assumed.

また、本技術は、時刻情報以外の再生データの再生に必要な制御情報を再生データとは別にパケット化して多重化する場合にも適用することができる。   The present technology can also be applied to a case where the control information other than the time information necessary for reproducing the reproduction data is packetized and multiplexed separately from the reproduction data.

さらに、本技術は、再生対象となるデータである再生データと再生データの再生に用いる制御情報とを個別にパケット化して多重化したデータストリームを送信するシステムや装置全般に適用することができる。   Further, the present technology can be applied to all systems and devices that individually packetize the reproduction data, which is the data to be reproduced, and the control information used to reproduce the reproduction data, and transmit the multiplexed data stream.

｛コンピュータの構成例｝
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。 {Computer configuration example}
The series of processes described above can be executed by hardware or software. When the series of processes is executed by software, the programs forming the software are installed in the computer. Here, the computer includes a computer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。   FIG. 10 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。   In a computer, a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303 are connected to each other by a bus 304.

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。   An input / output interface 305 is further connected to the bus 304. An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.

入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。   The input unit 306 includes a keyboard, a mouse, a microphone, and the like. The output unit 307 includes a display, a speaker and the like. The storage unit 308 includes a hard disk, a non-volatile memory, or the like. The communication unit 309 includes a network interface or the like. The drive 310 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。   In the computer configured as above, for example, the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304 and executes the program to execute the above-described series of operations. Is processed.

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer (CPU 301) can be provided, for example, by recording it on a removable medium 311 as a package medium or the like. In addition, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。   In the computer, the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable medium 311 in the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308. In addition, the program can be installed in advance in the ROM 302 or the storage unit 308.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   It should be noted that the program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。   Further, in the present specification, the system means a set of a plurality of constituent elements (devices, modules (components), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   Furthermore, the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present technology.

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。   For example, the present technology may have a configuration of cloud computing in which a plurality of devices share one function via a network and jointly process the functions.

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。   In addition, each step described in the above-described flowcharts can be executed by one device or shared by a plurality of devices.

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。   Further, when one step includes a plurality of processes, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。   Further, the effects described in the present specification are merely examples and are not limited, and there may be other effects.

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   Furthermore, the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present technology.

また、例えば、本技術は以下のような構成も取ることができる。   Further, for example, the present technology may also be configured as below.

（１）
再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成する多重化部と、
前記データストリームを送信する送信部と
を備え、
前記多重化部は、前記再生データの所定の処理単位のうちの１つの第１の処理単位に対応する前記制御情報を含む第１の制御情報パケットを、前記第１の処理単位を含む第１のデータパケットより前に多重化する
送信装置。
（２）
前記多重化部は、前記第１の処理単位の１つ前の第２の処理単位を含む第２のデータパケットと前記第１のデータパケットの間に前記第１の制御情報パケットを多重化する
前記（１）に記載の送信装置。
（３）
前記多重化部は、前記データストリームにおいて前記制御情報パケットを多重化可能な位置のうち、前記第１のデータパケットより前で前記第１のデータパケットに最も近い位置に前記第１の制御情報パケットを多重化する
前記（１）又は（２）に記載の送信装置。
（４）
前記多重化部は、前記データストリームにおいて前記制御情報パケットを多重化可能な位置のうち、前記第１のデータパケットより後で前記第１のデータパケットに最も近い位置に、前記第１の処理単位に対応する前記制御情報を含む第２の制御情報パケットをさらに多重化する
前記（１）乃至（３）のいずれかに記載の送信装置。
（５）
前記第１のデータパケットは、前記第１の処理単位の先頭を含む
前記（１）乃至（４）のいずれかに記載の送信装置。
（６）
前記制御情報は、前記処理単位を再生するタイミングの制御に用いるタイミング情報を含む
前記（１）乃至（５）のいずれかに記載の送信装置。
（７）
前記タイミング情報は、前記処理単位のデコードを開始する時刻を示す情報、及び、前記処理単位を提示する時刻を示す情報のうち少なくとも一方を含む
前記（６）に記載の送信装置。
（８）
前記データパケット及び前記制御情報パケットは、MMTP（MMT Protocol） Packetであり、
前記処理単位は、MPU（Media Processing Unit）である
前記（１）乃至（７）のいずれかに記載の送信装置。
（９）
再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前に多重化する多重化ステップと、
前記データストリームの送信を制御する送信制御ステップと
を含む送信方法。
（１０）
再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前に多重化する多重化ステップと、
前記データストリームの送信を制御する送信制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。 (1)
Multiplexing for generating a data stream by individually multiplexing a data packet, which is a packet including reproduction data that is data to be reproduced, and a control information packet, which is a packet including control information used for reproduction of the reproduction data. Akabe,
A transmitter for transmitting the data stream,
The multiplexer includes a first control information packet including the first processing unit, the first control information packet including the control information corresponding to one first processing unit of the predetermined processing units of the reproduction data. A transmitter that multiplexes before the other data packet.
(2)
The multiplexing unit multiplexes the first control information packet between a second data packet including a second processing unit immediately preceding the first processing unit and the first data packet. The transmitter according to (1) above.
(3)
The multiplexing unit is configured to position the first control information packet at a position closest to the first data packet before the first data packet among positions where the control information packet can be multiplexed in the data stream. The transmitter according to (1) or (2) above.
(4)
The multiplexing unit may include a first processing unit at a position closest to the first data packet after the first data packet among positions at which the control information packet can be multiplexed in the data stream. The transmission device according to any one of (1) to (3), further multiplexing a second control information packet including the control information corresponding to.
(5)
The transmission device according to any one of (1) to (4), wherein the first data packet includes a head of the first processing unit.
(6)
The transmission device according to any one of (1) to (5), wherein the control information includes timing information used for controlling a timing of reproducing the processing unit.
(7)
The transmission device according to (6), wherein the timing information includes at least one of information indicating a time to start decoding the processing unit and information indicating a time to present the processing unit.
(8)
The data packet and the control information packet are MMTP (MMT Protocol) Packet,
The transmission unit according to any one of (1) to (7), wherein the processing unit is an MPU (Media Processing Unit).
(9)
A data stream is generated by individually multiplexing a data packet that is a packet that includes reproduction data that is data to be reproduced, and a control information packet that is a packet that includes control information used to reproduce the reproduction data. A multiplexing step of multiplexing the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data before the data packet including the processing unit,
A transmission control step of controlling transmission of the data stream.
(10)
A data stream is generated by individually multiplexing a data packet that is a packet that includes reproduction data that is data to be reproduced, and a control information packet that is a packet that includes control information used to reproduce the reproduction data. A multiplexing step of multiplexing the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data before the data packet including the processing unit,
And a transmission control step of controlling transmission of the data stream.

１０１ 送信装置， １１４ データパケット生成部， １１５ 制御情報パケット生成部， １１６ 多重化部， １１７ 送信部   101 transmitter, 114 data packet generator, 115 control information packet generator, 116 multiplexer, 117 transmitter

Claims (9)

再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成する多重化部と、
前記データストリームを送信する送信部と
を備え、
前記多重化部は、前記再生データの所定の処理単位のうちの１つの第１の処理単位に対応する前記制御情報を含む制御情報パケットを、前記第１の処理単位を含む第１のデータパケットより前及び後に多重化する
送信装置。 Multiplexing for generating a data stream by individually multiplexing a data packet, which is a packet including reproduction data that is data to be reproduced, and a control information packet, which is a packet including control information used for reproduction of the reproduction data. Akabe,
A transmitter for transmitting the data stream,
The multiplexing unit is the including control information packet the control information corresponding to one first processing unit of the predetermined processing units of the reproduction data, a first containing the first processing unit A transmitter that multiplexes before and after a data packet. 前記多重化部は、前記第１の処理単位の１つ前の第２の処理単位を含む第２のデータパケットと前記第１のデータパケットの間、及び、前記第１のデータパケットと前記第１の処理単位の１つ後の第３の処理単位を含む第３のデータパケットとの間に前記制御情報パケットを多重化する
請求項１に記載の送信装置。 The multiplexing unit may be provided between the second data packet including the second processing unit immediately before the first processing unit and the first data packet , and between the first data packet and the first data packet. transmitting apparatus according to claim 1 for multiplexing the previous SL control information packets between the third data packet including a third processing unit after one of the first processing unit. 前記多重化部は、前記データストリームにおいて前記制御情報パケットを多重化可能な位置のうち、前記第１のデータパケットより前で前記第１のデータパケットに最も近い位置、及び、前記第１のデータパケットより後で前記第１のデータパケットに最も近い位置に前記制御情報パケットを多重化する
請求項２に記載の送信装置。 The multiplexing unit is configured of the multiplexed possible positions the control information packet in the data stream, the first position closest to the first data packet before the data packet, and the first data transmitting apparatus according to claim 2 for multiplexing the previous SL control information packet at a position closest to the first data packet later than the packet. 前記第１のデータパケットは、前記第１の処理単位の先頭を含む
請求項１に記載の送信装置。 The transmission device according to claim 1, wherein the first data packet includes a head of the first processing unit. 前記制御情報は、前記処理単位を再生するタイミングの制御に用いるタイミング情報を含む
請求項１に記載の送信装置。 The transmission device according to claim 1, wherein the control information includes timing information used for controlling a timing of reproducing the processing unit. 前記タイミング情報は、前記処理単位のデコードを開始する時刻を示す情報、及び、前記処理単位を提示する時刻を示す情報のうち少なくとも一方を含む
請求項５に記載の送信装置。 The transmission device according to claim 5 , wherein the timing information includes at least one of information indicating a time to start decoding the processing unit and information indicating a time to present the processing unit. 前記データパケット及び前記制御情報パケットは、MMTP（MMT Protocol） Packetであり、
前記処理単位は、MPU（Media Processing Unit）である
請求項１に記載の送信装置。 The data packet and the control information packet are MMTP (MMT Protocol) Packet,
The transmission device according to claim 1, wherein the processing unit is an MPU (Media Processing Unit). 再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前及び後に多重化する多重化ステップと、
前記データストリームの送信を制御する送信制御ステップと
を含む送信方法。 A data stream is generated by individually multiplexing a data packet that is a packet that includes reproduction data that is data to be reproduced, and a control information packet that is a packet that includes control information used to reproduce the reproduction data. A multiplexing step of multiplexing the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data before and after the data packet including the processing unit,
A transmission control step of controlling transmission of the data stream. 再生対象となるデータである再生データを含むパケットであるデータパケット、及び、前記再生データの再生に用いる制御情報を含むパケットである制御情報パケットを個別に多重化することによりデータストリームを生成するともに、前記再生データの所定の処理単位に対応する前記制御情報を含む前記制御情報パケットを、前記処理単位を含む前記データパケットより前及び後に多重化する多重化ステップと、
前記データストリームの送信を制御する送信制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。 A data stream is generated by individually multiplexing a data packet that is a packet that includes reproduction data that is data to be reproduced, and a control information packet that is a packet that includes control information used to reproduce the reproduction data. A multiplexing step of multiplexing the control information packet including the control information corresponding to a predetermined processing unit of the reproduction data before and after the data packet including the processing unit,
And a transmission control step of controlling transmission of the data stream.
JP2015128881A 2015-06-26 2015-06-26 Transmission device, transmission method, and program Expired - Fee Related JP6684433B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015128881A JP6684433B2 (en) 2015-06-26 2015-06-26 Transmission device, transmission method, and program
PCT/JP2016/067324 WO2016208418A1 (en) 2015-06-26 2016-06-10 Transmission device, transmission method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015128881A JP6684433B2 (en) 2015-06-26 2015-06-26 Transmission device, transmission method, and program

Publications (2)

Publication Number Publication Date
JP2017017383A JP2017017383A (en) 2017-01-19
JP6684433B2 true JP6684433B2 (en) 2020-04-22

Family

ID=57585542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015128881A Expired - Fee Related JP6684433B2 (en) 2015-06-26 2015-06-26 Transmission device, transmission method, and program

Country Status (2)

Country Link
JP (1) JP6684433B2 (en)
WO (1) WO2016208418A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (en) * 2013-03-14 2014-12-17 ソニー株式会社 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP6323805B2 (en) * 2013-04-04 2018-05-16 日本放送協会 Reception device, transmission device, and reception program
JP6652320B2 (en) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Transmission method, reception method, transmission device, and reception device

Also Published As

Publication number Publication date
JP2017017383A (en) 2017-01-19
WO2016208418A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
JP7036962B2 (en) Playback method and playback device
JP6302274B2 (en) Transmitting apparatus and receiving apparatus
JP6878503B2 (en) Transmission method, reception method, transmission device and reception device
TWI716018B (en) Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content
EP2728858B1 (en) Receiving apparatus and receiving method thereof
JP6737922B2 (en) Transmission method, reception method, transmission device, and reception device
JP4475336B2 (en) Time stamp adding apparatus, time stamp adding method, and program
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
JP6957186B2 (en) Information processing equipment, information processing methods, programs, and recording medium manufacturing methods
JP6684433B2 (en) Transmission device, transmission method, and program
JP2008245061A (en) Pcr reproduction system in ip stream transmission
WO2017014054A1 (en) Transmission device, transmission method, reception device, reception method, and program
WO2016208417A1 (en) Data processing device, data processing method and program
JP7024353B2 (en) MPU processing device, transmitter, MPU processing method and program
JP5367771B2 (en) Video transmission system
JP7034926B2 (en) Information processing equipment, information processing methods, and programs
WO2015052908A1 (en) Transmission method, reception method, transmission device, and reception device
JP2002344890A (en) Data recording/reproducing device
JP2008016905A (en) Content transmission apparatus, content receiving apparatus, and content distribution method
JP2009060324A (en) Time stamp addition device, time stamp addition method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200311

R151 Written notification of patent or utility model registration

Ref document number: 6684433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees