CN108702533B - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN108702533B
CN108702533B CN201780014788.3A CN201780014788A CN108702533B CN 108702533 B CN108702533 B CN 108702533B CN 201780014788 A CN201780014788 A CN 201780014788A CN 108702533 B CN108702533 B CN 108702533B
Authority
CN
China
Prior art keywords
information
data
stream
media
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780014788.3A
Other languages
English (en)
Other versions
CN108702533A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702533A publication Critical patent/CN108702533A/zh
Application granted granted Critical
Publication of CN108702533B publication Critical patent/CN108702533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • H04N21/23617Multiplexing of additional data and video streams by inserting additional data into a data carousel, e.g. inserting software modules into a DVB carousel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26233Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving content or additional data duration or size, e.g. length of a movie, size of an executable file
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network

Abstract

本发明使得预定的信息能够令人满意地插入到媒体编码流中并进行发送。在向其添加用于重建的命令信息之后,通过划分预定信息而获得的划分部顺序地插入到媒体编码流的预定数量的单元部分中。在这种情况下,划分预定信息,使得预定信息的比特率变得小于或等于预定比特率。发送包括其中已插入预定信息的媒体编码流的预定格式容器。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及一种发送装置、一种发送方法、一种接收装置和一种接收方法,尤其涉及一种发送装置等,用于将预定信息插入到诸如视频和音频的媒体编码流并发送该预定信息。
背景技术
例如,在专利文献1中,已经提出将预定信息从广播站、分发服务器等中插入到音频压缩数据流中并发送,接收侧的机顶盒经由HDMI数字接口将音频压缩数据流发送到电视接收器,并且电视接收器使用预定信息执行信息处理。
现有技术文献
专利文献
专利文献1:日本专利申请公开号2012-010311
发明内容
本发明要解决的问题
本技术的目的是令人满意地将预定信息插入到媒体编码流中并发送该预定信息。
问题的解决方法
本技术的概念是一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了预定信息的媒体编码流的具有预定格式的容器,其中,
所述信息插入单元划分预定信息,使得预定信息的比特率落入预定比特率内。
在本技术中,信息插入单元将通过划分预定信息而获得的划分部顺序地插入到媒体编码流的预定数量的单元部分中。将用于重建的顺序信息添加到每个划分部。在这种情况下,划分预定信息,使得预定信息的比特率落入预定比特率内。然后,发送单元发送包括插入了预定信息的媒体编码流的具有预定格式的容器。
例如,信息插入单元可以划分预定信息,使得划分部的数据大小是固定大小。在这种情况下,例如,信息插入单元可以通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量,来计算固定大小。
此外,例如,信息插入单元可以划分预定信息,使得其中插入了划分部的每个单元部分的数据大小是固定大小。在这种情况下,例如,信息插入单元可以通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量而获得的第一大小加入通过将媒体编码流的比特率除以在一秒内生成的单元部分的数量而获得的第二大小,来计算固定大小。另外,目标比特率和相对于要插入的数据的媒体编码的比特率可被发送以作为标识信息,以便由接收器识别。
如上所述,在本技术中,将通过划分预定信息而获得的划分部插入到媒体编码流的预定数量的单元部分中,使得比特率落入预定比特率内,并且发送媒体编码流。因此,包括媒体编码流的整体的比特率可以落入目标比特率内,并且在将预定信息插入到媒体编码流中时,可以令人满意地发送媒体编码流。
注意,在本技术中,例如,信息插入单元可以将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,并且可以将用于识别是否将划分部插入到其他媒体编码流中的标识信息添加到要插入到一个或多个媒体编码流的预定数量的单元部分中的每个划分部。通过使用大量媒体编码流发送通过划分预定信息而获得的每个划分部,可以缩短发送整个预定信息所需的时间。在这种情况下,接收侧可以基于添加到每个划分部的标识信息来容易地识别将划分部插入到其他媒体编码流中,并且可以有效地提取预定信息的所有划分部。
在这种情况下,例如,可以进一步包括标识信息插入单元,该标识信息插入单元将指示预定信息的划分部被与所述一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到容器中。利用该结构,接收侧可以容易地识别插入了预定信息的划分部的媒体编码流。然后,在这种情况下,标识信息插入单元还可以将指示其中插入了预定信息的划分部的其他媒体编码流是否与一个或多个媒体编码流中的每一个相对应地存在的标识信息以及当媒体编码流存在时指示其他媒体编码流的标识信息插入到容器中。
另外,本技术的另一概念是一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了预定信息的划分部的一个或多个媒体编码流的具有预定格式的容器。
在本技术中,将通过划分预定信息而获得的划分部顺序地插入到一个或多个媒体编码流的预定数量的单元部分中。将用于重建的顺序信息添加到每个划分部。发送单元发送具有预定格式的容器,包括插入了预定信息的一个或多个媒体编码流。
如上所述,在本技术中,将通过划分预定信息而获得的划分部插入到一个或多个媒体编码流的预定数量的单元部分中并发送这些划分部。因此,通过使用大量媒体编码流进行发送,可以缩短发送整个预定信息所需的时间。
注意,在本技术中,例如,信息插入单元可以将指示划分部是否插入到其他媒体流中的标识信息添加到要插入到一个或多个媒体编码流中的每一个中的每个划分部。在这种情况下,接收侧可以基于添加到每个划分部的标识信息,来容易地识别将划分部插入到其他媒体编码流中,并且可以有效地提取预定信息的所有划分部。
此外,在本技术中,例如,可以进一步包括标识信息插入单元,该标识信息插入单元将指示预定信息的划分部与所述一个或多个媒体编码流中的每一个相对应地被插入的标识信息插入到容器中。利用该结构,接收侧可以容易地识别插入了预定信息的划分部的媒体编码流。然后,在这种情况下,标识信息插入单元还可以将指示其中插入了预定信息的划分部的其他媒体编码流是否与一个或多个媒体编码流中的每一个相对应地存在的标识信息以及当媒体编码流存在时指示其他媒体编码流的标识信息插入到容器中。
另外,本技术的又一概念是一种接收装置,包括:
流接收单元,被配置为接收一个或多个媒体编码流,其中,
将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,并且
所述接收装置还包括:
控制单元,被配置为控制用于从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的划分部并且基于顺序信息重建预定信息的处理以及使用重建的预定信息的信息处理。
在本技术中,接收单元接收一个或多个媒体编码流。例如,流接收单元可以经由数字接口从外部装置接收一个或多个媒体编码流。
从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的各划分部并且基于顺序信息重建预定信息。然后,执行使用重建的预定信息的信息处理。
例如,优选的是,将用于识别划分部是否插入到其他媒体编码流中的标识信息添加到插入到一个或多个媒体编码流的预定数量的单元部分中的每个划分部中,并且在重建预定信息的处理中,从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的每个划分部。
如上所述,在本技术中,从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的每个划分部,基于顺序信息重建预定信息,并且执行使用重建的预定信息的信息处理。因此,可以适当地重建预定信息并令人满意地执行信息处理。
另外,本技术的又一概念是一种接收装置,包括:
接收单元,被配置为接收包括一个或多个媒体编码流的具有预定格式的容器,其中,
将通过划分预定信息而获得的划分部添加用于重建的顺序信息并顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,将指示预定信息的划分部与所述一个或多个媒体编码流中的每一个相对应地被插入的标识信息插入到容器中,并且
所述接收装置还包括:
发送单元,被配置为基于标识信息经由数字接口将其中插入了预定信息的划分部的一个或多个媒体编码流发送到外部装置。
在本技术中,接收单元接收包括一个或多个媒体编码流的具有预定格式的容器。将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个媒体编码流的预定数量的单元部分中。此外,将指示预定信息的划分部是与所述一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到容器中。发送单元基于标识信息经由数字接口将分别插入了预定信息的划分部的一个或多个媒体编码流发送到外部装置。
如上所述,在本技术中,基于插入容器中的标识信息经由数字接口将其中插入了预定信息的划分部的一个或多个媒体编码流发送到外部装置。因此,外部装置可以从一个或多个媒体编码流中提取预定信息的所有划分部,并重建和使用预定信息。
本发明的效果
根据本技术,可以令人满意地将预定信息插入到媒体编码流中并发送该流。注意,在本文中描述的效果仅是示例性的,并不限于这些。此外,可能具有其他效果。
附图说明
图1是作为实施方式的发送/接收系统的示例性配置的框图。
图2是包括在广播发送装置中的流生成单元的示例性配置的框图。
图3是用于确定要插入到预定数量的音频帧中的每一个中的每个划分部的大小的示例性处理过程的流程图。
图4是在每个划分部f(i)插入到音频流的对应音频帧中的情况下插入数据DT的划分的示例和每个音频帧的大小的转换的示例的示图。
图5是用于确定要插入到预定数量的音频帧中的每一个中的每个划分部的大小的示例性处理过程的流程图。
图6是在每个划分部f(i)插入到音频流的对应音频帧中的情况下插入数据DT的划分的示例和每个音频帧的大小的转换的示例的示图。
图7是MPEG-H 3D音频的发送数据中的音频帧的示例性结构的示图。
图8是分组类型和分组类型的值之间的对应关系的示图。
图9是用于在METADATA分组中设置通用数据(generic_data)的条目的示例性结构的示图。
图10是通用数据(generic_data)的示例性结构的示图。
图11是通用数据(generic_data)的示例性结构中的主要信息的内容的示图。
图12是时间信息(time_information)的示例性结构的示图。
图13是时间信息(time_information)的示例性结构中的主要信息的内容的示图。
图14是数据容器描述符(data_container描述符)的示例性结构的示图。
图15是数据容器描述符(data_container描述符)的示例性结构中的主要信息的内容的示图。
图16是包括在广播发送装置中的流生成单元的另一示例性配置的框图。
图17是在划分部f(i)插入到两个音频流的对应音频帧中的情况下插入数据DT的划分的示例和相应音频帧的大小的转换的示例的示图。
图18是在划分部f(i)插入到两个音频流的对应音频帧中的情况下插入数据DT的划分的示例和相应音频帧的大小的转换的示例的示图。
图19是利用多条通用数据(generic_data)发送容器目标数据的情况的示例的示图。
图20是利用单条通用数据(generic_data)发送容器目标数据的情况的示例的示图。
图21是利用多条通用数据(generic_data)发送多条容器目标数据的情况的示例的示图。
图22是基于添加到容器目标数据的时间信息独立于音频PTS管理多条容器目标数据的执行的示例的示图。
图23是示出在不依赖于音频时间戳的情况下由接收侧执行容器目标数据(预定信息)的示图。
图24是基于添加到容器目标数据的时间信息来同步管理多条容器目标数据的具体示例的示图。
图25是传输流TS的示例性结构的示图。
图26是机顶盒的示例性配置的框图。
图27是电视接收器的示例性配置的框图。
图28是音频解码器的示例性配置的框图。
图29是示意性地示出提取器相对于单个音频流AS1的示例性处理的示图。
图30是示意性地示出提取器相对于两个音频流AS1和AS2的示例性处理的示图。
图31是机顶盒的HDMI发送单元和电视接收器的HDM接收单元的示例性配置的框图。
图32是在TMDS信道中发送大小为1920像素×1080行的图像数据的情况下的各种发送数据的周期的示图。
图33是具有协商的机顶盒和电视接收器的示例性操作的示图。
图34是在广播发送装置中包括的流生成单元的又一示例性配置的框图。
图35是传输流TS的另一示例性结构的示图。
图36是AC4简单发送(Simple Transport)层的结构图。
图37是TOC(ac4_toc())和子流(ac4_substream_data())的示意性配置的示图。
图38是MMT传输流的一个示例性结构的示图。
图39是MMT传输流的另一示例性结构的示图。
图40是在音频压缩格式是MPEG-H 3D音频或AC4的情况下包括音轨(轨道A)的数据的MP4流(文件)的示例性配置的示图。
图41是在数据插入流包括两个音频流的情况下MPD文件中的示例性描述的示图。
图42是在数据插入流包括音频流和视频流的情况下MPD文件中的示例性描述的示图。
图43是MPD文件中的示例性描述中的主要信息的内容的示图。
图44是发送/接收系统的另一示例性配置的框图。
具体实施方式
下面将描述用于执行本发明的模式(称为“实施方式”)。注意,将按以下顺序进行描述。
1、实施方式
2、变形例
<1、实施方式>
[发送/接收系统的示例性配置]
图1是作为实施方式的发送/接收系统10的示例性配置。发送/接收系统10包括广播发送装置100、机顶盒(STB)200和电视接收器(TV)300。机顶盒200和电视接收器300经由HDMI电缆400彼此连接。在这种情况下,机顶盒200是来源,电视接收器300是目的地。注意,“HDMI”是注册商标。
广播发送装置100在广播波上发送MPEG-2传输流(下面简称为“传输流TS”),作为容器(多路复用流)。传输流TS包括视频流和音频流,作为媒体编码流。
此外,广播发送装置100将通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,即,在本实施方式中,一个或多个音频流。注意,预定数量包括一个。当预定数量是一个时,实际上没有划分预定信息,并且整个信息插入到单个单元部分中。预定信息是网络访问信息、命令信息、媒体文件等。通过使用大量媒体编码流发送通过划分预定信息而获得的每个划分部,可以缩短发送整个预定信息所需的时间。
在此处,单元部分例如是访问单元。访问单元表示在媒体编码流是音频流的情况下捆绑预定条数的音频样本数据的音频帧,并且在媒体编码流是视频流的情况下表示图片。
此外,广播发送装置100划分预定信息,使得预定信息的比特率落入预定比特率内。通过以这种方式划分预定信息,可以将包括媒体编码流的整体的比特率抑制到目标比特率,并且在将预定信息插入到媒体编码流中时,可以令人满意地发送媒体编码流。
例如,划分预定信息,使得每个划分部的数据大小是固定大小。在这种情况下,例如,通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量,来计算固定大小。
此外,例如,划分预定信息,使得其中插入了划分部的每个单元部分的数据大小是固定大小。此时,划分部的数据大小变化。在这种情况下,例如,通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量而获得的第一大小加入通过将媒体编码流的比特率除以在一秒内生成的单元部分的数量而获得的第二大小,来计算固定大小。
另外,广播发送装置100将用于识别是否将划分部插入到其他媒体编码流中的标识信息添加到要插入到一个或多个媒体编码流的预定数量的单元部分中的每个划分部。在这种情况下,接收侧可以基于添加到每个划分部的标识信息,来容易地识别划分部插入到其他媒体编码流中,并且可以有效地提取预定信息的所有划分部。
另外,广播发送装置100将指示预定信息的划分部是与所述一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到作为容器的传输流TS中。通过以这种方式插入标识信息,接收侧可以容易地识别插入了预定信息的划分部的媒体编码流。
另外,广播发送装置100将指示其中插入了预定信息的划分部的其他媒体编码流是否与一个或多个媒体编码流中的每一个相对应地存在的标识信息以及当媒体编码流存在时指示其他媒体编码流的标识信息插入到作为容器的传输流TS中。
机顶盒200在广播波上接收从广播发送装置100发送的传输流TS。如上所述,传输流TS包括媒体编码流(视频流和音频流)。然后,在本实施方式中,通过划分预定信息而获得的划分部添加用于重建的顺序信息、顺序地插入到一个或多个音频流的预定数量的单元部分中。
机顶盒200经由HDMI电缆400将通过解码接收的视频流和接收的一个或多个音频流而获得的未压缩视频数据发送到电视接收器300。如上所述,插入标识信息,这表示预定信息的划分部与所述一个或多个音频流中的每一个相对应地插入到传输流TS中。
机顶盒200基于标识信息将分别插入预定信息的划分部的一个或多个音频流中的所有音频流发送到电视接收器300。即使在电视接收器300具有仅解码一个或多个音频流的一部分的解码能力的情况下,机顶盒200不仅将分别插入预定信息的划分部的音频流的一部分,而且将一个或多个音频流的全部音频流发送到电视接收器300。通过该操作,电视接收器300可以从一个或多个媒体编码流中提取预定信息的所有划分部,并且可以重建和使用预定信息。
电视接收器300通过HDMI电缆400从机顶盒200接收未压缩的视频数据和一个或多个音频流,其中,预定信息的划分部被分别插入到该一个或多个音频流中。电视接收器300基于未压缩的视频数据显示图像。此外,电视接收器300根据解码能力对一个或多个音频流的全部或一部分进行解码,以获得未压缩的音频数据,并基于音频数据输出声音。
此外,电视接收器300从一个或多个音频流中提取预定信息的划分部,并基于顺序信息重建预定信息。然后,电视接收器300通过使用重建的预定信息(例如,媒体访问信息)的信息处理来获得媒体数据,并且通过媒体数据执行诸如图像显示或音频输出等处理。
[广播发送装置的流生成单元]
在图2中,示出了包括在广播发送装置100中的流生成单元110A的示例性配置。在流生成单元110A中,生成单个音频流,并且通过划分预定信息(插入数据)获得的每个划分部插入到预定数量的音频帧中的每一个中。流生成单元110A包括CPU 111、视频编码器112、音频编码器113、分离器114、插入器115和多路复用器116。注意,可以包括分离器114和插入器115作为音频编码器113或CPU 111的一部分。
CPU 111控制流生成单元110A的每个单元。视频编码器112对视频数据(图像数据)SV执行诸如MPEG2、H.264/AVC和H.265/HEVC等编码,以生成视频流(视频基本流)。视频数据SV例如是从诸如硬盘驱动器(HDD)等记录介质再现的视频数据、通过摄像机获得的现场视频数据等。
音频编码器113用MPEG-H 3D音频压缩格式对音频数据(声音数据)SA进行编码,以生成音频流(音频基本流)。音频数据SA对应于视频数据SV,并且是从诸如HDD等记录介质再现的音频数据、通过麦克风获得的现场音频数据等。
分离器114对包括在预定信息中的插入数据DT进行划分,并获得预定数量的划分部f(i)。插入器115将通过分离器114划分插入数据DT而获得的预定数量的划分部添加用于重建的顺序信息并顺序地插入到音频流的预定数量的音频帧中。顺序信息包括例如指示划分部是第一划分部、最终划分部或指示划分部的数量等的信息。
分离器114对插入数据DT进行划分,使得插入数据DT的比特率落入预定的比特率内,在此处是容许比特率。
在这种情况下,分离器114通过例如以下方法(1)或(2)来划分插入数据DT。
(1)对插入数据DT进行划分,使得每个划分部的数据大小是固定大小。
(2)对插入数据DT进行划分,使得插入每个划分部的音频帧的数据大小是固定大小。
将描述通过(1)中的方法进行划分的情况。在这种情况下,分离器114通过从由CPU111指定的目标比特率TR中减去从由音频编码器113生成的音频流R_EM1中识别的音频流的比特率CR中来计算容许比特率AVR(=TR-CR)。注意,可以指定与音频编码流的比特率的比率,来计算容许比特率AVR,或者可以指定容许比特率AVR。
然后,分离器114通过以下公式(1)通过将容许比特率AVR除以在一秒内生成的音频帧AU_frec的数量来计算固定大小AIS。注意,通过公式(1)获得的固定大小的单位是字节。
AIS=AVR/8/AU_frec···(1)
图3中的流程图示出了在通过(1)中的方法划分的情况下用于确定要插入到预定数量的音频帧中的相应划分部的大小的示例性处理过程。分离器114在步骤ST1中开始处理。然后,分离器114在步骤ST2中设置i=0,在步骤ST3中进一步设置ISS(i)=AIS。之后,过程进入步骤ST4的处理。
在步骤ST4中,分离器114确定插入数据DT的剩余大小N是否等于或小于ISS(i)。剩余大小N的开始与插入数据DT的大小N_Origin的开始一致。当N不等于或小于ISS(i)时,在步骤ST5中,分离器114将要插入到第i个音频帧中的划分部f(i)的大小设置为ISS(i)。
接下来,分离器114在步骤ST6中设置N=N-ISS(i),在步骤ST7中进一步设置i=i+1。然后,过程返回到步骤ST3中的处理,并且过程进入用于确定要插入到下一音频流中的划分部f(i)的大小的处理。
当在步骤ST4中N等于或小于ISS(i)时,在步骤ST8中,分离器114将要插入到第i个音频帧中的划分部f(i)的大小设置为N。在步骤ST8中的处理之后,分离器114终止步骤ST9中的处理。
图4是在通过(1)中的方法划分的情况下插入数据DT的划分的示例和在每个划分部f(i)插入到音频流的对应音频帧中的情况下每个音频帧的大小的转换的示例。在所示的示例中,插入数据DT分成六个划分部,即,f0、f1、f2、f3、f4和f5,并且划分部分别插入到音频流的音频帧A0、A1、A2、A3、A4和A5中。
在这种情况下,将在插入之前每个音频帧的数据大小的变化反映到每个插入的音频帧的数据大小。注意,如稍后将描述的,“ACS”表示通过将音频流的比特率CR除以在一秒内生成的音频帧AU_frec的数量而获得的数据大小,即,音频流的音频帧的平均数据大小。
接下来,将描述通过(2)中的方法划分的情况。在这种情况下,分离器114通过从由CPU 111指定的目标比特率TR中减去从由音频编码器113生成的音频流R_EM1中识别的音频流的比特率CR中来计算容许比特率AVR(=TR-CR)。然后,分离器114通过以上公式(1)通过将容许比特率AVR除以在一秒内生成的音频帧AU_frec的数量来计算第一大小AIS。
此外,分离器114通过以下公式(2)通过将音频流的比特率CR除以在一秒内生成的音频帧AU_frec的数量来计算第二大小ACS。第二大小表示音频流的音频帧的平均数据大小。然后,分离器114通过添加第一大小AIS和第二大小ACS来计算固定大小。
ACS=CR/8/AU_frec···(2)
图5示出了在通过(2)中的方法划分的情况下用于确定要插入到预定数量的音频帧中的每个划分部的大小的示例性处理过程。分离器114在步骤ST11中开始处理。然后,分离器114在步骤ST12中设置i=0,在步骤ST13中进一步设置ISS(i)=(ACS+AIS)-AU(i)。之后,过程进入步骤ST14的处理。在此处,AU(i)是插入了插入数据DT的划分部的第i个音频帧的数据大小。
在步骤ST14中,分离器114确定ISS(i)是否大于与图10所示的语法的报头对应的字节数(HDB)。当ISS(i)等于或小于HDB时,在步骤ST15中,分离器114将要插入到第i个音频帧中的划分部f(i)的大小设置为零。在步骤ST15中的处理之后,在步骤ST16中,分离器114设置i=i+1,并且过程返回到步骤ST13中的处理。该过程进入用于确定要插入到下一音频流中的划分部f(i)的大小的处理。
当在步骤ST14中ISS(i)大于HDB时,在步骤ST17中,分离器114确定插入数据DT的剩余大小N是否等于或小于ISS(i)。剩余大小N的开始与插入数据DT的大小N_Origin的开始一致。当N不等于或小于ISS(i)时,在步骤ST18中,分离器114将要插入到第i个音频帧中的划分部f(i)的大小设置为ISS(i)。
接下来,在步骤ST19中,分离器114设置N=N-ISS(i),并且在步骤ST16中,进一步设置i=i+1。然后,过程返回到步骤ST13中的处理,并且过程进入用于确定要插入到下一音频流中的划分部f(i)的大小的处理。
当在步骤ST17中N等于或小于ISS(i)时,在步骤ST20中,分离器114将要插入到第i个音频帧中的划分部f(i)的大小设置为N。在步骤ST20中的处理之后,分离器114终止步骤ST21中的处理。
图6是在通过(2)中的方法划分的情况下插入数据DT的划分的示例和在每个划分部f(i)插入到音频流的对应音频帧中的情况下每个音频帧的大小的转换的示例的示图。在所示的示例中,插入数据DT分成六个划分部,即,f0、f1、f2、f3、f4和f5,并且划分部分别插入到音频流的音频帧A0、A1、A2、A3、A4和A5中。
在这种情况下,插入数据的每个音频帧的数据大小不依赖于插入之前每个音频帧的数据大小的变化,并且除了插入数据DT的最终划分部插入其中的音频帧之外,是恒定的。注意,在所示的示例中,插入数据DT的最终划分部插入其中的音频帧的大小具有恒定的数据大小(ACS+AIS)。
图7是MPEG-H 3D音频的发送数据中的音频帧的示例性结构的示图。音频帧包括多个MPEG音频流分组(mpeg Audio Stream Packet)。每个MPEG音频流分组包括报头(Header)和有效载荷(Payload)。
报头具有诸如分组类型(Packet Type)、分组标签(Packet Label)和分组长度(Packet Length)等信息。在有效载荷中,设置由报头的分组类型定义的信息。在有效载荷信息中,存在与同步开始代码对应的“SYNC”、作为3D音频发送数据的实际数据的“帧(Frame)”以及表示“帧”的配置的“Config”。
“帧”包括3D音频发送数据中包括的信道编码数据和对象编码数据。在此处,信道编码数据包括编码样本数据,例如,单信道元素(SCE)、信道对元素(CPE)和低频元素(LFE)。此外,对象编码数据包括单信道元素(SCE)的编码样本数据和用于使位于任意位置的扬声器映射编码样本数据并执行渲染的元数据。包括元数据,作为扩展元素(Ext_element)中。
在本实施方式中,假设与“SYNC”、“Config”、“帧”等类似地通过分组类型(分组类型)指定“元数据”,并且在分组中,新定义具有划分的预定信息部分的通用数据(generic_data)。
图8示出了由分组类型(Packet Type)的值识别的分组的类型。“FILLDATA”定义为“0”,“MPEGH3DACFG”定义为“1”,“MPEGH3DAFRAME”定义为“2”,“SYNC”定义为“6”。另外,例如,“METADATA”可以定义为“128”。
通过使用例如图9中示出示例性结构的条目来设置元数据的分组的格式。具体地,通用数据(generic_data)设置在“itu_t_t135_payload_byte”字段中。
图10示出了通用数据(generic_data)的示例性结构(语法),并且图11示出了示例性结构中的主要信息的内容(语义)。一位字段“start_flag”表示容器目标数据(预定信息=插入数据DT)是否开始,即,插入的划分部包括容器目标数据的第一字节。一位字段“end_flag”表示容器目标数据是否结束,即,插入的划分部是否包括容器目标数据的最后字节。
一位字段“joint_delivery_flag”表示划分容器目标数据(划分部)是否插入到多个媒体编码流中,即,划分部是否被插入到其他媒体编码流中。13位字段“fcounter”表示除以升序的计数的划分容器目标数据(插入的划分部)的划分位置。“fcounter”与“start_flag”和“end_flag”一起配置划分部的顺序信息。8位字段“data_id”表示容器目标数据的ID。8位字段“payload_length”通过字节数表示有效载荷的大小。
当“start_flag”为“1”并指示容器目标数据的开始时,存在8位字段“data_type”、8位字段“payload_identifier”和16位字段“target_data_size”。字段“data_type”表示数据的类型。例如,“0x 01”表示数据用于网络访问。字段“payload_identifier”表示容器目标数据的种类。例如,“0x 01”表示数据是URL数据,“0x 02”表示数据是时间戳。字段“target_data_size”表示容器目标数据的大小。字段“data_payload_byte”表示容器目标数据的设置区域。在设置区域中,设置容器目标数据的划分部。
图12示出了在“payload_identifier”为“0×02”的情况下作为容器目标数据的时间信息(time_information)的示例性结构(语法),并且图13示出了在示例性结构中的主要信息的内容(语义)。
一位字段“absolute_time_flag”表示执行时间是UTC绝对时间还是与参考时间的差值。值“1”表示执行时间是UTC绝对时间。值“0”表示执行时间是与参考时间的差值。
当“absolute_time_flag”为“1”时,存在32位字段“exec_time_msw”和32位字段“exec_time_1sw”。字段“exec_time_msw”表示作为数据的执行时间的UTC绝对时间的高32位,并且字段“exec_time_1sw”表示比字段“exec_time_msw”低的32位。
当“absolute_time_flag”为“0”时,存在32位字段“reference_UTC_msw”、32位字段“reference_UTC_lsw”、32位字段“offset_exec_time_msw”和32位字段“offset_exec_time_1sw”。字段“reference_UTC_msw”表示参考时间的高32位,字段“reference_UTC_lsw”表示参考时间的低32位。字段“offset_exec_time_msw”表示与作为数据的执行时间的参考时间的差值的高32位,并且字段“offset_exec_time_1sw”表示比“offset_exec_time_msw”的字段低32位。
返回图2,多路复用器116通过PES打包和输送打包来多路复用从视频编码器112输出的视频流和从插入器115输出的音频流,在该音频流中插入有预定信息(插入数据DT)的每个划分部,以获得作为多路复用流的传输流TS。
另外,多路复用器114例如将表示预定信息与音频流相对应地插入的标识信息插入到传输流TS中。具体地,将数据容器描述符(data_container描述符)插入到节目映射表(PMT)下的音频基本流循环中。
图14示出了数据容器描述符的示例性结构(语法)。此外,图15示出了示例性结构中的主要信息的内容(语义)。8位字段“descriptor_tag”表示描述符类型。在此处,在该字段中,指示数据容器描述符。8位字段“descriptor_length”表示描述符的长度(大小),并且指示后续字节的数量,作为描述符的长度。
一位字段“data_insertion_flag”指示预定信息是否插入流中。值“1”表示插入了预定信息,值“0”表示未插入预定信息。一位字段“joint_stream_delivery_flag”表示除了上述流之外是否还将内容目标数据(预定信息)插入到其他流中。值“1”表示数据插入到其他流中,值“0”表示数据未插入到其他流中。
六位字段“media_stream_id”表示流的标识号。当“joint_stream_delivery_flag”为“1”时,存在8位字段“number_of_joint_streams”。该字段指示插入内容目标数据(预定信息)的其他流的数量(一个或多个)。存在8位字段“media_stream_id”,“data_bitrate”和8位字段“data_insertion_ratio”,其数量与其他流的数量一样多。字段“media_stream_id”表示流的标识号。在字段“data_bitrate”中,数据插入后的比特率(目标比特率)由以1000bps为单位的值表示。字段“data_insertion_ratio”表示插入数据的比特率(AVR:inserted_data_bitrate)与作为参考的媒体编码流的比特率(CR:压缩media_data_bitrate)的比率(Ratio)。在这种情况下,如以下公式所示计算比率。
比率=inserted_data_bitrate/压缩的media_data_bitrate
将简要描述图2中所示的流生成单元110A的操作。将视频数据SV提供给视频编码器112。视频编码器112对视频数据SV执行诸如H.264/AVC和H.265/HEVC等编码,并生成包括编码视频数据的视频流。
此外,将音频数据SA提供给音频编码器113。音频编码器113用MPEG-H 3D音频压缩格式对音频数据SA进行编码,并生成音频流R_EM1。
此外,将作为预定信息的插入数据DT提供给分离器114。在该分离器114中,划分插入数据DT,以获得预定数量的划分部f(i)。在这种情况下,划分插入数据DT,使得插入数据DT的比特率落入容许比特率AVR内。通过从CPU 111指定的目标比特率TR减去音频流R_EM1的比特率CR来计算容许比特率AVR。
将由音频编码器113获得的音频流R_EM1提供给插入器115,并且将由分离器114获得的插入数据DT的预定数量的划分部f(i)提供给插入器115。插入器115将插入数据DT的预定数量的划分部f(i)添加用于重建的顺序信息、顺序地插入到音频流的预定数量的音频帧中。
将由视频编码器112生成的视频流提供给多路复用器116。此外,将通过插入器115插入该插入数据DT的音频流提供给多路复用器116。多路复用器116对每个流进行打包和多路复用,以获得传输流TS,作为发送数据。
此外,描述符116将数据容器描述符(参考图14)插入到节目映射表(PMT)下的音频基本流循环中。描述符包括指示预定信息(插入数据DT)插入到对应音频流等中的标识信息。
在图16中,示出了在广播发送装置100中包括的流生成单元110B的示例性配置。在流生成单元110B中,生成两个音频流,并且通过划分预定信息(插入数据)而获得的每个划分部插入到预定数量的音频帧中的每一个中。在图16中,与图2中的部件对应的部件用相同的附图标记表示。
流生成单元110B包括CPU 111、视频编码器112、音频编码器113-1和113-2、分离器114、插入器115-1和115-2、以及多路复用器116。注意,可以包括分离器114和插入器115-1和115-2,作为音频编码器113-1和113-2或CPU 111的一部分。
CPU 111控制流生成单元110B的每个单元。视频编码器112对视频数据SV执行诸如MPEG2、H.264/AVC和H.265/HEVC等编码,以生成视频流(视频基本流)。视频数据SV例如是从诸如硬盘驱动器(HDD)等记录介质再现的视频数据、通过摄像机获得的现场视频数据等。
音频编码器113-1和113-2分别用MPEG-H 3D音频压缩格式编码音频数据SA1和SA2,以生成音频流(音频基本流)。考虑音频数据SA1和SA2的各种组合。
例如,音频数据SA1是信道数据,音频数据SA2是对象数据。此外,例如,音频数据SA1是立体数据,音频数据SA2是其他信道的数据。音频数据SA1和SA2对应于视频数据SV,并且是从诸如HDD等记录介质再现的音频数据、通过麦克风获得的现场音频数据等。
尽管省略了对分离器114的详细描述,但是与图2中的流生成单元100A的分离器114类似,划分包括预定信息的插入数据DT,并且获得预定数量的划分部f(i)。在这种情况下,通过(1)或(2)的方法划分插入数据DT,使得插入到每个音频流的插入数据DT的比特率落入容许比特率内。
尽管省略了对插入器115-1和115-2的详细描述,但是与图2中的流生成单元100A中的插入器115类似,通过分离器114划分插入数据DT而获得的预定数量的划分部f(i)添加用于重建的顺序信息、顺序地插入分别由音频编码器113-1和113-2生成的预定数量的音频帧R_EM1和R_EM2中。
图17是在通过(1)中的方法划分的情况下插入数据DT的划分的示例和在划分部f(i)分别插入到两个音频流的对应音频帧中的情况下每个音频帧的大小的转换的示例的示图。在所示的示例中,插入数据DT分成六个划分部,即,f0、f1、f2、f3、f4和f5。
然后,三个划分部f0、f2和f4分别插入由音频编码器113-1生成的音频流R_EM1的音频帧A0、A1和A2中。此外,三个划分部f1、f3和f5分别插入由音频编码器113-2生成的音频流R_EM2的音频帧B0、B1和B2中。
在此处,分离器114通过从CPU 111指定的目标比特率TR1中减去音频流R_EM1的比特率CR1来计算容许比特率AVR1。然后,分离器114将容许比特率AVR1除以在一秒内生成的音频帧AU_frec的数量并确定固定大小AIS1,即,f0、f2和f4的大小。在这种情况下,在插入之前的每个音频帧的数据大小的变化反映到每个插入的音频帧的数据大小。
此外,分离器114通过从CPU 111指定的目标比特率TR2中减去音频流R_EM2的比特率CR2来计算容许比特率AVR2。然后,分离器114将容许比特率AVR2除以在一秒内生成的音频帧AU_frec的数量并确定固定大小AIS2,即,f0、f2和f4的大小。在这种情况下,在插入之前的每个音频帧的数据大小的变化反映到每个插入的音频帧的数据大小。
图18是在通过(2)中的方法划分的情况下插入数据DT的划分的示例和在划分部f(i)分别插入到两个音频流的对应音频帧中的情况下每个音频帧的大小的转换的示例的示图。在所示的示例中,插入数据DT分成六个划分部,即,f0、f1、f2、f3、f4和f5。
然后,三个划分部f0、f2和f4分别插入由音频编码器113-1生成的音频流R_EM1的音频帧A0、A1和A2中。此外,三个划分部f1、f3和f5分别插入由音频编码器113-2生成的音频流R_EM2的音频帧B0、B1和B2中。
在此处,分离器114通过从CPU 111指定的目标比特率TR1中减去音频流R_EM1的比特率CR1来计算容许比特率AVR1。然后,分离器114通过将容许比特率AVR1除以在一秒内生成的音频帧AU_frec的数量来计算第一大小AIS1。此外,分离器114通过将音频流R_EM1的比特率CR1除以在一秒内生成的音频帧AU_frec的数量来计算第二大小ACS1。
分离器114通过将第一大小AIS1添加到第二大小ACS1来获得固定大小(AIS1+ACS1),并通过从固定大小中减去作为插入目的地的音频帧的数据大小来确定f0、f2和f4的大小。在这种情况下,插入数据的每个音频帧的数据大小不依赖于插入之前每个音频帧的数据大小的变化,并且除了插入数据DT的最终划分部插入其中的音频帧之外,是恒定的。
此外,分离器114通过从CPU 111指定的目标比特率TR2减去音频流R_EM2的比特率CR2来计算容许比特率AVR2。然后,分离器114通过将容许比特率AVR2除以在一秒内生成的音频帧AU_frec的数量来计算第一大小AIS2。此外,分离器114通过将音频流R_EM2的比特率CR2除以在一秒内生成的音频帧AU_frec的数量来计算第二大小ACS2。
分离器114通过将第一大小AIS2添加到第二大小ACS2来获得固定大小(AIS2+ACS2),并通过从固定大小中减去作为插入目的地的音频帧的数据大小来确定f1、f3和f5的大小。在这种情况下,插入数据的每个音频帧的数据大小不依赖于插入之前每个音频帧的数据大小的变化,并且除了插入数据DT的最终划分部插入其中的音频帧之外,是恒定的。
此外,值AIS1、ACS1、AIS2和ACS2分别通过以下公式(4)至(7)计算。
AIS1=AVR1/8/AU_frec···(4)
ACS1=CR1/8/AU_frec···(5)
AIS2=AVR2/8/AU_frec···(6)
ACS2=CR1/8/AU_frec···(7)
返回图16,多路复用器116通过PES打包和输送打包,来多路复用从视频编码器112输出的视频流和从插入器115-1和115-2输出的两个音频流,在这两个音频流中插入有预定信息(插入数据DT)的划分部,以获得作为多路复用流的传输流TS。
另外,多路复用器116例如将表示预定信息与两个音频流相对应地插入的标识信息插入到传输流TS中。具体地,数据容器描述符(参考图14)插入到节目映射表(PMT)下的两个音频基本流循环中的每一个中。
将简要描述图16中所示的流生成单元110B的操作。将视频数据SV提供给视频编码器112。视频编码器112对视频数据SV执行诸如H.264/AVC和H.265/HEVC等编码,并生成包括编码视频数据的视频流。
此外,音频数据SA1和音频数据SA2分别提供给音频编码器113-1和113-2。音频编码器113-1和113-2用MPEG-H 3D音频压缩格式对音频数据SA1和音频数据SA2进行编码,并分别生成音频流R_EM1和R_EM2。
此外,将作为预定信息的插入数据DT提供给分离器114。在该分离器114中,划分插入数据DT,以获得预定数量的划分部f(i)。在这种情况下,划分插入数据DT,使得插入数据DT的比特率落入两个相应音频流R_EM1和R_EM2的容许比特率AVR1和AVR2内。通过从CPU111指定的目标比特率TR1和TR2中减去音频流R_EM1和R_EM2的比特率CR1和CR2,分别计算容许比特率AVR1和AVR2。
由音频编码器113-1和113-2获得的音频流R_EM1和R_EM2分别提供给插入器115-1和115-2,此外,将由分离器114获得的插入数据DT的预定数量的划分部f(i)提供给插入器115-1和115-2。插入器115-1和115-2将插入数据DT的预定数量的划分部f(i)添加用于重建的顺序信息、顺序地插入到音频流R_EM1和R_EM2的预定数量的音频帧中。
将由视频编码器112生成的视频流提供给多路复用器116。此外,将由插入器115-1和115-2中的每一个插入该插入数据DT的音频流提供给多路复用器116。多路复用器116对每个流进行打包和多路复用,以获得传输流TS,作为发送数据。
另外,描述符116将数据容器描述符(参考图14)插入到与节目映射表(PMT)下的两个音频流对应的两个音频基本流循环中的每一个中。描述符包括指示预定信息(插入数据DT)是否插入到对应音频流中的标识信息、指示除了流之外是否还将预定信息(插入数据DT)插入到其他流中的标识信息等。
[插入容器目标数据(预定信息)]
将进一步描述将容器目标数据(预定信息=插入数据DT)插入音频流中。图19示出了利用多条通用数据(generic_data)发送容器目标数据的情况的示例(参考图10)。
在这种情况下,将容器目标数据分成多条,并且将多个划分部中的每一个分配给多条通用数据并插入到字段“data_payload_byte”中。在此处,对应于第一划分部的“start_flag”被设置为“1”,表示第一划分部。此外,对应于第一划分部的“fcounter”被设置为“0”。此外,对应于第一划分部,存在字段“target_data_size”并指示容器目标数据的整体大小。
对应于第二和后续划分部的字段“start_flag”被设置为“0”,这表示划分部不是第一划分部。对应于第二和随后的划分部的字段“fcounter”被设置为依次递增的计数的数量。当划分部的数量是n时,对应于最终划分部的“fcounter”是“n-1”。对应于最终划分部的字段“end_flag”被设置为“1”,这表示划分部是最终划分部。
图20示出了利用单条通用数据(generic_data)发送容器目标数据的情况的示例。在这种情况下,容器目标数据不划分并被插入到单条通用数据的字段“data_payload_byte”中。在此处,“start_flag”被设置为“1”,表示第一划分部。此外,“end_flag”被设置为“1”,表示最终的划分部。因此,这些信息表示不划分容器目标数据。此外,对应于划分部,存在字段“target_data_size”并指示容器目标数据的整体大小。
图21示出了利用多条通用数据(generic_data)发送多条容器目标数据的情况的示例。所示的示例表示发送两条容器目标数据的情况的示例,这两条容器目标数据包括“data_id”中由“0”表示的容器目标数据A和“data_id”中由“1”表示的容器目标数据B。
在这种情况下,容器目标数据A分成三个划分部,并且这三个划分部分别分配给三条通用数据并插入到字段“data_payload_byte”中。在此处,对应于第一划分部的“start_flag”被设置为“1”,表示第一划分部。此外,对应于第一划分部的“fcounter”被设置为“0”。此外,对应于第一划分部,存在字段“target_data_size”并且其指示容器目标数据的整体大小。
对应于第二划分部的字段“start_flag”被设置为“0”,这表示划分部不是第一划分部。此外,对应于第二划分部的字段“end_flag”被设置为“0”,这表示划分部不是最终划分部。此外,对应于第二划分部的字段“fcounter”被设置为“1”。此外,对应于第三划分部的字段“end_flag”被设置为“1”,这表示划分部是最终划分部。此外,对应于最终划分部的字段“fcounter”被设置为“2”。
此外,容器目标数据B未划分并且是被插入到单条通用数据的字段“data_payload_byte”中。在此处,“start_flag”被设置为“1”,表示第一划分部。此外,“end_flag”被设置为“1”,表示最终划分部。因此,这些信息表示不划分容器目标数据。此外,对应于划分部,存在字段“target_data_size”并且其指示容器目标数据的整体大小。
[容器目标数据(预定信息)的同步管理]
将描述容器目标数据(预定信息)的同步管理。图22示出了基于添加到容器目标数据的时间信息独立于音频PTS来管理多条容器目标数据的执行的示例。
在该示例中,在对应于“1”的执行时间(exec_time)的定时处,开始执行“data_id”为“1”的容器目标数据,在对应于“2”的执行时间的定时处,开始执行“data_id”为“2”的容器目标数据,另外,在对应于“3”的执行时间的定时处,开始执行“data_id”为“3”的容器目标数据。
图23示出了在不依赖于音频时间戳的情况下由接收侧执行容器目标数据(预定信息)。在该示例中,容器目标数据分成三个(Data_0-0、Data_0-1和Data_0-2),并且三个部分分配并插入三个音频帧中。
此外,该示例表示通过与参考时间的差值OFS应用容器目标数据的执行时间并且参考时间与“音频时间戳(n)”一致的情况。“音频时间戳(n)”表示通过解码音频帧0(帧0)获得的音频数据(音频样本)的输出开始的定时。“音频时间戳(n)”对应于“UTC值”。
在执行时间(exec time,执行时间)开始划分并插入到三个音频帧中并被发送的容器目标数据的执行,该执行时间是通过将差值OFS与参考时间相加而获得的时间。即,在不依赖于音频时间戳的情况下执行容器目标数据。
在此处,在容器目标数据包括相对时间戳的情况下,执行具有以执行时间为基点的相对时间的同步管理。例如,在容器目标数据是诸如没有时间概念的MP3等媒体文件的情况下,立即从执行时间开始再现容器目标数据。此外,例如,在容器目标是诸如具有相对时间戳的MP4等媒体文件的情况下,以执行时间为基点,同步地管理再现。
注意,在图23的示例中,描述了通过与参考时间的差值OFS来应用容器目标数据的执行时间的情况。然而,该示例类似地适用于通过指示执行时间(exec time)的UTC绝对时间“UTC’值”来应用容器目标数据的执行时间的情况。即,作为指示要应用于容器目标数据的执行时间的时间信息,如上所述,考虑UTC绝对时间或与参考时间的差值。
图24示出了基于添加到容器目标数据的时间信息来同步管理多条容器目标数据的具体示例。在该示例中,作为“data_id”为“1”的容器目标数据,发送要连接到链接服务器的URL信息和用于在链接服务器上执行诸如“激活”或“停用”等控制的控制代码组。
在这种情况下,在执行时间“exec time1”利用URL执行与链接服务器的连接,并且随后,从执行时间“exec time3”开始,利用控制代码组执行链接服务器上的“激活”或“停用”等控制,并且链接服务器开始或结束例如媒体再现。
此外,在该示例中,作为“data_id”为“2”的容器目标数据,发送要连接到链接服务器的URL信息和用于在链接服务器上执行诸如“激活”或“停用”等控制的控制代码组。
在这种情况下,在执行时间“exec time2”利用URL执行与链接服务器的连接,并且随后,从执行时间“exec time4”开始,利用控制代码组执行链接服务器上的“激活”或“停用”等控制,并且链接服务器开始或结束例如媒体再现。
此外,在该示例中,作为容器目标数据发送媒体文件,在容器目标数据中,“data_id”是“3”。从“exec time5”的执行时间开始,媒体文件的再现开始。
[传输流TS的示例性结构]
图25示出了传输流TS的示例性结构。示例性结构是存在两个音频流并且两个音频流包含预定信息的情况下的示例(参考图16)。在示例性结构中,省略了关于视频流的部分。
在示例性结构中,存在由PID1识别的音频流的PES分组“音频PES”,并且存在由PID2识别的音频流的PES分组“音频PES”。将音频流(音频编码流)插入每个PES分组中。将包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到音频流的预定数量(包括一个)的音频帧中的每一个中。
另外,传输流TS包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是描述传输流中包括的每个基本流所属的节目的信息。在PMT中,存在描述与整个节目有关的信息的节目循环(节目循环)。
此外,在PMT中,存在具有与每个基本流有关的信息的基本流循环。在示例性结构中,音频基本流循环(音频ES循环)与两个音频流相对应地存在。
在每个音频基本流循环(音频ES循环)中,与每个流相对应地设置诸如分组标识符(PID)的信息,并且设置写入了与该流有关的信息的描述符。作为一个描述符,设置了上述数据容器描述符(data_container描述符)(参考图14)。
此外,在音频基本流循环中,具有“Component_tag”信息的流标识符描述符(Stream_identifier描述符)被设置为一个描述符。此外,组件描述符(Component_descriptor)设置在事件信息表(EIT)下。上述数据容器描述符(data_container描述符)可以设置在EIT中。该情况意味着当在接收器EPG的显示器上描述元数据的插入时提供标识信息。
组件描述符与具有“Component_tag”的PMT下的音频基本流循环相关联。利用该关联,可以发现预定信息(例如,互联网访问信息)插入到某个节目的音频流中,并且可以通知电视观众该节目能够在显示诸如EPG的节目指南时通过在某个节目的一部分中的显示(例如,“网络链接”)来访问互联网。
[机顶盒的示例性配置]
图26示出了机顶盒200的示例性配置。机顶盒200包括CPU 201、闪速ROM 202、DRAM203、内部总线204、遥控接收单元205和遥控发射器206。另外,机顶盒200包括天线端子211、数字调谐器212、解复用器213、视频解码器214、音频成帧单元215、HDMI发送单元216和HDMI端子217。
CPU 201控制机顶盒200的每个单元的操作。闪速ROM 202包含控制软件并存储数据。DRAM 203配置CPU 201的工作区域。CPU 201在DRAM 203上开发从闪速ROM 202读取的软件和数据,以激活软件并控制机顶盒200的每个单元。
遥控接收单元205接收从遥控发射器206发送的遥控信号(遥控代码)并将该信号提供给CPU 201。CPU 201基于遥控代码控制机顶盒200的每个单元。CPU 201、闪速ROM 202和DRAM 203连接到内部总线204。
天线端子211接收由接收天线(未示出)接收的电视广播信号。数字调谐器212处理输入到天线端子211的电视广播信号,并输出对应于用户选择信道的传输流TS。
解复用器213从传输流TS中提取视频流的分组,并将该分组发送到视频解码器214。视频解码器214从由解复用器213提取的视频的分组中重建视频流并执行解码处理,以获得未压缩的视频数据(图像数据)。
此外,解复用器213提取传输流TS的一个或两个音频流的分组并重建音频流。音频成帧单元215对重建的音频流执行成帧。如关于流生成单元110A和110B(参考图2和图16)所述,预定信息(容器目标数据=插入数据DT)插入到音频流中。
此外,解复用器213从传输流TS中提取诸如描述符信息的各种信息,并将提取的信息发送到CPU 201。各种信息包括关于数据容器描述符(data_cotainer描述符)的信息(参考图14)。
CPU 201从数据容器描述符中识别出预定信息插入到对应的音频流中。此外,除了对应的音频流之外,CPU 201还从数据容器描述符中识别出预定信息插入到其他流中。例如,在音频流的数量是1并且预定信息插入到单个音频流的情况下,从数据容器描述符中识别出预定信息未插入到其他流中。此外,例如,在音频流的数量是2并且预定信息插入到两个音频流中的情况下,从数据容器描述符中识别出预定信息插入到其他流中。
HDMI发送单元216通过符合HDMI的通信,从HDMI端子217发送由视频解码器214获得的未压缩视频数据和经音频成帧单元215执行成帧的音频流。为了通过HDMI的TMDS信道进行发送,HDMI发送单元216将视频数据和音频流打包并将打包数据输出到HDMI端子217。下面将详细描述HDMI发送单元216。
将简要描述机顶盒200的操作。将输入到天线端子211的电视广播信号提供给数字调谐器212。数字调谐器212处理电视广播信号并输出对应于用户选择信道的传输流TS。
将从数字调谐器212输出的传输流TS提供给解复用器213。解复用器213从传输流TS中提取视频的基本流的分组,并将该分组发送到视频解码器214。
在从解复用器213提取的视频的分组中重建视频流之后,视频解码器214对视频流执行解码处理并获得未压缩的视频数据。将未压缩的视频数据提供给HDMI发送单元216。
此外,解复用器213从传输流TS中提取一个或两个音频流的分组,并重建插入了预定信息的音频流。在音频成帧单元215对音频流执行成帧之后,将音频流提供给HDMI发送单元216。然后,在HDMI发送单元216中,将未压缩的视频数据和音频流打包并经由HDMI电缆610从HDMI端子217发送到音频放大器300。
此外,解复用器213从传输流TS中提取诸如描述符信息的各种信息,并将提取的信息发送到CPU 201。各种信息包括关于数据容器描述符(data_cotainer描述符)的信息(参考图14)。通过上述处理,CPU 201识别出例如预定信息被插入到音频流中。
[电视接收器的示例性配置]
图27示出了电视接收器300的示例性配置。电视接收器300包括CPU301、闪速ROM302、DRAM 303、内部总线304、遥控接收单元305、遥控发射器306、以及通信接口307。
此外,电视接收器300包括天线端子311、数字调谐器312、解复用器313、视频解码器314、HDMI端子315和HDMI接收单元316。此外,电视接收器300包括视频处理电路317、面板驱动电路318、显示面板319、音频解码器320、音频处理电路321、音频放大电路322和扬声器323。
CPU 301控制电视接收器300的每个单元的操作。闪速ROM 302包含控制软件并存储数据。DRAM 303配置CPU 301的工作区域。CPU 301在DRAM 303上开发从闪速ROM 302读取的软件和数据,以激活软件并控制电视接收器300的每个单元。
遥控接收单元305接收从遥控发射器306发送的遥控信号(遥控代码)并将该信号提供给CPU 301。CPU 301基于遥控代码控制机顶盒300的每个单元。CPU 301、闪速ROM 302和DRAM 303连接到内部总线304。
通信接口307在CPU 301的控制下通过诸如互联网的网络与服务器通信。通信接口307连接到内部总线304。
天线端子311接收由接收天线(未示出)接收的电视广播信号。数字调谐器312处理输入到天线端子311的电视广播信号,并输出对应于用户选择信道的传输流TS。
解复用器313从传输流TS中提取视频流,并将提取的视频流发送到视频解码器314。视频解码器314对视频流进行解码并获得未压缩的视频数据(图像数据)。
此外,解复用器313从传输流TS中提取一个或两个音频流,并将提取的流发送到音频解码器320。如关于流生成单元110A和110B(参考图2和图16)所述,预定信息被插入到音频流中。
此外,解复用器213从传输流TS中提取诸如描述符信息的各种信息,并将提取的信息发送到CPU 301。各种信息包括关于数据容器描述符(data_cotainer描述符)的信息(参考图14)。CPU 301从数据容器描述符中识别出预定信息插入到对应的音频流中。此外,除了对应的音频流之外,CPU 301还从数据容器描述符中识别出预定信息插入到其他流中。
HDMI接收单元316通过符合HDMI的通信接收经由HDMI电缆400提供给HDMI端子315的未压缩视频数据和音频流。如关于机顶盒200(参考图26)所述,预定信息被插入到音频流中。下面将详细描述HDMI接收单元316。
视频处理电路317对由视频解码器314或HDMI接收单元316获得的视频数据等、由通信接口307从互联网上的服务器接收的视频数据执行缩放处理、合成处理等,并获得用于显示的视频数据。
面板驱动电路318基于由视频处理电路317获得的用于显示的图像数据来驱动显示面板319。显示面板319包括例如液晶显示器(LCD)、有机电致发光(EL)显示器等。
音频解码器320对由解复用器313或HDMI接收单元316获得的音频流进行解码,并获得未压缩的音频数据(声音数据)。此外,音频解码器320提取顺序地插入到音频流的预定数量的音频帧中的预定信息的划分部,基于添加到划分部的顺序信息重建预定信息,并将重建的预定信息发送到CPU 301。CPU 301适当地控制电视接收器300的每个单元,以便执行使用该预定信息的处理。
在这种情况下,将用于识别划分部是否插入到另一媒体编码流中的标识信息添加到要插入到每个音频流的预定数量的音频帧中的相应划分部。因此,基于标识信息,音频解码器320可以容易地识别出划分部是否插入到另一媒体编码流中,并且可以有效且准确地从分别插入预定信息的划分部的所有音频流中提取预定信息的所有划分部。
图28示出了音频解码器320的示例性配置。音频解码器320包括提取器351-1和351-2、解码器352-1和352-2、以及数据重组器353。
提取器351-1从音频流AS1(R_EM1+IS1)的预定数量的音频帧中提取插入到音频帧中的预定信息的划分部IS1,并输出音频流R_EM1。解码器352-1对音频流R_EM1进行解码并输出音频数据SA1。
提取器351-2从音频流AS2(R_EM2+IS2)的预定数量的音频帧中提取插入到音频帧中的预定信息的划分部IS2,并输出音频流R_EM2。解码器352-2对音频流R_EM2进行解码并输出音频数据SA2。
数据重组器353基于添加到划分部的顺序信息,从由提取器351-1和351-2提取的划分部IS1和IS2重建预定信息,并输出重建的预定信息。
注意,在所示的示例中,可以应对从解复用器313获得两个音频流AS1和AS2的情况。在仅从解复用器313获得单个音频流AS1的情况下,不使用提取器351-2和解码器352-2。
图29示意性地示出了在从解复用器313仅获得单个音频流AS1的情况下的提取器351-1的示例性处理。在该示例中,示出了预定信息(插入数据DT)通过(2)的方法划分为六个划分部f0、f1、f2、f3、f4和f5的情况(参考图6)。然而,这同样适用于通过(1)的方法划分预定信息的情况。提取器351-1提取在音频流AS1的六个音频帧中包括的六个划分部f0、f1、f2、f3、f4和f5,并将提取的划分部发送到数据重组器353。
图30示意性地示出了在从解复用器313获得两个单音频流AS1和AS2的情况下的提取器351-1和351-2的示例性处理。在该示例中,示出了预定信息(插入数据DT)通过(2)的方法划分为六个划分部f0、f1、f2、f3、f4和f5的情况(参考图17)。然而,这同样适用于通过(1)的方法划分预定信息的情况。
提取器351-1提取在音频流AS1的三个音频帧中包括的三个划分部f0、f2和f4,并将提取的划分部发送到数据重组器353。此外,提取器351-2提取在音频流AS2的三个音频帧中包括的三个划分部f1、f3和f5,并将提取的划分部发送到数据重组器353。
返回图27,音频处理电路521对由音频解码器320获得的音频数据执行诸如D/A转换的处理。必要时,处理包括对对象数据的渲染处理、对信道数据的合成处理、信道数量转换处理等。音频放大电路322放大从音频处理电路321输出的每个信道的声音信号,并将放大的声音信号提供给每个信道的扬声器323。
将简要描述图27中所示的电视接收器300的操作。将输入到天线端子311的电视广播信号提供给数字调谐器312。数字调谐器312处理电视广播信号并获得对应于用户选择信道的传输流TS。
将从数字调谐器312获得的传输流TS提供给解复用器313。解复用器313从传输流TS中提取视频流并将视频流提供给视频解码器314。视频解码器314对视频流进行解码并获得未压缩的视频数据。将未压缩的视频数据提供给视频处理电路317。此外,解复用器313从传输流TS中提取一个或两个音频流,并将提取的流提供给音频解码器320。
此外,解复用器313从传输流TS中提取诸如描述符信息的各种信息,并将提取的信息发送到CPU 301。各种信息包括关于数据容器描述符(data_cotainer描述符)的信息(参考图14)。CPU 301从数据容器描述符中识别出预定信息插入到对应的音频流中。此外,CPU301从数据容器描述符中识别出除了对应的音频流之外,还将预定信息插入到其他流中。
HDMI接收单元316通过符合HDMI的通信接收经由HDMI电缆400提供给HDMI端子315的未压缩视频数据和一个或两个音频流。将未压缩的视频数据提供给视频处理电路317。此外,将音频流提供给音频解码器320。
视频处理电路317对由视频解码器314或HDMI接收单元316获得的视频数据等、由通信接口307从互联网上的服务器接收的视频数据执行缩放处理、合成处理等,并获得用于显示的视频数据。
将由视频处理电路317获得的用于显示的视频数据提供给面板驱动电路318。面板驱动电路318基于用于显示的视频数据驱动显示面板319。通过该操作,在显示面板319上显示与用于显示的视频数据对应的图像。
音频解码器320对由解复用器313或HDMI接收单元316获得的音频流进行解码,并获得未压缩的音频数据(声音数据)。此外,音频解码器320提取顺序地插入到音频流的预定数量的音频帧中的预定信息的划分部,并且基于添加到划分部的顺序信息重建预定信息。以这种方式重建的预定信息发送到CPU 301。CPU 301适当地控制电视接收器300的每个单元,以便执行使用该预定信息的处理。
将由音频解码器320获得的音频数据提供给音频处理电路321。音频处理电路321对音频数据执行诸如D/A转换的必要处理。在被音频放大电路322放大之后,音频数据被提供给扬声器323。因此,扬声器323在显示面板319上输出与显示图像对应的声音。
[HDMI发送单元和HDMI接收单元的示例性配置]
图31示出了机顶盒200的HDMI发送单元216(参考图26)和电视接收器300的HDM接收单元316(参考图27)的示例性配置。
HDMI发送单元216在有效图像部21(下面适当地称为“活动视频周期”)中通过多个信道在一个方向上将与一个屏幕的图像的未压缩像素数据对应的差分信号发送到HDMI接收单元316,该有效图像部通过从一个垂直同步信号到下一个垂直同步信号之间的部分中去除水平消隐间隔22和垂直消隐间隔23来定义(参考图32)。此外,HDMI发送单元216在水平消隐间隔22和垂直消隐间隔23中通过多个信道在一个方向上将与图像相关联的至少声音数据、控制数据、其他辅助数据等对应的差分信号发送到HDMI接收单元316。
即,HDMI发送单元216包括HDMI发射器31。例如,发射器31将未压缩图像的像素数据转换为对应的差分信号,并通过作为多个信道的三个转换最小化差分信令(TMDS)信道#0、#1和#2在一个方向上将信号连续发送到HDMI接收单元316。
此外,发射器31转换与未压缩图像相关联的声音数据、必要控制数据、其他辅助数据等,并通过三个TMDS信道#0、#1和#2在一个方向上将差分信号连续发送到HDMI接收单元316。
HDMI接收单元316在有效视频周期21中通过多个信道在一个方向上接收与从HDMI发送单元216发送的像素数据对应的差分信号(参考图32)。另外,HDMI接收单元316在水平消隐间隔22(参考图32)或垂直消隐间隔23(参考图21)中通过多个信道在一个方向上接收与从HDMI发送单元216发送的声音数据和控制数据对应的差分信号。
除了包括作为发送像素数据和声音数据的发送信道的三个TMDS信道#0到#2和作为发送像素时钟的发送信道的TMDS时钟信道之外,包括HDMI发送单元216和HDMI接收单元316的HDMI系统的发送信道还包括被称为显示数据信道(DDC)33和消费者电子控制(CEC)线34的信道。
DDC 33包括HDMI电缆400中包括的两个信号线,并且由HDMI发送单元216使用,以从经由HDMI电缆400连接的HDMI接收单元316读取扩展显示识别数据(EDID)。即,除了HDMI接收器32,HDMI接收单元316还包括用于存储作为关于配置能力的能力信息的EDID的EDIDROM。通过HDMI发送单元216读取EDID,接收侧的解码能力信息发送到发送侧。
HDMI发送单元216经由DDC 33从经由HDMI电缆400连接的HDMI接收单元316读取EDID。然后,机顶盒200的CPU 201基于EDID识别包括HDMI接收单元316的电视接收器300的能力。
CEC线34包括HDMI电缆400中包括的单个信号线,并且用于在HDMI发送单元216和HDMI接收单元316之间双向发送控制数据。此外,HDMI电缆400包括连接到称为热插拔检测(HPD)的引脚的HPD线35。
源装置可以通过使用HPD线35来检测通过DC偏置电位与宿装置(目的地装置)的连接。在这种情况下,当从源装置观看时,HPD线35具有通过DC偏置电位从宿装置中接收关于连接状态的通知的功能。另一方面,当从宿装置观察时,HPD线具有通过DC偏置电位通知与源装置的连接状态的功能。此外,HDMI电缆400包括用于从源装置向宿装置供电的电源线36。
此外,HDMI电缆400包括备用线37。具有使用HPD线35和备用线37发送以太网信号的HDMI以太网信道(HEC)。此外,具有音频回传信道(ARC),其使用HPD线35和备用线37或仅HPD线35将音频数据从目的地装置(宿装置)发送到源装置。注意,“以太网”是注册商标。
图32示出了在TMDS信道中发送大小为1920像素×1080行的图像数据的情况下的各种发送数据的周期。在通过HDMI的三个TMDS信道发送发送数据的视频场(Video Field)中,根据发送数据的种类,存在三种周期,即,视频数据周期(Video Data Period)24、数据岛周期(Data Island Period)25和控制周期(Control Period)26。
在此处,视频场周期是从某个垂直同步信号的上升沿(活动沿)到下一个垂直同步信号的上升沿的周期,并且分成水平消隐间隔22(水平消隐)、垂直消隐间隔23(垂直消隐)和通过从视频场部分中去除水平消隐间隔和垂直消隐间隔而定义的有效像素部21(活动视频)。
视频数据周期24分配给有效像素部21。在视频数据周期24中,发送用于形成一个屏幕的未压缩图像数据的1920像素(pixel)×1080行的有效像素的数据。数据岛周期25和控制周期26分配给水平消隐间隔22和垂直消隐间隔23。在数据岛周期25和控制周期26中,发送辅助数据(Auxiliary Data)。
即,数据岛周期25分配给水平消隐间隔22和垂直消隐间隔23的一部分。在数据岛周期25中,例如,发送辅助数据的与控制无关的声音数据等的分组。控制周期26分配给水平消隐间隔22和垂直消隐间隔23的其他部分。在控制周期26中,例如,发送辅助数据的与控制相关的垂直同步信号、水平同步信号、控制分组等。
“机顶盒和电视接收器之间的通信示例”
例如,机顶盒200的CPU 201可以通过通信(例如,使用CEC线)与电视接收器300的CPU 301协商、识别电视接收器300所需的音频流、并且仅发送音频流。
图33示出了具有协商的机顶盒200和电视接收器300的示例性操作。
(1)基于EIT下的组件描述符(Component_descriptor)或数据容器描述符(data_container_descriptor),机顶盒200发送节目指南的显示信号,向电视接收器300清楚地指示可以链接到互联网的节目,并且在电视接收器300的显示屏上显示节目指南。
(2)电视接收器300通过使用在显示屏上显示的节目指南来选择可以链接到互联网的节目,并将节目选择信号发送到机顶盒200。
(3)机顶盒200基于来自电视接收器300的节目选择信号来接收节目。然后,机顶盒200基于数据容器描述符(Data_container描述符)检测插入预定信息(插入数据)的音频流。
(4)机顶盒200访问电视接收器300的EDID,以检查接收可能性。
(5)电视接收器300通知机顶盒200可以由EDID接收音频流(压缩流)。(6)电视接收器300通过EDID通知机顶盒200音频再现解码器的数量是1。
(7)在插入了预定信息的音频流的数量是2的情况下,机顶盒200(8)通知电视接收器300需要接收两个音频流(例如,两个流,即,主流和子流)。
(9)相应地,电视接收器300将确认(ACK)信号发送到机顶盒200(10)尽管电视接收器300具有单个音频再现解码器,但机顶盒200发送两个音频流。
(11)电视接收器300接收两个流。然后,关于主流,在由提取器提取预定信息的插入划分部的同时,主流传送到解码器以进行解码。另一方面,关于子流,由提取器提取预定信息的插入划分部。然后,电视接收器300通过数据重组器从由每个提取器提取的预定信息的划分部重建预定信息。(12)例如,电视接收器300使用重建的预定信息(在此处,互联网访问信息)来访问互联网,并获得和显示预定信息。
如上所述,在图1所示的发送/接收系统10中,广播发送装置100将通过划分预定信息(使得比特率落入预定比特率内)而获得的划分部插入到音频流的预定数量的音频帧,并且发送音频帧。因此,可以将包括音频流的总比特率抑制为目标比特率,并且可以令人满意地将预定信息插入到音频流中并发送音频流。
此外,在图1所示的发送/接收系统10中,广播发送装置100将通过划分预定信息而获得的划分部插入一个或多个(例如,两个)音频流的预定数量的音频帧中并发送音频流。因此,可以缩短发送整个预定信息所需的时间。
<2、变形例>
注意,在该实施方式中,广播发送装置100将预定信息被插入到音频流中并发送音频流。然而,认为广播发送装置100将预定信息插入到诸如视频流等其他媒体编码流中并发送其他流。
图34示出了在该情况下在广播发送装置100中包括的流生成单元110C的示例性配置。在图34中,与图2中的部件对应的部件用相同的附图标记表示,并且将省略其详细描述。流生成单元110C包括控制单元111、视频编码器112、音频编码器113、分离器114、插入器115和117、以及多路复用器116。
CPU 111控制流生成单元110C的每个单元。视频编码器112对视频数据(图像数据)SV执行诸如MPEG2、H.264/AVC和H.265/HEVC的编码,以生成视频流(视频基本流)。音频编码器113用MPEG-H 3D音频压缩格式对音频数据(声音数据)SA进行编码,以生成音频流(音频基本流)。
尽管省略了对分离器114的详细描述,但是与图2中的流生成单元110A的分离器114类似,划分在预定信息中包括的插入数据DT,并且获得预定数量的划分部f(i)。在这种情况下,通过(1)或(2)的方法划分预定信息,使得要插入到视频流和音频流中的每一个中的插入数据DT的比特率落入容许比特率内。
插入器117将通过分离器114划分而获得的预定数量的划分部f(i)添加用于重建的顺序信息,顺序地插入由视频编码器112生成的视频流R_EM3的预定数量的访问单元(图片)中。在这种情况下,具有划分部f(i)的通用数据(generic_data)(参考图10)例如使用指示图9中的示例性结构的条目设置在SEI NAL单元中。
此外,尽管省略了插入器115的详细描述,但是与图2中的流生成单元100A的插入器115类似,通过由分离器114划分插入数据DT而获得的预定数量的划分部f(i)添加用于重建的顺序信息,顺序地插入由音频编码器113生成的音频流R_EM1的预定数量的音频帧中。
多路复用器116对从插入器117输出的视频流和从插入器115输出的音频流进行PES打包和传输打包,在该视频流内插入预定信息(插入数据DT)的每个划分部,在该音频流内插入预定信息(插入数据DT)的每个划分部,以多路复用视频流和音频流,并获得作为多路复用流的传输流TS。
另外,例如,多路复用器116将指示插入预定信息的标识信息与视频流和音频流相对应地插入到传输流TS中。具体地,数据容器描述符(参考图14)插入到节目映射表(PMT)下的视频基本流循环和音频基本流循环中。
图35示出了传输流TS的示例性结构。示例性结构是在两个流(即,视频流和音频流)包含预定信息的情况下的示例(参考图34)。
在示例性结构中,存在由PID1识别的视频流的PES分组“视频PES”,并且存在由PID2识别的音频流的PES分组“音频PES”。
将视频流(视频编码流)插入视频流的PES分组中。将包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到视频流的预定数量(包括一个)的访问单元(图片)中。另外,音频流(音频编码流)插入到音频流的PES分组中。包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到音频流的预定数量(包括一个)的音频帧中。
另外,传输流TS包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是描述传输流中包括的每个基本流所属的节目的信息。在PMT中,存在描述与整个节目有关的信息的节目循环(节目循环)。
此外,在PMT中,存在具有与每个基本流有关的信息的基本流循环。在示例性结构中,视频基本流循环(视频ES循环)与视频流相对应地存在,并且音频基本流循环(音频ES循环)与音频流相对应地存在。
在每个基本流循环(ES循环)中,与每个流相对应地设置诸如分组标识符(PID)的信息,并且设置描述与该流有关的信息的描述符。作为一个描述符,设置了上述数据容器描述符(data_container描述符)(参考图14)。
此外,在每个基本流循环中,具有“Component_tag”信息的流标识符描述符(Stream_identifier描述符)被设置为一个描述符。此外,组件描述符(Component_descriptor)设置在事件信息表(EIT)下。此外,上述数据容器描述符(data_container描述符)可以设置在EIT中。该情况意味着当在接收器EPG的显示器上描述元数据的插入时提供标识信息。
组件描述符与具有“Component_tag”的PMT下的每个基本流循环相关联。利用该配置,可以发现预定信息(例如,互联网访问信息)插入到某个节目的视频流和音频流中,并且可以通知电视观众该节目能够在显示诸如EPG的节目指南时通过在某个节目的一部分中的显示(例如,“网络链接”)来访问互联网。
图26所示的机顶盒200经由HDMI电缆400将通过解码接收的视频流而获得的未压缩视频数据发送到电视接收器300。然而,在如上所述将预定信息插入视频流并发送的情况下,在不对视频流进行解码的情况下,接收的视频流经由HDMI电缆400发送到电视接收器300。在这种情况下,视频流由电视接收器300解码。
注意,图34中的流生成单元110C将预定信息插入到视频流和音频流中并发送该流。尽管省略了详细描述,但是考虑将预定信息仅插入到视频流中并进行发送的配置。
此外,在上述实施方式中,已经描述了音频压缩格式是MPEG-H 3D音频的示例。然而,本技术可以类似地应用于音频压缩格式是诸如AAC、AC3和AC4的其他音频压缩格式的情况。
图36的(a)示出了AC4简单传输(Simple Transport)的层的结构。存在同步字(sync word)字段、帧长度(frame length)字段、作为编码数据字段的“RawAc4Frame”字段和CRC字段。如图36的(b)所示,在“RawAc4Frame”字段中,在报头处存在内容表(TOC)的字段,并且随后,存在预定数量的子流(Substream)字段。
如图37的(b)所示,在子流(ac4_substream_data())中存在元数据区域(元数据),并且在元数据区域中设置“umd_payloads_substream()”字段。包括预定信息的划分部的通用数据(generic_data)(参考图10)例如通过使用在图9中的示例性结构中所示的条目而设置在“umd_payload_substream()”字段中的“umd_payload_byte”字段中。
注意,如图37的(a)所示,在TOC(ac4_toc())中存在“ac4_presentation_info()”字段,此外,在其中存在“umd_info()”字段。在“umd_info()”字段中,指示元数据插入到“umd_payloads_substream())”字段中。
此外,在上述实施方式中,已经描述了容器流(多路复用流)是MPEG-2传输流(传输流TS)的示例。然而,本技术可以类似地应用于由MP4或其他格式的容器流分发的系统。例如,该系统是基于MPEG-DASH的流分发系统、使用MPEG媒体传输(MMT)结构发送流的发送/接收系统等。
图38示出了MMT传输流的示例性结构。示例性结构是存在两个音频流并且这两个音频流包含预定信息的情况下的示例(参考图16)。在示例性结构中,省略了关于视频流的部分。
在分组类型是“MPU”的情况下,在MMT传输流中,设置由ID1识别的音频流AS的MPU分组“MPU音频”和由ID2识别的音频流AS的MPU分组“MPU音频”。将音频流(音频编码流)插入这些MPU分组中。包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到音频流的预定数量(包括一个)的音频帧中。
此外,在分组类型是“消息”的情况下,在MMT传输流中设置各种消息分组。分组访问(PA)消息分组是一个消息分组。PA消息分组包括诸如MPT的表。
在MPT中,与每个流相对应地设置诸如资产类型(Asset_type)、分组ID(Packet_id)的信息作为资产,并且设置描述与该流相关的信息的描述符。作为一个描述符,设置了上述数据容器描述符(data_container描述符)(参考图14)。
另外,作为一个描述符,设置具有“Component_tag”的信息的MH流标识符描述符(MH-Stream_identifier描述符)。此外,MH组件组描述符(MH-Component_Group_Descriptor)设置在MH事件信息表(MH-EIT)下。此外,数据容器描述符(data_container描述符)可以设置在MH-EIT中。
该情况意味着当在接收器EPG的显示器上描述元数据的插入时提供标识信息。
MH组件组描述符与具有“Component_tag”的MPT下的每个资产(音频流)的信息相关联。利用这种配置,可以发现预定信息(例如,互联网访问信息)插入到某个节目的音频流中,并且可以通知电视观众该节目能够在显示诸如EPG的节目指南时通过在某个节目的一部分中的显示(例如,“网络链接”)来访问互联网。
图39示出了MMT传输流的另一示例性结构。示例性结构是在两个流(即,视频流和音频流)包含预定信息的情况下的示例(参考图34)。
在分组类型是“MPU”的情况下,在MMT传输流中,设置由ID1识别的视频流VS的MPU分组“MPU视频”和由ID2识别的音频流AS的MPU分组“MPU音频”。
将视频流(视频编码流)插入视频流的MPU分组中。将包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到视频流的预定数量(包括一个)的访问单元(图片)中。此外,音频流(音频编码流)插入到音频流的MPU分组中。包括预定信息的每个划分部的通用数据(generic_data)(参考图10)插入到音频流的预定数量(包括一个)的音频帧中。
此外,在分组类型是“消息”的情况下,在MMT传输流中设置各种消息分组。分组访问(PA)消息分组是一个消息分组。PA消息分组包括诸如MPT的表。
在MPT中,与每个流相对应地设置诸如资产类型(Asset_type)、分组ID(Packet_id)的信息作为资产,并且设置描述与该流相关的信息的描述符。作为一个描述符,设置了上述数据容器描述符(data_container描述符)(参考图14)。
另外,作为一个描述符,设置具有“Component_tag”的信息的MH流标识符描述符(MH-Stream_identifier描述符)。此外,MH组件组描述符(MH-Component_Group_Descriptor)设置在MH事件信息表(MH-EIT)下。上述数据容器描述符(data_container描述符)可以设置在MH-EIT中。该情况意味着当在接收器EPG的显示器上描述元数据的插入时提供标识信息。
MH组件组描述符与具有“Component_tag”的MPT下的每个资产(视频流和音频流)的信息相关联。利用这种配置,可以发现预定信息(例如,互联网访问信息)插入到某个节目的视频流和音频流中,并且可以通知电视观众该节目能够在显示诸如EPG的节目指南时通过在某个节目的一部分中的显示器(例如,“网络链接”)来访问互联网。
图40示出了在音频压缩格式是MPEG-H 3D音频或AC4的情况下包括音轨(轨道A)的数据的MP4流(文件)的示例性配置。所示的示例是在分段MP4(分段MP4)的情况下的示例。包括包含控制信息的“moof”框和包含媒体数据主体的“mdat”框的预定数量的电影片段(电影片段)设置在MP4流中。由于通过分割轨道数据获得的片段包含在“mdat”框中,因此“moof”框中包含的控制信息是关于片段的控制信息。
在对应于音轨的MP4流“音频比特流”中,在每个电影片段的“mdat”框中设置预定数量的音频帧(访问单元帧)。此外,在MP4流“音频比特流”中,在每个电影片段的“moof”框中存在“traf”框,并且在“traf”框中存在“tfdt”框。在“tfdt”框中,描述了在“moof”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。
此外,在“mof”框中存在“tfdt”框,在“tfdt”框中存在“sgpd”框,此外,在“sgpd”框中存在“tscl”框。在“tscl”框中描述“Audiostreamtype”和“Attribute”的参数。“Audiostreamtype=AC4或mpegh”表示音频压缩格式为AC4或MPEG-H 3D音频。“Attribute=sound genericdata”表示将通用数据插入到音轨中。具体地,例如,图14中所示的数据容器描述符(dat_cintainer描述符)的内容被描述为“声音通用数据”。
图41示出了在数据插入流包括两个音频流的情况下MPD文件中的示例性描述。此外,图42示出了在数据插入流包括音频流和视频流的情况下MPD文件中的示例性描述。另外,图43示出了示例性描述中的主要信息的内容。如本领域所公知的,在基于MPEG-DASH的流分发系统中,通过通信网络发送路径,将媒体流(MP4流)和作为元文件的MPD文件发送到接收侧。
首先,将描述图41中的MPD文件中的示例性描述。在此处,为了便于描述,示出了仅描述关于音频流的信息的示例。然而,实际上描述了关于视频流的信息。在MPD文件中,存在分别对应于第一和第二音频流的自适应集(AdaptationSet)。
“<AdaptationSet mimeType="audio/mp4"group="1">”的描述表示存在相对于第一音频流的自适应集(AdaptationSet),给音频流提供MP4文件结构,并且分配组1。
另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:codecType"value="AC4or mpegh"/>”的描述表示音频流的编解码器是AC4或MPEG-H 3D音频。“schemeIdUri=“urn:brdcst:codecType””表示一种编解码器。例如,“值”被设置为“mpegh”、“AAC”、“AC3”、“AC4”等。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:genericdatacContained"value="true"/>”的描述表示音频流包括通用数据(generic_data)。例如,当“值”为“真”时,这表示包括通用数据。当“值”为“假”时,这表示不包括通用数据。
此外,“schemeIdUri=="urn:brdcst:jointstreamdelivery"”指示是否在多个媒体流之间协作地提供互联网连接所需的信息。例如,当“值”为“真”时,这表示给互联网连接信息协作地提供其他自适应集的流。当“值”为“假”时,这表示仅在该自适应集的流中提供互联网连接信息。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:metaInsertionFrequency"value="1"/>”的描述表示每个访问单元的元信息的提供频率是“1”。“SchemeIdUri=“urn:brdcst:metaInsertionFrequency””表示每个访问单元提供元信息的频率。例如,“1”表示在单个访问单元中创建单个用户数据条目。数字“2”表示在单个访问单元中创建一个或多个用户数据条目。数字“3”表示在由随机访问点划分的周期中创建一个或多个用户数据条目。
另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:type"value="netlink"/>”的描述表示元数据的服务的类型是互联网连接。“schemeIdUri=urn:brdcst:type”的描述表示元数据的服务的类型。例如,当“值”是“网络链接”时,这表示元数据的服务的类型是互联网连接。然后,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:databitrate"value="value"/>”的描述表示将数据插入之后的比特率(target_bitrate),该数据的值以1000bps为单位。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:datainsertionratio"value="value"/>”的描述表示插入数据的比特率(AVR:inserted_data_bitrate)与作为参考的媒体编码流的比特率(CR:压缩media_data_bitrate)的比率(Ratio)。在这种情况下,如以下公式所示计算比率。
比率=inserted_data_bitrate/压缩media_data_bitrate
此外,作为由“Representation id="11"”识别的表示,“<Representation id="11"bandwidth="64000">”的描述表示在组1的自适应集中存在包括组1“group1”中的编码数据的比特率为64kbps的音频流。然后,根据“<baseURL>audio/jp/64.mp4</BaseURL>”的描述,音频流的位置目的地被表示为“audio/jp/64.mp4”。
此外,“<AdaptationSet mimeType="audio/mp4"group="2">”的描述表示存在相对于第二音频流的自适应集(AdaptationSet),向音频流提供MP4文件结构,并且分配组2。
另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:codecType"value="AC4or mpegh"/>”的描述表示音频流的编解码器是AC4或MPEG-H 3D音频。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:genericdatacContained"value="true"/>”的描述表示音频流包括通用数据(generic_data)。“schemeIdUri=="urn:brdcst:jointstreamdelivery"”的描述表示在多个媒体流之间是否协作地提供了互联网连接所需的信息。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:metaInsertionFrequency"value="1"/>”的描述表示每个访问单元的元信息的提供频率是“1”。另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:type"value="netlink"/>”的描述表示元数据的服务的类型是互联网连接。然后,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:databitrate"value="value"/>”的描述表示将数据插入之后的比特率(target_bitrate),该数据的值以1000bps为单位。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:datainsertionratio"value="value"/>”的描述表示插入数据的比特率(AVR)与媒体编码流的比特率(CR)的比率,作为参考。
此外,作为由“Representation id="21"”识别的表示,“<Representation id="21"bandwidth=“96000”>”的描述表示在组2的自适应集中存在包括组2“group2”中的编码数据的比特率为96kbps的音频流。然后,根据“<baseURL>audio/jp/96.mp4</BaseURL>”的描述,音频流的位置目的地被表示为“audio/jp/96.mp4”。
接下来,将描述图42中的MPD文件中的示例性描述。在MPD文件中,存在分别对应于音频流和视频流的自适应集(AdaptationSet)。
“<AdaptationSet mimeType="audio/mp4"group="1">”的描述表示存在相对于音频流的自适应集(AdaptationSet),给音频流提供MP4文件结构,并且分配组1。
另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:codecType"value="mpegh"/>”的描述表示音频流的编解码器是MPEG-H 3D音频。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:genericdatacContained"value="true"/>”的描述表示音频流包括通用数据(generic_data)。“schemeIdUri=="urn:brdcst:jointstreamdelivery"”的描述表示在多个媒体流之间是否协作地提供了互联网连接所需的信息。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:metaInsertionFrequency"value="1"/>”的描述表示每个访问单元的元信息的提供频率是“1”。另外,“<SupplementaryDescriptorschemeIdUri="urn:brdcst:type"value="netlink"/>”的描述表示元数据的服务的类型是互联网连接。然后,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:databitrate"value="value"/>”的描述表示将数据插入之后的比特率(target_bitrate),该数据的值以1000bps为单位。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:datainsertionratio"value="value"/>”的描述表示插入数据的比特率(AVR)与作为参考的媒体编码流的比特率(CR)的比率。
此外,作为由“Representation id="11"”识别的表示,“<Representation id="11"bandwidth="128000">”的描述表示在组1的自适应集中存在包括组1“group1”中的编码数据的比特率为128kbps的音频流。然后,根据“<baseURL>audio/jp/128.mp4</BaseURL>”的描述,音频流的位置目的地被表示为“audio/jp/128.mp4”。
此外,“<AdaptationSet mimeType="video/mp4"group="2">”的描述表示存在相对于视频流的自适应集(AdaptationSet),向视频流提供MP4文件结构,并且分配组2。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:codecType"value="hevc"/>”的描述表示视频流的编解码器是HEVC。此外,“<SupplementaryDescriptorschemeIdUri="urn:brdcst:genericdatacContained"value="true"/>”的描述表示音频流包括通用数据(generic_data)。“schemeIdUri=="urn:brdcst:jointstreamdelivery"”的描述表示在多个媒体流之间是否协作地提供了互联网连接所需的信息。
此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:genericdatacContained"value="true"/>”的描述表示视频流包括通用数据(generic_data)。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:metaInsertionFrequency"value="1"/>”的描述表示每个访问单元的元信息的提供频率是“1”。另外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:type"value="netlink"/>”的描述表示元数据的服务的类型是互联网连接。然后,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:databitrate"value="value"/>”的描述表示将数据插入之后的比特率(target_bitrate),该数据的值以1000bps为单位。此外,“<SupplementaryDescriptor schemeIdUri="urn:brdcst:datainsertionratio"value="value"/>”的描述表示插入数据的比特率(AVR)与作为参考的媒体编码流的比特率(CR)的比率。
此外,作为由“Representation id=“21””识别的表示,“<Representation id="21"bandwidth="20000000">”的描述表示在组2的自适应集中存在包括组2“group2”中的编码数据的比特率为20Mbps的音频流。然后,根据“<baseURL>audio/jp/20000.mp4</BaseURL>”的描述,音频流的位置目的地被表示为“video/jp/20000.mp4”。
此外,在上述实施方式中,已经描述了包括机顶盒200和电视接收器300的发送/接收系统10。然而,可以考虑设置显示器装置、投影仪等来代替电视接收器300的配置。此外,可以考虑设置具有接收功能的记录器、个人计算机等来代替机顶盒200的配置。
此外,在上述实施方式中,机顶盒200和电视接收器300通过HDMI数字接口有线连接。然而,当然,本发明可以同样应用于装置通过类似于HDMI的数字接口彼此有线连接的情况,此外,还可以应用于装置无线连接的情况。
此外,在上述实施方式中,已经描述了发送/接收系统10,其接收由机顶盒200从广播发送装置100在广播波上发送的传输流TS。然而,如图44所示,可以认为发送/接收系统10A直接接收由电视接收器300在广播波上从广播发送装置100发送的传输流TS。
注意,本技术可以具有以下配置。
(1)一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了预定信息的媒体编码流的具有预定格式的容器,其中,
信息插入单元划分预定信息,使得预定信息的比特率落入预定比特率内。
(2)根据(1)所述的发送装置,其中,
信息插入单元划分预定信息,使得每个划分部的数据大小是固定大小。
(3)根据(2)所述的发送装置,其中,
信息插入单元通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量,来计算固定大小。
(4)根据(1)所述的发送装置,其中:
信息插入单元划分预定信息,使得其中插入了划分部的每个单元部分的数据大小是固定大小。
(5)根据(4)所述的发送装置,其中,
信息插入单元通过将通过从目标比特率中减去媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量而获得的第一大小加入通过将媒体编码流的比特率除以在一秒内生成的单元部分的数量而获得的第二大小,来计算固定大小。
(6)根据(1)至(5)中任一项所述的发送装置,其中:
信息插入单元
将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;并且
将用于识别是否将划分部插入到其他媒体编码流中的标识信息添加到要插入到一个或多个媒体编码流的预定数量的单元部分中的每个划分部。
(7)根据(6)所述的发送装置,进一步包括:
标识信息插入单元,被配置为将指示预定信息的划分部是与一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到容器中。
(8)根据(7)所述的发送装置,其中,
标识信息插入单元进一步将指示其中插入了预定信息的划分部的其他媒体编码流是否与一个或多个媒体编码流中的每一个相对应地存在的标识信息以及当其他媒体编码流存在时指示其他媒体编码流的标识信息插入到容器中。
(9)一种发送方法,包括:
信息插入步骤,将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到媒体编码流的预定数量的单元部分中;以及
发送步骤,由发送单元发送包括插入了预定信息的媒体编码流的具有预定格式的容器,其中,
在信息插入步骤中,划分预定信息,使得预定信息的比特率落入预定比特率内。
(10)一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了预定信息的划分部的一个或多个媒体编码流的具有预定格式的容器。
(11)根据(10)所述的发送装置,其中,
信息插入单元将指示划分部是否插入到其他媒体流中的标识信息添加到要插入到一个或多个媒体编码流中的每一个中的每个划分部。
(12)根据(10)或(11)所述的发送装置,进一步包括:
标识信息插入单元,被配置为将指示预定信息的划分部是与一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到容器中。
(13)根据(12)所述的发送装置,其中,
标识信息插入单元进一步将指示其中插入了预定信息的划分部的其他媒体编码流是否与一个或多个媒体编码流中的每一个相对应地存在的标识信息以及当其他媒体编码流存在时指示其他媒体编码流的标识信息插入到容器中。
(14)一种发送方法,包括:
信息插入步骤,将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送步骤,由发送单元发送包括插入了预定信息的划分部的一个或多个媒体编码流的具有预定格式的容器。
(15)一种接收装置,包括:
流接收单元,被配置为接收一个或多个媒体编码流,其中,
将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,并且
接收装置进一步包括:
控制单元,被配置为控制用于从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的划分部和基于顺序信息重建预定信息的处理、以及使用重建的预定信息的信息处理。
(16)根据(15)所述的接收装置,其中:
流接收单元经由数字接口从外部装置接收一个或多个媒体编码流。
(17)根据(15)或(16)所述的接收装置,其中:
将用于识别划分部是否插入到其他媒体编码流中的标识信息添加到插入到一个或多个媒体编码流的预定数量的单元部分中的每个划分部中,并且
在重建预定信息的处理中,基于标识信息从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的每个划分部。
(18)一种接收方法,包括:
流接收步骤,通过接收单元接收一个或多个媒体编码流,其中,
将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,并且
接收方法进一步包括:
数据构建步骤,从一个或多个媒体编码流的预定数量的单元部分中提取预定信息的划分部并且基于顺序信息重建预定信息;以及
信息处理步骤,用于使用重建的预定信息执行信息处理。
(19)一种接收装置,包括:
接收单元,被配置为接收包括一个或多个媒体编码流的具有预定格式的容器,其中,
将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中,
将指示预定信息的划分部是与一个或多个媒体编码流中的每一个相对应地插入的标识信息插入到容器中,并且
接收装置进一步包括:
发送单元,被配置为基于标识信息经由数字接口将其中插入了预定信息的划分部的一个或多个媒体编码流发送到外部装置。
本技术的主要特征在于,通过将划分预定信息而获得的划分部插入到媒体编码流的预定数量的单元部分中,使得比特率落入预定比特率内,并发送这些划分部,从而可以令人满意地将预定信息插入媒体编码流中并发送流(参考图2、图4和图6)。
附图标记列表
10、10A 发送/接收系统
21 有效像素部
22 水平消隐间隔
23 垂直消隐间隔
24 视频数据周期
25 数据岛周期
26 控制周期
31 HDMI发射器
32 HDMI接收器
33 DDC
34 CEC线
35 HPD线
36 电源线
37 备用线
100 广播发送装置
110A、110B、110C 流生成单元
111 CPU
112 视频编码器
113、113-1、113-2 音频编码器
114 分离器
115、115-1、115-2、117 插入器
116 多路复用器
200 机顶盒(STB)
201 CPU
202 闪速ROM
203 DRAM
204 内部总线
205 遥控接收单元
206 遥控发射器
211 天线端子
212 数字调谐器
213 解复用器
214 视频解码器
215 音频成帧单元
216 HDMI发送单元
217 HDMI端子
300 电视接收器(TV)
301 CPU
302 闪速ROM
303 DRAM
304 内部总线
305 遥控接收单元
306 遥控发射器
307 通信接口
311 天线端子
312 数字调谐器
313 解复用器
314 视频解码器
315 HDMI端子
316 HDMI接收单元
317 视频处理电路
318 面板驱动电路
319 显示面板
320 音频解码器
321 音频处理电路
322 音频放大电路
323 扬声器
351-1、351-2 提取器
352-1、352-2 解码器
353 数据重组器
400 HDMI电缆。

Claims (17)

1.一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了所述预定信息的媒体编码流的具有预定格式的容器,其中,
所述信息插入单元划分所述预定信息,使得所述预定信息的比特率落入预定比特率内,并且
所述信息插入单元将用于识别所述划分部是否插入到其他媒体编码流中的标识信息添加到要插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部。
2.根据权利要求1所述的发送装置,其中,
所述信息插入单元划分所述预定信息,使得每个划分部的数据大小是固定大小。
3.根据权利要求2所述的发送装置,其中,
所述信息插入单元通过将通过从目标比特率中减去所述媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量,来计算固定大小。
4.根据权利要求1所述的发送装置,其中:
所述信息插入单元划分所述预定信息,使得其中插入了划分部的每个单元部分的数据大小是固定大小。
5.根据权利要求4所述的发送装置,其中,
所述信息插入单元通过将通过从目标比特率中减去所述媒体编码流的比特率而获得的容许比特率除以在一秒内生成的单元部分的数量而获得的第一大小加入通过将所述媒体编码流的比特率除以在一秒内生成的单元部分的数量而获得的第二大小,来计算固定大小。
6.根据权利要求1所述的发送装置,进一步包括:
标识信息插入单元,被配置为将指示预定信息的划分部是与一个或多个所述媒体编码流中的每一个相对应地插入的标识信息插入到容器中。
7.根据权利要求6所述的发送装置,其中,
所述标识信息插入单元进一步将指示其中插入了所述预定信息的划分部的所述其他媒体编码流是否与一个或多个所述媒体编码流中的每一个相对应地存在的标识信息以及当所述其他媒体编码流存在时指示所述其他媒体编码流的标识信息,插入到所述容器中。
8.一种发送方法,包括:
信息插入步骤,将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送步骤,由发送单元发送包括插入了所述预定信息的媒体编码流的具有预定格式的容器,其中,
在信息插入步骤中,划分所述预定信息,使得所述预定信息的比特率落入预定比特率内,并且将用于识别所述划分部是否插入到其他媒体编码流中的标识信息添加到要插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部。
9.一种发送装置,包括:
信息插入单元,被配置为将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送单元,被配置为发送包括插入了所述预定信息的划分部的一个或多个所述媒体编码流的具有预定格式的容器,
其中,所述信息插入单元将用于识别所述划分部是否插入到其他媒体编码流中的标识信息添加到要插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部。
10.根据权利要求9所述的发送装置,进一步包括:
标识信息插入单元,被配置为将指示所述预定信息的划分部是与一个或多个所述媒体编码流中的每一个相对应地插入的标识信息插入到所述容器中。
11.根据权利要求10所述的发送装置,其中,
所述标识信息插入单元进一步将指示其中插入了所述预定信息的划分部的其他媒体编码流是否与一个或多个所述媒体编码流中的每一个相对应地存在的标识信息以及当所述其他媒体编码流存在时指示所述其他媒体编码流的标识信息插入到所述容器中。
12.一种发送方法,包括:
信息插入步骤,将通过划分预定信息而获得的划分部添加用于重建的顺序信息,顺序地插入到一个或多个媒体编码流的预定数量的单元部分中;以及
发送步骤,由发送单元发送包括插入了所述预定信息的划分部的一个或多个所述媒体编码流的具有预定格式的容器,
其中,在信息插入步骤中,将用于识别所述划分部是否插入到其他媒体编码流中的标识信息添加到要插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部。
13.一种接收装置,包括:
流接收单元,被配置为接收一个或多个媒体编码流,其中,
通过划分预定信息而获得的划分部添加了用于重建的顺序信息,被顺序地插入到一个或多个所述媒体编码流的预定数量的单元部分中,并且
用于识别所述划分部是否插入到其他媒体编码流中的标识信息被添加到插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部,并且
所述接收装置进一步包括:
控制单元,被配置为控制用于从一个或多个所述媒体编码流的所述预定数量的单元部分中提取所述预定信息的划分部和基于所述顺序信息重建所述预定信息的处理、以及使用重建的预定信息的信息处理。
14.根据权利要求13所述的接收装置,其中:
所述流接收单元经由数字接口从外部装置接收一个或多个所述媒体编码流。
15.根据权利要求13所述的接收装置,其中:
在重建所述预定信息的处理中,基于所述标识信息从一个或多个所述媒体编码流的所述预定数量的单元部分中提取所述预定信息的每个划分部。
16.一种接收方法,包括:
流接收步骤,通过接收单元接收一个或多个媒体编码流,其中,
通过划分预定信息而获得的划分部添加了用于重建的顺序信息,被顺序地插入到一个或多个所述媒体编码流的预定数量的单元部分中,并且
用于识别所述划分部是否插入到其他媒体编码流中的标识信息被添加到插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部,并且
所述接收方法进一步包括:
数据构建步骤,从一个或多个所述媒体编码流的所述预定数量的单元部分中提取所述预定信息的划分部并且基于所述顺序信息重建所述预定信息;以及
信息处理步骤,使用重建的预定信息执行信息处理。
17.一种接收装置,包括:
接收单元,被配置为接收包括一个或多个媒体编码流的具有预定格式的容器,其中,
通过划分预定信息而获得的划分部添加了用于重建的顺序信息,被顺序地插入到一个或多个所述媒体编码流的预定数量的单元部分中,
用于识别所述划分部是否插入到其他媒体编码流中的标识信息被添加到插入到一个或多个所述媒体编码流的预定数量的单元部分中的每个划分部,并且
指示所述预定信息的划分部是与一个或多个所述媒体编码流中的每一个相对应地插入的标识信息被插入到所述容器中,并且
所述接收装置进一步包括:
发送单元,被配置为基于所述标识信息经由数字接口将其中插入了所述预定信息的划分部的一个或多个所述媒体编码流发送到外部装置。
CN201780014788.3A 2016-03-09 2017-02-27 发送装置、发送方法、接收装置和接收方法 Active CN108702533B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-046002 2016-03-09
JP2016046002 2016-03-09
PCT/JP2017/007572 WO2017154646A1 (ja) 2016-03-09 2017-02-27 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108702533A CN108702533A (zh) 2018-10-23
CN108702533B true CN108702533B (zh) 2021-07-09

Family

ID=59790476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014788.3A Active CN108702533B (zh) 2016-03-09 2017-02-27 发送装置、发送方法、接收装置和接收方法

Country Status (7)

Country Link
US (1) US10812838B2 (zh)
JP (1) JP6984586B2 (zh)
KR (1) KR20180120169A (zh)
CN (1) CN108702533B (zh)
CA (1) CA3015063A1 (zh)
MX (1) MX2018010460A (zh)
WO (1) WO2017154646A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2762400C1 (ru) * 2018-02-22 2021-12-21 Долби Интернешнл Аб Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118949A (ja) * 2008-11-13 2010-05-27 Nippon Television Network Corp デジタル放送方法及びシステムと、放送局及び受信機
CN102263989A (zh) * 2010-05-26 2011-11-30 索尼公司 发送设备及方法、接收设备及方法以及发送/接收系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345024B2 (ja) * 1996-04-12 2009-10-14 ソニー株式会社 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体
KR100495716B1 (ko) * 1996-04-12 2005-11-25 소니 가부시끼 가이샤 화상인코딩장치와방법및화상인코딩프로그램이기록된매체
JP3431470B2 (ja) * 1996-08-30 2003-07-28 松下電器産業株式会社 デジタル放送装置、受信装置、デジタル放送システム、受信装置に適用するプログラム記録媒体
DE69725533T2 (de) * 1996-08-30 2004-05-19 Matsushita Electric Industrial Co., Ltd., Kadoma Digitales Rundfunksystem, digitale Rundfunkvorrichtung und Empfänger dafür
WO1998058468A1 (fr) * 1997-06-19 1998-12-23 Kabushiki Kaisha Toshiba Systeme de transmission avec multiplexage de donnees d'information, multiplexeur et demultiplexeur utilises a cet effet et codeur et decodeur pour correction d'erreurs
US20030084180A1 (en) 2001-10-31 2003-05-01 Tomohiro Azami Metadata receiving apparatus, receiving method, metadata receiving program, computer-readable recording medium recording therein metadata receiving program, metadata sending apparatus, and transmitting method
JP2003204275A (ja) 2001-10-31 2003-07-18 Victor Co Of Japan Ltd メタデータ受信方法
US8218559B2 (en) * 2007-05-15 2012-07-10 Nokia Corporation Providing best effort services via a digital broadcast network using data encapsulation
CA2878735C (en) 2012-07-10 2018-08-14 Sharp Kabushiki Kaisha Playback device, playback method, distribution device, distribution method, distribution program, playback program, recording medium, and metadata
JP6202826B2 (ja) * 2013-01-30 2017-09-27 キヤノン株式会社 通信装置、通信装置の制御方法、および、プログラム
JP6652320B2 (ja) 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
JP6468739B2 (ja) 2014-06-30 2019-02-13 日本放送協会 映像音声信号送信装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118949A (ja) * 2008-11-13 2010-05-27 Nippon Television Network Corp デジタル放送方法及びシステムと、放送局及び受信機
CN102263989A (zh) * 2010-05-26 2011-11-30 索尼公司 发送设备及方法、接收设备及方法以及发送/接收系统

Also Published As

Publication number Publication date
JP6984586B2 (ja) 2021-12-22
MX2018010460A (es) 2019-01-14
CN108702533A (zh) 2018-10-23
US20190037255A1 (en) 2019-01-31
WO2017154646A1 (ja) 2017-09-14
KR20180120169A (ko) 2018-11-05
CA3015063A1 (en) 2017-09-14
JPWO2017154646A1 (ja) 2019-01-10
US10812838B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
JP7099510B2 (ja) 受信装置および受信方法
KR102396133B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US11039182B2 (en) Transmission device, transmission method, reception device, and reception method
CN108702533B (zh) 发送装置、发送方法、接收装置和接收方法
JP6891806B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP3280147A1 (en) Method and apparatus for transmitting and receiving broadcast signal
JP2021119712A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant