CN105900437B - 通信设备、通信数据生成方法和通信数据处理方法 - Google Patents

通信设备、通信数据生成方法和通信数据处理方法 Download PDF

Info

Publication number
CN105900437B
CN105900437B CN201480072675.5A CN201480072675A CN105900437B CN 105900437 B CN105900437 B CN 105900437B CN 201480072675 A CN201480072675 A CN 201480072675A CN 105900437 B CN105900437 B CN 105900437B
Authority
CN
China
Prior art keywords
data
packet
unit
header
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480072675.5A
Other languages
English (en)
Other versions
CN105900437A (zh
Inventor
山岸靖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105900437A publication Critical patent/CN105900437A/zh
Application granted granted Critical
Publication of CN105900437B publication Critical patent/CN105900437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提供了编码数据被划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据进行发送并且接收设备恢复和再现数据的构造。发送设备生成存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据转移单元(MTU)的数据和用作划分数据的排列信息的附加信息的多个分组并且顺序地发送分组。例如,通过进一步划分NAL单元而得到的NAL单元片段被存储在各分组中,并且发送分组。接收设备参照分组的附加信息以划分方式排列分组中存储的NAL单元片段并且重构和解码NAL单元。

Description

通信设备、通信数据生成方法和通信数据处理方法
技术领域
本公开涉及通信设备、通信数据生成方法和通信数据处理方法。更具体地,本公开涉及能够例如通过广播波或网络执行数据发送或接收的通信设备、通信数据生成方法和通信数据处理方法。
背景技术
过顶(OTT)被公认为能够在不顾及电信载体业务形式的情况下传递诸如图像数据或音频数据的数据传递方案。基于OTT的传递内容被称为“OTT内容”,并且使用OTT的图像(视频)数据的传递业务被称为“OTT视频”或“过顶视频(OTT-V)”。
例如,使用基于HTTP的动态自适应流放(DASH)作为根据OTT-V进行数据流放传递的基本技术。DASH是使用超文本传输协议(HTTP)的自适应流放技术的标准。
在自适应流放中,为了使各种客户端能够再现传递内容,内容传递服务器形成并且保持多个比特率的移动图像内容的段文件和描述属性信息或其URL的清单文件。
客户端从服务器获取清单文件,根据其自身装置的显示单元的大小或可用通信带来选择最佳比特率内容,接收并且再现所选择的内容。还可以根据网络带的变化来动态改变比特率,并且在客户端方,可以在必要时根据情况切换并且接收最佳内容,并且实现使视频中断出现事件减少的移动图像内容再现。在例如专利文献1(日本专利申请特许公开No.2011-87103)中公开了自适应流放。
MPEG-DASH标准被公认为指定用于执行移动图像专家组(MPEG)根据DASH编码的移动图像或视频数据的流放传递的规范的标准。
MPEG-DASH标准包括以下两个标准:
(a)与描述用作移动图像或音频文件的管理信息的元数据的清单文件(媒体表示描述(MPD))相关的标准;以及
(b)与用于移动图像内容发送的文件格式(段格式)相关的标准。
当根据DASH执行MPEG数据的流放传递时,根据MPEG-DASH标准执行处理。
然而,用作自适应流放技术标准的DASH是基于用作一对一通信处理的点对点性HTTP型流放技术。
因此,例如,当DASH应用于有可能供多个客户端同时观看的内容(节目)(诸如,赛事转播)的流放传递时,必须有内容分发网络(CDN)的支持。
然而,构造应用CDN的点对点HTTP流放有成本限制并且难以实现与广播传递相等的可扩展性。如上所述,DASH使用基于HTTP的流放协议并且其问题在于,这对于能够供多个客户端同时观看的内容传递(诸如,广播传递)而言是不够的。
引用列表
专利文献
专利文献1:日本专利申请特许公开No.2011-87103
发明内容
本发明要解决的问题
本公开的目的是提供能够使用基于HTTP的流放协议在内容传递中同时向多个客户端提供内容并且在各客户端中以极少延迟实现实时再现的通信设备、通信数据生成方法和通信数据处理方法。
问题的解决方案
本公开的第一方面是一种通信设备,所述通信设备包括:
数据处理单元,其生成存储编码数据的分组;以及
通信单元,其发送所述数据处理单元生成的所述分组,
其中,所述数据处理单元生成多个分组并且通过所述通信单元顺序地发送所述分组,所述多个分组存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元生成通过进一步划分的NAL单元而得到的NAL单元片段并且生成存储所述NAL单元片段的多个分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元生成通过进一步划分NAL单元而得到的NAL单元片段并且生成存储所述NAL单元片段的多个分组和存储对应于所述NAL单元的元数据的分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元生成存储等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU))的数据的多个分组并且通过所述通信单元顺序地发送所述分组。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元生成NAL内单元位置识别信息和作为附加信息的各NAL单元的排列信息,所述NAL内单元位置识别信息用于识别所述分组中存储的所述NAL单元片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元生成通过将发送数据划分成等于或小于最大数据传递单位(MTU)而得到的数据存储在其中的HTTP分组并且将所述附加信息记录在所生成的分组的HTTP头部中。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元将所述附加信息记录在所述所生成的分组的扩展头部中。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元将所述附加信息记录在所述所生成的分组的LCT头部中。
进一步地,在本公开的通信设备的实施例中,所述通信单元通过广播波执行所述数据处理单元生成的分组的广播传递或多播传递。
进一步地,本公开的第二方面是一种通信设备,所述通信设备包括:
通信单元,其接收发送设备发送的编码数据存储分组;以及
数据处理单元,其接收所述通信单元接收的分组,并且执行处理,
其中,所述通信单元接收的所述编码数据存储分组中的每个是存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息的分组。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元参照接收到的分组中记录的所述附加信息,执行接收到的多个分组中存储的划分数据的重新排列。
进一步地,在本公开的通信设备的实施例中,所述数据处理单元接收存储通过进一步划分NAL单元而得到的NAL单元片段的多个分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
进一步地,在本公开的通信设备的实施例中,所述通信单元接收包括NAL内单元位置识别信息和作为附加信息的各NAL单元的排列信息的分组,所述NAL内单元位置识别信息用于识别所述分组中存储的所述NAL单元片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,并且所述数据处理单元参照所述附加信息以划分方式用接收到的多个分组中存储的数据来重构多个NAL单元并且执行重构的所述多个NAL单元的重新排列处理。
进一步地,在本公开的通信设备的实施例中,所述通信单元接收包括所述附加信息记录在其中的HTTP头部的HTTP分组,并且所述数据处理单元从接收到的所述分组的所述HTTP头部获取所述附加信息。
进一步地,在本公开的通信设备的实施例中,所述通信单元接收包括所述附加信息记录在其中的扩展头部的分组,并且所述数据处理单元从接收到的所述分组的所述扩展头部获取所述附加信息。
进一步地,在本公开的通信设备的实施例中,所述通信单元接收包括所述附加信息记录在其中的LCT头部的分组,并且所述数据处理单元从接收到的所述分组的所述LCT头部获取所述附加信息。
进一步地,在本公开的通信设备的实施例中,所述通信单元通过广播波接收分组。
进一步地,本公开的第三方面是一种在数据发送设备中执行的通信数据生成方法,所述方法包括:
数据处理单元生成多个分组并且通过通信单元顺序地发送所述分组,所述多个分组存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息。
进一步地,本公开的第四方面是一种在数据发送设备中执行的通信数据生成方法,所述方法包括:
通信单元接收发送设备发送的编码数据存储分组的步骤;以及
数据处理单元接收所述通信单元接收的所述分组并且执行处理的数据处理步骤,
其中,所述通信单元接收的所述编码数据存储分组中的每个是存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息的分组,以及
所述数据处理单元接收所述通信单元接收的所述多个分组并且执行处理。
通过随后描述的本公开的实施例和基于附图的具体实施方式,将清楚本公开的其他目的、特征和优点。在本说明书中,系统是指多个设备的逻辑集合构造并且不限于各个构造的设备被排列在同一外壳中的构造。
本发明的效果
根据本公开的实施例的构造,实现以下构造:发送设备将编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据并且发送划分数据,并且接收设备恢复和再现数据。
具体地讲,发送设备生成多个分组并且顺序地发送所述分组,所述多个分组存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)而生成的划分数据和用作所述划分数据的排列信息的附加信息。例如,通过进一步划分NAL单元而得到的NAL单元片段被存储在各分组中,并且发送分组。接收设备参照分组的附加信息以划分方式排列分组中存储的NAL单元片段并且重构和解码NAL单元。
用这种构造,实现以下构造:发送设备将编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据并且发送划分数据,并且接收设备恢复和再现数据。
本说明书中描述的效果仅仅是示例并且不一定受限制,并且可包括附加效果。
附图说明
图1是描述根据本公开的执行处理的通信系统的示例性构造的示图。
图2是描述发送设备的发送数据的示图。
图3是描述DASH段的示例性构造的示图。
图4是描述片段生成序列的示图。
图5是描述片段中的媒体数据(mdat)被设置为除了一个GOP单元的数据外的通过将一个GOP分段而得到的数据的示例性构造的示图。
图6是描述HTTP头部被设置成子GOP媒体段的HTTP分组的示例性构造的示图。
图7是描述媒体段HTTP分组的HTTP头部的记录信息的示图。
图8是描述媒体段HTTP分组的HTTP头部的记录信息的示图。
图9是描述初始化段HTTP分组的HTTP头部的记录信息的示图。
图10是描述IP分组的示例性构造的示图。
图11是描述发送设备和接收设备的协议堆栈的示图。
图12是描述接收设备的协议堆栈的示图。
图13是描述MAC帧的构造的示图。
图14是描述NAL单元片段对应HTTP分组的示图。
图15是描述元数据存储型NAL单元片段对应HTTP分组的HTTP头部中记录的附加信息的示图。
图16是描述媒体数据存储型NAL单元片段对应HTTP分组的HTTP头部中记录的附加信息的示图。
图17是示出描述发送设备执行的处理序列的流程图的示图。
图18是示出描述接收设备执行的处理序列的流程图的示图。
图19是描述扩展头部中记录的附加信息的示例的示图。
图20是描述附加信息被记录在扩展头部中的实施例的示图。
图21是描述根据FLUTE协议设置的LCT头部的示例性构造的示图。
图22是描述LCT头部的头部扩展部分上的数据记录构造的示图。
图23是描述LCT头部的头部扩展部分中记录的数据的示图。
图24是描述HEVC编码数据的构造的示图。
图25是描述通信设备的示例性硬件构造的示图。
具体实施方式
下文中,将参照附图详细地描述根据本公开的通信设备、通信数据生成方法和通信数据处理方法。将用以下条目继续进行描述。
1.通信系统的示例性构造
2.同时传递型内容传递的问题
3.发送数据的段处理构造
4.附加信息被记录在HTTP头部中的实施例
5.分组的构造
6.发送设备和接收设备的构造和处理
7.使用通过进一步划分NAL单元而得到的NAL单元片段存储分组的通信处理构造
8.发送设备和接收设备的处理序列
9.附加信息被记录在扩展头部中的实施例
10.附加信息被记录在LCT头部中的实施例
11.关于HEVC编码数据的附加示例
12.各个设备的示例性硬件构造
13.本公开的构造的总结
[1.通信系统的示例性构造]
首先,将参照图1描述根据本公开的执行处理的通信系统的示例性构造。
通信系统10包括:发送设备20,其用作发送诸如图像数据或音频数据的内容的通信设备;以及接收设备30,其用作接收发送设备20的发送内容的通信设备,如图1中所示。
具体地讲,发送设备20是内容提供方的设备(诸如,广播站21或内容服务器22)。
同时,接收设备30是一般用户的客户端设备,并且由具体地讲例如电视31、PC 32或移动终端33构成。
发送设备20和接收设备30之间的数据通信被作为借助诸如互联网的网络进行的双向通信、使用广播波等进行的单向通信、或使用这两个通信进行的通信来执行。
根据用作自适应流放技术标准的MPEG-DASH标准,执行从发送设备20到接收设备30的内容发送。
如上所述,MPEG-DASH标准包括以下两个标准:
(a)与描述用作移动图像或音频文件的管理信息的元数据的清单文件(媒体表示描述(MPD))相关的标准;以及
(b)与用于移动图像内容发送的文件格式(段格式)相关的标准。
根据MPEG-DASH标准,执行从发送设备20到接收设备30的内容传递。
发送设备20编码内容数据,并且生成包括编码数据和编码数据的元数据的数据文件。例如,根据MPEG中指定的MP4文件格式,执行编码处理。另外,当发送设备20生成MP4格式的数据文件时,编码数据的文件被称为“mdat”,并且元数据被称为“moov”、“moof”等。
随后,将详细描述编码数据。
从发送设备20提供到接收设备30的内容的示例包括音乐数据、诸如电影、电视节目、视频、照片、文档、绘画或图表的视频数据、游戏和软件。
将参照图2描述发送设备20的发送数据。
根据MPEG-DASH标准执行数据发送的发送设备20将初始化段50和媒体段60分别存储在分组中,并且将所得的分组发送到接收设备30,如图2中所示。段中的每个被称为“DASH段。”
媒体段60中的每个是通过划分MPEG编码内容数据而得到的数据存储在其中的段。
初始化段50是当接收设备30方再现媒体段60的存储内容时必需的初始设置信息(例如,编解码器等的设置信息)存储在其中的段。
例如,发送设备20划分诸如一部电影或一个节目的内容,将划分内容存储在多个媒体段60中,并且顺序地发送这多个媒体段60。
发送设备20将图2中示出的初始化段50和媒体段60存储在HTTP段中,生成存储HTTP分组的IP分组,并且发送IP分组。随后,将详细描述发送分组的构造。
图2中示出的接收设备30首先接收一个初始化段50,并且根据初始化段中存储的设置信息来执行例如编解码器的设置处理。然后,接收设备30顺序地接收媒体段60,根据再现次序解码媒体段60,并且执行再现处理。
[2.同时传递型内容传递的问题]
如上所述,用作自适应流放技术标准的DASH是基于点对点HTTP流放,并且其问题在于,这对于能够供多个客户端同时观看的同时传递型内容传递而言是不够的。
然而,通过一起使用多播和广播(MC/BC),认为内容可没有任何延迟地被同时提供到多个客户端(接收设备)。
可应用于多播/广播(MC/BC)型流放的传输协议的示例包括实时传输协议(RTP)和基于单向传输的文件传递(FLUTE)。
将参照图3描述使用FLUTE协议根据基于HTTP流放的DASH标准执行内容流传递时能使用的DASH段的示例性构造。
如以上参照图2描述,DASH段被分类成两种类型:
(a)初始化段;
(b)媒体段。
(a)初始化段是诸如当执行内容再现时必需的设置信息(诸如,接收设备30中的解码器的设置)的初始化数据存储在其中的段。
(b)媒体段是用作再现目标的编码内容存储在其中的段。
如图3中所示,(a)初始化段包括以下信息:
(a1)包括段的文件类型信息的头部信息(dash);以及
(a2)包括初始化信息(诸如,用作将通过媒体段发送的编码内容的媒体数据(mdat)的编解码(编码形式)信息)的元数据(moov)。
同时,如图3中所示,(b)媒体段包括以下信息:
(b1)包括段的文件类型信息等的头部信息(msdh);
(b2)存储在媒体段中的多个子段的边界信息或指示例如用作存储在媒体段中的编码内容的媒体数据(mdat)的随机接入点的接入信息(sidx);以及
(b3)多个子段70。
多个子段70中的每个包括一个或多个段80。
段80包括以下数据:
媒体数据(mdat),其用作起到再现目标作用的编码内容;以及
对应于媒体数据(mdat)的元数据(moof)。
(b)媒体段的接入信息(sidx)中记录的随机接入点被称为DASH中的“SAP”。
例如,SAP指示可用于重置解码流必需的所有状态的图像序列中的第一图片的第一类型位置。具体地讲,例如,这是指示例如MPEG数据的I图片的位置的信息。
例如,用作段存储媒体数据(mdat)的再现时间信息的表示时间被记录在与存储在段80中的媒体数据(mdat)对应的元数据(moof)中。
当前,存储在一个段80中的媒体数据(mdat)一般被设置成用作DASH的控制目标的内容流的处理单元(chunk)。处理单元(chunk)是例如用作移动图像专家组(MPEG)编码的处理单元的一组图片(GOP)。
GOP经常被设置为具有大约0.5至2秒的再现时间段的数据并且被操作。
然而,如果使用一个GOP单元的数据作为存储在一个段80中的媒体数据(mdat),则在数据传递或再现处理中有可能出现延迟,并且在实时再现中有可能出现麻烦。
例如,当传递实况转播图像时,发送设备20对从相机输入的实况图像数据执行编码处理,并且顺序地生成媒体段60。当存储在媒体段60的段80中的每个中的媒体数据(mdat)是GOP单元的编码数据时,发送设备20生成用作GOP单元的编码数据的媒体数据(mdat),并且生成描述属性信息(诸如,所生成的媒体数据(mdat)的表示时间)的元数据(moof)。
因此,当在这个序列中生成各个数据时,难以生成GOP的元数据(moof),除非决定了对应GOP单元的各编码数据的数据范围。
因此,在决定了媒体数据(mdat)的数据范围之后,生成元数据(moof),并且必须在与一个GOP单元的时间段(0.5至2秒)的时间段内执行各元数据(moof)的生成处理。
将参照图4描述当构成媒体段60的段80中存储的媒体数据(mdat)用作GOP单元的编码数据时的段生成序列。
图4中示出的示例是当根据MPEG中指定的MP4文件格式(编码格式)存储媒体段60中存储的媒体数据(mdat)时的序列示例。
MP4文件格式的数据部分被划分成用作基本存储单元的样本。各样本由一个或多个网络抽象层(NAL)单元构成。NAL单元是MPEG编码数据的段数据,例如,条带单元的段数据。
对应于一个GOP单元的编码数据由多个NAL单元构成,如图4(a)中所示。
图4示出
(a)上部的构成GOP的NAL单元,以及
(b)下部的生成处理序列的片段。
在(b)片段生成处理序列的下部示出时间轴。时间从左到右地度过,并且发送设备20执行各处理并且根据时间轴生成片段。
发送设备生成存储所生成片段的媒体段,然后生成存储媒体段的HTTP分组,生成存储HTTP分组的IP分组,并且发送IP分组。
将描述图4(b)中示出的片段生成处理序列。
发送设备20按以下顺序根据MP4文件格式来生成存储编码数据的片段。
时间段t0至t1:生成存储构成GOP的多个NAL单元的样本1。
时间段t2至t3:生成存储构成GOP的多个NAL单元的样本2。
时间段t4至t5:生成存储构成GOP的多个NAL单元的样本3。
因此,完成了生成存储构成一个GOP的所有NAL单元的样本。
样本1至3被设置为媒体段的片段中的媒体数据(mdat)。
时间段t6至t7:生成用作存储在样本1至3中的GOP编码数据的属性信息的元数据(moof)。
时间段t8至t9:生成由样本1至3构成的媒体数据(mdat)与样本数据1至3的元数据(moof)组合而成的片段。
此后,发送设备20生成包括根据上述处理生成的片段的媒体段,生成以媒体段作为有效载荷的分组;并且将所生成的分组发送到接收设备30。
在生成片段时,发送设备20需要检查例如片段中存储的GOP单元的媒体数据(mdat)的再现时间段,根据再现时间段来生成GOP数据单元的属性信息(诸如,表示时间),并且将属性信息记录在元数据(moof)中。
当前,经受数据传递的图像数据是主要支持高清晰度的图像数据,但今后,随着图像质量提高,例如,预期具有诸如4K图像的大数据量的数据传递增加。有可能,将增大流的比特率以支持这种大容量数据传递。
当由于图像质量提高而增加数据量时,各GOP单元的数据量也增加。因此,如果如以上参照图4描述地顺序生成并且发送一个GOP单元的片段,则发送方的处理间隔增加。各单元的发送数据的数据量也增加。因此,当难以确保充足通信带时,网络传输中出现传输延迟事件的可能性增大。
另外,接收设备方的分组接收间隔增加,各分组的数据接收量增大,并且接收设备方需要的数据缓冲量也增大。另外,当出现分组接收错误并因此执行重新发送处理时,延迟量陡然增加,并且实时再现有可能突然失败。
[3.发送数据的段处理构造]
以下将描述以下的示例性构造:为了解决以上问题,通过将从发送设备20发送到接收设备30的发送数据分段来减少各发送分组的发送数据量(也就是说,各单元的发送数据量)。
在图4中示出的段生成序列中,使用被设置为片段的媒体数据(mdat)作为一个GOP单元的数据,并且生成与一个GOP单元的媒体数据(mdat)对应的元数据(moof)。换句话讲,各元数据(moof)是与一个GOP单元的媒体数据(mdat)对应的元数据。
在图4中示出的序列中,根据一个GOP的数据量,决定元数据(moof)的生成时间。因此,当一个GOP中包括的数据量增加时,元数据(moof)的生成时间被延迟,并且片段的生成处理、媒体段的生成处理和发送分组的生成处理也被延迟。结果,各分组的数据量增加,传递延迟的可能性增大。
作为防止这种情形的构造,将参照图5描述除了一个GOP单元的数据外通过将一个GOP分段而得到的数据被设置为片段中的媒体数据(mdat)的示例性构造。
图5示出除了一个GOP单元的数据外通过将一个GOP分段而得到的数据的示例。具体地讲,用作一个GOP的构造数据的一个或多个NAL单元被设置为片段中的媒体数据(mdat)。
图5(a)示出构成GOP的NAL单元,类似于图4(a)。
图5(b1)至图5(b3)示出用作一个GOP的构造数据的NAL单元以分布方式作为媒体数据(mdat)存储的多个媒体段。
如图5(b1)至图5(b3)中所示,由用作GOP数据的段数据的一个或多个NAL单元构成的媒体数据(mdat)存储在其中的媒体段在下文中被称为“子GOP媒体段”。
在图5中,一个GOP数据被存储在三个子GOP媒体段中,但用于存储一个GOP数据的次GOP媒体段的数量可被设置成2个或更多个的任意数量。
在图5(b1)至图5(b3)的所有子GOP媒体段中,将多个NAL单元设置为媒体数据(mdat),但可将一个NAL单元设置为媒体数据(mdat)。
发送设备20生成图5(b1)至图5(b3)中示出的子GOP媒体段,将所生成的子GOP媒体段中的每个设置为个体HTTP分组的有效载荷,并且通过网络或广播波发送HTTP分组。
图5(b1)至图5(b3)的子GOP媒体分组中存储的元数据(moof)是包括与个体子GOP媒体段中存储的媒体数据(mdat)对应的属性信息的元数据。
通过执行这种设置,通过网络或广播波发送的各分组的数据量减少,并且在发送设备方的一个分组生成处理中需要的时间段减少。另外,分组延迟的可能性减小,并且分组丢失时重新发送处理延迟也减少。结果,在接收设备30中实现具有极少错误的实时再现。
将参照图6描述其中HTTP头部被设置成子GOP媒体段的HTTP分组的示例性构造。
图6示出两个HTTP分组构造示例。
图6(a)和图6(b)中示出的分组之间的差异在于,是否有存储随机接入信息等的[sidx]。
sidx是媒体段中存储的多个子段的边界信息或指示例如用作如上参照图3描述的媒体段中存储的编码内容的媒体数据(mdat)的随机接入点的接入信息。在DASH中,接入信息被称为SAP。例如,SAP指示可用于重置解码流必需的所有状态的图像序列中的第一图片的第一字节位置。具体地讲,例如,其对应于MPEG数据的I图片的位置。
图6(b)中示出的HTTP分组是不包括sidx的分组。图6(b)中示出的HTTP分组不包括用作针对分组中存储的媒体数据(mdat)的接入点的图片数据。
当分组存储媒体数据(mdat)中不包括用作接入点的数据时,指示接入点的数据是不必需的。因此,sidx没有被设置成图6(b)中示出的HTTP分组。
另一方面,sidx被设置成包括子GOP媒体段的分组,包括用作接入点的数据的媒体数据(mdat)存储在子GOP媒体段中,如图6(a)中所示。
在本实施例中,一个GOP的构造数据被分配到多个分组并且进行发送,如以上参照图5和图6描述的。
接收设备30顺序地接收多个分组,并且获取分组中以分布方式存储的GOP的构造数据。当执行GOP单元的解码处理时,必须收集多个分组中存储的GOP的所有构造数据并且以正确次序排列GOP的构造数据(NAL单元)以重构GOP数据。
以下,将描述用于在接收设备方平稳执行处理的附加信息(诸如,应用于GOP重构处理的信息)的设置示例。
[4.附加信息被记录在HTTP头部中的实施例]
首先,将描述以下实施例:用于在接收设备方平稳执行处理的附加信息(诸如,应用于GOP重构处理的信息)被记录在HTTP分组的HTTP头部中。
将参照图7和图8描述HTTP头部的记录信息。
图7示出其中一个GOP数据以分布方式存储在三个子GOP媒体段中的HTTP分组的示例性构造,类似于以上参照图5描述的示例。
以下两条识别信息被记录在三个HTTP分组的HTTP头部中,如图7中所示:
(1)段标识符(Content-Location);以及
(2)GOP内位置识别信息(X-GOP的(Start/Middle/End))。
(1)段标识符是包括HTTP分组中存储的段的内容位置数据、段的类型、和分组中存储的媒体数据(mdat)所属的GOP的识别信息的数据。具体地讲,可记录GOP数据的位置信息(诸如URL等的接入信息)。
接收分组的接收设备30可确定相同段标识符(Content-Location)记录在其中的HTTP分组是属于同一GOP的媒体数据(mdat)存储在其中的HTTP分组。
(2)GOP内位置识别信息是指示HTTP分组中存储的媒体数据(mdat)所处的一个GOP中的位置的数据。
GOP内位置识别信息是GOP的X-Start的分组是GOP数据的头部区域中的NAL单元被作为媒体数据(mdat)存储的分组。
GOP内位置识别信息是GOP的X-Middle的分组是GOP数据的中间区域中的NAL单元被作为媒体数据(mdat)存储的分组。
GOP内位置识别信息是GOP的X-End的分组是GOP数据的尾部区域中的NAL单元被作为媒体数据(mdat)存储的分组。
另外,当一个GOP数据被分布于四个或更多个子GOP媒体段时,生成GOP内位置识别信息=GOP的X-Middle设置在其中的多个分组。可基于除了HTTP头部外的分组头部信息来确定GOP数据内的分组中存储的媒体数据(mdat)的排列。
例如,可参照存储HTTP分组的LCT分组的LCT头部中记录的分组序列号,确定GOP数据内的媒体数据(mdat)的排列。随后,将描述发送分组的特定构造和LCT头部的特定构造。
因此,例如,在HTTP分组存储在LCT分组中并且发送的构造中,可只针对存储其中GOP位置是头部区域的数据的分组,设置被设置成HTTP头部的GOP内位置识别信息。换句话讲,可只记录GOP内位置识别信息=GOP的X-Start,在此后的GOP数据可参照LCT头部的序列号来排列。
图8示出存储媒体段的HTTP分组的HTTP头部的示例性数据构造。
例如,下面的HTTP头部信息被记录在HTTP头部中,如图8中所示:
“…
HTTP/1.1 206 Partial Content
Date:Fri,04 Oct 2013 11:14:20 GMT
Content-type:application/mp4
Content-Location:http://a.com/x.mp4
X-StartOfGOP
…”
在HTTP头部信息中,段识别信息是“Content-Location:http://a.com/x.mp4”。
段标识符包括HTTP分组中存储的媒体数据(mdat)所属的GOP的识别信息。具体地讲,段标识符是GOP数据的位置信息(接入信息)。
可确定相同的段标识符(Content-Location)记录在其中的HTTP分组是属于同一GOP的媒体数据(mdat)存储在其中的HTTP分组。
在HTTP头部信息中,GOP内位置识别信息是“X-StartofGOP”。
GOP内位置识别信息是指示HTTP分组中存储的媒体数据(mdat)所处的一个GOP中的位置的数据。
以下数据中的任一个被作为GOP内位置识别信息记录在HTTP头部中:
当HTTP分组中存储的媒体数据(mdat)在一个GOP的头部区域中时的“X-StartofGOP”;
当HTTP分组中存储的媒体数据(mdat)在一个GOP的中间区域中时的“X-MiddleofGOP”;以及
当HTTP分组中存储的媒体数据(mdat)在一个GOP的尾部区域中时的“X-EndofGOP”。
接下来,将参照图9描述初始化段存储在其中的HTTP分组的HTTP头部的记录信息。
指示HTTP分组是初始化段存储在其中的分组的段识别信息被记录在初始化段存储在其中的HTTP分组的HTTP头部中。
图9示出初始化段存储在其中的HTTP分组的HTTP头部的示例性数据构造。
例如,下面的HTTP头部信息被记录在HTTP头部中,如图9中所示:
“…
HTTP/1.1 206 Partial Content
Date:Fri,04 Oct 2013 11:14:20 GMT
Content-type:application/mp4
Content-Location:http://a.com/x-init.mp4
X-InitializationSegment
…”
在HTTP头部信息中,段标识符是“Content-Location:http://a.com/x- init.mp4”。
诸如初始化段的URL的接入信息可被记录为段标识符。
在HTTP头部信息中,段识别信息是“X-InitializationSegment”。
段识别信息是指示HTTP分组中存储的段是初始化段的信息。
段识别信息被记录在初始化段存储在其中的HTTP头部中。
[5.分组的构造]
接下来,将描述从发送设备发送到接收设备的分组的示例性构造。
图10示出以下两个IP分组的示例性构造:
(1)初始化段存储IP分组;以及
(2)媒体段存储IP分组。
(1)初始化段存储IP分组具有以下构造:
IP头部;
UDP头部;
LCT头部;
HTTP头部;
初始化段构造数据[dash];以及
初始化段构造数据[moov]。
IP头部、UDP头部、LCT头部和HTTP头部是分别根据IP协议、UDP协议、FLUTE协议和HTTP协议的通信协议设置的头部信息。
同时,(2)媒体段存储IP分组具有以下构造:
IP头部;
UDP头部;
LCT头部;
HTTP头部;
媒体段构造数据[msdh];
媒体段构造数据[sidx];
媒体段构造数据[moof];以及
媒体段构造数据[mdat]。
IP头部、UDP头部、LCT头部和HTTP头部是分别根据IP协议、UDP协议、FLUTE协议和HTTP协议的通信协议设置的头部信息。
如上所述,媒体段构造数据[sidx]被设置成具有可应用于随机接入的媒体数据(mdat)的分组,但没有被设置成其他分组。
发送设备20生成图10中示出的IP分组,并且将所生成的IP分组发送到接收设备30。
接收设备30接收从接收设备20接收的图10中示出的分组,分析头部信息,获取段,并且根据段存储数据来执行初始设置或内容再现。
[6.发送设备和接收设备的构造和处理]
接下来,将参照图11和后续附图描述发送设备和接收设备的构造和处理。
首先,将参照图11描述发送设备20和接收设备30的构造和协议堆栈。
以上参照图10描述的生成并且发送IP分组的发送设备20包括数据处理单元21和通信单元22,如图11中所示。
数据处理单元21执行发送分组的生成处理。
具体地讲,例如,如上所述,只包括用作编码数据的处理单元的一组图片(GOP)的一些构造数据的媒体数据(mdat)和对应于媒体数据的元数据(moof)存储在其中的子GOP媒体段被生成为分组存储数据。另外,生成生成附加分组信息(诸如,识别用作子GOP媒体段的存储数据的媒体数据的GOP内位置的GOP内位置标识符)并且将其记录在HTTP头部中的分组。
通信单元22发送数据处理单元21生成的分组。
通信单元22通过广播波或网络(诸如,互联网),执行数据处理单元21生成的分组的广播传递或多播传递。
数据处理单元21和通信单元22根据包括以下层的协议堆栈来执行分组生成处理和所生成分组的发送。以下,将描述发送设备20的协议堆栈的层构造。发送设备20的协议堆栈具有从上层到下层的以下层构造:
(1)DASH服务器:执行诸如根据DASH标准的段生成的处理的应用层;
(2)视频/音频/字幕等:执行发送目标内容的生成和获取的应用层;
(3)分段的MP4:生成根据MP4文件格式的编码数据并且生成段的应用层;
(4)HTTP:根据HTTP协议生成包括HTTP头部的HTTP分组的层;
(5)FLUTE/ALC(LCT):根据FLUTE协议生成包括LCT头部的FLUTE分组;
(6)UDP:根据UDP协议生成包括UDP头部的UDP分组;
(7)IP:根据IP协议生成包括IP头部的IP分组;以及
(8)PHY:由例如生成并且发送IP分组或存储IP分组的MAC帧等的通信单元构成的物理层。
接收以上参照图10描述的IP分组的接收设备30包括数据处理单元31和通信单元32,如图11中所示。
通信单元32接收发送设备20发送的分组,并且数据处理单元31接收通信单元31接收的分组并且对分组执行数据处理。
数据处理单元31和通信单元32根据包括以下层的协议堆栈对分组执行接收和分析。接收设备30的协议堆栈具有从上层到下层的以下层构造:
(1)DASH客户端:执行诸如根据DASH标准的段分析的处理的应用层;
(2)视频/音频/字幕等:执行例如接收内容的获取和再现处理的应用层;
(3)分段的MP4:执行例如根据MP4文件格式的编码数据的解码处理的应用层;
(4)HTTP:根据HTTP协议分析包括HTTP头部的HTTP分组的层;
(5)FLUTE/ALC(LCT):根据FLUTE协议分析包括LCT头部的FLUTE分组;
(6)UDP:根据UDP协议分析包括UDP头部的UDP分组;
(7)IP:根据IP协议分析包括IP头部的IP分组;以及
(8)PHY:由例如接收IP分组或存储IP分组的MAC帧等的通信单元构成的物理层。
如上所述,当IP分组被广播或多播时,发送设备20执行使用借助网络进行的发送的发送处理、使用广播波进行的发送处理、或使用这两个发送的通信路径的并行发送处理。
接收设备30使用广播波和网络(诸如,互联网)中的任一个的通信路径或这两条通信路径来执行分组接收处理。
可通过用TCP层取代图11中示出的FLUTE/ALC(LCT)层和UDP层,执行借助网络(诸如,互联网)发送或接收的分组的生成和分析。
将参照图12描述接收设备30的协议堆栈的示例,接收设备30执行酌情切换通过广播波接收的IP分组和借助网络(诸如,互联网)接收的IP分组。
在图12中示出的接收设备30的协议堆栈中,示出对应于以下两个通信系统的协议堆栈的层构造。
(1)广播系统;以及
(2)网络通信系统。
(1)广播系统具有以上参照图11描述的层构造。
(2)网络通信系统具有用TCP层取代广播系统FLUTE/ALC(LCT)层和的UDP层的构造。
在TCP层中,分析包括TCP头部的TCP分组。
信令层是用于执行通信系统的开关控制的层。
通过酌情切换和使用广播系统和网络通信系统的层,接收设备30可选择性使用通过广播波接收的分组或借助网络(诸如,互联网)接收的分组来获取分组存储内容并且执行再现处理。
例如,当在从网络接收分组时存在延迟时,执行切换至广播系统,通过广播波接收对应于相同内容的分组,因此,可继续进行内容再现。
分组标识符和GOP内位置标识符被记录在通过网络通信系统和广播系统中的任一个传递的分组中,因此可参照识别信息重构GOP数据,并且没有误差地实现解码处理和内容再现。
[7.使用通过进一步划分NAL单元而得到的NAL单元片段存储分组的通信处理构造]
如上所述,通过使用包括用作GOP的划分数据的一个或多个NAL单元的分组发送和接收数据,网络上的各传递分组的数据量减少。
然而,例如,对于用作高质量图像数据的具有诸如4K内容或8K内容的大数据量的图像数据,通过大容量图像数据的编码处理生成的NAL单元的数据量增加。换句话讲,考虑一个NAL单元的数据量非常大的情况。
在IP层中的数据传递处理中,例如,当借助Ethernet(注册商标)执行数据传递时,必须使用等于或少于Ethernet(注册商标)中指定的最大数据传递单位(最大传递单位(MTU))的MAC帧,生成并且传递IP分组。
换句话讲,当借助其中指定最大数据传递单位(MTU)的网络传递分组时,必须执行将具有MTU的数据量或更多的IP分组划分成具有MTU所指定的数据量或更少的划分数据的片段处理和生成并且传递均存储划分数据的多个MAC帧的处理。
例如,Ethernet(注册商标)中指定的MAC帧的帧单元的一般最大数据传递量(MTU)是大约1,500个字节。
MAC帧具有例如图13中示出的构造,也就是说,其中MAC头部被设置成以上参照图10描述的IP分组的头部的构造。例如,在图13中示出的MAC帧中,必须将IP头部的数据量设置成用作MAC帧的有效载荷的媒体数据mdat使得MTU是1,500个字节或更少。
当执行从发送设备20到接收设备30的分组发送时,根据MTU进行的段(也就是说,分组划分处理和划分数据重构处理)有可能在发送设备20和接收设备30和发送设备20和接收设备30之间的转播设备等之间的通信中重复执行。
如果出现这种情形,从发送设备20中的内容输入到接收设备30中的内容再现的时间段将被延迟并且在接收设备30中将出现内容再现延迟的可能性增加。
以下,将描述用于防止这种情形的构造。
在以下将描述的实施例中,发送设备20在分组生成处理的阶段中的HTTP层中将分组的数据大小设置成预定大小或更小。具体地讲,分组的数据大小被设置成等于或小于通信路径中假定的最大数据传递单位(MTU)。具体地讲,例如,生成并且发送存储通过进一步划分一个NAL单元而得到的NAL单元片段的分组。
如上所述,例如,在Ethernet(注册商标)中执行的MAC帧的帧单元的一般最大数据传递量(MTU)是大约1,500个字节。
发送设备20的数据处理单元在HTTP分组的生成阶段中依据MTU执行分组生成。例如,执行分组生成,使得存储HTTP分组的MAC帧的帧大小是1,500个字节或更少。
通过由发送设备20的数据处理单元依据在通信路径中的最大数据传递量(MTU)执行分组生成处理,可平稳地执行根据发送设备、转播设备或接收设备的IP层中的MTU进行的分组划分处理的段。
如上所述,发送设备20的数据处理单元执行将分组存储数据设置为等于或小于HTTP分组的生成阶段中的通信路径中指定的MTU的片段的处理。通过这个处理,例如,通信路径的IP层中的段处理的管理费用减少。
在以上参照包括图5的附图描述的示例中,一个或多个NAL单元被用作媒体数据(mdat)并且与用作属性数据的元数据(moof)组合以生成一个片段,并且生成存储包括该片段的子GOP媒体段的HTTP分组。
在以下将描述的实施例中,生成通过划分作为媒体数据(mdat)的一个NAL单元而得到的NAL单元片段(NALF)的HTTP分组。
另外,对应于NAL单元的属性数据(moof)被存储在与媒体数据(mdat)存储分组不同的独立的单独HTTP分组中。
将参照图14描述本实施例中的HTTP分组的示例性构造。
图14(a)示出以上参照图5至图7描述的子GOP媒体段等。换句话讲,它是其中用作通过划分GOP而得到的数据的一个或多个NAL单元被作为媒体数据(mdat)存储的段。
然而,图14(a)中示出的子GOP媒体段是其中只有一个NAL单元被作为媒体数据(mdat)存储的示例。NAL单元的数量不限于此,并且可存储多个NAL单元。
在本实施例中,通过进一步划分图14(a)中示出的子GOP媒体段,生成多个HTTP分组。依据通信路径中的最大数据传递量(MTU)执行划分处理。例如,当生成存储划分的HTTP分组的MAC帧时,执行划分处理,使得数据量等于或小于MAC帧中许可的最大数据传递单位(MTU)。
在进行划分处理时,执行划分一个或多个NAL单元的NAL单元划分粗粒。下文中,通过划分NAL单元而得到的数据被称为“NAL单元片段(NALf)”。
另外,通过划分子GOP媒体段的构造数据而生成的HTTP分组被称为“NAL单元片段对应HTTP分组”。
在图14中示出的示例中,图14(a)中示出的子GOP媒体段的构造数据被划分成四个HTTP分组(b1)至(b4)。
图14(b1)至图14(b4)中示出的四个NAL单元片段对应HTTP分组中,当HTTP分组具有图13中示出的MAC帧构造时,除了MAC头部外的数据部分的数据量被设置成1,500个字节或更少。
图14(b1)中示出的NAL单元片段对应HTTP分组是存储图14(a)中示出的子GOP媒体段的元数据区域的HTTP分组,也就是说,诸如msdh(stype)的元数据、sidx和moof。换句话讲,图14(b1)中示出的NAL单元片段对应HTTP分组是元数据存储型NAL单元片段对应HTTP分组。
图14(b2)至图14(b4)中示出的NAL单元片段对应HTTP分组是存储通过划分图14(a)中示出的子GOP媒体段的媒体数据(mdat)区域中的NAL单元而生成的NAL片段(NALf)的HTTP分组。换句话讲,图14(b2)至图14(b4)中示出的NAL单元片段对应HTTP分组是媒体数据存储型NAL单元片段对应HTTP分组。
只有一个NAL单元存储在图14(a)中示出的子GOP媒体段中,但存在如图14(a)中所示的一个NAL单元存储在子GOP媒体段中的情况和两个或更多个NAL单元存储在子GOP媒体段中的情况。NAL单元段的构造数据不限于一个NAL单元并且可以是包括多个NAL单元的数据。例如,前一NAL单元的第二半部分可与后一NAL单元的头部部分组合,以设置一个NAL单元片段。
发送设备20通过如上所述划分一个子GOP媒体段来生成多个HTTP分组,用HTTP分组生成IP分组,并且顺序地发送IP分组。
然而,当如上所述划分并且传递一个原始NAL单元及其属性信息时,必须重构NAL单元及其属性信息,使得接收设备30方执行解码处理和再现处理。
这样所必需的信息被作为附加信息记录在HTTP头部中。
下面的附加信息被记录在图14(b1)中示出的元数据型NAL单元片段对应HTTP分组的HTTP头部中:
*NAL单元片段头部[X-NALUFragmentSubSegmentHeader];和
*电影片段序列号[X-MovieFragmentSequenceNumber]。
NAL单元片段头部是用于识别HTTP分组是元数据型NAL单元片段对应HTTP分组还是媒体数据存储型NAL单元片段对应HTTP分组的识别信息。
电影片段序列号是划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作存储在子GOP媒体段中的NAL单元的排列信息。作为序列号,复制划分之前子GOP媒体段的元数据(moof)中记录的序列号,而不进行改变和记录。
同时,下面的附加信息被记录在图14(b2)至图14(b4)中示出的媒体数据存储型NAL单元片段对应HTTP分组的HTTP头部中。
*电影片段序列号[X-MovieFragmentSequenceNumber];以及
*NAL内单元位置识别信息[X-NALUFragmentIndicator]。
电影片段序列号是划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作如上所述的子GOP媒体段中存储的NAL单元的排列信息。作为序列号,复制在划分之前子GOP媒体段的元数据(moof)中记录的序列号,而不进行改变和记录。
NAL内单元位置识别信息是指示分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。
NAL内单元位置识别信息是X-StartNALUFragmentSubSegment的分组是划分之前的NAL单元的头部区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
NAL内单元位置识别信息是X-MiddleNALUFragmentSubSegment的分组是划分之前的NAL单元的中间区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
NAL内单元位置识别信息是X-EndNALUFragmentSubSegment的分组是划分之前的NAL单元的尾部区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
当一个子GOP媒体段中存储的NAL单元被划分成四个或更多个媒体数据存储型NAL单元片段对应HTTP分组时,生成NAL内单元位置识别信息=X-MiddleNALUFragmentSubSegment被设置成的多个分组。可基于除了HTTP头部外的分组头部信息来确定分组中存储的媒体数据(mdat)的NAL单元片段(NALf)的排列。
例如,可参照存储HTTP分组的LCT分组的LCT头部中记录的分组序列号,确定分组中存储的媒体数据(mdat)的NAL单元片段(NALf)的排列。随后,将描述发送分组的特定构造和LCT头部的特定构造。
因此,例如,在将HTTP分组存储在LCT分组中并且发送所得的LCT分组的构造中,被设置成HTTP头部的NAL内单元位置识别信息可被设置成只识别存储其位置是头部区域的数据的分组。换句话讲,可只记录NAL内单元位置识别信息=X-StartNALUFragmentSubSegment,并且可参照LCT头部的序列号来排列此后的数据。
图15示出元数据存储型NAL单元片段对应HTTP分组的构造和HTTP头部的示例性数据构造。
如图15中所示,例如,下面的HTTP头部信息被存储在HTTP头部中:
“…
HTTP/1.1 206 Partial Content
Date:Fri,04 Oct 2013 11:14:20 GMT
Content-type:application/mp4
X-NALUFragmentSubSegmentHeader
X-MovieFragmentSequenceNumber:234567
…”
在HTTP头部信息中,NAL单元片段头部是“X-NALUFragmentSubSegmentHeader”。
NAL单元片段头部被记录为指示HTTP分组是元数据存储型NAL单元片段对应HTTP分组的信息。
在HTTP头部信息中,电影片段序列号是“X-MovieFragmentSequenceNumber”。
电影片段序列号是划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作如上所述的子GOP媒体段中存储的NAL单元的排列信息。作为序列号,复制划分之前的子GOP媒体段的元数据(moof)中记录的这个序列号,而不进行改变和记录。
接下来,将参照图16描述存储媒体数据的媒体数据存储型NAL单元片段对应HTTP分组的构造和HTTP头部的示例性数据构造。
如图16中所示,例如,下面的HTTP头部信息被记录在HTTP头部中:
“…
HTTP/1.1 206 Partial Content
Date:Fri,04 Oct 2013 11:14:20 GMT
Content-type:application/mp4
X-StartOfGOP
X-MovieFragmentSequenceNumber:234567
X-StartNALUFragmentSubSegment
…”
在HTTP头部信息中,GOP内位置识别信息是“X-startofGOP”。
GOP内位置识别信息是指示HTTP分组中存储的媒体数据(mdat)所处的一个GOP中的位置的数据。
下面数据中的任一个被作为GOP内位置识别信息记录在HTTP头部中:
当HTTP分组中存储的媒体数据(mdat)在一个GOP的头部区域中时的“X-StartofGOP”;
当HTTP分组中存储的媒体数据(mdat)在一个GOP的中间区域中时的“X-MiddleofGOP”;以及
当HTTP分组中存储的媒体数据(mdat)在一个GOP的尾部区域中时的“X-EndofGOP”。
在HTTP头部信息中,电影片段序列号是“X-MovieFragmentSequenceNumber”。
电影片段序列号是在划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作如上所述存储在子GOP媒体段中的NAL单元的排列信息。作为序列号,复制在划分之前子GOP媒体段的元数据(moof)中记录的序列号,而不进行改变和记录。
在HTTP头部信息中,NAL内单元位置识别信息是“X-StartNALUFragmentSubSegment”。
NAL内单元位置识别信息是指示分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。
NAL内单元位置识别信息是X-StartNALUFragmentSubSegment的分组是划分之前的NAL单元的头部区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
NAL内单元位置识别信息是X-MiddleNALUFragmentSubSegment的分组是划分之前的NAL单元的中间区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
NAL内单元位置识别信息是X-EndNALUFragmentSubSegment的分组是划分之前的NAL单元的尾部区域中的NAL单元片段(NALf)被作为媒体数据(mdat)存储的分组。
[8.发送设备和接收设备的处理序列]
接下来,将参照图17和图18中示出的流程图描述发送设备和接收设备执行的处理序列。
首先,将参照图17中示出的流程图描述发送设备20执行的处理序列。
图17中示出的流程图是描述以下处理的流程:例如,以上参照图14描述的生成并且发送基于子GOP媒体段生成的元数据存储型NAL单元片段对应HTTP分组和图14(a)中示出的媒体数据存储型NAL单元片段对应HTTP分组。
这个处理是由发送设备20的数据处理单元执行的。数据处理单元包括具有程序执行功能的CPU,并且根据存储单元中存储的程序按照图17中示出的流程来执行处理。
下文中,将顺序地描述各个步骤的处理。
(步骤S101)
首先,发送设备的数据处理单元对用作发送目标的编码处理执行编码处理。例如,执行根据MP4文件格式的编码处理。
(步骤S102)
然后,发送设备生成与子GOP媒体段对应的媒体数据(mdat)。这个处理是生成以上参照包括图5的附图描述的子GOP媒体段中存储的媒体数据(mdat)的处理。生成包括用作MP4编码数据的GOP数据的部分的媒体数据(mdat),即将GOP构造为构造数据的一个或多个NAL单元。
(步骤S103)
然后,发送设备生成用作与步骤S102中生成的媒体数据(mdat)对应的属性信息的元数据(moof)。
(步骤S104)
然后,发送设备生成用作与子GOP媒体段对应的元数据的msdh和sidx。msdh和sidx是以上参照包括图5的附图描述的子GOP媒体段中存储的元数据。
(步骤S105)
接下来,发送设备划分用于存储子GOP媒体段的元数据(mdat)以生成NAL单元片段(NALf)。执行划分处理,使得根据MAC帧的一般MTU,MAC帧的有效载荷是例如大致1,500个字节或更少。
(步骤S106)
接下来,发送设备生成存储NAL单元片段的元数据存储型NAL单元片段对应HTTP分组和媒体数据存储型NAL单元片段对应HTTP分组。
这是以上参照图14、图15和图16描述的HTTP头部信息生成处理。
下面的信息被记录在元数据存储型NAL单元片段对应HTTP分组的HTTP头部中。
首先,记录指示HTTP封装的NAL单元片段头部是元数据存储型NAL单元片段对应HTTP分组。
进一步,记录与子GOP媒体段中存储的NAL单元的排列信息对应的电影片段序列号。作为序列号,复制在划分之前子GOP媒体段的元数据(moof)中记录的序列号,而不进行改变和记录。
同时,以下信息被记录在媒体数据存储型NAL单元片段对应HTTP分组的分组头部中。
GOP内位置识别信息是指示HTTP分组中存储的媒体数据(mdat)所处的一个GOP中的位置的数据。
以下数据中的任一个被作为GOP内位置识别信息记录在HTTP头部中:
当HTTP分组中存储的媒体数据(mdat)在一个GOP的头部区域中时的“X-StartofGOP”;
当HTTP分组中存储的媒体数据(mdat)在一个GOP的中间区域中时的“X-MiddleofGOP”;以及
当HTTP分组中存储的媒体数据(mdat)在一个GOP的尾部区域中时的“X-EndofGOP”。
电影片段序列号是在划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作子GOP媒体段中存储的NAL单元的排列信息。作为序列号,复制在划分之前子GOP媒体段的元数据(moof)中记录的序列号,而不进行改变和记录。
NAL内单元位置识别信息是指示分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。
在步骤S106中,发送设备生成以上述方式存储NAL单元片段的元数据存储型NAL单元片段对应HTTP分组和媒体数据存储型NAL单元片段对应HTTP分组。
(步骤S107)
接下来,在步骤S107中,发送设备生成步骤S106中生成的HTTP头部被设置成的以下HTTP分组:
元数据存储型NAL单元片段对应HTTP分组;以及
媒体数据存储型NAL单元片段对应HTTP分组。
(步骤S108和S109)
然后,发送设备通过将LCT头部、UDP头部和IP头部设置成所生成的HTTP分组来生成IP分组,并且发送IP分组。通过诸如互联网和广播波或这两条通信路径中的任一个,执行发送处理。
图17中示出的流程是用于描述基于媒体段生成的分组的生成/发送处理的流程。当基于初始化段生成分组时,在生成初始化段的构造数据之后,例如,执行将指示初始化段的段识别信息记录在HTTP头部中的处理。
接下来,将参照图18中示出的流程图描述在接收设备中执行的从分组接收到内容再现的处理序列。
通过接收设备30的数据处理单元执行这个处理。数据处理单元包括具有程序执行功能的CPU,并且根据存储单元中存储的程序按照图18中示出的流程来执行处理。
下文中,将顺序地描述各个步骤的处理。
(步骤S201)
首先,在步骤S201中,接收设备从用户接收指定再现内容的信息。例如,在显示单元上显示内容列表(诸如,之前从发送设备接收的节目表),并且基于关于显示信息的用户输入信息来决定再现内容。
(步骤S202)
然后,接收设备接收包括被选择作为再现目标的所选择内容对应的初始化段的分组,并且获取初始化段。
如以上参照图9描述的,段识别信息被记录在初始化段存储在其中的HTTP分组的HTTP头部中,因此可以参照识别信息来检查初始化段存储在其中的HTTP分组。
(步骤S203)
接收设备根据接收到的初始化段的存储数据,执行初始化接收设备的处理。具体地讲,接收设备获取初始化段中存储的编解码设置参数,并且根据所获取的参数执行例如编解码设置。
(步骤S204)
接下来,接收设备接收以下分组即与步骤S201中选择的所选择内容对应的子GOP媒体段的个体分组:
存储元数据存储型NAL单元片段对应HTTP分组的IP分组;以及
存储媒体数据存储型NAL单元片段对应HTTP分组的IP分组。
(步骤S205)
然后,接收设备从接收到的分组的HTTP头部获取分组中存储的数据的以下属性信息:
*NAL单元片段头部;
*GOP内位置识别信息;
*电影片段序列号;以及
*NAL单元位置识别信息。
如上所述,NAL单元片段头部是指示HTTP分组是元数据存储型NAL单元片段对应HTTP分组的信息。
GOP内位置识别信息是指示HTTP分组中存储的媒体数据(mdat)所处的一个GOP中的位置的数据。
电影片段序列号是在划分之前子GOP媒体段的元数据(moof)中记录的序列号,并且用作存储在子GOP媒体段中的NAL单元的排列信息。
NAL内单元位置识别信息是指示分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。
(步骤S206)
然后,接收设备根据从HTTP头部获取的识别信息,重新排列接收到的媒体数据存储型NAL单元片段对应HTTP分组中存储的NAL单元片段,并且重构GOP单元数据。
(步骤S207和S208)
然后,接收设备对重构GOP数据执行解码处理,并且对解码数据执行再现处理。
(步骤S209)
然后,接收设备确定数据再现处理是否终止,并且当数据再现处理没有终止时,处理返回到步骤S204,并且重复地执行步骤S204和此后的处理。
当在步骤S209中确定再现处理结束时,处理终止。
另外,例如,当如在随机接入再现等中一样只再现特定再现位置处的图像时,可参照用作元数据存储型NAL单元片段对应HTTP分组中的随机接入点信息的sidx数据使用用sidx数据计算出的一个或多个NAL单元片段(NALf)来执行处理。换句话讲,可执行例如选择、解码、和再现仅仅对应于I图片的编码图像数据的处理。
在这种情况下,可以在不执行重排GOP的所有数据的处理的情况下,选择并且再现仅仅随机接入点的数据。
[9.附加信息被记录在扩展头部中的实施例]
在以上实施例中,在HTTP分组中设置用于平稳执行接收设备方的处理(诸如,NAL单元片段(NALf)的排列)的附加信息和应用于GOP重构处理的信息。
然而,附加信息的记录目的地不限于HTTP头部,并且可设置各种记录目的地。
以下,将描述附加信息被记录在扩展头部中的实施例。
将参照图19和图20描述附加信息被记录在扩展头部中的实施例。
图19和图20中示出的示例是新扩展头部被插入HTTP头部之后的分组区域中并且附加信息被记录在扩展头部中的示例。
图19示出扩展头部中记录的附加信息的列表,并且图20示出具有扩展头部的三种类型的HTTP封装的示例。
图20示出以下三种类型的HTTP分组:
(1)初始化段HTTP分组;
(2)基于媒体段的元数据存储型NAL单元片段对应HTTP分组;以及
(3)基于媒体段的媒体数据存储型NAL单元片段对应HTTP分组。
在各分组的HTTP头部之后,设置扩展头部。
根据图19中示出的列表的附加信息被记录在扩展头部中。将参照图19描述待记录的附加信息的示例。如图19中所示,附加信息由以下信息构成:
(a)段识别信息(初始化段标识符);
(b)GOP内位置识别信息(子GOP指示符);
(c)电影片段序列号(电影片段序列号);
(d)NAL单元片段头部(NALU片段子段头部);以及
(e)NAL内单元位置识别信息(NALU片段标识符)。
例如,(a)片段识别信息是8位数据并且在初始化片段的情况下设置1,并且在其他片段的情况下设置0。
在媒体片段的情况下,当HTTP头部中记录的内容位置信息(ContentLocation)被设置为GOP单元数据的位置信息时,可以参照内容位置信息将各GOP数据区分开。
(b)GOP内位置识别信息是8位数据,例如,如下设置其位值:
GOP=1的头部位置处的数据(StartofGOP);
GOP=2的中间位置处的数据(MiddleofGOP);以及
GOP=3的尾部位置处的数据(EndofGOP)。
(c)电影片段序列号是32位数据,并且是记录划分之前子GOP媒体段的元数据(moof)中记录的序列号。电影片段序列号是子GOP媒体段中存储的NAL单元的排列信息。
(d)NAL单元片段头部是8位数据,并且在元数据存储型NAL单元片段对应HTTP分组的情况下记录1,并且在其他分组的情况下记录0。
(e)NAL内单元位置识别信息是8位数据,并且是在分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。如下地设置并且记录位值:
划分之前NAL单元的头部位置(StarNALUnitFragmentSubSegment)=1;
划分之前NAL单元的中间位置(MiddleNALUnitFragmentSubSegment)=2;以及
划分之前NAL单元的尾部位置(EndNALUnitFragmentSubSegment)=3。
图20示出图19中示出的(a)至(e)的各个附加信息被设置成以下三种类型的HTTP分组的扩展头部:
(1)初始化段HTTP分组;
(2)基于媒体段的元数据存储型NAL单元片段对应HTTP分组;以及
(3)基于媒体段的媒体数据存储型NAL单元片段对应HTTP分组。
发送设备设置扩展头部并且将设置的扩展头部发送到接收设备。接收设备参照扩展头部的段识别信息,确定存储初始化段的HTTP分组、元数据存储型NAL单元片段对应HTTP分组、或媒体数据存储型NAL单元片段对应HTTP分组中的哪个是分组中存储的段。
另外,当确定分组是媒体数据存储型NAL单元片段对应HTTP分组时,接收设备可重新排列NAL单元片段(NALf)并且参照扩展头部的GOP内位置识别信息或NAL内单元位置识别信息来重构GOP。
[10.附加信息被记录在LCT头部中的实施例]
如上所述,可应用于多播/广播(MC/BC)型流放的传输协议的示例包括RTP(实时传输协议)协议和FLUTE(基于单向传输的文件分发)协议。
根据FLUTE协议的用作头部信息的LCT头部被设置成根据FLUTE协议设置的分组。
换句话讲,LCT头部是以上参照图10描述的IP分组中的LCT头部。
接下来,将描述以下实施例:用于在接收设备方平稳执行处理的附加信息(诸如,应用于NAL单元片段(NALf)和GOP重构处理的信息)被记录在LCT头部中。
图21示出根据FLUTE协议设置的LCT头部的示例性构造。
例如,下面的主要数据域被设置成LCT头部:
CCI(拥塞控制信息):各域的长度、拥塞控制信息等记录在其中的域;
TSI(传输会话标识符):分组传输会话信息记录在其中的域;
TOI(传输对象标识符):分组传输序列等记录在其中的域;以及
头部扩展部分(头部扩展):各种扩展数据可记录在其中的域。
如以上参照图7描述的,可以参照TOI(替代GOP内位置识别信息)来检查数据发送次序。
如上所述,例如,可只针对用作HTTP头部等中记录的附加信息的GOP内位置识别信息来记录指示头部位置的GOP的S-START,可参考LCT头部中的TOI获取分组序列作为其他GOP中的数据的排列次序,并且可根据分组序列以正确次序排列GOP中的NAL单元。
类似地,可以检查数据发送次序并且参照作为NAL单元片段(NALf)的排列信息的TOI执行重新步骤。例如,用作HTTP头部等中记录的附加信息的NAL内单元位置识别信息被记录在仅仅存储头部位置的NAL单元片段的分组的HTTP头部中。可以用LCT头部的TOI分析分组序列并且排列之后的NAL单元片段。
如图21中所示,各种数据可记录在其中的头部扩展部分(头部扩展)被设置成LCT头部。用于在接收设备方平稳执行处理的附加信息(诸如,应用于NAL单元片段和GOP重构处理的信息)可被记录在头部扩展部分中。
将参照图22描述LCT头部的头部扩展部分的数据记录构造。
存在当数据被记录在LCT头部的头部扩展部分中时的两种类型的格式。
图22(1)示出记录信息的长度可被自由设置成的格式。
图22(2)示出记录信息的长度被固定成的格式。
指示扩展头部类型的扩展头部识别信息(数值)被记录在HET(头部扩展类型)中。指定图22(1)的格式可使用直至127的值,并且图22(2)的格式可使用128或更大的值。
扩展头部的长度被记录在HET(头部扩展长度)中。
HEC(头部扩展内容)是扩展头部内容被记录在其中的域,并且可记录任意扩展信息。
图23示出使用记录信息的长度被固定成的图22(2)的格式记录用于在接收设备方平稳执行处理的附加信息(诸如,应用于NAL单元片段的重新排列和GOP重构处理的信息)时的记录数据的示例性构造。
如图23中所示,(a)扩展头部识别信息(HET)是8位数据,并且例如将[200]记录为新信息的识别值。
下面的识别信息被记录在扩展信息记录部分(HEC)中:
(b)段识别信息;
(c)GOP内位置识别信息;
(d)电影片段序列号;
(e)NAL单元片段头部;以及
(f)NAL内单元位置识别信息。
例如,(b)片段识别信息是8位数据,并且在初始化片段的情况下设置1,并且在其他片段的情况下设置0。
在媒体片段的情况下,当HTTP头部中记录的内容位置信息(ContentLocation)被设置为GOP单元数据的位置信息时,可以参照内容位置信息将各GOP数据区分开。
(c)GOP内位置识别信息是8位数据,例如,如下设置其位值:
GOP=1的头部位置处的数据(StartofGOP);
GOP=2的中间位置处的数据(MiddleofGOP);以及
GOP=3的尾部位置处的数据(EndofGOP)。
(d)电影片段序列号是32位数据,并且是记录划分之前子GOP媒体段的元数据(moof)中记录的序列号。电影片段序列号是子GOP媒体段中存储的NAL单元的排列信息。
(e)NAL单元片段头部是8位数据,并且在元数据存储型NAL单元片段对应HTTP分组的情况下记录1,并且在其他分组的情况下记录0。
(f)NAL内单元位置识别信息是8位数据,并且是在分组中存储的NAL单元片段(NALf)所对应的划分之前的NAL单元的位置的信息。如下地设置并且记录位值:
划分之前NAL单元的头部位置(StarNALUnitFragmentSubSegment)=1;
划分之前NAL单元的中间位置(MiddleNALUnitFragmentSubSegment)=2;以及
划分之前NAL单元的尾部位置(EndNALUnitFragmentSubSegment)=3。
发送设备设置包括扩展头部信息的LCT头部,并且将设置的LCT头部发送到接收设备。接收设置参照LCT头部中的扩展头部的段识别信息,确定初始化段存储分组、元数据存储型NAL单元片段对应分组、和媒体数据存储型NAL单元片段对应HTTP分组中的哪个是接收到的分组。另外,当识别分组是媒体数据存储型NAL单元片段对应分组时,接收设备可执行正确排列用作各个分组中存储的媒体数据(mdat)的NAL单元片段(NALf)的重新排列和参照LCT头部的扩展头部信息中记录的NAL内单元位置识别信息或GOP内位置识别信息进行的GOP重构。
[11.关于HEVC编码数据的附加示例]
已经结合关于根据MPEG编码方案的MP4编码数据的处理示例描述了以上实施例,但根据本公开的处理可应用于任何其他编码数据。例如,根据本公开的处理可根据高效视频编码(HEVC)应用于编码数据。
将参照图24描述HEVC编码数据的构造。
如图24中所示,HEVC编码处理生成的一个HEVC流包括多个序列(编码视频序列(CVS))和序列NAL单元的端部(EoB)。
用作HEVC流的成分的CVS由多个GOP和序列NAL单元(EoS)的端部构成。
GOP具有用作作为头部数据的随机接入点的内部随机接入点(IRAP)接入单元,并且包括多个前图片(LP)接入单元和多个后图片(TP)接入单元。
LP接入单元和TP接入单元是可参照特定参考图片解码的接入单元。
然而,当开始从IRAP接入单元解码时,可甚至对TPAU执行正常解码和再现。
接入单元(AU)由多个网络抽象层(NAL)单元构成,并且接入单元(AU)必须包括一个或多个条带片段NAL单元。
如图24中所示,用作编码处理单元的GOP甚至被设置成通过HEVC编码处理生成的编码数据,并且GOP被进一步划分成多个NAL单元。
用作HEVC编码数据中设置的GOP的构造数据的一个或多个NAL单元被存储在以上参照图5描述的子GOP媒体片段中。
另外,如以上参照包括图14的附图描述的,可生成通过进一步划分NAL单元而得到的NAL单元片段(NALf)并且以分布方式将其存储在HTTP分组中。
如上所述,甚至对于存储HEVC编码数据的分组,可生成用作GOP数据的划分数据的通过进一步划分NAL单元而得到的NAL单元片段(NALf)。因此,可执行参照包括图14的附图描述的处理,并且可应用本公开的处理。
本公开的处理不限于MP4和HEVC并且可应用于提供对应于GOP的编码处理单元的任何编码构造,并且设置通过划分GOP数据而得到的单元(NAL)。
[12.各个设备的示例性硬件构造]
最后,将参照图25描述执行以上处理的各个设备的示例性硬件构造。
图25示出可被应用作为发送设备20和接收设备30的通信设备的示例性硬件构造。
中央处理单元(CPU)201用作根据只读存储器(ROM)202或存储单元208中存储的程序执行各种类型的处理的数据处理单元。例如,CPU 201根据以上实施例中描述的序列来执行处理。CPU 201执行的程序、数据等被存储在随机接入存储器(RAM)203中。CPU 201、ROM202和RAM 203借助总线204相互连接。
CPU 201借助总线204连接到输入/输出接口205,并且包括各种类型的开关、键盘、鼠标、麦克风等的输入单元206和包括显示器、扬声器等的输出单元207连接到输入/输出接口205。CPU 201根据从输入单元206输入的命令来执行各种类型的处理,并且将处理结果输出到例如输出单元207。
连接到输入/输出接口205的存储单元208包括例如硬盘等,并且存储CPU 201执行的程序和各种类型的数据。通信单元209用作借助网络(诸如,互联网或局域网(LAN))发送和接收数据通信的收发单元和发送和接收广播波的收发单元,并且与外部设备执行通信。
连接到输入/输出接口205的驱动器210驱动可去除介质211(诸如,磁盘、光盘、磁光盘或诸如存储卡的半导体存储器),并且记录或读取数据。
另外,可执行数据的编码或解码作为用作数据处理单元的CPU 201的处理,但可提供用作用于执行编码处理或解码处理的专用硬件的编解码器。
[13.本公开的构造的总结]
已经参照具体示例详细描述了本公开的实施例。然而,显而易见,本领域的技术人员可在不脱离本公开主旨的范围内修订或替代实施例。换句话讲,本发明是以示例性形式公开的,并不旨在以受限制方式进行解释。为了确定本公开的主旨,需要考虑本文中阐述的权利要求书。
本说明书中公开的技术可具有以下构造。
(1)一种通信设备,所述通信设备包括:
数据处理单元,其生成存储编码数据的分组;以及
通信单元,其发送所述数据处理单元生成的所述分组,
其中,所述数据处理单元生成多个分组并且通过所述通信单元顺序地发送所述分组,所述多个分组存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息。
(2)根据(1)所述的通信设备,其中,所述数据处理单元生成通过进一步划分NAL单元而得到的NAL单元片段并且生成存储所述NAL单元片段的多个分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
(3)根据(1)或(2)所述的通信设备,其中,所述数据处理单元生成通过进一步划分NAL单元而得到的NAL单元片段并且生成存储所述NAL单元片段的多个分组和存储对应于所述NAL单元的元数据的分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
(4)根据(1)至(3)中的任一项所述的通信设备,其中,所述数据处理单元生成存储等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU))的数据的多个分组并且通过所述通信单元顺序地发送所述分组。
(5)根据(2)至(4)中的任一项所述的通信设备,其中,所述数据处理单元生成NAL内单元位置识别信息和作为附加信息的各NAL单元的排列信息,所述NAL内单元位置识别信息用于识别所述分组中存储的所述NAL单元片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据。
(6)根据(1)至(5)中的任一项所述的通信设备,其中,所述数据处理单元生成通过将发送数据划分成等于或小于所述最大数据传递单位(MTU)而得到的数据存储在其中的HTTP分组并且将所述附加信息记录在所生成的分组的HTTP头部中。
(7)根据(1)至(5)中的任一项所述的通信设备,其中,所述数据处理单元将所述附加信息记录在所述所生成的分组的扩展头部中。
(8)根据(1)至(5)中的任一项所述的通信设备,其中,所述数据处理单元将所述附加信息记录在所述所生成的分组的LCT头部中。
(9)根据(1)至(8)中的任一项所述的通信设备,其中,所述通信单元通过广播波执行所述数据处理单元生成的分组的广播传递或多播传递。
(10)一种通信设备,所述通信设备包括:
通信单元,其接收发送设备发送的编码数据存储分组;以及
数据处理单元,其接收所述通信单元接收的分组,并且执行处理,
其中,所述通信单元接收的所述编码数据存储分组中的每个是存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息的分组。
(11)根据(10)所述的通信设备,其中,所述数据处理单元参照接收到的分组中记录的所述附加信息,执行接收到的多个分组中存储的划分数据的重新排列。
(12)根据(10)或(11)所述的通信设备,其中,所述数据处理单元接收存储通过进一步划分NAL单元而得到的NAL单元片段的多个分组,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP)。
(13)根据(12)所述的通信设备,其中,所述通信单元接收包括NAL内单元位置识别信息和作为附加信息的各NAL单元的排列信息的分组,所述NAL内单元位置识别信息用于识别所述分组中存储的所述NAL单元片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,并且所述数据处理单元参照所述附加信息以划分方式用接收到的多个分组中存储的数据来重构多个NAL单元并且执行重构的所述多个NAL单元的重新排列处理。
(14)根据(10)至(13)中的任一项所述的通信设备,其中,所述通信单元接收包括所述附加信息记录在其中的HTTP头部的HTTP分组,并且所述数据处理单元从接收到的所述分组的所述HTTP头部获取所述附加信息。
(15)根据(10)至(14)中的任一项所述的通信设备,其中,所述通信单元接收包括所述附加信息记录在其中的扩展头部的分组,并且所述数据处理单元从接收到的所述分组的所述扩展头部获取所述附加信息。
(16)根据(10)至(14)中的任一项所述的通信设备,其中,所述通信单元接收包括所述附加信息记录在其中的LCT头部的分组,并且所述数据处理单元从接收到的所述分组的所述LCT头部获取所述附加信息。
(17)根据(10)至(16)中的任一项所述的通信设备,其中,所述通信单元通过广播波接收分组。
(18)一种在数据发送设备中执行的通信数据生成方法,所述方法包括:
用数据处理单元生成多个分组并且通过通信单元顺序地发送所述分组,所述多个分组存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息。
(19)一种在数据发送设备中执行的通信数据生成方法,所述方法包括:
用通信单元接收发送设备发送的编码数据存储分组的步骤;以及
用数据处理单元接收所述通信单元接收的所述分组并且执行处理的数据处理步骤,
其中,所述通信单元接收的所述编码数据存储分组中的每个是存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(最大传递单位(MTU))而生成的划分数据和用作所述划分数据的排列信息的附加信息的分组,以及
所述数据处理单元接收所述通信单元接收的所述多个分组并且执行处理。
本说明书中描述的系列处理可用硬件、软件或其组合构造来执行。当用软件执行处理时,记录处理序列的程序可被安装在装配在专用硬件中的计算机的存储器中并且被执行,程序可被安装在能够执行各种类型的处理的通用计算机中并且被执行。例如,程序可被预先记录在记录介质中。可从记录介质将程序安装在计算机中,但可借助网络(诸如,局域网(LAN)或互联网)接收程序并且将程序安装在诸如内部硬盘的记录介质中。
另外,本说明书中描述的各种类型的处理可以以所描述的次序按时间先后执行或者可根据执行处理的设备的处理能力或在有必要时并行地或独立地执行。在本说明书中,系统是指多个设备的逻辑集合构造并且不限于各个构造的设备被排列在同一外壳中的构造。
工业可应用性
如上所述,根据本公开的实施例的构造,实现以下构造:发送设备将编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据并且发送划分数据,并且接收设备重构并且再现数据。
具体地讲,发送设备生成存储通过将用作发送目标的编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据而生成的划分数据和用作划分数据的排列信息的附加信息的多个分组并且顺序地发送分组。例如,通过进一步划分NAL单元而得到的NAL单元片段被存储在各分组中,并且发送分组。接收设备参照分组的附加信息以划分方式排列存储在分组中的NAL单元片段并且重构和解码NAL单元。
用这种构造,实现以下构造:发送设备将编码数据划分成等于或小于通信路径上指定的最大数据传递单位(MTU)的数据并且发送划分数据,并且接收设备恢复并且再现数据。
参考符号列表
10 通信系统
20 发送设备
21 数据处理单元
22 通信单元
30 接收设备
31 数据处理单元
32 通信单元
50 初始化段
60 媒体段
201 CPU
202 ROM
203 RAM
204 总线
205 输入/输出接口
206 输入单元
207 输出单元
208 存储单元
209 通信单元
210 驱动器
211 可移动介质。

Claims (13)

1.一种通信设备,所述通信设备包括:
数据处理单元,其生成存储编码数据的多个分组;以及
通信单元,其将所生成的多个分组发送到数据接收设备,
其中,多个所发送的分组携带通过进一步划分NAL单元而得到的NAL单元的片段,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP),所述多个所发送的分组中的每个分组携带NAL单元的片段中的不同的一个片段并且包括头部中的NAL内单元位置识别信息和作为附加信息的NAL单元中的片段中的不同的一个片段的排列信息,所述NAL内单元位置识别信息用于识别所述片段中的不同的一个片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,存储在所述分组中的编码数据等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU)),所述数据处理单元还通过所述通信单元顺序地发送所述分组。
2.根据权利要求1所述的通信设备,其中,所述数据处理单元生成通过将发送数据划分成等于或小于所述最大数据传递单位(MTU)而得到的数据存储在其中的HTTP分组并且将所述附加信息记录在所生成的分组的HTTP头部中。
3.根据权利要求1所述的通信设备,其中,所述数据处理单元将所述附加信息记录在所述所生成的多个分组的扩展头部中。
4.根据权利要求1所述的通信设备,其中,所述数据处理单元将所述附加信息记录在所述所生成的多个分组的LCT头部中。
5.根据权利要求1所述的通信设备,其中,所述通信单元通过广播波执行所述数据处理单元生成的多个分组的广播传递或多播传递。
6.一种通信设备,所述通信设备包括:
通信单元,其接收存储发送设备发送的编码数据的分组;以及
数据处理单元,其处理所接收的分组,
其中,所述通信单元接收的多个所接收的分组携带通过进一步划分NAL单元而得到的NAL单元的片段,所述NAL单元构成用作所述编码数据的处理单元的一组图片(GOP),多个所接收的分组中的每个分组携带NAL单元的片段中的不同的一个片段并且包括头部中的NAL内单元位置识别信息和作为附加信息的NAL单元中的片段中的不同的一个片段的排列信息,所述NAL内单元位置识别信息用于识别片段中的不同的一个片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,以及
所述数据处理单元参照多个所接收的分组中的每个分组中的所述附加信息以划分方式用多个所接收的分组携带的片段来重构所述NAL单元并且执行多个重构的所述NAL单元的重新排列处理,
发送设备顺序地发送的分组存储等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU))的数据。
7.根据权利要求6所述的通信设备,
其中,所述数据处理单元参照接收到的分组中记录的所述附加信息,执行多个所接收的分组中存储的划分数据的重新排列。
8.根据权利要求6所述的通信设备,
其中,所述通信单元接收包括所述附加信息记录在其中的HTTP头部的HTTP分组,以及
所述数据处理单元从接收到的所述分组的所述HTTP头部获取所述附加信息。
9.根据权利要求6所述的通信设备,
其中,所述通信单元接收包括所述附加信息记录在其中的扩展头部的分组,以及
所述数据处理单元从接收到的所述分组的所述扩展头部获取所述附加信息。
10.根据权利要求6所述的通信设备,
其中,所述通信单元接收包括所述附加信息记录在其中的LCT头部的分组,以及
所述数据处理单元从接收到的所述分组的所述LCT头部获取所述附加信息。
11.根据权利要求6所述的通信设备,其中,所述通信单元通过广播波接收所述分组。
12.一种在数据发送设备中执行的通信数据生成方法,所述方法包括:
生成存储编码数据的分组;
将所生成的分组发送到数据接收设备,其中多个所发送的分组携带通过进一步划分NAL单元而得到的NAL单元的片段,所述NAL单元构成用作编码数据的处理单元的一组图片(GOP),所述多个所发送的分组中的每个分组携带NAL单元的片段中的不同的一个片段并且包括头部中的NAL内单元位置识别信息和作为附加信息的NAL单元中的片段中的不同的一个片段的排列信息,所述NAL内单元位置识别信息用于识别所述片段中的不同的一个片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,
所述分组存储等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU))的数据,其中所述方法还包括通过所述通信单元顺序地发送所述分组。
13.一种在数据接收设备中执行的通信数据处理方法,所述方法包括:
通过通信单元接收发送设备发送的存储编码数据的分组;以及
通过数据处理单元接收所接收的分组,
其中,所述通信单元接收的多个所接收的分组携带通过进一步划分NAL单元而得到的NAL单元的片段,所述NAL单元构成用作所述编码数据的处理单元的一组图片(GOP),多个所接收的分组中的每个分组携带片段中的不同的一个片段并且包括头部中的NAL内单元位置识别信息和作为附加信息的NAL单元中的片段中的不同的一个片段的排列信息,所述NAL内单元位置识别信息用于识别片段中的不同的一个片段是位于划分之前的所述NAL单元的头部位置、中间位置还是尾部位置的数据,以及
通过所述数据处理单元参照所述附加信息以划分方式用多个所接收的分组中存储的数据来重构多个NAL单元并且执行多个重构的NAL单元的重新排列处理,
发送设备顺序地发送的分组存储等于或小于MAC帧的最大数据传递单位(最大传递单位(MTU))的数据。
CN201480072675.5A 2014-01-17 2014-12-01 通信设备、通信数据生成方法和通信数据处理方法 Active CN105900437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014006880A JP2015136058A (ja) 2014-01-17 2014-01-17 通信装置、通信データ生成方法、および通信データ処理方法
JP2014-006880 2014-01-17
PCT/JP2014/081714 WO2015107785A1 (ja) 2014-01-17 2014-12-01 通信装置、通信データ生成方法、および通信データ処理方法

Publications (2)

Publication Number Publication Date
CN105900437A CN105900437A (zh) 2016-08-24
CN105900437B true CN105900437B (zh) 2020-03-31

Family

ID=53542689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480072675.5A Active CN105900437B (zh) 2014-01-17 2014-12-01 通信设备、通信数据生成方法和通信数据处理方法

Country Status (8)

Country Link
US (1) US10298975B2 (zh)
EP (1) EP3096525B1 (zh)
JP (1) JP2015136058A (zh)
KR (1) KR102176404B1 (zh)
CN (1) CN105900437B (zh)
CA (1) CA2934905C (zh)
MX (1) MX366218B (zh)
WO (1) WO2015107785A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560357B2 (en) 2017-11-28 2020-02-11 Marvell World Trade Ltd. Distributed checksum calculation for communication packets
US10673994B2 (en) * 2018-03-29 2020-06-02 Marvell International Ltd. Network packet generator employing multiple header templates and configurable hardware registers
US10469633B2 (en) * 2018-03-29 2019-11-05 Marvell World Trade Ltd. Low-latency pipeline for media-to-ethernet frame packaging
KR20240027435A (ko) * 2022-08-23 2024-03-04 주식회사 팀그릿 실시간 데이터 송수신 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744485A (zh) * 2004-04-23 2006-03-08 三星电子株式会社 在无线通信系统中确认接收发送的数据流的方法和系统
CN101785278A (zh) * 2007-07-25 2010-07-21 晶像股份有限公司 在网络中流传输数据内容
JP2011061363A (ja) * 2009-09-08 2011-03-24 Brother Industries Ltd 符号化装置、符号化方法、および符号化プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
WO2012053047A1 (ja) * 2010-10-18 2012-04-26 パイオニア株式会社 ストリーミング再生装置、ストリーミング再生方法、コンピュータプログラム及び記録媒体
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
US20150229970A1 (en) * 2011-08-18 2015-08-13 Vid Scale, Inc. Methods and systems for packet differentiation
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
WO2013077670A1 (ko) * 2011-11-23 2013-05-30 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
CN105723718B (zh) * 2014-01-03 2019-04-16 Lg 电子株式会社 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744485A (zh) * 2004-04-23 2006-03-08 三星电子株式会社 在无线通信系统中确认接收发送的数据流的方法和系统
CN101785278A (zh) * 2007-07-25 2010-07-21 晶像股份有限公司 在网络中流传输数据内容
JP2011061363A (ja) * 2009-09-08 2011-03-24 Brother Industries Ltd 符号化装置、符号化方法、および符号化プログラム

Also Published As

Publication number Publication date
EP3096525B1 (en) 2020-03-11
EP3096525A4 (en) 2017-08-23
US10298975B2 (en) 2019-05-21
KR20160110374A (ko) 2016-09-21
CA2934905C (en) 2021-05-11
CN105900437A (zh) 2016-08-24
EP3096525A1 (en) 2016-11-23
WO2015107785A1 (ja) 2015-07-23
CA2934905A1 (en) 2015-07-23
KR102176404B1 (ko) 2020-11-09
US20160366453A1 (en) 2016-12-15
MX366218B (es) 2019-07-03
MX2016008986A (es) 2016-10-04
JP2015136058A (ja) 2015-07-27

Similar Documents

Publication Publication Date Title
EP3096526B1 (en) Communication apparatus, communication data generation method, and communication data processing method
US11284135B2 (en) Communication apparatus, communication data generation method, and communication data processing method
CN107743703B (zh) 用于媒体数据传输的方法、设备及计算机可读存储介质
CN105191324B (zh) 通信设备、通信数据生成方法、以及通信数据处理方法
CN105900437B (zh) 通信设备、通信数据生成方法和通信数据处理方法
KR102137858B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 프로그램
WO2015064384A1 (ja) 送信装置、送信方法、受信装置、及び、受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Sony Corp

Address before: Japan's Tokyo port harbor 1-7-1

Applicant before: Sony Corp

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant