CN109905748B - 图像编码方法及装置、图像解码方法及装置 - Google Patents

图像编码方法及装置、图像解码方法及装置 Download PDF

Info

Publication number
CN109905748B
CN109905748B CN201811515814.3A CN201811515814A CN109905748B CN 109905748 B CN109905748 B CN 109905748B CN 201811515814 A CN201811515814 A CN 201811515814A CN 109905748 B CN109905748 B CN 109905748B
Authority
CN
China
Prior art keywords
extracted image
image
encoded data
data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811515814.3A
Other languages
English (en)
Other versions
CN109905748A (zh
Inventor
远间正真
井口贺敬
加藤久也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014176180A external-priority patent/JP6268066B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109905748A publication Critical patent/CN109905748A/zh
Application granted granted Critical
Publication of CN109905748B publication Critical patent/CN109905748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供图像编码方法及装置、图像解码方法及装置。图像编码方法包括：第一提取图像生成步骤，提取图片的一部分区域而生成第一提取图像；第二提取图像生成步骤，提取上述图片的一部分区域而生成第二提取图像；以及编码步骤，通过对上述第一提取图像及上述第二提取图像分别进行编码，生成与上述第一提取图像对应的第一编码数据及与上述第二提取图像对应的第二编码数据；上述第一提取图像和上述第二提取图像具有重复的区域。

Description

图像编码方法及装置、图像解码方法及装置
本申请是申请日为2014年9月10日、申请号为201480035606.7、发明名称为“发送方法、接收方法、发送装置及接收装置”的发明专利申请的分案。
技术领域
本发明涉及发送方法、接收方法、发送装置及接收装置。
背景技术
随着广播及通信服务的高级化，研究了8K(7680×4320像素：以下也称作8K4K)及4K(3840×2160像素：以下也称作4K2K)等超高精细的运动图像内容的导入。接收装置需要将接收到的超高精细的运动图像的编码数据实时地解码而显示，但特别是8K等分辨率的运动图像其解码时的处理负荷较大，难以将这样的运动图像用1个解码器实时地解码。因而，研究了通过使用多个解码器使解码处理并行化来降低每1个解码器的处理负荷而达到实时处理的方法。
此外，将编码数据基于MPEG－2TS(Transport Stream)或MMT(MPEG MediaTransport)等复用方式进行复用后发送。例如，在非专利文献1中，公开了按照MMT将编码后的媒体数据按每个包发送的技术。
现有技术文献
非专利文献
非专利文献1：Information technology－High efficiency coding and mediadelivery in heterogeneous environment－Part1：MPEG media transport(MMT)，ISO/IEC DIS 23008－1
发明内容
有关本发明的一技术方案的图像编码方法包括：第一提取图像生成步骤，提取图片的一部分区域而生成第一提取图像；第二提取图像生成步骤，提取上述图片的一部分区域而生成第二提取图像；以及编码步骤，通过对上述第一提取图像及上述第二提取图像分别进行编码，生成与上述第一提取图像对应的第一编码数据及与上述第二提取图像对应的第二编码数据；上述第一提取图像和上述第二提取图像具有重复的区域。
此外，有关本发明的一技术方案的图像解码方法，包括：取得步骤，取得通过对第一提取图像进行编码而得到的第一编码数据和通过对第二提取图像进行编码而得到的第二编码数据，上述第一提取图像是提取图片的一部分区域而得到的图像，上述第二提取图像是提取上述图片的一部分区域而得到的图像；以及解码步骤，通过对上述第一编码数据及上述第二编码数据分别进行解码，生成上述第一提取图像及上述第二提取图像；上述第一提取图像和上述第二提取图像具有重复的区域。
另外，这些全局性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
本发明能够提供一种能够降低有关解码对象数据的生成的处理量的发送方法或接收方法。
附图说明
图1是表示将图片分割为切片段的例子的图。
图2是表示保存有图片的数据的PES包序列的一例的图。
图3是表示有关实施方式的图片的分割例的图。
图4是表示有关实施方式的比较例的图片的分割例的图。
图5是表示有关实施方式的访问单元的数据的一例的图。
图6是有关实施方式的发送装置的框图。
图7是有关实施方式的接收装置的框图。
图8是表示有关实施方式的MMT包的一例的图。
图9是表示有关实施方式的MMT包的另一例的图。
图10是表示向有关实施方式的各解码部输入的数据的一例的图。
图11是表示有关实施方式的MMT包及头信息的一例的图。
图12是表示向有关实施方式的各解码部输入的数据的另一例的图。
图13是表示有关实施方式的图片的分割例的图。
图14是有关实施方式的发送方法的流程图。
图15是有关实施方式的接收装置的框图。
图16是有关实施方式的接收方法的流程图。
图17是表示有关实施方式的MMT包及头信息的一例的图。
图18是表示有关实施方式的MMT包及头信息的一例的图。
具体实施方式
由于编码数据在被基于MPEG－2TS或MMT等复用方式复用后被发送，所以接收装置需要在解码之前从复用数据将运动图像的编码数据分离。以下，将从复用数据分离编码数据的处理称作逆复用。
在将解码处理并行化的情况下，接收装置需要对各解码器分别分配解码对象编码数据。此时，接收装置需要将编码数据本身解析。特别是，由于在8K等的内容中比特率非常高，因此有关解析的处理负荷较大。由此，有逆复用处理成为瓶颈而不能进行实时的再现的情况。
(作为本发明的基础的认识)
近年来，TV、智能电话或平板终端等的显示器的高分辨率化正在发展。特别是，在日本国内的广播中计划到2020年有8K4K(分辨率为8K×4K)的服务。在8K4K等超高分辨率的运动图像中，通过单一的解码器难以进行实时的解码，所以研究了使用多个解码器并行地进行解码处理的方法。
在通过MPEG和ITU标准化的H.264及H.265等运动图像编码方式中，发送装置能够将图片分割为称作切片(slice)或切片段的多个区域，将分割的各个区域以能够独立地解码的方式编码。因而，例如在H.265的情况下，接收广播的接收装置通过从接收数据将各个切片段的数据分离，并将各切片段的数据向不同的解码器输出，能够实现解码处理的并行化。
图1是表示在HEVC中将1个图片分割为4个切片段的例子的图。例如，接收装置具备4个解码器，各解码器将4个切片段中的某一个解码。
在以往的广播中，发送装置将1张图片(MPEG系统标准中的访问单元)保存到1个PES包中，将PES包复用到TS包序列中。因此，接收装置需要在将PES包的有效载荷分离后，通过将保存在有效载荷中的访问单元的数据解析而将各切片段分离，将分离后的各切片段的数据向解码器输出。
但是，由于将访问单元的数据解析而将切片段分离时的处理量较大，所以本发明者发现有难以将该处理实时地进行的问题。
图2是表示将被分割为切片段的图片的数据向PES包的有效载荷保存的例子的图。
如图2所示，例如将多个切片段(切片段1～4)的数据向1个PES包的有效载荷保存。此外，将PES包复用到TS包序列中。
有关本发明的一技术方案的发送方法包括：分割步骤，将图片分割为多个区域；编码步骤，通过将上述多个区域分别以能够独立解码的方式编码，生成与上述多个区域分别对应的编码数据；打包步骤，将所生成的多个上述编码数据保存到多个包；以及发送步骤，将上述多个包发送；在上述打包步骤中，以在一个上述包中不保存与不同的上述区域对应的上述编码数据的方式将上述多个编码数据保存到上述多个包。
据此，由于各区域的编码数据被保存到不同的包中，所以接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存在该包中的数据是哪个区域的编码数据。由此，接收装置能够将各解码部的解码对象数据的生成处理以较少的处理量进行。这样，将接收装置中的有关解码对象数据的生成的处理量减少。
例如，在上述打包步骤中，将对于上述图片内的全部解码单位共同使用的控制信息保存到与保存上述多个编码数据的多个包不同的包。
据此，接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存有控制信息的包。由此，能够降低接收装置中的有关解码对象数据的生成的处理量。
此外，有关本发明的一技术方案的接收方法，是具备多个解码部的接收装置的接收方法，包括：接收步骤，接收多个包，该多个包是通过将对图片进行分割而得到的多个区域以能够独立解码的方式编码而得到多个编码数据、并将多个编码数据以在一个包中不保存不同的上述区域的上述编码数据的方式打包而得到的；结合步骤，通过将上述多个包中的某一个包所包含的对于上述图片内的全部的解码单位共同使用的控制信息、与上述多个区域的上述多个编码数据分别结合，生成多个结合数据；以及解码步骤，上述多个解码部将上述多个结合数据并行地解码。
据此，由于各区域的编码数据被保存到不同的包中，所以接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存在该包中的数据是哪个区域的编码数据。由此，接收装置能够将各解码部的解码对象数据的生成处理以较少的处理量进行。这样，将接收装置中的有关解码对象数据的生成的处理量减少。
例如，上述控制信息保存在与保存上述多个编码数据的多个包不同的包中。
据此，接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存有控制信息的包。由此，能够减少接收装置中的有关解码对象数据的生成的处理量。
例如，在上述结合步骤中，使用上述包的头信息判定保存在上述包中的数据是上述多个区域中的哪一个区域的编码数据。
据此，接收装置能够使用包的头信息判定保存在该包中的数据是哪个区域的编码数据。
例如，上述多个编码数据分别被与保存到1个以上的包中的数据的单位即基本数据单位一对一地建立了对应；上述多个编码数据分别被保存到上述1个以上的包中；各上述包的上述头信息包括表示是以下(1)～(4)中的哪一个的识别信息：(1)在上述基本数据单位中仅包含该包、(2)在上述基本数据单位中包含多个包且该包是上述基本数据单位的开头的包、(3)在上述基本数据单位中包含多个包且该包是上述基本数据单位的开头及最后以外的包、以及(4)在上述基本数据单位中包含多个包且该包是上述基本数据单位的最后的包；在上述结合步骤中，将具有以下头信息的上述包中包含的有效载荷数据的开头判定为上述各区域的上述编码数据的开头，该头信息包含表示(1)在上述基本数据单位中仅包含该包、或(2)在上述基本数据单位中包含多个包且该包是上述基本数据单位的开头的包的上述识别信息。
据此，接收装置能够使用包的头信息判定保存在该包中的数据是哪个区域的编码数据。
例如，上述包的上述头信息还包括偏移信息，该偏移信息表示从包含上述多个编码数据的上述图片的编码数据的开头到该包中包含的编码数据的开头为止的比特长；在上述结合步骤中，将具有以下头信息的上述包中包含的有效载荷数据的开头判定为上述各区域的上述编码数据的开头，该头信息包含表示(1)在上述基本数据单位中仅包含该包、或(2)在上述基本数据单位中包含多个包且该包是上述基本数据单位的开头的包的上述识别信息、以及表示不为零的上述比特长的上述偏移信息。
据此，接收装置能够使用包的头信息判定保存在该包中的数据是哪个区域的编码数据。
例如，上述接收方法还包括决定步骤，在该决定步骤中，基于上述图片的分辨率、上述图片向上述多个区域的分割方法及上述多个解码部的处理能力中的至少一个，决定将上述多个结合数据分别解码的上述解码部。
据此，接收装置能够将各区域的编码数据适当地分配给多个解码部。
此外，有关本发明的一技术方案的发送装置，具备：分割部，将图片分割为多个区域；编码部，通过将上述多个区域分别以能够独立解码的方式编码，生成与上述多个区域分别对应的编码数据；打包部，将所生成的多个上述编码数据保存到多个包；以及发送部，将上述多个包发送；上述打包部以在一个上述包中不保存与不同的上述区域对应的上述编码数据的方式将上述多个编码数据保存到上述多个包。
据此，由于各区域的编码数据被保存在不同的包中，所以接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存在该包中的数据是哪个区域的编码数据。由此，接收装置能够以较少的处理量进行各解码部的解码对象数据的生成处理。这样，将接收装置中的有关解码对象数据的生成的处理量减少。
此外，有关本发明的一技术方案的接收装置，具备：接收部，接收多个包，该多个包是通过将对图片进行分割而得到的多个区域以能够独立解码的方式编码而得到多个编码数据、并将多个编码数据以在一个包中不保存不同的上述区域的上述编码数据的方式打包而得到的；结合部，通过将上述多个包中的某一个包所包含的对于上述图片内的全部的解码单位共同使用的控制信息、与上述多个区域的上述多个编码数据分别结合，生成多个结合数据；以及解码部，将上述多个结合数据并行地解码。
据此，由于各区域的编码数据被保存在不同的包中，所以接收装置能够不将保存在包的有效载荷中的编码数据解析而判定保存在该包中的数据是哪个区域的编码数据。由此，接收装置能够以较少的处理量进行各解码部的解码对象数据的生成处理。这样，将接收装置中的有关解码对象数据的生成的处理量减少。
另外，这些全局性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
以下，参照附图对实施方式具体地说明。
另外，以下说明的实施方式都表示本发明的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。
(实施方式)
以下，对作为运动图像的编码方式而使用H.265的情况为例进行说明，但在使用H.264等其他编码方式的情况下也能够应用本实施方式。
图3是表示将本实施方式的访问单元(图片)分割为分割单位的例子的图。访问单元通过由H.265导入的称作瓦片(tile)的功能，在水平及垂直方向上分别被2等分，分割为合计4个瓦片。此外，将切片段与瓦片1对1地建立对应。
对这样在水平及垂直方向上2等分的理由进行说明。首先，在解码时通常需要保存水平1线的数据的线存储器，但如果成为8K4K等超高分辨率，则水平方向的尺寸变大，所以线存储器的尺寸增加。在接收装置的安装中，希望减小线存储器的尺寸。为了减小线存储器的尺寸而需要垂直方向的分割。在垂直方向的分割中需要瓦片这样的数据构造。因为这些理由而使用瓦片。
另一方面，图像通常水平方向的相关性较高，所以在水平方向上能够参照较大的范围则编码效率提高。因而，从编码效率的观点看，希望将访问单元在水平方向上分割。
通过将访问单元在水平及垂直方向上2等分，使这两个特性兼顾，可以考虑安装方面及编码效率的两方面。在单一的解码器能够将4K2K的运动图像实时地解码的情况下，将8K4K的图像4等分，通过进行分割以使各个切片段成为4K2K，接收装置能够将8K4K的图像实时地解码。
接着，说明将通过将访问单元在水平及垂直方向上分割而得到的瓦片与切片段1对1地建立对应的理由。在H.265中，访问单元由多个被称作NAL(Network AdaptationLayer)单元的单位构成。
NAL单元的有效载荷保存表示访问单元的开始位置的访问单元定界符、在序列单位中共同使用的解码时的初始化信息即SPS(Sequence Parameter Set)、在图片内共同使用的解码时的初始化信息即PPS(Picture Parameter Set)、在解码处理自身中不需要而在解码结果的处理及显示等中需要的SEI(Supplemental Enhancement Information)、以及切片段的编码数据等中的某一个。NAL单元的头包括用来识别保存在有效载荷中的数据的类型信息。
这里，发送装置在将编码数据通过MPEG－2TS、MMT(MPEG Media Transport)、MPEGDASH(Dynamic Adaptive Streaming over HTTP)或RTP(Real－time TransportProtocol)等复用格式复用时，能够将基本单位设定为NAL单元。为了将1个切片段保存到1个NAL单元中，在将访问单元分割为区域时，优选的是以切片段单位分割。因为这样的理由，发送装置将瓦片与切片段1对1地建立对应。
另外，如图4所示，发送装置也可以将从瓦片1到瓦片4一起设定为1个切片段。但是，在此情况下，在1个NAL单元中保存全部的瓦片，接收装置难以在复用层中将瓦片分离。
另外，在切片段中存在能够独立解码的独立切片段和参照独立切片段的参照切片段，这里说明使用独立切片段的情况。
图5是表示如图3所示那样分割以使瓦片与切片段的边界一致的访问单元的数据的例子的图。访问单元的数据包括配置在开头的保存访问单元定界符的NAL单元、配置在其后的SPS、PPS及SEI的NAL单元、和配置在其后的保存瓦片1至瓦片4的数据的切片段的数据。另外，访问单元的数据也可以不包含SPS、PPS及SEI的NAL单元的一部分或全部。
接着，说明有关本实施方式的发送装置100的结构。图6是表示有关本实施方式的发送装置100的结构例的框图。该发送装置100具备编码部101、复用部102、调制部103和发送部104。
编码部101通过将输入图像例如按照H.265编码而生成编码数据。此外，编码部101例如如图3所示，将访问单元分割为4个切片段(瓦片)，将各切片段编码。
复用部102将由编码部101生成的编码数据复用。调制部103将通过复用得到的数据调制。发送部104将调制后的数据作为广播信号发送。
接着，说明有关本实施方式的接收装置200的结构。图7是表示有关本实施方式的接收装置200的结构例的框图。该接收装置200具备调谐器201、解调部202、逆复用部203、多个解码部204A～204D和显示部205。
调谐器201接收广播信号。解调部202将接收到的广播信号解调。将解调后的数据向逆复用部203输入。
逆复用部203将解调后的数据以分割单位分离，将各个分割单位的数据向解码部204A～204D输出。这里，所谓分割单位，是通过将访问单元分割而得到的分割区域，例如是H.265中的切片段。此外，这里将8K4K的图像分割为4个4K2K的图像。因此，存在4个解码部204A～204D。
多个解码部204A～204D基于规定的基准时钟相互同步地动作。各解码部按照访问单元的DTS(Decoding Time Stamp)将分割单位的编码数据解码，将解码结果向显示部205输出。
显示部205通过将从多个解码部204A～204D输出的多个解码结果合并而生成8K4K的输出图像。显示部205按照另取得的访问单元的PTS(Presentation Time Stamp)，显示所生成的输出图像。另外，显示部205在将解码结果合并时，也可以在瓦片的边界等相互邻接的分割单位的边界区域中进行解块滤波等的滤波处理，以使该边界在视觉上不醒目。
另外，在上述中，以进行广播的发送或接收的发送装置100及接收装置200为例进行了说明，但内容也可以经由通信网络发送及接收。在接收装置200经由通信网络发送及接收内容的情况下，接收装置200从通过以太网等网络接收到的IP包中将复用数据分离。
在广播中，从发送广播信号起到到达接收装置200为止的传送路径延迟是一定的。另一方面，在因特网等通信网络中，由于拥挤的影响，从服务器发送的数据到达接收装置200为止的传送路径延迟不为一定。因而，接收装置200多数情况下不进行基于广播的MPEG－2TS中的PCR那样的基准时钟的严格的同步再现。因此，接收装置200也可以不使各解码部严格地同步而在显示部中将8K4K的输出图像按照PTS显示。
此外，由于通信网络的拥挤等，有全部的分割单位的解码处理在由访问单元的PTS表示的时刻没有完成的情况。在此情况下，接收装置200将访问单元的显示跳过，或使显示延迟直到至少4个分割单位的解码结束而8K4K的图像的生成完成。
另外，也可以并用广播和通信将内容发送及接收。此外，在将保存在硬盘或存储器等记录介质中的复用数据再现时也能够采用本方法。
接着，对作为复用方式而使用MMT的情况下的、被分割为切片段的访问单元的复用方法进行说明。
图8是表示将HEVC的访问单元的数据打包为MMT时的例子的图。SPS、PPS及SEI等在访问单元中不需要一定包含，但这里例示存在的情况。
将访问单元定界符、SPS、PPS及SEI等在访问单元内配置在比开头的切片段靠前的NAL单元一起保存到MMT包#1。将后续的切片段按每个切片段保存到不同的MMT包。
另外，如图9所示，也可以将在访问单元内配置在比开头的切片段靠前的NAL单元保存到与开头的切片段相同的MMT包中。
此外，在将表示序列或流的末端的End－of－Sequence或End－of－Bitstream等NAL单元附加到最终切片段之后的情况下，将它们保存到与最终切片段相同的MMT包。但是，由于End－of－Sequence或End－of－Bitstream等NAL单元被插入到解码处理的结束点或两条流的连接点等，所以有时希望接收装置200在复用层中能够容易地取得这些NAL单元。在此情况下，也可以将这些NAL单元保存到与切片段不同的MMT包中。由此，接收装置200在复用层中能够容易地分离这些NAL单元。
另外，作为复用方式也可以使用TS、DASH或RTP等。在这些方式中，发送装置100也将不同的切片段分别保存到不同的包。由此，能够保证接收装置200在复用层中能够分离切片段。
例如，在使用TS的情况下，将编码数据以切片段单位打包为PES包。在使用RTP的情况下，将编码数据以切片段单位打包为RTP包。在这些情况下，也可以如图8所示的MMT包#1那样，将配置在比切片段靠前的NAL单元和切片段分别打包。
在使用TS的情况下，发送装置100通过使用data alignment记述符等，表示保存到PES包中的数据的单位。此外，由于DASH是将称作段的MP4形式的数据单位通过HTTP等下载的方式，所以发送装置100在发送时不进行编码数据的打包。因此，发送装置100也可以以切片段单位制作子样本、将表示子样本的保存位置的信息保存到MP4的头中，以使接收装置200在MP4中能够在复用层中检测出切片段。
以下，详细说明切片段的向MMT包的打包。
如图8所示，通过将编码数据打包，将SPS及PPS等的访问单元内的在全部切片段的解码时共同被参照的数据保存到MMT包#1。在此情况下，接收装置200将MMT包#1的有效载荷数据与各切片段的数据连结，将得到的数据向解码部输出。这样，接收装置200通过将多个MMT包的有效载荷连结，能够容易地生成向解码部的输入数据。
图10是表示从图8所示的MMT包生成向解码部204A～204D的输入数据的例子的图。逆复用部203通过使MMT包#1和MMT包#2的有效载荷数据连结，生成解码部204A为了将切片段1解码所需要的数据。逆复用部203关于解码部204B到解码部204D也同样生成输入数据。即，逆复用部203通过使MMT包#1和MMT包#3的有效载荷数据连结，生成解码部204B的输入数据。逆复用部203通过使MMT包#1和MMT包#4的有效载荷数据连结，生成解码部204C的输入数据。逆复用部203通过使MMT包#1和MMT包#5的有效载荷数据连结，生成解码部204D的输入数据。
另外，逆复用部203也可以将访问单元定界符及SEI等在解码处理中不需要的NAL单元从MMT包#1的有效载荷数据中除去，仅将在解码处理中需要的SPS及PPS的NAL单元分离而附加到切片段的数据中。
在如图9所示将编码数据打包的情况下，逆复用部203将在复用层中包含访问单元的开头数据的MMT包#1向第1个解码部204A输出。此外，逆复用部203将在复用层中包含访问单元的开头数据的MMT包解析，将SPS及PPS的NAL单元分离，将分离出的SPS及PPS的NAL单元向第2个以后的切片段的数据分别附加，从而生成对第2个以后的解码部各自的输入数据。
进而，优选的是，接收装置200能够使用包含在MMT包的头中的信息，识别保存在MMT有效载荷中的数据的类型、及在有效载荷中保存有切片段的情况下的访问单元内的该切片段的索引号。这里，所谓数据的类型，是切片段前数据(将在访问单元内配置在比开头切片段靠前的NAL单元统一这样称呼)及切片段的数据的某一种。在MMT包中保存将切片段等的MPU进行分片化而得到的单位的情况下，使用用来保存MFU(Media Fragment Unit)的模式。发送装置100在使用本模式的情况下，例如可以将作为MFU中的数据的基本单位的Data Unit设定为样本(MMT中的数据单位，相当于访问单元)或子样本(将样本分割而得到的单位)。
此时，MMT包的头包括被称作Fragmentation indicator(分片指示符)的字段和被称作Fragment counter(分片计数器)的字段。
Fragmentation indicator表示保存在MMT包的有效载荷中的数据是否是将Dataunit进行分片化而得到的数据，当为分片化而得到的数据的情况下，表示该分片是Dataunit中的开头、最终的分片、还是开头和最终的哪个都不是的分片。换言之，包含在某一个包的头中的Fragmentation indicator是表示是以下(1)～(4)中的哪一个的识别信息：(1)在作为基本数据单位的Data unit中仅包含该包；(2)Data unit被分割为多个包而保存，并且该包是Data unit的开头的包；(3)Data unit被分割为多个包而保存，并且该包是Dataunit的开头及最后以外的包；及(4)Data unit被分割为多个包而保存，并且该包是Dataunit的最后的包。
Fragment counter是表示保存在MMT包中的数据在Data unit中相当于第几个分片的索引号。
因而，发送装置100通过将MMT中的样本设定为Data unit、并将切片段前数据及各切片段分别设定为Data unit的分片单位，接收装置200能够使用包含在MMT包的头中的信息来识别向有效载荷保存的数据的类型。即，逆复用部203能够参照MMT包的头生成向各解码部204A～204D的输入数据。
图11是表示将样本设定为Data unit、将切片段前数据及切片段作为Data unit的分片打包的情况下的例子的图。
切片段前数据及切片段被分割为分片#1到分片#5这5个分片。各分片被保存到单独的MMT包中。此时，包含在MMT包的头中的Fragmentation indicator及Fragment counter的值如图所示。
例如，Fragment indicator是2进制数的2位值。作为Data unit的开头的MMT包#1的Fragment indicator、作为最终的MMT包#5的Fragment indicator、以及作为其之间的包的MMT包#2至MMT包#4的Fragment indicator分别被设定为不同的值。具体而言，作为Dataunit的开头的MMT包#1的Fragment indicator被设定为01，作为最终的MMT包#5的Fragmentindicator被设定为11，作为其之间的包的MMT包#2至MMT包#4的Fragment indicator被设定为10。另外，在Data unit中仅包含一个MMT包的情况下，Fragment indicator被设定为00。
此外，Fragment counter是从在MMT包#1中作为分片的总数的5减去1而得到的值4，在后续包中依次各减少1，在最后的MMT包#5中是0。
因而，接收装置200能够使用Fragment indicator及Fragment counter的某一个来识别保存切片段前数据的MMT包。此外，接收装置200能够通过参照Fragment counter来识别保存第N个切片段的MMT包。
MMT包的头另包括Data unit所属的Movie Fragment在MPU内的序列号、MPU自身的序列号、和Data unit所属的样本在Movie Fragment内的序列号。逆复用部203通过参照这些，能够唯一地决定Data unit所属的样本。
进而，逆复用部203能够根据Fragment counter等决定Data unit内的分片的索引号，所以在发生了包丢失的情况下，也能够唯一地确定保存到分片中的切片段。例如，逆复用部203即使在图11所示的分片#4因包丢失而不能取得的情况下，由于知道在分片#3的下个接收到的分片是分片#5，所以也能够将保存在分片#5中的切片段4不是向解码部204C而是向解码部204D正确地输出。
另外，在使用保证不发生包丢失的传送路径的情况下，逆复用部203不用参照MMT包的头来决定向MMT包保存的数据的类型或切片段的索引号，而只要将到达的包周期性地处理就可以。例如，在将访问单元通过切片前数据及4个切片段的共计5个MMT包发送的情况下，接收装置200在决定开始解码的访问单元的切片前数据后将接收到的MMT包依次处理，从而能够依次取得切片前数据及4个切片段的数据。
以下，对打包的变形例进行说明。
切片段不需要一定是将访问单元的面内在水平方向和垂直方向的两方向上分割而得到的，也可以是如图1所示将访问单元仅在水平方向上分割而得到的，也可以是仅在垂直方向上分割而得到的。
此外，在仅在水平方向上将访问单元分割的情况下，不需要使用瓦片。
此外，访问单元中的面内的分割数是任意的，并不限定于4个。但是，切片段及瓦片的区域尺寸需要是H.265等的编码标准的下限以上。
发送装置100也可以将表示访问单元中的面内的分割方法的识别信息保存到MMT消息或TS的描述符等中。例如也可以保存分别表示面内的水平方向和垂直方向的分割数的信息。或者，也可以对于如图3所示在水平方向及垂直方向上分别2等分、或者如图1所示在水平方向上4等分等的分割方法分配固有的识别信息。例如，在如图3所示那样将访问单元分割的情况下，识别信息表示模式1，在如图1所示那样将访问单元分割的情况下，识别信息表示模式1。
此外，也可以将表示与面内的分割方法关联的编码条件的制约的信息包含在复用层中。例如也可以使用表示1个切片段由1个瓦片构成的信息。或者，也可以使用表示在切片段或瓦片的解码时进行运动补充的情况下的参照块被限制为画面内的相同位置的切片段或瓦片、或被限定为相邻切片段中的规定的范围内的块等的信息。
此外，发送装置100也可以根据运动图像的分辨率切换是否将访问单元分割为多个切片段。例如，也可以是，发送装置100在处理对象运动图像是4K2K的分辨率的情况下不进行面内的分割，而在处理对象运动图像是8K4K的情况下将访问单元分割为4个。通过预先规定8K4K的运动图像的情况下的分割方法，接收装置200通过取得接收的运动图像的分辨率，能够决定面内的分割的有无及分割方法，并切换解码动作。
此外，接收装置200能够通过参照MMT包的头来检测面内的分割的有无。例如在访问单元没有被分割的情况下，只要MMT的Data unit被设定为样本，则不进行Data unit的分片。因而，接收装置200在包含在MMT包的头中的Fragment counter的值总是零的情况下，能够判定为访问单元没有被分割。或者，接收装置200也可以检测Fragmentation indicator的值是否总是01。接收装置200在Fragmentation indicator的值总是01的情况下也能够判定为访问单元没有被分割。
此外，接收装置200在访问单元的面内的分割数与解码部的数量不一致的情况下也能够应对。例如在接收装置200具备能够将8K2K的编码数据实时地解码的两个解码部204A及204B的情况下，逆复用部203对解码部204A输出构成8K4K的编码数据的4个切片段中的两个。
图12是表示将如图8所示被打包为MMT包的数据向两个解码部204A及204B输入的情况下的动作例的图。这里，接收装置200优选的是能够将解码部204A及204B的解码结果原样合并而输出。因此，逆复用部203选择向解码部204A及204B分别输出的切片段，以使解码部204A及204B的各自的解码结果在空间上连续。
此外，逆复用部203也可以根据运动图像的编码数据的分辨率或帧速率等选择要使用的解码部。例如在接收装置200具备4个4K2K的解码部的情况下，如果输入图像的分辨率是8K4K，则接收装置200使用4个全部的解码部进行解码处理。此外，如果输入图像的分辨率是4K2K，则接收装置200仅使用1个解码部进行解码处理。或者，即使面内被分割为4个，但能够通过单一的解码部实时地将8K4K解码的情况下，逆复用部203将全部的分割单位合并而向一个解码部输出。
进而，接收装置200也可以考虑帧速率来决定要使用的解码部。例如，在接收装置200具备两台在分辨率是8K4K的情况下能够实时地解码的帧速率的上限是60fps的解码部的情况下，有被输入8K4K且120fps的编码数据的情形。此时，如果面内由4个分割单位构成，则与图12的例子同样，切片段1和切片段2输入到解码部204A，切片段3和切片段4输入到解码部204B。各个解码部204A及204B只要是8K2K(分辨率是8K4K的一半)就能够实时地解码到120fps，所以通过这两台解码部204A及204B进行解码处理。
此外，即使分辨率及帧速率相同，如果编码方式的配置文件(profile)或等级、或者H.264或H.265等编码方式自身不同，则处理量不同。因此，接收装置200也可以基于这些信息选择要使用的解码部。另外，接收装置200在不能将通过广播或通信接收到的编码数据全部解码的情况下、或不能将构成用户选择的区域的全部的切片段或瓦片解码的情况下，也可以在解码部的处理范围内自动地决定能够解码的切片段或瓦片。或者，接收装置200也可以提供用于用户选择要解码的区域的用户接口。此时，接收装置200既可以将表示不能将全部区域解码的警告消息进行显示，也可以将表示能够解码的区域、切片段或瓦片的个数的信息进行显示。
此外，上述方法还能适用于将保存相同编码数据的切片段的MMT包使用广播及通信等多个传送路径来发送及接收的情况。
此外，发送装置100为了不使分割单位的边界变醒目，也能够以使各切片段的区域交迭的方式进行编码。在图13所示的例子中，将8K4K的图片分割为4个切片段1～4。切片段1～3分别例如是8K×1.1K，切片段4是8K×1K。此外，相邻的切片段相互交迭。通过这样，在用虚线表示的4分割的情况下的边界中，能够有效地执行编码时的运动补偿，所以边界部分的画质提高。这样，减少边界部分的画质劣化。
在此情况下，显示部205从8K×1.1K的区域中切割出8K×1K的区域，将得到的区域合并。另外，发送装置100也可以将表示切片段是否被交迭地编码、以及交迭的范围的信息包含在复用层或编码数据内而另行发送。
另外，在使用瓦片的情况下也能够采用同样的方法。
以下，说明发送装置100的动作的流程。图14是表示发送装置100的动作例的流程图。
首先，编码部101将图片(访问单元)分割为作为多个区域的多个切片段(瓦片)(S101)。接着，编码部101将多个切片段分别以能够独立解码的方式进行编码，从而生成与多个切片段分别对应的编码数据(S102)。另外，编码部101既可以将多个切片段用单一的编码部编码，也可以由多个编码部并行进行处理。
接着，复用部102通过将由编码部101生成的多个编码数据保存到多个MMT包中，将多个编码数据复用(S103)。具体而言，如图8及图9所示，复用部102以在一个MMT包中不保存与不同的切片段对应的编码数据的方式将多个编码数据保存到多个MMT包中。此外，复用部102如图8所示，将对于图片内的全部的解码单位共同使用的控制信息保存到与保存多个编码数据的多个MMT包#2～#5不同的MMT包#1中。这里，控制信息包含访问单元定界符、SPS、PPS及SEI中的至少一个。
另外，复用部102也可以将控制信息保存到与保存多个编码数据的多个MMT包中的某一个相同的MMT包中。例如，如图9所示，复用部102也可以将控制信息保存到保存多个编码数据的多个MMT包中的开头的MMT包(图9的MMT包#1)中。
最后，发送装置100发送多个MMT包。具体而言，调制部103将通过复用得到的数据调制，发送部104发送调制后的数据(S104)。
图15是表示接收装置200的结构例的框图，是详细地表示图7所示的逆复用部203及其后段的结构的图。如图15所示，接收装置200还具备解码命令部206。此外，逆复用部203具备类型判别部211、控制信息取得部212、切片信息取得部213和解码数据生成部214。
以下，说明接收装置200的动作的流程。图16是表示接收装置200的动作例的流程图。这里，表示对于1个访问单元的动作。在执行多个访问单元的解码处理的情况下重复本流程图的处理。
首先，接收装置200例如接收由发送装置100生成的多个包(MMT包)(S201)。
接着，类型判别部211通过将接收包的头解析，取得保存在接收包中的编码数据的类型(S202)。
接着，类型判别部211基于所取得的编码数据的类型，判定保存在接收包中的数据是切片段前数据还是切片段的数据(S203)。
在保存在接收包中的数据是切片段前数据的情况下(S203中是)，控制信息取得部212从接收包的有效载荷中取得处理对象访问单元的切片段前数据，将该切片段前数据向存储器保存(S204)。
另一方面，在保存在接收包中的数据是切片段的数据的情况下(S203中否)，接收装置200使用接收包的头信息，判定保存在该接收包中的数据是多个区域中的哪个区域的编码数据。具体而言，切片信息取得部213通过将接收包的头解析，取得保存在接收包中的切片段的索引号Idx(S205)。具体而言，索引号Idx是访问单元(MMT中的样本)的MovieFragment内的索引号。
另外，该步骤S205的处理也可以在步骤S202中统一进行。
接着，解码数据生成部214决定将该切片段解码的解码部(S206)。具体而言，索引号Idx与多个解码部预先被建立了对应，解码数据生成部214将与在步骤S205中取得的索引号Idx对应的解码部决定为将该切片段解码的解码部。
另外，解码数据生成部214也可以如在图12的例子中说明那样，基于访问单元(图片)的分辨率、访问单元的向多个切片段(瓦片)的分割方法及接收装置200具备的多个解码部的处理能力的至少一个，决定将该切片段解码的解码部。例如，解码数据生成部214基于MMT的消息或TS的区段(section)等描述符的识别信息判别访问单元的分割方法。
接着，解码数据生成部214将对多个包中的某一个所包含的图片内的全部的解码单位共同使用的控制信息、与多个切片段的多个编码数据分别结合，由此生成向多个解码部输入的多个输入数据(结合数据)。具体而言，解码数据生成部214从接收包的有效载荷取得切片段的数据。解码数据生成部214通过将在步骤S204中保存在存储器中的切片段前数据与所取得的切片段的数据结合，生成向在步骤S206中决定的解码部的输入数据(S207)。
在步骤S204或S207之后，在接收包的数据不是访问单元的最终数据的情况下(S208中否)，再次进行步骤S201以后的处理。即，重复上述处理，直到生成与包含在访问单元中的全部的切片段对应的、向多个解码部204A～204D的输入数据。
另外，包接收的定时并不限于图16所示的定时，也可以预先或依次接收多个包而向存储器等保存。
另一方面，在接收包的数据是访问单元的最终数据的情况下(S208中是)，解码命令部206将在步骤S207中生成的多个输入数据向对应的解码部204A～204D输出(S209)。
接着，多个解码部204A～204D按照访问单元的DTS将多个输入数据并行地解码，从而生成多个解码图像(S210)。
最后，显示部205通过将由多个解码部204A～204D生成的多个解码图像结合而生成显示图像，按照访问单元的PTS显示该显示图像(S211)。
另外，接收装置200通过将保存MPU的头信息或Movie Fragment的头信息的MMT包的有效载荷数据进行解析而取得访问单元的DTS及PTS。此外，在作为复用方式而使用了TS的情况下，接收装置200从PES包的头取得访问单元的DTS及PTS。在作为复用方式而使用了RTP的情况下，接收装置200从RTP包的头取得访问单元的DTS及PTS。
此外，显示部205在将多个解码部的解码结果合并时，也可以在相邻的分割单位的边界进行解块滤波等的滤波处理。另外，在显示单一的解码部的解码结果的情况下不需要滤波处理，所以显示部205也可以根据是否对多个解码部的解码结果的边界进行滤波处理来切换处理。关于是否需要滤波处理，可以根据分割的有无等预先规定。或者，也可以将表示是否需要滤波处理的信息另保存到复用层中。此外，滤波系数等在滤波处理中需要的信息有被保存到SPS、PPS、SEI或切片段内的情况。解码部204A～204D或逆复用部203通过将SEI解析而取得这些信息，将所取得的信息向显示部205输出。显示部205使用这些信息进行滤波处理。另外，在将这些信息保存到切片段内的情况下，优选的是解码部204A～204D取得这些信息。
另外，在上述说明中，表示了保存到分片中的数据的种类是切片段前数据和切片段这两种的情况下的例子，但数据的种类也可以是3种以上。在此情况下，在步骤S203中分与类型对应的情况进行。
此外，发送装置100在切片段的数据尺寸较大的情况下也可以将切片段分片化而保存到MMT包中。即，发送装置100也可以将切片段前数据及切片段分片化。在此情况下，如果如图11所示的打包的例子那样将访问单元和Data unit设定为相等，则发生以下的问题。
例如在将切片段1分割为3个分片的情况下，将切片段1分割为Fragment counter值为1到3的3个包而发送。此外，在切片段2以后，Fragment counter值为4以上，不能取得Fragment counter的值与保存在有效载荷中的数据的对应。因而，接收装置200不能根据MMT包的头的信息确定将切片段的开头数据进行保存的包。
在这样的情况下，接收装置200也可以将MMT包的有效载荷的数据解析来确定切片段的开始位置。这里，作为在H.264或H.265中将NAL单元保存到复用层中的形式，有在NAL单元头的紧前附加由特定的比特序列构成的开始代码的称作字节流格式的形式、和附加表示NAL单元的尺寸的字段的称作NAL尺寸格式的形式这两种。
字节流格式被在MPEG－2系统及RTP等中使用。NAL尺寸格式被在MP4及使用MP4的DASH及MMT等中使用。
在使用字节流格式的情况下，接收装置200解析包的开头数据是否与开始代码一致。如果包的开头数据与开始代码一致，则接收装置200通过从其后续的NAL单元头取得NAL单元的类型，能够检测包含在该包中的数据是否是切片段的数据。
另一方面，在NAL尺寸格式的情况下，接收装置200不能基于比特序列检测NAL单元的开始位置。因而，接收装置200为了取得NAL单元的开始位置，需要通过从访问单元的开头NAL单元起依次以NAL单元的尺寸进行数据的读出而使指针变位。
但是，在MMT的MPU或Movie Fragment的头中表示子样本单位的尺寸、在子样本对应于切片前数据或切片段的情况下，接收装置200能够基于子样本的尺寸信息确定各NAL单元的开始位置。因此，发送装置100也可以将表示子样本单位的信息是否存在于MPU或MovieFragment中的信息包含于MMT的MPT等接收装置200在数据的接收开始时取得的信息中。
另外，MPU的数据是以MP4格式为基础扩展的。在MP4中，有能够将H.264或H.265的SPS及PPS等的参数集作为样本数据保存的模式和不能保存的模式。此外，将用来确定该模式的信息表示为SampleEntry的入口名。在使用能够保存的模式、且参数集包含在样本中的情况下，接收装置200通过上述方法取得参数集。
另一方面，在使用不能保存的模式的情况下，将参数集作为SampleEntry内的Decoder Specific Information保存，或使用参数集用的流保存。这里，由于参数集用的流通常不被使用，所以发送装置100优选的是在Decoder Specific Information中保存参数集。在此情况下，接收装置200将在MMT包中被作为MPU的元数据或Movie Fragment的元数据发送的SampleEntry解析，取得访问单元所参照的参数集。
在将参数集作为样本数据保存的情况下，接收装置200不参照SampleEntry，只要仅参照样本数据就能够取得在解码中需要的参数集。此时，发送装置100也可以在SampleEntry中不保存参数集。通过这样，发送装置100能够在不同的MPU中使用相同的SampleEntry，所以能够降低MPU生成时的发送装置100的处理负荷。进而，有接收装置200不需要参照SampleEntry内的参数集的优点。
或者，发送装置100也可以在SampleEntry中保存1个默认的参数集，将访问单元所参照的参数集保存到样本数据中。在以往的MP4中，通常在SampleEntry中保存参数集，所以有可能存在在SampleEntry中不存在参数集的情况下将再现停止的接收装置。通过使用上述方法，能够解决该问题。
或者，发送装置100也可以仅在使用与默认的参数集不同的参数集的情况下在样本数据中保存参数集。
另外，两模式都能够将参数集保存到SampleEntry中，所以也可以是，发送装置100将参数集总是保存在VisualSampleEntry中，接收装置200总是从VisualSampleEntry取得参数集。
另外，在MMT标准中，将Moov及Moof等MP4的头信息称作MPU元，但发送装置100也可以并不一定发送MPU元。进而，接收装置200也可以基于ARIB(Association of RadioIndustries and Businesses)标准的服务、资源的类型或MPU元的传送有无等，判定在样本数据内是否保存SPS及PPS。
图17是表示切片段前数据及各切片段分别被设定为不同的Data unit的情况下的例子的图。
在图17所示的例子中，从切片段前数据及切片段1到切片段4的数据尺寸分别是Length#1到Length#5。包含在MMT包的头中的Fragmentation indicator、Fragmentcounter及Offset的各字段值如图所示。
这里，Offset是表示从有效载荷数据所属的样本(访问单元或图片)的编码数据的开头到包含在该MMT包中的有效载荷数据(编码数据)的开头字节的比特长(偏移)的偏移信息。另外，假设Fragment counter的值由从分片的总数减去1后的值开始而进行说明，但也可以从其他值开始。
图18是表示将Data unit分片化的情况的例子的图。在图18所示的例子中，切片段1被分割为3个分片，分别被保存到MMT包#2至MMT包#4中。此时，也如果设各分片的数据尺寸分别为Length#2_1至Length#2_3，则各字段的值如图所示。
这样，在将切片段等的数据单位设定为Data unit的情况下，访问单元的开头及切片段的开头可以基于MMT包头的字段值如以下这样决定。
Offset的值是0的包的有效载荷的开头是访问单元的开头。
Offset的值是与0不同的值且Fragmentation indcatorno值是00或01的包的有效载荷的开头是切片段的开头。
此外，在没有发生Data unit的分片化、也没有发生包丢失的情况下，接收装置200能够基于在检测到访问单元的开头后取得的切片段的数量，确定保存到MMT包中的切片段的索引号。
此外，在切片段前数据的Data unit被分片化的情况下也同样，接收装置200能够检测访问单元及切片段的开头。
此外，在发生了包丢失的情况下、或在包含在切片段前数据中的SPS、PPS及SEI被设定到不同的Data unit中的情况下，接收装置200基于MMT头的解析结果确定保存有切片段的开头数据的MMT包、然后将切片段的头解析，从而也能够确定图片(访问单元)内的切片段或瓦片的开始位置。有关切片头的解析的处理量较小，处理负荷不成为问题。
这样，将多个切片段的多个编码数据分别与保存到1个以上的包中的数据的单位即基本数据单位(Data unit)一对一地建立了对应。此外，多个编码数据分别被保存到1个以上的MMT包中。
各MMT包的头信息包括Fragmentation indicator(识别信息)及Offset(偏移信息)。
接收装置200将具有包含值为00或01的Fragmentation indicator的头信息的包中包含的有效载荷数据的开头判定为各切片段的编码数据的开头。具体而言，将具有包含值不为0的Offset和值为00或01的Fragmentation indicator的头信息的包中包含的有效载荷数据的开头判定为各切片段的编码数据的开头。
此外，在图17的例子中，Data unit的开头是访问单元的开头或切片段的开头中的某一个，Fragmentation indicator的值是00或01。进而，接收装置200通过参照NAL单元的类型判定Data Unit的开头是访问单元定界符或切片段的哪一个，也可以不参照Offset来检测访问单元的开头或切片段的开头。
这样，发送装置100通过进行打包以使NAL单元的开头必定从MMT包的有效载荷的开头开始，将切片段前数据被分割为多个Data unit的情况也包括在内，接收装置200通过将Fragmentation indicator及NAL单元头解析，能够检测访问单元或切片段的开头。NAL单元的类型存在于NAL单元头的开头字节中。因而，接收装置200在将MMT包的头部解析时，通过追加解析1个字节量的数据，能够取得NAL单元的类型。在音频的情况下，接收装置200只要能够检测出访问单元的开头就可以，且只要基于Fragmentation indicator的值是否是00或01来判定就可以。
此外，如上述那样，在将以能够分割解码的方式被编码的编码数据向MPEG－2TS的PES包保存的情况下，发送装置100能够使用data alignment记述符。以下，详细地说明编码数据向PES包的保存方法的例子。
例如，在HEVC中，发送装置100通过使用data alignment记述符，能够表示向PES包保存的数据是访问单元、切片段及瓦片中的哪一个。HEVC中的队列的类型如以下这样规定。
队列的类型＝8表示HEVC的切片段。队列的类型＝9表示HEVC的切片段或访问单元。队列的类型＝12表示HEVC的切片段或瓦片。
因此，发送装置100例如通过使用类型9，能够表示PES包的数据是切片段或切片段前数据中的某一个。由于还另规定了不是切片段而表示切片的类型，所以发送装置100也可以使用不是切片段而表示切片的类型。
此外，包含在PES包的头中的DTS及PTS仅被设定在包含访问单元的开头数据的PES包中。因而，如果类型是9且在PES包中存在DTS或PTS的字段，则接收装置200能够判定为在PES包中保存访问单元整体或访问单元的开头的分割单位。
此外，发送装置100也可以使用表示将包含访问单元的开头数据的PES包进行保存的TS包的优先级的transport_priority等字段，来使得接收装置200能够区别包中包含的数据。此外，接收装置200也可以通过解析PES包的有效载荷是否是访问单元定界符来判定包含在包中的数据。此外，PES包头的data_alignment_indicator表示数据是否被按照这些类型保存在PES包中。如果该标志(data_alignment_indicator)被设置为1，则保证保存在PES包中的数据是遵循由data alignment记述符表示的类型。
此外，发送装置100也可以仅在以切片段等能够分割解码的单位打包为PES包的情况下使用data alignment记述符。由此，接收装置200在存在data alignment记述符的情况下，能够判断为编码数据被以能够分割解码的单位打包为PES包，如果不存在dataalignment记述符，则能够判断为编码数据被以访问单元单位打包为PES包。另外，在MPEG－2TS标准中规定了在data_alignment_indicator被设置为1、不存在data alignment记述符的情况下，打包为PES包的单位是访问单元。
如果在PMT内包含有data alignment记述符，则接收装置200判定为被以能够分割解码的单位打包为PES包，能够基于打包的单位生成向各解码部的输入数据。此外，接收装置200在PMT内不包含data alignment记述符、而基于节目信息或其他记述符的信息判定为需要编码数据的并行解码的情况下，通过将切片段的切片头等解析而生成向各解码部的输入数据。此外，在能够通过单一的解码部将编码数据解码的情况下，接收装置200将访问单元整体的数据用该解码部解码。另外，在通过PMT的记述符等另行示出了表示编码数据是否由切片段或瓦片等能够分割解码的单位构成的信息的情况下，接收装置200也可以基于该记述符的解析结果判定是否能够将编码数据并行解码。
此外，由于包含在PES包的头中的DTS及PTS仅被设定在包含访问单元的开头数据的PES包中，所以在将访问单元分割而打包为PES包的情况下，在第2个以后的PES包中不包含表示访问单元的DTS及PTS的信息。因而，在并行进行解码处理的情况下，各解码部204A～204D及显示部205使用在包含访问单元的开头数据的PES包的头中保存的DTS及PTS。
以上，对有关实施方式的发送装置、接收装置、发送方法及接收方法进行了说明，但本发明并不限定于该实施方式。
此外，在上述有关实施方式的发送装置及接收装置中包含的各处理部典型地可作为集成电路的LSI实现。它们既可以单独地形成1个芯片，也可以包含一部分或全部而形成1个芯片。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。
换言之，发送装置及接收装置具备处理电路(processing circuitry)和电连接在该处理电路上的(能够从该控制电路访问的)存储装置(storage)。处理电路包括专用的硬件及程序执行部的至少一方。此外，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路使用存储装置执行有关上述实施方式的发送方法或接收方法。
进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外，上述程序当然可以经由因特网等的传送介质流通。
此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明不受例示的数字限制。
此外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现、或将一个功能块分割为多个、或将一部分功能转移到其他功能块中。此外，也可以是由单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时地处理。
此外，执行在上述发送方法或接收方法中包含的步骤的顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。
以上，基于实施方式对有关本发明的一个或多个形态的发送装置、接收装置、发送方法及接收方法进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个形态的范围内。
工业实用性
本发明能够适用于进行视频数据及音频数据等的媒体传输的装置或设备。
标号说明
100 发送装置
101 编码部
102 复用部
103 调制部
104 发送部
200 接收装置
201 调谐器
202 解调部
203 逆复用部
204A、204B、204C、204D 解码部
205 显示部
206 解码命令部
211 类型判别部
212 控制信息取得部
213 切片信息取得部
214 解码数据生成部

Claims (16)

1.一种图像编码方法，其特征在于，包括：
提取图像生成步骤，提取图片的一部分区域而生成第一提取图像，并且提取上述图片的一部分区域而生成第二提取图像；以及
编码步骤，通过将上述第一提取图像及上述第二提取图像分别作为编码单位进行编码，生成与上述第一提取图像对应的第一编码数据及与上述第二提取图像对应的第二编码数据；
分别作为上述编码单位的上述第一提取图像和上述第二提取图像具有重复的区域；
上述第一提取图像和上述第二提取图像是矩形，并且上述第一提取图像和上述第二提取图像在水平方向上的尺寸与上述图片在水平方向上的尺寸相同。
2.如权利要求1所述的图像编码方法，其特征在于，
在上述编码步骤中，以将上述第一提取图像及上述第二提取图像分别能够独立地解码的方式，对上述第一提取图像及上述第二提取图像进行编码。
3.如权利要求1所述的图像编码方法，其特征在于，
上述图像编码方法还包括打包步骤，在该打包步骤中，将上述第一编码数据及上述第二编码数据保存到多个包中；
在上述打包步骤中，以不在一个上述包中保存上述第一编码数据及上述第二编码数据的方式，将上述第一编码数据及上述第二编码数据保存到上述多个包中；
上述包的头信息包含偏移信息，该偏移信息表示从包含上述第一编码数据及上述第二编码数据的上述图片的编码数据的开头到该包中包含的编码数据的开头为止的比特长。
4.如权利要求1所述的图像编码方法，其特征在于，
上述图像编码方法还包括对以下信息进行编码的信息编码步骤，该信息表示上述第一提取图像和上述第二提取图像以具有重复的区域方式被编码。
5.如权利要求1所述的图像编码方法，其特征在于，
上述图像编码方法还包括对以下信息进行编码的信息编码步骤，该信息表示上述第一提取图像和上述第二提取图像的重复的区域的范围。
6.如权利要求1所述的图像编码方法，其特征在于，
上述第一提取图像和上述第二提取图像是上述图片中的瓦片。
7.如权利要求1所述的图像编码方法，其特征在于，
上述图像编码方法还包括打包步骤，在该打包步骤中，将包含上述第一编码数据及上述第二编码数据的多个编码数据保存到包中；
在上述打包步骤中，将对于上述图片内的全部的解码单位共同使用的控制信息保存到与保存上述多个编码数据的多个包不同的包中。
8.一种图像解码方法，其特征在于，包括：
取得步骤，取得通过将第一提取图像作为编码单位进行编码而得到的第一编码数据和通过将第二提取图像作为上述编码单位进行编码而得到的第二编码数据，上述第一提取图像是提取图片的一部分区域而得到的图像，上述第二提取图像是提取上述图片的一部分区域而得到的图像；以及
解码步骤，通过对上述第一编码数据及上述第二编码数据分别进行解码，生成上述第一提取图像及上述第二提取图像；
分别作为上述编码单位的上述第一提取图像和上述第二提取图像具有重复的区域；
上述第一提取图像和上述第二提取图像是矩形，并且上述第一提取图像和上述第二提取图像在水平方向上的尺寸与上述图片在水平方向上的尺寸相同。
9.如权利要求8所述的图像解码方法，其特征在于，
上述第一编码数据及上述第二编码数据是以将上述第一提取图像及上述第二提取图像分别能够独立地解码的方式对上述第一提取图像及上述第二提取图像进行编码而得到的数据。
10.如权利要求8所述的图像解码方法，其特征在于，
在上述取得步骤中，从保存有上述第一编码数据及上述第二编码数据的多个包，取得上述第一编码数据及上述第二编码数据；
上述第一编码数据及上述第二编码数据以不在一个上述包中保存上述第一编码数据和上述第二编码数据的方式保存在上述多个包中；
上述包的头信息包含偏移信息，该偏移信息表示从包含上述第一编码数据及上述第二编码数据的上述图片的编码数据的开头到该包中包含的编码数据的开头为止的比特长。
11.如权利要求8所述的图像解码方法，其特征在于，
上述图像解码方法还包括将以下信息解码的信息解码步骤，该信息表示上述第一提取图像和上述第二提取图像以具有重复的区域方式被编码。
12.如权利要求8所述的图像解码方法，其特征在于，
上述图像解码方法还包括将以下信息解码的信息解码步骤，该信息表示上述第一提取图像和上述第二提取图像的重复的区域的范围。
13.如权利要求8所述的图像解码方法，其特征在于，
上述第一提取图像和上述第二提取图像是上述图片中的瓦片。
14.如权利要求8所述的图像解码方法，其特征在于，
在上述取得步骤中，从保存有包含上述第一编码数据及上述第二编码数据的多个编码数据的多个包，取得上述第一编码数据及上述第二编码数据；
在上述取得步骤中，还从与保存有上述多个编码数据的多个包不同的包取得对于上述图片内的全部的解码单位共同使用的控制信息。
15.一种图像编码装置，其特征在于，包括：
提取图像生成部，提取图片的一部分区域而生成第一提取图像，并且提取上述图片的一部分区域而生成第二提取图像；以及
编码部，通过将上述第一提取图像及上述第二提取图像分别作为编码单位进行编码，生成与上述第一提取图像对应的第一编码数据及与上述第二提取图像对应的第二编码数据；
分别作为上述编码单位的上述第一提取图像和上述第二提取图像具有重复的区域；
上述第一提取图像和上述第二提取图像是矩形，并且上述第一提取图像和上述第二提取图像在水平方向上的尺寸与上述图片在水平方向上的尺寸相同。
16.一种图像解码装置，其特征在于，包括：
取得部，取得通过将第一提取图像作为编码单位进行编码而得到的第一编码数据和通过将第二提取图像作为上述编码单位进行编码而得到的第二编码数据，上述第一提取图像是提取图片的一部分区域而得到的图像，上述第二提取图像是提取上述图片的一部分区域而得到的图像；以及
解码部，通过对上述第一编码数据及上述第二编码数据分别进行解码，生成上述第一提取图像及上述第二提取图像；
分别作为上述编码单位的上述第一提取图像和上述第二提取图像具有重复的区域；
上述第一提取图像和上述第二提取图像是矩形，并且上述第一提取图像和上述第二提取图像在水平方向上的尺寸与上述图片在水平方向上的尺寸相同。
CN201811515814.3A 2013-09-20 2014-09-10 图像编码方法及装置、图像解码方法及装置 Active CN109905748B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201361880312P 2013-09-20 2013-09-20
US61/880,312 2013-09-20
US201361882770P 2013-09-26 2013-09-26
US61/882,770 2013-09-26
JP2014-176180 2014-08-29
JP2014176180A JP6268066B2 (ja) 2013-09-20 2014-08-29 送信方法、受信方法、送信装置及び受信装置
PCT/JP2014/004639 WO2015040824A1 (ja) 2013-09-20 2014-09-10 送信方法、受信方法、送信装置及び受信装置
CN201480035606.7A CN105325007B (zh) 2013-09-20 2014-09-10 发送方法、接收方法、发送装置及接收装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480035606.7A Division CN105325007B (zh) 2013-09-20 2014-09-10 发送方法、接收方法、发送装置及接收装置

Publications (2)

Publication Number Publication Date
CN109905748A CN109905748A (zh) 2019-06-18
CN109905748B true CN109905748B (zh) 2022-05-10

Family

ID=52688494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811515814.3A Active CN109905748B (zh) 2013-09-20 2014-09-10 图像编码方法及装置、图像解码方法及装置

Country Status (3)

Country Link
JP (2) JP7238066B2 (zh)
CN (1) CN109905748B (zh)
WO (1) WO2015040824A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238309A (ja) * 1996-02-29 1997-09-09 Nec Corp 画像伝送装置
CN1437408A (zh) * 2002-01-05 2003-08-20 三星电子株式会社 考虑人类视觉特征的图像编码和解码方法及装置
CN102550029A (zh) * 2010-07-30 2012-07-04 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置以及图像编码方法
WO2013065673A1 (ja) * 2011-10-31 2013-05-10 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN103299631A (zh) * 2011-01-14 2013-09-11 思科技术公司 处理视频数据拼贴的视频编码器/解码器、方法和计算机程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252544A (ja) * 1998-03-03 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置および方法ならびに記録媒体
JP2000324489A (ja) 1999-05-14 2000-11-24 Sony Corp マルチ画面映像送出方法とマルチ画面映像送出システムおよびマルチ画面映像送出システムのセットアップ方法
JP3558978B2 (ja) 2000-10-05 2004-08-25 日本電信電話株式会社 ストリーム配信装置および方法および記録媒体
JP2003152544A (ja) 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP3927443B2 (ja) * 2002-05-01 2007-06-06 日本電信電話株式会社 動画像送受信システムおよび動画像送受信方法
JP2005123907A (ja) 2003-10-16 2005-05-12 Matsushita Electric Ind Co Ltd データ再構成装置
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
US7903574B2 (en) 2007-03-15 2011-03-08 Nokia Corporation Service discovery mechanism in broadcast telecommunication network
JP2010136220A (ja) 2008-12-05 2010-06-17 Panasonic Corp 通信端末装置、通信量制御方法および集積回路
JPWO2012153450A1 (ja) * 2011-05-11 2014-07-31 パナソニック株式会社 動画像送信装置および動画像送信方法
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
WO2013111593A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238309A (ja) * 1996-02-29 1997-09-09 Nec Corp 画像伝送装置
CN1437408A (zh) * 2002-01-05 2003-08-20 三星电子株式会社 考虑人类视觉特征的图像编码和解码方法及装置
CN102550029A (zh) * 2010-07-30 2012-07-04 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置以及图像编码方法
CN103299631A (zh) * 2011-01-14 2013-09-11 思科技术公司 处理视频数据拼贴的视频编码器/解码器、方法和计算机程序产品
WO2013065673A1 (ja) * 2011-10-31 2013-05-10 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Also Published As

Publication number Publication date
JP7238066B2 (ja) 2023-03-13
JP2022003834A (ja) 2022-01-11
JP2023060064A (ja) 2023-04-27
WO2015040824A1 (ja) 2015-03-26
JP7472345B2 (ja) 2024-04-22
CN109905748A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
JP6966581B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP6961778B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP2020102866A (ja) 送信方法、受信方法、送信装置及び受信装置
CN109905748B (zh) 图像编码方法及装置、图像解码方法及装置
JP7012257B2 (ja) 送信方法、受信方法、送信装置及び受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant