CN106105196A - 编码方法、解码方法、编码装置以及解码装置 - Google Patents

编码方法、解码方法、编码装置以及解码装置 Download PDF

Info

Publication number
CN106105196A
CN106105196A CN201580014731.4A CN201580014731A CN106105196A CN 106105196 A CN106105196 A CN 106105196A CN 201580014731 A CN201580014731 A CN 201580014731A CN 106105196 A CN106105196 A CN 106105196A
Authority
CN
China
Prior art keywords
mold plate
adjacent mold
motion vector
parameter
object block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580014731.4A
Other languages
English (en)
Inventor
S·M·T·奈
C·S·李
笹井寿郎
寺田健吾
吉川哲史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN106105196A publication Critical patent/CN106105196A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种编码方法、解码方法、编码装置以及解码装置。编码方法包括：步骤(S11)，从相对于对象块预先定义的表示在空间上与所述对象块邻近的互不相同的区域的N个邻近模板中选择一个邻近模板，N为2以上的整数；步骤(S12)，使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；步骤(S13)，通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行编码；以及步骤(S14)，将表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数写入包含编码后的所述对象块的比特流。

Description

编码方法、解码方法、编码装置以及解码装置
技术领域
本发明涉及所有多媒体数据的编码以及解码，尤其涉及与解码端的运动搜索对应的图像和影像的编码以及解码。
背景技术
在下一代影像(例如，4K/8K分辨率)的无线发送以及有线发送中，存在要求超过当前编码能力的编码效率的可能性。虽然更高的编码效率不可缺少，但并不希望使编码器大幅度地复杂化，对于其配置可能会产生很大担忧。在当前的影像编码标准(参照非专利文献1)中，解码器的复杂性远低于编码器的复杂性。因此，正在持续进行用于通过使解码端承担复杂性这一负荷来改善编码效率的研究。
实施了与解码端运动估计(DSME，decoder-side motion estimation)技术相关的几个研究以及实验，其结果是证明了编码效率的改善。对于运动搜索(ME)处理，在解码器中，通过将邻近的重构的块(block)用作模板来执行，使用其结果得到的最佳的运动向量(MV)来作为对象块的运动向量。在现有技术(参照非专利文献2)中，取代在比特流(bitstream)中明示地对运动向量进行编码而在解码端基于模板(template)导出运动向量。由此，其结果是，通过削减用于将这些运动向量包含于比特流并进行发送的负荷，能改善编码效率。
现有技术文献
非专利文献
非专利文献1：ITU-T H.265 04/2013
非专利文献2：Steffan Kamp，其他2名，“DECODER SIDE MO TION VECTORDERIVATION FOR INTER FRAME VIDEO CODI NG”，亚琛工业大学，互联网<URL：http：//www.ient.rwth-aachen.de/s ervices/bib2web/pdf/KaEvWi08.pdf>
发明内容
发明要解决的技术问题
然而，即使是非专利文献2的编码方法以及解码方法，也存在编码效率有时未被充分改善的问题。
因此，本发明提供一种能够实现编码效率提高的编码方法以及解码方法。
用于解决问题的技术方案
本发明的一个技术方案涉及的编码方法，是按块对运动图像进行编码的编码方法，所述编码方法包括：从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行编码；将DMVD参数写入包含编码后的所述对象块的比特流，所述DMVD参数表示是否在解码器中使导出运动向量的功能即DMVD功能有效。
此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
发明的效果
本发明的编码方法以及解码方法能够实现编码效率的提高。
附图说明
图1是表示实施方式1中的编码装置的例示性的构造的框图。
图2是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图3是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图4是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图5是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图6是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图7是表示实施方式1中的针对对象块假想的邻近模板的例子的图。
图8是表示实施方式1中的编码处理的一例的流程图。
图9是表示实施方式1中的编码处理的另一例的流程图。
图10是表示实施方式1中的编码处理的又一例的流程图。
图11是表示实施方式1中的基于预先定义的基准从多个邻近模板中选择一个邻近模板的选择处理的一例的流程图。
图12是表示实施方式1中的基于预先定义的基准从多个邻近模板中选择一个邻近模板的选择处理的另一例的流程图。
图13是表示实施方式1中的DMVD有效化标志的位置的例子的图。
图14是表示实施方式1中的与选择邻近模板这一工作相关的参数的位置的例子的图。
图15是表示实施方式1中的表示多个预先定义的邻近模板的一个以上的参数的位置的例子的图。
图16A是表示实施方式1中的用于选择邻近模板的参数的位置的一例的图。
图16B是表示实施方式1中的用于选择邻近模板的参数的位置的另一例的图。
图16C是表示实施方式1中的用于选择邻近模板的参数的位置的又一例的图。
图17是表示实施方式1中的解码装置的例示性的构造的框图。
图18是表示实施方式1中的解码处理的一例的流程图。
图19是表示实施方式1中的解码处理的另一例的流程图。
图20是表示实施方式1中的解码处理的又一例的流程图。
图21A是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的一例的流程图。
图21B是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的一例的流程图。
图21C是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的另一例的流程图。
图21D是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的又一例的流程图。
图21E是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的又一例的流程图。
图21F是表示实施方式1中的基于参数从多个邻近模板中选择DMVD模板的处理的又一例的流程图。
图22A是表示本发明的一个技术方案涉及的编码方法的一例的流程图。
图22B是表示本发明的一个技术方案涉及的解码方法的一例的流程图。
图23是实现内容发布服务的内容提供系统的整体结构图。
图24是数字播送用系统的整体结构图。
图25是表示电视机的构成例的框图。
图26是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的构成例的框图。
图27是表示作为光盘的记录介质的构造例的图。
图28A是表示便携电话的一例的图。
图28B是表示便携电话的构成例的框图。
图29是表示复用化数据的结构的图。
图30是示意性表示各流在复用化数据中被如何复用化的图。
图31是更详细地示出了在PES包串中视频流被如何保存的图。
图32是表示复用化数据中的TS包和源包的构造的图。
图33是表示PMT的数据结构的图。
图34是表示复用化数据信息的内部结构的图。
图35是表示流属性信息的内部结构的图。
图36是表示识别影像数据的步骤的图。
图37是表示实现各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的构成例的框图。
图38是表示切换驱动频率的结构的图。
图39是表示识别影像数据并切换驱动频率的步骤的图。
图40是表示使影像数据的标准与驱动频率相关联的查找表的一例的图。
图41A是表示使信号处理部的模块共用化的结构的一例的图。
图41B是表示使信号处理部的模块共用化的结构的另一例的图。
具体实施方式
(成为本发明的基础的见解)
在非专利文献2的编码方法以及解码方法中，相对于对象块，仅预先设定了一个模板，只能使用该模板。因此，如果模板的大小以及形状对于对象块而言不适当，则运动搜索的精度会降低，编码效率得不到改善。
为了解决这样的问题，本发明的一个技术方案涉及的编码方法，是按块对运动图像进行编码的编码方法，所述编码方法包括：从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行编码；将DMVD参数写入包含编码后的所述对象块的比特流，所述DMVD参数表示是否在解码器中使导出运动向量的功能即DMVD功能有效。
由此，由于从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所以能够选择相对于对象块而言适当的邻近模板，能够使运动搜索的精度提高。其结果是，能够实现编码效率的提高。进而，由于DMVD参数被写入比特流，所以能够使解码器根据需要来执行用于对象块解码的运动向量的导出、即运动搜索。因此，解码器能够适当地对编码效率得到提高的比特流进行解码。
另外，也可以为，所述编码方法还包括：识别相对于对象块预先定义的所述N个邻近模板，在所述邻近模板的选择中，从所识别出的所述N个邻近模板中选择所述邻近模板，在所述DMVD参数的写入中，作为表示使所述DMVD功能有效的所述DMVD参数，写入用于识别所选择出的所述邻近模板的识别参数。
由此，由于识别参数被写入比特流，所以在解码器中也能够容易地选择并使用在对象块的编码中使用的邻近模板。因此，解码器能够适当地对对象块进行解码。
另外，也可以为，所述编码方法还包括：决定是使用多个子集中的某个子集、还是不使用任何子集，所述多个子集分别由小于N个的多个邻近模板构成；将扩展参数写入所述比特流，所述扩展参数将所述子集的决定结果表示为值，在所述邻近模板的选择中，(a)在所述扩展参数表示预先确定的值的情况下，从所述多个子集中确定与所述扩展参数相应的子集，从所述N个邻近模板中的包含在所确定出的所述子集中的M个邻近模板中选择一个邻近模板，所述M为2以上且小于N的整数；(b)在所述扩展参数不表示预先确定的值的情况下，从所述N个邻近模板中选择一个邻近模板。
由此，在使用了子集的情况下，从比N个邻近模板少的M个邻近模板中选择一个邻近模板，即成为被选邻近模板的候选的多个邻近模板的数量减少，因此能够减轻邻近模板选择的处理负担。
另外，也可以为，所述编码方法还包括：决定是否自适应地变更邻近模板，在所述DMVD参数的写入中，写入将是否进行所述变更的决定结果表示为值的参数来作为所述DMVD参数，在所述邻近模板的选择中，在所述DMVD参数表示预先确定的值的情况下，在所述对象块的编码时，根据在该对象块的周边所生成的重构图像的区域，从所述N个邻近模板中选择一个邻近模板。
由此，能够根据编码时的状况来自适应地选择邻近模板，即能够自适应地变更邻近模板的大小以及尺寸等，能够提高编码效率。
另外，也可以为，在所述邻近模板的选择中，对所述N个邻近模板中的成为候选的多个邻近模板分别决定优先级，从所述成为候选的多个邻近模板中的、在所述对象块的编码时生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中，选择优先级最高的邻近模板。
由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，通过使得在解码端也执行这样的邻近模板的选择方法来作为预先定义的基准，在解码端也能够适当地选择由编码器选择出的邻近模板。
另外，也可以为，在所述邻近模板的选择中，对所述N个邻近模板中的成为候选的多个邻近模板，分别算出由对该邻近模板导出的运动向量表示的图像与该邻近模板的图像之间的形变的程度来作为形变值，从成为所述候选的多个邻近模板中选择形变值最小的邻近模板。
由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，通过使得在解码端也执行这样的邻近模板的选择方法来作为预先定义的基准，在解码端也能够适当地选择由编码器选择出的邻近模板。
另外，也可以，在所述DMVD参数的写入中，根据是否比预先确定的阈值大，写入表示是否使所述DMVD功能有效的值来作为所述DMVD参数。
由此，能够使DMVD参数例如与如候选列表的尺寸(size)等这样表示用于DMVD功能以外的其他功能的值的参数兼用。因此，能够将比特流所包含的其他参数作为DMVD参数来使用，因此能够进一步提高编码效率。
另外，本发明的一个技术方案涉及的解码方法，是按块对表示编码后的运动图像的比特流进行解码的解码方法，所述解码方法包括：从所述比特流中解读DMVD参数，所述DMVD参数表示是否在解码器中使导出运动向量的功能即DMVD功能有效；基于所解读出的所述DMVD参数，执行从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行解码。
由此，如果DMVD参数表示使DMVD功能有效，则可从相对于对象块预先定义的N个邻近模板中选择一个邻近模板。因此，能够选择相对于对象块而言适当的邻近模板，能够适当地对编码效率得到提高的比特流进行解码。
另外，也可以为，所述解码方法还包括：识别相对于对象块预先定义的所述N个邻近模板，在所述DMVD参数的解读中，作为表示使所述DMVD功能有效的所述DMVD参数，解读用于识别应选择的邻近模板的识别参数，在所述邻近模板的选择中，从所识别出的所述N个邻近模板中选择与所述识别参数相应的所述邻近模板。
由此，由于可从比特流中解读出识别参数，所以能够容易地选择并使用在对象块的编码中使用的邻近模板。因此，能够适当地对对象块进行解码。
另外，也可以为，所述解码方法还包括：从所述比特流中解读扩展参数，所述扩展参数将是使用多个子集中的某个子集、还是不使用任何子集表示为值，所述多个子集分别由小于N个的多个邻近模板构成，在所述邻近模板的选择中，(a)在所述扩展参数表示预先确定的值的情况下，从所述多个子集中确定与所述扩展参数相应的子集，从所述N个邻近模板中的包含在所确定出的所述子集中的M个邻近模板中选择一个邻近模板，所述M为2以上且小于N的整数；(b)在所述扩展参数不表示预先确定的值的情况下，从所述N个邻近模板中选择一个邻近模板。
由此，在使用了子集的情况下，从比N个邻近模板少的M个邻近模板中选择一个邻近模板，即成为被选邻近模板的候选的多个邻近模板的数量减少，因此能够减轻邻近模板选择的处理负担。
另外，也可以为，在所述DMVD参数的解读中，解读将是否自适应地变更邻近模板表示为值的参数来作为所述DMVD参数，在所述邻近模板的选择中，在所述DMVD参数表示预先确定的值的情况下，在所述对象块的解码时，根据在该对象块的周边所生成的重构图像的区域，从所述N个邻近模板中选择一个邻近模板。
由此，能够根据解码时的状况来自适应地选择邻近模板，即能够自适应地变更邻近模板的大小以及尺寸等，能够适当地对编码效率得到提高的比特流进行解码。
另外，也可以为，在所述邻近模板的选择中，对所述N个邻近模板中的成为候选的多个邻近模板分别决定优先级，从所述成为候选的多个邻近模板中的、在所述对象块的解码时生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中，选择优先级最高的邻近模板。
由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，在编码端也执行这样的邻近模板的选择方法来作为预先定义的基准的情况下，能够适当地选择由编码器选择出的邻近模板。
另外，也可以为，在所述邻近模板的选择中，对所述N个邻近模板中的成为候选的多个邻近模板，分别算出由对该邻近模板导出的运动向量表示的图像与该邻近模板的图像之间的形变的程度来作为形变值，从成为所述候选的多个邻近模板中选择形变值最小的邻近模板。
由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，在编码端也执行这样的邻近模板的选择方法来作为预先定义的基准的情况下，能够适当地选择由编码器选择出的邻近模板。
另外，也可以为，在所述DMVD参数的解读中，根据是否比预先确定的阈值大，解读表示是否使所述DMVD功能有效的值来作为所述DMVD参数。
由此，能够使DMVD参数例如与如候选列表的尺寸等这样表示用于DMVD功能以外的其他功能的值的参数兼用。因此，能够将比特流所包含的其他参数作为DMVD参数来使用，因此能够适当地对编码效率得到进一步提高的比特流进行解码。
此外，这些总括性或具体的技术方案既可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序和记录介质的任意组合来实现。
以下，参照附图对实施方式进行具体说明。
此外，以下说明的实施方式均表示总括性或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等为一例，没有限定本公开的意图。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素来说明。
(实施方式1)
图1是表示本实施方式中的编码装置的例示性的构造的框图。
编码装置100通过以块为单位对输入影像(也即是运动图像)进行编码来生成比特流Bs。如图1所示，编码装置100可以具备转换部101、量化部102、逆量化部103、逆转换部104、块存储器105、图画存储器(也称为帧存储器)106、帧内预测(intra prediction)部107、帧间预测(inter prediction)部108、熵编码部109、减法器110、加法器111、控制部130、运动向量预测部131以及写入部136。
减法器110通过从输入影像所包含的编码对象的块(以下，称为对象块)中减去与该对象块对应的预测图像，生成包括多个减法值而构成的差分图像，将该差分图像输出到转换部101。此外，预测图像是通过帧内预测部107或帧间预测部108生成的图像。转换部101将该差分图像转换成多个频率系数，将得到的多个频率系数输出到量化部102。量化部102对所输入的多个频率系数进行量化，将通过该量化而得到的多个量化值输出到逆量化部103以及熵编码部109。熵编码部109对从量化部102输出的多个量化值进行熵编码，输出包含熵编码后的多个量化值的比特流Bs。也就是说，该比特流Bs包含编码后的对象块。
逆量化部103对从量化部102输出的多个量化值进行逆量化，将通过该逆量化而得到的多个频率系数输出到逆转换部104。逆转换部104通过对多个频率系数进行逆频率转换，将这些频率系数转换成包括多个像素值(也称为样本值)的差分图像，将该差分图像输出到加法器111。加法器111通过将从逆转换部104输出的差分图像加到从帧间预测部108或帧内预测部107输出的预测图像上，生成重构图像。并且，加法器111将所生成的重构图像输出到块存储器105或图画存储器106，以便进行进一步的预测。
帧内预测部107使用块存储器105所保存的至少一个重构图像来进行帧内预测，通过该帧内预测来生成针对对象块的预测图像。帧间预测部108基于由运动向量预测部131导出或选择出的运动向量来进行运动补偿。也就是说，帧间预测部108基于该运动向量，从图画存储器106所保存的至少包括一个重构图像的参照图画内取得例如与对象块(或后述的邻近模板)的图像最相似的图像。由此，可生成预测图像(也称为预测块或预测样本)。此外，参照图画(参考图画)是与包含对象块的图画不同的图画，例如由参照索引来指定。
控制部130接收多个定义的邻近模板以及用于导出运动向量预测(MVP)的多个参数。例如，该多个参数分别是表示参照索引、候选索引、或多个邻近模板等的参数。在本实施方式中，基于上述参照图画的种类，控制部130为了生成用于包含在候选列表(也称为候选集)中的运动向量预测候选，决定或识别多个预先定义的邻近模板。以及/或者，控制部130决定是否将这些邻近模板(具体而言，基于多个预先定义的邻近模板的运动向量)包含于候选集。然后，控制部130将表示该决定的结果的信号133输出到运动向量预测部131。
运动向量预测部131导出在针对具有运动向量以及参照图画的对象块(运动向量预测候选)的候选列表中使用的至少一个运动向量预测候选。进而，运动向量预测部131通过进行运动搜索来导出运动向量。另外，运动向量预测部131基于通过运动搜索从该候选列表所包含的至少一个运动向量预测候选中导出的运动向量，导出一个运动向量预测候选来作为运动向量预测。然后，运动向量预测部131将用于从基于来自控制部130的信号133制作的候选列表中确定所导出的运动向量预测的候选索引包含于信号137并输出到写入部136。进而，运动向量预测部131算出通过运动搜索而导出的运动向量与所导出的运动向量预测之间的差分来作为差分(△，delta)运动向量，将该差分运动向量以及参照图画的参照索引等包含于上述的信号137并输出到写入部136。
写入部136从控制部130取得表示由控制部130决定或识别出的相对于对象块预先定义的多个邻近模板的参数138，将该参数138写入比特流Bs。进而，写入部136将信号137所包含的候选索引、差分运动向量以及参照索引等写入比特流Bs。
在此，本实施方式中的编码装置100是与解码端运动估计(DSME)技术相关的装置，换言之，是与在解码端导出运动向量的功能(DMVD：Decoder side Motion VectorDerivation，解码端运动向量导出)对应的装置。因此，编码装置100的运动向量预测部131为了实现DMVD，进行基于在空间上与对象块邻近的区域即邻近模板内的重构图像的运动搜索(以下，称为基于邻近模板的运动搜索)。
也就是说，本实施方式中的控制部130决定是进行基于输入影像所包含的对象块的运动搜索(以下，称为基于输入图像的运动搜索)、还是进行基于邻近模板的运动搜索。基于输入图像的运动搜索是从与包含对象块的图画不同的参照图画中搜索与对象块的图像相似的块的处理。另外，基于邻近模板的运动搜索是从与包含对象块的图画不同的参照图画中搜索与邻近模板内的重构图像相似的块的处理。
控制部130在决定为进行基于邻近模板的运动搜索时，如上所述，决定或识别相对于对象块预先定义的多个邻近模板，决定为将这些邻近模板包含于候选列表。进而，决定为将通过对该邻近模板的运动搜索而导出的运动向量包含于候选集。
当决定为进行基于输入图像的运动搜索时，运动向量预测部131进行该基于输入图像的运动搜索，将通过该运动搜索而得到的运动向量输出到帧间预测部108。另一方面，当决定为进行基于邻近模板的运动搜索时，运动向量预测部131生成包含由信号133表示的多个预先定义的邻近模板在内的候选列表。此外，该多个预先定义的邻近模板为N个(N为2以上的整数)。并且，运动向量预测部131从该N个邻近模板中选择一个邻近模板。进而，运动向量预测部131使用由所选择出的邻近模板表示的区域中的重构图像和参照图画来导出运动向量。也就是说，运动向量预测部131进行该基于邻近模板的运动搜索。并且，运动向量预测部131将通过该运动搜索而导出的运动向量输出到帧间预测部108。另外，运动向量预测部131将用于识别所选择出的模板的识别参数作为候选索引而包含于信号137并输出到写入部136。
图2～图7分别是表示针对对象块假想的几个邻近模板的例子的图。图示的邻近模板全都能够与解码端的运动向量导出(DMVD)处理的功能性对应，在本实施方式中它们都表示为DMVD模板。然而，DMVD模板不限定于图2～图7所图示的例子。
例如，如图2的(a)～(e)所示，与对象块的上方相邻的矩形的区域(图2中，由斜线的阴影表示的区域)也可以被识别为邻近模板。在此，如图2的(c)～(e)所示，在被选的邻近模板位于对象块之上的情况下，被选的邻近模板的宽度也可以为对象块的宽度以上。另外，如图2的(e)所示，在被选的邻近模板的高度比对象块的高度小的情况下，被选的邻近模板的面积也可以为对象块的面积以上。
另外，如图3的(a)～(e)所示，与对象块的左方相邻的矩形的区域(图3中，由斜线的阴影表示的区域)也可以被识别为邻近模板。在此，如图3的(c)～(e)所示，在被选的邻近模板位于对象块的左侧的情况下，被选的邻近模板的高度也可以为对象块的高度以上。另外，如图3的(e)所示，在被选的邻近模板的宽度比对象块的宽度小的情况下，被选的邻近模板的面积也可以为对象块的面积以上。
进而，如图4的(a)以及(b)和图5的(c)以及(d)所示，与对象块的上方及左方相邻的倒L字形的区域(图4以及图5中，由斜线的阴影表示的区域)也可以被识别为邻近模板。
另外，例如如图6的(a)所示，在由宽度3个×高度2个的块构成的块组中的右下端的块为对象块的情况下，也可以将该块组中的除对象块之外的5个块作为能够用于邻近模板的块来处理。因此，由5个块中的至少一个块的组合构成的区域被识别为该对象块的邻近模板或DMVD模板。由于该组合有多个，所以可识别出多个预先定义的邻近模板。并且，如图6的(b)所示，例如选择由位于对象块的左方的2个块构成的区域来作为邻近模板。
另外，例如，如图7的(a)或(b)所示，与对象块的左方或上方相邻的大小互不相同的2个正方形区域也可以被识别为对该对象块预先定义的邻近模板。并且，可从这些邻近模板中选择任何一个邻近模板。如此，被选的邻近模板是与对象块相邻的可利用的邻近块。此外，可利用的邻近块是指在对象块的编码时生成有邻近块所包含的全部重构图像的块。
这样的本实施方式中的编码装置100是按块对运动图像进行编码的编码装置，具备选择部、导出部、编码部和写入部136。
选择部通过运动向量预测部131的一部分功能来实现。也就是说，选择部从相对于对象块预先定义的表示在空间上与该对象块邻近的互不相同的区域的N个(N为2以上的整数)邻近模板中，选择一个邻近模板。导出部通过运动向量予测部131的一部分功能来实现。也就是说，导出部使用由所选择出的邻近模板表示的区域中的重构图像和与包含该对象块的图画不同的参照图画来导出运动向量。编码部包括帧间预测部108、转换部101、量化部102、逆量化部103、逆转换部104、图画存储器106、熵编码部109、减法器110和加法器111中的至少一个。也就是说，编码部通过使用所导出的所述运动向量对对象块进行运动补偿，对该对象块进行编码。另外，写入部136将表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数写入包含编码后的对象块的比特流Bs。例如，写入部136将用于识别所选择出的邻近模板的识别参数(例如候选索引)作为DMVD参数写入比特流Bs。
由此，可从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，因此能够选择对对象块而言适当的邻近模板，能够使运动搜索的精度提高。其结果是，能够实现编码效率的提高。进而，由于DMVD参数被写入比特流Bs，所以能够使解码器根据需要来执行用于对象块解码的运动向量的导出、即运动搜索。因此，解码器能够适当地对编码效率得到提高的比特流Bs进行解码。
参照图8～图10，说明本实施方式的执行使用了邻近模板的运动搜索处理的编码方法。
图8是表示本实施方式中的编码处理的一例的流程图。
作为最初的步骤S1001，编码装置100的控制部130识别针对对象块的多个预先定义的邻近模板。在接下来的步骤S1002中，运动向量预测部131基于预先定义的基准从多个预先定义的邻近模板中选择一个邻近模板。接下来，在步骤S1003中，运动向量预测部131在运动搜索处理的期间使用所选择出的邻近模板来导出运动向量。在步骤S1004中，帧间预测部108使用所导出的运动向量执行运动补偿。通过该运动补偿，对对象块进行编码。最后，在步骤S1008中，写入部136将确定所选择出的邻近模板的一个以上的识别参数写入比特流Bs。
此外，在步骤S1003中，在对象块作为包含于B图画或B片(slice)的块而基于两个参照图画列表被编码的情况下，从所选择出的邻近模板中导出多个运动向量。另外，即使在对象块未包含于B图画和B片的任一方的情况下，也可以从所选择出的邻近模板中导出多个运动向量来作为运动向量的候选。
如此，在由图8的流程图表示的编码处理中，由于识别参数被写入比特流Bs，所以即使是解码器也能够容易地选择并使用在对象块的编码中使用的邻近模板。因此，解码器能够适当地对对象块进行解码。
图9是表示本实施方式中的编码处理的另一例的流程图。
作为最初的步骤S1101，编码装置100的控制部130决定是否在运动搜索处理中使用扩展模板(所谓的后述的子集(subset))。在接下来的步骤S1102中，写入部136将表示该决定的结果的扩展参数写入比特流Bs的头(header)。在接下来的步骤S1103中，运动向量预测部131判定该扩展参数是否具有预先定义的值。在扩展参数具有预先定义的值的情况下(步骤S1103：是)，在步骤S1104中，运动向量预测部131基于扩展参数从多个预先定义的邻近模板中识别候选模板的子集。此外，如果多个预先定义的邻近模板为N个(N为2以上的整数)，则子集包括该N个邻近模板中的M个(M为2以上且小于N的整数)邻近模板来作为各个候选模板。
然后，在步骤S1105中，运动向量预测部131基于预先定义的基准从所识别出的子集所包含的多个候选模板中选择一个候选模板、即邻近模板。该邻近模板的选择例如按照后述的图11或图12所示的选择处理来进行。
另一方面，在扩展参数不具有预先定义的值的情况下(步骤S1103：否)，在步骤S1106中，运动向量预测部131基于预先定义的基准直接从多个(例如N个)预先定义的邻近模板中选择一个邻近模板。
接下来，在步骤S1107中，运动向量预测部131在运动搜索处理的期间，使用所选择出的邻近模板来导出针对对象块的运动向量。然后，在步骤S1108中，帧间预测部108使用所导出的运动向量来执行运动补偿处理。最后，在步骤S1109中，写入部136将确定所选择出的邻近模板的一个1以上的识别参数写入比特流Bs。
如此，在由图9的流程图表示的编码处理中，编码装置100进一步决定是使用分别由小于N个的多个邻近模板构成的多个子集中的某一个子集、还是不使用任何子集。并且，编码装置100将使子集的决定结果表示为值的扩展参数写入比特流Bs。并且，编码装置100在邻近模板的选择中，在扩展参数表示预先确定的值的情况下，从多个子集中确定与扩展参数相应的子集。进而，编码装置100从该N个邻近模板中的、包含在所确定出的子集中的M个(M为2以上且小于N的整数)邻近模板中选择一个邻近模板。另一方面，编码装置100在扩展参数不表示预先确定的值的情况下，从N个邻近模板中选择一个邻近模板。
由此，在使用了子集的情况下，可从比N个邻近模板少的M个邻近模板中选择一个邻近模板，也就是说，成为被选的邻近模板的候选的多个邻近模板的数量减少，因此能够减轻邻近模板选择的处理负担。
图10是表示本实施方式中的编码处理的又一例的流程图。作为最初的步骤S1201，编码装置100的控制部130决定是否在解码器中的运动搜索处理中使用自适应模板形式。也就是说，控制部130决定是否自适应地变更邻近模板。在接下来的步骤S1202中，写入部136将表示该决定的结果的参数(作为上述的DMVD参数)写入比特流Bs的头。在接下来的步骤S1203中，运动向量预测部131判定该参数是否具有预先定义的值。在该参数具有预先定义的值的情况下(步骤S1203：是)，最后在步骤S1204中，运动向量预测部131使用自适应模板形式来执行运动搜索处理。自适应模板形式是对邻近模板的位置、大小和形状中的至少一方进行自适应地改变。
也就是说，运动向量预测部131在对象块的编码时，根据在该对象块的周边所生成的重构图像的区域，从N个邻近模板中选择一个邻近模板。更具体而言，运动向量预测部131在N个邻近模板中的对象块的编码时，从生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中选择一个邻近模板。
由此，能够根据编码时的状况来自适应地选择邻近模板，也就是说，能够自适应(适应性)地变更邻近模板的位置、大小以及尺寸等，能够提高编码效率。
图11是表示基于预先定义的基准从多个邻近模板中选择一个邻近模板的选择处理的一例的流程图。
在最初的步骤S2201中，运动向量预测部131按预先确定的顺序对成为候选的多个邻近模板的各邻近模板进行排列。例如，运动向量预测部131按从最大到最小的顺序排列多个邻近模板。也就是说，对于成为候选的多个邻近模板的各邻近模板，其邻近模板的尺寸越大，则被决定为越高的优先级。此时，成为候选的多个邻近模板分别被排列成使邻近模板的尺寸从前头向后依次减小，按照该排列的顺序，决定多个邻近模板各自的优先级。
最后，在步骤S2202中，运动向量预测部131从按该预先定义的顺序排列的多个邻近模板中选择满足预定基准的前头的邻近模板。该预定基准是以重构的像素(图像样本)能填满邻近模板整体(整个邻近模板)这一基准。在多个邻近模板中，也存在因为对象块的编码顺序而导致在需要被用于运动搜索时未能重构全部图像样本的模板。由此，该不完全的邻近模板在选择处理中不会被选择。
如此，在由图11的流程图表示的选择处理中，运动向量预测部131对N个邻近模板中的成为候选的多个邻近模板分别决定优先级。进而，运动向量预测部131从成为候选的多个邻近模板中的、在对象块的编码时能生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中，选择优先级最高的邻近模板。
由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，通过在解码端也执行这样的邻近模板的选择方法来作为预先定义的基准，从而即使在解码端也能够适当地选择由编码器选择出的邻近模板。
图12是表示基于预先定义的基准从多个邻近模板中选择一个邻近模板的选择处理的另一例的流程图。
在最初的步骤S2301中，运动向量预测部131通过针对成为候选的多个邻近模板分别执行运动搜索，生成针对多个邻近模板各自的运动向量。在接下来的步骤S2302中，帧间预测部134按各个邻近模板，使用所导出的运动向量来执行对该邻近模板的运动补偿处理。在步骤S2303中，运动向量预测部131按各个邻近模板，基于对该邻近模板的运动补偿处理来计算形变值。该形变值是表示通过运动补偿处理而生成的图像与邻近模板的原来的图像之间的差分的值。最后，在步骤S2304中，运动向量预测部131从成为候选的多个邻近模板中选择形变值最低的邻近模板。
如此，在由图12的流程图表示的选择处理中，运动向量预测部131针对N个邻近模板中的成为候选的多个邻近模板分别算出形变值。该形变值是表示由对邻近模板导出的运动向量表示的图像与该邻近模板的图像之间的形变程度的值。并且，运动向量预测部131从成为候选的多个邻近模板中选择形变值最小的邻近模板。
由此，与图11所示的选择处理同样地，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，通过在解码端也执行这样的邻近模板的选择方法来作为预先定义的基准，从而即使在解码端也能够适当地选择由编码器选择出的邻近模板。
图13是表示DMVD有效化标志的位置的例子的图。在DMVD有效化标志不存在于比特流的情况下，独立地执行本实施方式的其余的处理。此外，DMVD有效化标志是表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数。
例如，如图13的(i)所示，写入部136也可以将DMVD有效化标志作为vps_DMVD_flag写入视频参数集(VPS)。在该vps_DMVD_flag表示DMVD功能有效的情况下，对比特流Bs所包含的图像整体进行用于实现DMVD的处理、即进行基于邻近模板的运动搜索。另外，如图13的(ii)所示，写入部136也可以将DMVD有效化标志作为sps_DMVD_flag写入序列参数集(SPS，sequence parameter set)。在该sps_DMVD_flag表示DMVD功能有效的情况下，对与该SPS对应的序列所包含的图像整体，进行用于实现DMVD的处理。另外，如图13的(iii)所示，写入部136也可以将DMVD有效化标志作为pps_DMVD_flag写入图画参数集(PPS)。在该pps_DMVD_flag表示DMVD功能有效的情况下，对与该PPS对应的图画所包含的图像整体，进行用于实现DMVD的处理。
另外，如图13的(iv)所示，写入部136也可以将DMVD有效化标志作为slice_DMVD_flag写入片头(slice header)。在该slice_DMVD_flag表示DMVD功能有效的情况下，对与该片头对应的片所包含的图像整体，进行用于实现DMVD的处理。另外，如图13的(v)所示，写入部136也可以将DMVD有效化标志作为block_DMVD_flag写入编码单位。在该block_DMVD_flag表示DMVD功能有效的情况下，对该编码单位所包含的图像整体，进行用于实现DMVD的处理。
另外，写入部136也可以将候选列表的尺寸(也即是，候选列表所包含的候选的数量)的参数作为DMVD参数写入比特流Bs。该情况下，在候选列表所包含的候选的数量大于阈值的情况下，在该候选列表中包含邻近模板的候选，在候选的数量为阈值以下的情况下，在该候选列表中不包含邻近模板的候选。因此，表示候选列表的尺寸的参数，表示是否在解码器中使导出运动向量的功能即DMVD功能有效。也就是说，写入部136也可以通过是否比预先确定的阈值大，将表示是否使DMVD功能有效的值作为DMVD参数写入比特流Bs。由此，能够使DMVD参数例如与如候选列表的尺寸等这样表示用于DMVD功能以外的其他功能的值的参数兼用。因此，能够将比特流Bs所包含的其他参数作为DMVD参数来使用，因此能够进一步提高编码效率。
图14是表示与从多个预先定义的邻近模板中选择一个邻近模板相关的参数的位置的例子的图。此外，该参数是用于识别所选择出的邻近模板的识别参数。
例如，如图14的(i)所示，写入部136也可以将参数写入编码单位。该参数例如表示块(对象块)的宽度以及高度等。另外，如图14的(ii)所示，写入部136也可以将参数写入片头。该参数例如表示片的类型(slice_type)或候选列表所包含的运动向量预测候选的数量的最大值(max_num_cand)等。
或者，如图14的(iii)所示，写入部136也可以将参数写入图画参数集。该参数例如表示图画的类型(pic_type)等。另外，如图14的(iv)所示，写入部136也可以将参数写入序列参数集(SPS)。该参数例如表示时间分层编码(可分级编码)中的分层标识符(templral_id)或NAL单元的类型(nal_unit_type)等。
图15是示出表示多个预先定义的邻近模板的一个以上的参数的位置的例子的图。例如，如图15的(i)以及(ii)所示，表示多个预先定义的邻近模板的一个以上的参数包含在序列参数集(SPS)或图画参数集(PPS)的任一方中。并且，明示或暗示地表示按块选择出的邻近模板的识别参数，被包含在该块中并被发送。另外，如图15的(iii)以及(iv)所示，表示多个预先定义的邻近模板的一个以上的参数也可以包含在片头或编码单位的任一方中。
另外，多个预先定义的邻近模板分别也可以体现在能够基于候选索引检索邻近模板的查找表或分类表内。例如，如果最初选择出的邻近模板的子集为Template_A，则能够从子集内的成为候选的多个邻近模板A0～An中选择用于运动搜索的邻近模板。
图16A～图16C是表示用于选择邻近模板的参数的例示性的位置的图。如图16A的(i)～(iv)所示，用于选择一个邻近模板的固有识别参数(该参数在从子集选择邻近模板时也是有效的)是用于识别被选的邻近模板的识别参数，特别是该邻近模板所固有的参数。该固有识别参数例如也可以作为模板识别参数包含于SPS、PPS、片头或片数据。另外，如图16B的(i)～(iv)所示，用于识别子集的参数也可以作为模板识别参数包含于例如SPS、PPS、片头或片数据。进而，也可以将最大候选缓冲尺寸(max_cand_buffer_size)作为用于从子集中决定邻近模板的模板ID而包含于片头或片数据。另外，如图16C的(i)～(iv)所示，也可以将用于确定子集即扩展模板的参数(enabled_extended_template_selection)明示地包含于例如SPS、PPS、片头或片数据。
图17是表示本实施方式中的解码装置的例示性的构造的框图。
解码装置200通过以块为单位对表示编码后的运动图像的比特流Bs进行解码，输出解码影像。如图17所示，解码装置200具备熵解码部201、逆量化部202、逆转换部203、块存储器204、图画存储器(也称为帧存储器)205、帧内预测部206、帧间预测部207、运动向量预测部210、控制部212、解读部213以及加法器215。
熵解码部201对比特流Bs进行熵解码，将通过该熵解码而得到的多个量化值输出到逆量化部202。逆量化部202对这些量化值进行逆量化，将通过该逆量化而得到的多个频率系数输出到逆转换部203。逆转换部203通过对多个频率系数进行逆频率转换，将这些频率系数转换成包括多个像素值(也称为样本值)而构成的差分图像，将该差分画像输出到加法器215。加法器215通过将该差分图像加到从帧间预测部207或帧内预测部206输出的预测图像(即，对解码对象块的预测图像)上来生成重构图像。并且，加法器215输出用于显示由至少一个重构图像构成的解码影像，并且为了进一步的预测，将生成的重构图像输出到块存储器204或图画存储器205。
帧内预测部206使用块存储器204所保存的至少一个重构图像来进行帧内预测，通过该帧内预测来生成对解码对象块(以下，称为对象块)的预测图像。帧间预测部207基于从运动向量预测部210导出或选择出的运动向量来进行运动补偿。也就是说，帧间预测部207基于该运动向量从图画存储器205所保存的由至少一个重构图像构成的参照图画内取得例如与对象块(或后述的邻近模板)的图像最相似的图像。由此，生成预测图像。
解读部213从比特流Bs中解读多个参数209，将解读出的多个参数209输出到控制部212。这些参数209包括表示多个预先定义的邻近模板的参数和表示所选择出的邻近模板的识别参数。此外，这些参数209也可以包括表示扩展模板是否可利用的扩展参数。另外，解读部213也可以将比特流Bs所包含的例如包括候选索引、表示所使用的参照图画的参照索引以及差分运动向量等的预测信息208输出到运动向量预测部210。
控制部212基于由解读部213解读出的多个参数209，识别多个预先定义的邻近模板，从该多个邻近模板中选择一个邻近模板。此外，在多个预先定义的邻近模板的运动向量作为运动向量预测候选包含于候选列表的情况下，多个参数209中的表示所选择出的邻近模板的参数也可以是该候选列表的候选索引。控制部212将表示该所选择出的邻近模板的参数包含于信号214并输出到运动向量预测部210。
运动向量预测部210导出用于候选列表的至少一个运动向量预测候选。运动向量预测部210基于预测信息208所包含的候选索引，从该候选列表所包含的至少一个运动向量预测候选中选择一个运动向量预测候选来作为运动向量预测。此时，运动向量预测部210通过对所选择出的运动向量预测加上差分运动向量，导出对象块的运动向量。另外，运动向量预测部210在由控制部212选择了邻近模板时，通过进行基于该邻近模板的运动搜索来导出对象块的运动向量。并且，运动向量预测部210将包含该导出的运动向量的信号211输出到帧间预测部207。
这样的本实施方式中的解码装置200是按块对比特流Bs进行解码的解码装置，具备解读部213、选择部、导出部和解码部。
解读部213从所述比特流中解读识别参数来作为DMVD参数。选择部包括控制部212，基于所解读出的DMVD参数来执行从相对于对象块预先定义的N个(N为2以上的整数)邻近模板中选择一个邻近模板。
导出部包括运动向量预测部210，使用由所选择出的邻近模板表示的区域中的重构图像和与包含对象块的图画不同的参照图画来导出运动向量。解码部包括帧间预测部207、熵解码部201、逆量化部202、逆转换部203、图画存储器205和加法器215中的至少一个。也就是说，解码部通过使用所导出的运动向量对对象块进行运动补偿，从而对对象块进行解码。
由此，如果DMVD参数表示使DMVD功能有效，则可从相对于对象块预先定义的N个邻近模板中选择一个邻近模板。因此，能够选择对对象块而言适当的邻近模板，能够适当地对编码效率得到提高的比特流进行解码。此外，解读部213也可以根据是否比预先确定的阈值大，解读表示是否使DMVD功能有效的值来作为DMVD参数。由此，能够使DMVD参数例如与如候选列表的尺寸等这样表示用于DMVD功能以外的其他功能的值的参数兼用。因此，能够将比特流所包含的其他参数作为DMVD参数来使用，能够适当地对编码效率得到进一步提高的比特流进行解码。
参照图18～图20，说明本实施方式的执行使用了邻近模板的运动搜索处理的解码方法。
图18是表示本实施方式中的解码处理的一例的流程图。此外，由该流程图表示的解码处理是与由图8的流程图表示的编码处理对应的处理。
作为最初的步骤S2002，解码装置200的解读部213从比特流Bs中解读针对对象块的识别参数。在步骤S2003中，控制部212识别相对于对象块预先定义的多个邻近模板。然后，在步骤S2004中，控制部212基于由解读部213解读出的识别参数，从多个预先定义的邻近模板中选择一个邻近模板。在步骤S2005中，运动向量预测部210在运动搜索处理的期间使用所选择出的邻近模板来导出运动向量。在最后的步骤S2006中，帧间预测部207使用所导出的运动向量来执行运动补偿。通过该运动补偿对对象块进行解码。
此外，在步骤S2005中，在对象块作为包含于B图画或B片的块而基于两个参照图画列表被编码的情况下，从所选择出的邻近模板中导出多个运动向量。另外，即使在对象块未包含于B图画和B片的任一方的情况下，也可以从所选择出的邻近模板中导出多个运动向量来作为运动向量的候选。
如此，在由图18的流程图表示的解码处理中，由于从比特流Bs中解读出识别参数，所以能够容易地选择并使用在对象块的编码中使用的邻近模板。因此，能够适当地对对象块进行解码。此外，在步骤S2004中，基于识别参数选择了一个邻近模板，但例如也可以基于由图11或图12的流程图表示的预先定义的基准来选择一个邻近模板。
图19是表示本实施方式中的解码处理的另一例的流程图。此外，由该流程图表示的解码处理是与由图9的流程图表示的编码处理对应的处理。
在最初的步骤S2101，解码装置200的解读部213从比特流Bs中解读包括表示扩展模板是否可利用的扩展参数和识别参数的多个参数。在接下来的步骤S2102中，控制部212判定所解读出的扩展参数是否具有预先定义的值。在所解读出的扩展参数具有预先定义的值的情况下(步骤S2102：是)，在步骤S2104中，控制部212基于该解读出的扩展参数，从预先定义的多个邻近模板中识别候选模板的子集。然后，在步骤S2105中，控制部212基于所解读出的识别参数，从所识别出的子集所包含的多个候选模板中选择一个候选模板(即邻近模板)。
另一方面，在步骤S2102中所解读出的扩展参数不具有预先定义的值的情况下(步骤S2102：否)，在步骤S2103中，控制部212基于所解读出的识别参数，从多个预先定义的邻近模板中选择一个邻近模板。此外，此时，控制部212例如也可以基于由图11或图12的流程图表示的预先定义的基准来选择一个邻近模板。
在步骤S2106中，运动向量预测部210在运动搜索处理的期间，使用所选择出的邻近模板来导出针对对象块的运动向量。在最后的步骤S2107中，帧间预测部207使用所导出的运动向量执行运动补偿。
如此，在由图19的流程图表示的解码处理中，解码装置200进一步从比特流Bs中解读扩展参数，该扩展参数将是使用分别由小于N个的多个邻近模板构成的多个子集中的某一个子集、还是不使用任何子集表示为值。并且，解码装置200在所述邻近模板的选择中，在扩展参数表示预先确定的值的情况下，从多个子集中确定与该扩展参数相应的子集。进而，解码装置200从该N个邻近模板中的包含在所确定出的所述子集中的M个(M为2以上且小于N的整数)邻近模板中选择一个邻近模板。另一方面，解码装置200在扩展参数不表示预先确定的值的情况下，从N个邻近模板中选择一个邻近模板。
由此，在使用了子集的情况下，可从比N个邻近模板少的M个邻近模板中选择一个邻近模板，也就是说，成为被选的邻近模板的候选的多个邻近模板的数量减少，因此能够减轻邻近模板选择的处理负担。
图20是表示本实施方式中的解码处理的又一例的流程图。此外，由该流程图表示的解码处理是与由图10的流程图表示的编码处理对应的处理。
作为最初的步骤S2401，解码装置200的解读部213从比特流Bs的头中解读表示是否在解码器中的运动搜索处理中使用自适应模板形式的参数(作为上述的DMVD参数)。在接下来的步骤S2402中，控制部212判定所解读出的参数是否具有预先定义的值。在所解读出的参数具有预先定义的值的情况下(步骤S2402：是)，在步骤S2403中，运动向量预测部210通过使用自适应模板形式来执行运动搜索处理，从而导出运动向量。
如此，在由图20的流程图表示的解码处理中，解读部213解读将是否自适应地变更邻近模板表示为值的参数，来作为DMVD参数。并且，控制部212在该DMVD参数表示预先确定的值的情况下，在对象块的解码时，根据在该对象块的周边所生成的重构图像的区域，从N个邻近模板中选择一个邻近模板。更具体而言，控制部212从N个邻近模板中的、在对象块的解码时生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中选择一个邻近模板。
由此，能够根据解码时的状况来自适应地选择邻近模板，也就是说，能够自适应地变更邻近模板大小以及尺寸等，能够适当地对编码效率得到提高的比特流Bs进行解码。
另外，在图18的步骤S2004以及图19的步骤S2105中，控制部212例如也可以基于由图11或图12的流程图表示的预先定义的基准来选择一个邻近模板。由此，能够从成为候选的多个邻近模板中适当地选择一个邻近模板。另外，在编码端也执行这样的邻近模板的选择方法来作为预先定义的基准的情况下，能够适当地选择由编码器选择出的邻近模板。
在上述的解码处理中，通过图2～7分别例示了针对对象块假想的几个邻近模板。图示的邻近模板全都与解码端的运动向量导出(DMVD)处理的功能性对应，因此在本实施方式中它们都表示为DMVD模板。然而，DMVD模板不限定于图2～图7所图示的例子。
图21A～图21F是表示基于从比特流Bs解读出的参数从多个邻近模板中选择DMVD模板的处理的例子的流程图。
例如，如图21A所示，解码装置200为了决定用于对象块的邻近模板，从比特流Bs中解读多个参数(步骤S2501)。接着，解码装置200从多个解读出的参数中决定用于识别邻近模板的识别参数(步骤S2502)。接着，解码装置200例如按照在编码装置100中构成的预先定义的模板列表、查找表或候选列表，识别多个预先定义的邻近模板(步骤S2503)。并且，解码装置200基于通过步骤S2502决定的识别参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)(步骤S2504)。
另外，如图21B所示，解码装置200也可以进行步骤S2601～S2604的处理。也就是说，解码装置200在步骤S2602中，取代决定识别参数而决定表示对象块的尺寸的参数。并且，解码装置200在步骤S2604中，基于所决定的表示尺寸的参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)。
或者，如图21C所示，解码装置200也可以进行步骤S2701～S2704的处理。也就是说，解码装置200在步骤S2702中，取代决定识别参数而决定表示对象块的图画类型或片类型的参数。并且，解码装置200在步骤S2704中，基于所决定的表示图画类型或片类型的参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)。
另外，如图21D所示，解码装置200也可以进行步骤S2801～S2804的处理。也就是说，解码装置200在步骤S2802中，取代决定识别参数而决定表示包含对象块的对象图画的时间层的参数(时间(Temporal)ID)。并且，解码装置200在步骤S2804中，基于所决定的表示时间层的参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)。
或者，如图21E所示，解码装置200也可以进行步骤S2901～S2904的处理。也就是说，解码装置200在步骤S2902中，取代决定识别参数而决定表示包含对象块的对象序列的编码构造的参数。并且，解码装置200在步骤S2904中，基于所决定的表示编码构造的参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)。
另外，如图21F所示，解码装置200也可以进行步骤S3001～S3004的处理。也就是说，解码装置200在步骤S3002中，取代决定识别参数而决定表示DMVD模板是否可利用的参数(DMVD参数)。并且，解码装置200在步骤S3004中，基于所决定的表示DMVD模板是否可利用的参数，从所识别出的多个邻近模板中选择一个邻近模板(DMVD模板)。
此外，图21A～图21F所示的流程图作为用于基于几个假想的参数来选择DMVD模板的例示性的处理进行了图示。不限于这些例示性的参数，也可以基于其他参数来选择DMVD参数。
另外，在图21A～图21F所示的流程图中，基于暗示性的参数选择被选的邻近模板即DMVD模板。在此，也可以将该暗示性的参数作为表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数来使用。例如，该暗示性的参数是表示对象块的尺寸的参数、表示片的种类的参数、或表示时间层的参数(时间ID)。
也就是说，比特流内的DMVD参数是能够基于预先定义的决定方式来决定是否使DMVD功能有效的暗示性的参数。例如，该暗示性的参数是表示片的种类的参数。该情况下，解码装置200在该参数表示特定种类的片的情况下，决定为使DMVD功能有效。或者，该暗示性的参数是表示对象块的尺寸的参数。该情况下，解码装置200通过对对象块的尺寸与预先定义的尺寸进行比较，决定是否使DMVD功能有效。或者，该暗示性的参数是时间分层编码中的图画的时间ID。该情况下，解码装置200通过对时间ID与预先定义的阈值进行比较，决定是否使DMVD功能有效。
以上，基于实施方式对本发明涉及的编码方法以及解码方法进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式和组合不同实施方式中的构成要素而得到的方式也可以包含在本发明的范围内。
例如，图22A以及图22B所示的编码方法以及解码方法也包含在本发明中。
图22A是表示本发明的一个技术方案涉及的编码方法的一例的流程图。
该编码方法是按块对运动图像进行编码的编码方法，包括：步骤S11，从相对于对象块预先定义的表示在空间上与所述对象块邻近的互不相同的区域的N个(N为2以上的整数)邻近模板中选择一个邻近模板；步骤S12，使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；步骤S13，通过使用所导出的所述运动向量对所述对象块进行运动补偿，对所述对象块进行编码；以及步骤S14，将表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数写入包含编码后的所述对象块的比特流。
由此，能够获得与上述实施方式同样的效果。也就是说，能够实现编码效率的提高。
图22B是表示本发明的一个技术方案涉及的解码方法的一例的流程图。
该解码方法是按块对表示编码后的运动图像的比特流进行解码的解码方法，包括：步骤S21，从所述比特流中解读表示是否在解码器中使导出运动向量的功能即DMVD功能有效的DMVD参数；步骤S22，基于所解读出的所述DMVD参数来执行从相对于对象块预先定义的表示在空间上与所述对象块邻近的互不相同的区域的N个(N为2以上的整数)邻近模中选择一个邻近模板；步骤S23，使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；以及步骤S24，通过使用所导出的所述运动向量对所述对象块进行运动补偿，对所述对象块进行解码。
由此，能够获得与上述实施方式同样的效果。也就是说，能够适当地对编码效率得到提高的比特流进行解码。
此外，在上述实施方式中，各构成要素通过由专用的硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。在此，实现上述实施方式的编码装置以及解码装置等的软件使计算机执行由图22A或图22B表示的各步骤。
(实施方式2)
通过将用于实现上述各实施方式中示出的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录于存储介质，能够在独立的计算机系统中简单地实施上述各实施方式中示出的处理。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等能够记录程序的介质即可。
进而，在此，说明上述各实施方式中示出的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和使用了该运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的系统。该系统的特在在于，具有由使用了图像编码方法的图像编码装置和使用了图像解码方法的图像解码装置构成的图像编解码装置。关于系统中的其他结构，可以根据情况来适当变更。
图23是表示实现内容发布服务的内容提供系统ex100的整体结构的图。将通信服务的提供区域分割成所希望的大小，在各单元内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容提供系统ex100中，计算机ex111、PDA(Personal Digital Assistant，掌上电脑)ex112、拍摄装置ex113、便携电话ex114、游戏机ex115等各设备经由互联网服务提供商ex102、电话网ex104以及基站ex106～ex110连接于互联网ex101。
但是，内容提供系统ex100不限定于图23那样的结构，也可以组合某要素来进行连接。另外，也可以是各设备不经由作为固定无线站的基站ex106～ex110而直接连接于电话网ex104。另外，也可以是各设备经由近距离无线通信等直接相互连接。
拍摄装置ex113是数码摄像机等能够进行运动图像拍摄的设备，相机ex116是数码相机等能够进行静止图像拍摄、运动图像拍摄的设备。另外，便携电话ex114可以是GSM(注册商标)(Global System for Mobile Communications，全球移动通信系统)方式、CDMA(Code Division Multiple Access，码分多址)方式，W-CDMA(Wide band-Code DivisionMultiple Access，宽带码分多址)方式或LTE(Long Term Evolution，长期演进)方式、HSPA(High Speed Packet Access，高速分组接入)的便携电话机或PHS(Personal HandyphoneSystem，个人手持机系统)等任何便携电话。
在内容提供系统ex100中，拍摄装置ex113等通过基站ex109、电话网ex104连接于流媒体服务器ex103，由此能够进行实况发布等。在实况发布中，如上述各实施方式中说明的那样对用户使用拍摄装置拍摄装置ex113拍摄的内容(例如，音乐实况的影像等)进行编码处理(即，作为本发明的一个技术方案涉及的图像编码装置发挥功能)，并发送给流媒体服务器ex103。另一方面，流媒体服务器ex103将对发出请求的客户端发送的内容数据进行流发布。作为客户端，存在能够对上述编码处理后的数据进行解码的计算机ex111、PDAex112、拍摄装置ex113、便携电话ex114、游戏机ex115等。在接收到所发布的数据的各设备中，对接收到的数据进行解码处理并进行再现(即，作为本发明的一个技术方案涉及的图像解码装置发挥功能)。
此外，所拍摄到的数据的编码处理既可以在拍摄装置ex113中进行，也可以在进行数据的发送处理的流媒体服务器ex103中进行，还可以相互分担来进行。同样，已发布的数据的解码处理既可以在客户端中进行，也可以在流媒体服务器ex103中进行，还可以相互分担来进行。另外，不限于拍摄装置ex113，也可以将由相机ex116拍摄到的静止图像和/或运动图像数据经由计算机ex111发送给流媒体服务器ex103。该情况下的编码处理可以在相机ex116、计算机ex111、流媒体服务器ex103的任一方中进行，也可以相互分担来进行。
另外，这些编解码处理通常在计算机ex111和/或各设备具有的LSIex500中进行处理。LSIex500既可以是单芯片，也可以是包括多个芯片的结构。此外，也可以将运动图像编解码用的软件装入能够由计算机ex111等读取的任何记录介质(CD-ROM、软盘、硬盘等)，并使用该软件来进行编解码处理。进而，在便携电话ex114带用摄像头的情况下，也可以发送由该摄像头取得的运动图像数据。此时的运动图像数据是由便携电话ex114具有的LSIex500进行了编码处理后的数据。
另外，流媒体服务器ex103也可以是多个服务器和/或多个计算机，将数据分散来进行处理或记录并发布。
如上所述，在内容提供系统ex100中，客户端能够接收并再现编码后的数据。如此，在内容提供系统ex100中，客户端能够实时地接收用户发送的信息，进行解码并再现，即使是没有特别的权利和/或设备的用户也能够实现个人播送。
此外，不限于内容提供系统ex100的例子，如图24所示，在数字播送用系统ex200中也能够装入上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的任一方。具体而言，在播送站ex201中，将对影像数据复用了音乐数据等而得到的复用化数据经由电波传输给通信或卫星ex202。该影像数据是上述各实施方式中说明的通过运动图像编码方法进行了编码后的数据(即，由本发明的一个技术方案涉及的图像编码装置进行了编码后的数据)。接收到该影像数据的播送卫星ex202发射播送用的电波，能够对卫星播送进行接收的家庭的天线ex204接收该电波。电视机(接收机)ex300或机顶盒(STB，Set-Top-Box)ex217等装置对接收到的复用化数据进行解码并再现(即，作为本发明的一个技术方案涉及的图像解码装置发挥功能)。
另外，在将记录在DVD、BD等记录介质ex215中的复用化数据读取并解码或将影像信号编码到记录介质ex215中、进而根据情况与音乐信号进行复用化并写入的读取/记录器ex218中，也能够安装上述各实施方式中示出的运动图像解码装置或运动图像编码装置。该情况下，再现的影像信号显示于显示屏ex219，能够通过记录有复用化数据的记录介质ex215在其他装置或系统中再现影像信号。另外，也可以在与有线电视用的电缆ex203或卫星/地上波播送的天线ex204连接的机顶盒ex217内安装运动图像解码装置，由电视机的显示屏ex219对其进行显示。此时，也可以不在机顶盒内而在电视机内装入运动图像解码装置。
图25是表示使用了上述各实施方式中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备：调谐器ex301，其经由接收上述播送的天线ex204或电缆ex203等取得或输出在影像数据中复用了声音数据而得到的复用化数据；调制/解调部ex302，其对接收到的复用化数据进行解调或调整成向外部发送的复用化数据；复用/分离部ex303将解调后的复用化数据分离成影像数据和声音数据或对由信号处理部ex306编码后的影像数据、声音数据进行复用化。
另外，电视机ex300具有：信号处理部ex306，其具有对声音数据、影像数据的各数据进行解码或对各信息进行编码的声音信号处理部ex304、影像信号处理部ex305(作为本发明的一个技术方案涉及的图像编码装置或图像解码装置发挥功能)；输出解码后的声音信号的扬声器ex307；以及显示解码后的影像信号的显示器等具有显示部ex308的输出部ex309。电视机ex300还具有受理用户操作的输入的具有操作输入部ex312等的接口部ex317。电视机ex300还具有对各部进行综合控制的控制部ex310和向各部供给电力的电源电路部ex311。接口部ex317除了操作输入部ex312以外，也可以具有与读取/记录器ex218等外部设备连接的网桥ex313、用于使得能够安装SD卡等记录介质ex216的槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。此外，记录介质ex216是能够通过内置的非易失性/易失性的半导体存储器元件以电方式进行信息记录的器件。电视机ex300的各部经由同步总线互相连接。
首先，说明电视机ex300对经由天线ex204等从外部取得的复用化数据进行解码并再现的结构。电视机ex300受理来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，通过复用/分离部ex303对由调制/解调部ex302解调后的复用化数据进行分离。进而，电视机ex300通过声音信号处理部ex304对分离开的声音数据进行解码，通过影像信号处理部ex305使用上述各实施方式中说明的解码方法对分离开的影像数据进行解码。解码后的声音信号、影像信号分别从输出部ex309向外部输出。在进行输出时，为了使声音信号和影像信号同步再现，将这些信号暂时存储于缓冲器ex318、ex319等即可。另外，电视机ex300也可以不从播送等而从磁/光盘、SD卡等记录介质ex215、ex216中读出复用化数据。接着，说明电视机ex300对声音信号和/或影像信号进行编码、并向外部发送或向记录介质等写入的结构。电视机ex300受理来自遥控器ex220等的用户操作，基于控制部ex310的控制，通过声音信号处理部ex304对声音信号进行编码，通过影像信号处理部ex305使用上述各实施方式中说明的编码方法对影像信号进行编码。编码后的声音信号、影像信号通过复用/分离部ex303进行复用化并输出到外部。在进行复用化时，为了使声音信号和影像信号同步，将这些信号暂时存储于缓冲器ex320、ex321等即可。此外，缓冲器ex318、ex319、ex320、ex321既可以如图所示那样具备多个，也可以是共用一个以上缓冲器的结构。进而，除图示以外，例如也可以在调制/解调部ex302和复用/分离部ex303之间等，作为用于避免系统的溢出(over flow)、下溢(under flow)的缓冲件，向缓冲器存储数据。
另外，电视机ex300除了从播送等或记录介质等取得声音数据、影像数据之外，还可以具备受理麦克风或摄像头的AV输入的结构，对从该麦克风或摄像头取得的数据进行编码处理。此外，在此，电视机ex300作为能够进行上述的编码处理、复用化以及外部输出的结构进行了说明，但也可以是不能进行这些处理而只能进行上述接收、解码化处理、外部输出的结构。
另外，在由读取/记录器ex218从记录介质读出复用化数据或向记录介质写入复用化数据的情况下，上述解码化处理或编码处理可以在电视机ex300、读取/记录器ex218的任一方中进行，也可以由电视机ex300和读取/记录器ex218相互分担来进行。
作为一例，图26中示出从光盘读取数据或向光盘写入数据的情况下的信息再现/记录部ex400的结构。信息再现/记录部ex400具备以下说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401向作为光盘的记录介质ex215的记录面照射激光束来写入信息，检测从记录介质ex215的记录面反射的反射光来读取信息。调制记录部ex402对内置于光头ex401的半导体激光进行电驱动并根据记录数据来进行激光的调制。再现解调部ex403将由内置于光头ex401的光电检测器对从记录面反射的反射光进行了电检测而得到的再现信号进行放大，将记录在记录介质ex215中的信号成分进行分离并解调，再现所需的信息。缓冲器ex404暂时保持用于向记录介质ex215记录的信息以及从记录介质ex215再现出的信息。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动，一边使光头ex401移动到预定的信息轨道，进行激光束的跟随处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出和/或写入的处理通过如下方式来实现：系统控制部ex407一边利用保持在缓冲器ex404中的各种信息、或者根据需要进行新信息的生成或追加，并且使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调工作，一边通过光头ex401进行信息的记录再现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行这些处理。
以上，光头ex401作为照射激光束的器件进行了说明，但也可以是使用近场光来进行更高密度的记录的结构。
图27中示出作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面以螺旋状形成引导槽(groove)，在信息轨道ex230预先记录有根据槽的形状的变化来表示盘上的绝对位置的地址信息。该地址信息包含用于确定作为记录数据的单位的记录块ex231的位置的信息，在进行记录和/或再现的装置中通过再现信息轨道ex230并读取地址信息，能够确定记录块。另外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234，用于用户数据记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233，进行编码后的声音数据、影像数据或对这些数据进行了复用化而得到的复用化数据的读写。
以上，以一层的DVD、BD等光盘为例进行了说明，但不限于此，也可以是多层构造且在表面以外也能够进行记录的光盘。另外，也可以是在盘的相同部位使用各种不同波长的颜色的光来记录信息、和/或从各种角度记录不同信息的层等进行多维度的记录/再现构造的光盘。
另外，在数字播送用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据，在车ex210所具有的车载导航ex211等的显示装置上再现运动图像。此外，车载导航ex211的结构例如考虑是图25所示的结构中的加入了GPS接收部的结构，对计算机ex111或便携电话ex114等也考虑同样的情况。
图28A是表示使用了上述实施方式中说明的运动图像解码方法以及运动图像编码方法的便携电话ex114的图。便携电话ex114具备：用于在与基站ex110之间收发电波的天线ex350；能够拍摄影像、静止图像的摄像头部ex365；以及显示由摄像头部ex365拍摄到的影像、对由天线ex350接收到的影像等进行了解码后的数据的液晶显示器等显示部ex358。便携电话ex114还具备：具有操作键部ex366的主体部；用于输出声音的扬声器等的声音输出部ex357；用于输入声音的作为麦克风等的声音输入部ex356；保存所拍摄到的影像、静止图像、录制的声音或对接收到的影像、静止图像、邮件等进行了编码后的数据或解码后的数据的存储器部ex367或者作为与同样地保存数据的记录介质连接的接口部的卡槽部ex364。
进而，使用图28B对便携电话ex114的构成例进行说明。便携电话ex114中，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像头接口(I/F)部ex363、LCD(Liquid Crystal Display，液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、槽部ex364、存储器部ex367相对于综合控制具备显示部ex358以及操作键部ex366的主体部的各部的主控制部ex360而经由总线ex370互相连接。
电源电路部ex361在通过用户的操作而挂断及电源键被设为接通(on)状态时，通过从电池包对各部供给电力，使便携电话ex114启动成为能够工作的状态。
便携电话ex114基于具有CPU、ROM、RAM等的主控制部ex360的控制，在声音通话模式时通过声音信号处理部ex354将由声音输入部ex356收集到的声音信号转换成数字声音信号，通过调制/解调部ex352对该数字声音信号进行扩频处理，通过发送/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350进行发送。另外，便携电话ex114在声音通话模式时将经由天线ex350接收到的接收数据进行放大并实施频率转换处理以及模拟数字转换处理，通过调制/解调部ex352进行逆扩频处理，通过声音信号处理部ex354转换成模拟声音信号，然后从声音输出部ex357输出该模拟声音信号。
进而，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作而输入的电子邮件的文本数据，经由操作输入制御部ex362送出到主控制部ex360。主控制部ex360通过调制/解调部ex352对文本数据进行扩频处理，通过送信/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据进行大致相反的处理，并输出到显示部ex358。
在数据通信模式时发送影像、静止图像或影像及声音的情况下，影像信号处理部ex355通过上述各实施方式中示出的运动图像编码方法对从摄像头部ex365供给的影像信号进行压缩编码(即，作为本发明的一个技术方案涉及的图像编码装置发挥功能)，将编码后的影像数据送出到复用/分离部ex353。另外，声音信号处理部ex354对在正在由摄像头部ex365拍摄影像、静止图像等的期间由声音输入部ex356收集到的声音信号进行编码，将编码后的声音数据输出到复用/分离部ex353。
复用/分离部ex353按预定的方式对从影像信号处理部ex355提供的编码后的影像数据和从声音信号处理部ex354提供的编码后的声音数据进行复用化，将该结果得到的复用化数据通过调制/解调部(调制/解调电路部)ex352进行扩频处理，通过发送/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350进行发送。
在数据通信模式时接收链接到主页等的运动图像文件的数据的情况下、或接收添加了影像和/或声音的电子邮件的情况下，为了对经由天线ex350接收到的复用化数据进行解码，复用/分离部ex353通过对复用化数据进行分离来分成影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码了的影像数据提供到影像信号处理部ex355，并且将被编码了的声音数据提供到声音信号处理部ex354。影像信号处理部ex355通过使用与上述各实施方式中示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号(即，作为本发明的一个技术方案涉及的图像解码装置发挥功能)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件所包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
另外，对于上述便携电话ex114等终端，与电视机ex300同样地，可以考虑除具有编码器和解码器这两方的收发型终端、仅有编码器的发送终端、仅有解码器的接收终端这3种安装形式。进而，在数字播送用系统ex200中，作为对在影像数据中复用了音乐数据等而得到的复用化数据进行收发的情况进行了说明，但也可以是除声音数据以外还复用了与影像关联的文字数据等而得到的数据，还可以不是复用化数据而是影像数据本身。
如此，能够将上述各实施方式中所述的运动图像编码方法或者运动图像解码方法用于上述的任意的设备和系统，如此，能够获得上述各实施方式中说明的效果。
另外，本发明不限定于上述实施方式，在不脱离本发明的范围的情况下可以进行各种变形或修正。
(实施方式3)
也可以通过根据需要来适当切换上述各实施方式中所述的运动图像编码方法或装置与遵循MPEG-2、MPEG4-AVC、VC-1等不同标准的运动图像编码方法或装置来生成影像数据。
在此，在生成了分别遵循不同标准的多个影像数据的情况下，在进行解码时，需要选择与各个标准对应的解码方法。但是会产生如下问题：由于无法识别要解码的影像数据是遵循哪个标准的影像数据，因此无法选择适当的解码方法。
为了解决该问题，设为如下结构：对影像数据复用了声音数据等而得到的复用化数据包含表示影像数据是遵循哪个标准的影像数据的识别信息。以下说明包含通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据在内的复用化数据的具体结构。复用化数据是MPEG-2传输流形式的数字流。
图29是表示复用化数据的结构的图。如图29所示，复用化数据是对视频流、音频流、演示图形流(PG，presentation graphics stream)、交互图形流(interactivegraphics stream)中的一个以上流进行复用化而得到的。视频流表示电影的主影像以及副影像，音频流(IG)表示电影的主声音部分和与该主声音混音的副声音，演示图形流表示电影的字幕。在此，主影像表示显示于画面的通常的影像，副影像是在主影像中以小画面显示的影像。另外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过上述各实施方式中示出的运动图像编码方法或装置、遵循了以往的MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或装置进行编码。音频流以杜比(Dolby)AC-3、杜比数字+(Dolby Digital Plus)、MLP、DTS、DTS-HD或线性PCM等的方式进行编码。
复用化数据所包含的各流通过PID来识别。例如，对在电影的影像中利用的视频流分配0x1011，对音频流分配0x1100～0x111F，对演示图形流分配0x1200～0x121F，对交互图形流分配0x1400～0x141F，对在电影的副影像中利用的视频流分配0x1B00～0x1B1F，对在与主声音混音的副声音中利用的音频流分配0x1A00～0x1A1F。
图30是示意性表示复用化数据被如何复用化的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别转换成PES包串(包列)ex236以及ex239，并转换成TS包(packet，分组)ex237以及ex240。同样地将演示图形流ex241以及交互图形流ex244的数据分别转换成PES包串ex242以及ex245，进一步转换成TS包ex243以及ex246。复用化数据ex247是通过将这些TS包复用化到一条流而构成的。
图31更详细示出了在PES包串中视频流被如何保存。图31中的第1段表示视频流的视频帧串。第2段表示PES包串。如图31的箭头yy1、yy2、yy3、yy4所示，视频流中的多个视频演示单元(Video Presentation Unit)即I图画(I picture)、B图画(B picture)、P图画(Ppicture)按各个图画进行分割，并保存于PES包的有效载荷(payload)。各PES包具有PES头，在PES头中保存有作为图画的显示时刻的PTS(Presentation Time-Stamp，演示时间戳)、和/或作为图画的解码时刻的DTS(Decoding Time-Stamp，解码时间戳)。
图32示出了最终写入到复用化数据的TS包(TS packet，TS分组)的形式。TS包是由具有识别流的PID等信息的4个字节的TS头和保存数据的184个字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割地保存于TS有效载荷。在BD-ROM的情况下，对TS包附加4个字节的TP_Extra_Header，构成192个字节的源包并写入到复用化数据。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器传送的传送开始时刻。在复用化数据中，如图32下部所示那样排列源包，复用化数据的从开头递增的序号被称为SPN(source packet number，源包编号，源分组编号)。
另外，在复用化数据所包含的TS包中，除了影像、声音、字幕等的各流以外还存在PAT(Program Association Table，节目关联表)、PMT(Program Map Table，节目映射表)、PCR(Program Clock Reference，节目时钟参考)等。PAT表示在复用化数据中利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有在复用化数据中包含的影像、声音、字幕等的各流的PID和与各PID对应的流的属性信息，另外具有与复用化数据相关的各种描述符(descriptor)。描述符具有指示允许或不允许复制复用化数据的复制控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock，到达时间时钟)与作为PTS、DTS的时间轴的STC(System Time Clock，系统时间时钟)的同步，具有与该PCR包被传送到解码器的ATS对应的STC时间的信息。
图33是详细地说明PMT的数据构造的图。在PMT的开头配置有记载了该PMT所包含的数据的长度等的PMT头。在其之后配置有多个与复用化数据相关的描述符。上述复制控制信息等被记载为描述符。在描述符之后配置有多个与复用化数据所包含的各流相关的流信息。流信息为了识别流的压缩编解码器等而包括流类型、流的PID、记载有流的属性信息(帧速率、纵横比等)的流描述符。流描述符的个数与存在于复用化数据的流的个数相当。
在向记录介质等进行记录的情况下，上述复用化数据与复用化数据信息文件一起进行记录。
如图34所示，复用化数据信息文件是复用化数据的管理信息，与复用化数据一一对应，包括复用化数据信息、流属性信息和条目映射(entry map)。
如图34所示，复用化数据信息包括系统速率、再现开始时刻、再现结束时刻。系统速率表示复用化数据的向后述的系统目标解码器的PID滤波器传送的最大传送速率。复用化数据中所包含的ATS的间隔被设定成为系统速率以下。再现开始时刻是复用化数据的开头的视频帧的PTS，再现结束时刻是对复用化数据的末尾的视频帧的PTS加上1帧的再现间隔而得到的时刻。
如图35所示，流属性信息按各PID登记有关于复用化数据所包含的各流的属性信息。属性信息按视频流、音频流、演示图形流、交互图形流而具有不同的信息。视频流属性信息具有该视频流是以何种压缩编解码器进行了压缩、构成视频流的各个图画数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息具有该音频流以何种压缩编解码器进行了压缩、该音频流所包含的通道数是几个、与那种语言对应、采用频率是多少等信息。这些信息被用于播送器进行再现之前的解码器的初始化等。
在本实施方式中，利用上述复用化数据中的包含于PMT的流类型。另外，在记录介质中记录有复用化数据的情况下，利用复用化数据信息所包含的视频流属性信息。具体而言，在上述各实施方式中示出的运动图像编码方法或装置中，设置如下步骤或单元：对PMT所包含的流类型或视频流属性信息设定表示是通过上述各实施方式中示出的运动图像编码方法或装置生成的映像数据这一情况的固有信息。通过该结构，能够识别通过上述各实施方式中示出的运动图像编码方法或装置生成的影像数据和遵循其他标准的影像数据。
另外，图36中示出本实施方式中的运动图像解码方法的步骤。在步骤exS100中，从复用化数据取得PMT所包含的流类型或复用化数据信息所包含的视频流属性信息。接着，在步骤exS101中，判断流类型或视频流属性信息是否表示是通过上述各实施方式中所述的运动图像编码方法或装置生成的复用化数据。然后，在判断为流类型或视频流属性信息是通过上述各实施方式中所述的运动图像编码方法或装置生成的数据的情况下，在步骤exS102中，通过上述各实施方式中示出的运动图像解码方法来进行解码。另外，在流类型或视频流属性信息表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的数据的情况下，在步骤exS103中，通过遵循以往标准的运动图像解码方法来进行解码。
如此，通过对流类型或视频流属性信息设定新的固有值，在进行解码时，能够判断是否能够通过上述各实施方式中所述的运动图像解码方法或装置进行解码。因此，即使在输入了遵循不同标准的复用化数据的情况下，也能够选择适当的解码方法或装置，因此能够不会发生错误地进行解码。另外，也可以将本实施方式中所述的运动图像编码方法或装置、或运动图像解码方法或装置用于上述的任何设备、系统。
(实施方式4)
上述各实施方式中所述的运动图像编码方法以及装置、运动图像解码方法以及装置典型而言通过作为集成电路的LSI而实现。作为一例，图37中示出单芯片化的LSIex500的结构。LSIex500具备以下说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素经由总线ex510连接。电源电路部ex505在电源为接通状态的情况下对各部供给电力，由此启动成为能够工作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/O ex509从麦克风ex117和/或拍摄装置(camera)ex113等输入AV信号。所输入的AV信号暂时存储在SDRAM等外部的存储器ex511中。基于控制部ex501的控制，根据处理量和/或处理速度将所存储的数据适当分多次地发送给信号处理部ex507，在信号处理部ex507中进行声音信号的编码和/或影像信号的编码。在此，影像信号的编码处理是上述各实施方式中说明的编码处理。在信号处理部ex507中，进一步，根据情况来进行对编码后的声音数据和编码后的影像数据进行复用化等的处理，从流I/Oex506输出到外部。该输出的复用化数据被发送到基站ex107、或被写入到记录介质ex215。此外，在进行复用化时为了同步而暂时将数据存储于缓冲器ex508即可。
此外，在上述中，存储器ex511作为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部的结构。缓冲器ex508也不限于一个，也可以具备多个缓冲器(缓存器)。另外，LSIex500既可以被单芯片化，也可以被多芯片化。
另外，在上述中，设为了控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构不限于该结构。例如，信号处理部ex507也可以是还具备CPU的结构。通过在信号处理部ex507的内部也设置CPU，能够进一步提高处理速度。另外，作为另一例，也可以是CPUex502具备信号处理部ex507或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这种情况下，控制部ex501成为具备信号处理部ex507或具有其一部分的CPUex502的结构。
此外，在此设为了LSI，但根据集成度的不同，有时也被称为IC、系统LSI、超LSI、超大LSI。
另外，集成电路化的方法不限于LSI，也可以通过专用电路或者通用处理器来实现。也可以在LSI制造后利用能够编程的FPGA(Field Programmable Gate Array；现场可编程门阵列)或可以对LSI内部的电路单元的连接和/或设定进行重构的可重构处理器(reconfigurable processor)。典型而言，这样的可编程逻辑器件通过装载或从存储器等读取软件或构成固件的程序，能够执行上述各实施方式中示出的运动图像编码方法或者运动图像解码方法。
进而，如果根据半导体技术的发展或者派生的其他技术而出现能够替代LSI的集成电路化的技术，当然也可以利用该技术进行功能块的集成化。也可能会存在应用生物技术的可能性。
(实施方式5)
在对通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据进行解码的情况下，与对遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据进行解码的情况相比，认为处理量增加。因此，在LSIex500中，需要设定为比对遵循以往标准的影像数据进行解码时的CPUex502的驱动频率高的驱动频率。但是，产生如下问题：若提高驱动频率，则功耗变高。
为了解决该问题，电视机ex300、LSIex500等运动图像解码装置，设为识别影像数据是遵循哪个标准的影像数据、并根据标准来切换驱动频率的结构。图38示出了本实施方式中的结构ex800。驱动频率切换部ex803在影像数据是通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据的情况下，将驱动频率设定为高。并且，对执行上述各实施方式中所述的运动图像解码方法的解码处理部ex801进行指示，使得对影像数据进行解码。另一方面，在影像数据是遵循以往标准的影像数据的情况下，将驱动频率设定为比影像数据是通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据的情况下的驱动频率低。并且，对遵循以往标准的解码处理部ex802进行指示，使得对影像数据进行解码。
更具体而言，驱动频率切换部ex803包括图37的CPUex502和驱动频率控制部ex512。另外，执行上述各实施方式中所述的运动图像解码方法的解码处理部ex801以及遵循以往标准的解码处理部ex802相当于图37的信号处理部ex507。CPUex502识别影像数据是遵循哪个标准的影像数据。并且，驱动频率控制部ex512基于来自CPUex502的信号来设定驱动频率。另外，信号处理部ex507基于来自CPUex502的信号来进行影像数据的解码。在此，对于影像数据的识别，例如考虑利用实施方式3中记载的识别信息。关于识别信息，不限于实施方式3中记载的识别信息，只要是能够识别影像数据遵循哪个标准的信息即可。例如，在基于用于识别影像数据是电视机所利用的影像数据、还是盘所利用的影像数据等的外部信号，能够识别影像数据是遵循哪个标准的影像数据的情况下，也可以基于这样的外部信号来进行识别。另外，CPUex502中的驱动频率的选择例如考虑基于图40那样的使影像数据的标准与驱动频率相关联的查找表来进行。将查找表预先保存于缓冲器ex508和/或LSI的内部存储器，CPUex502参照该查找表，由此能够选择驱动频率。
图39示出了实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中从复用化数据取得识别信息。接着，在步骤exS201中，在CPUex502中基于识别信息来识别影像数据是否为通过上述各实施方式中所述的编码方法或装置生成的影像数据。在影像数据是通过上述各实施方式中所述的编码方法或装置生成的影像数据的情况下，在步骤exS202中，CPUex502将用于将驱动频率被设定为高的信号发送到驱动频率控制部ex512。并且，在驱动频率控制部ex512中设定高的驱动频率。另一方面，在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，在步骤exS203中，CPUex502将用于将驱动频率设定为低的信号发送到驱动频率控制部ex512。并且，在驱动频率控制部ex512中，将驱动频率设定为比影像数据是通过上述各实施方式中所述的编码方法或装置生成的影像数据的情况下的驱动频率低。
进而，通过与驱动频率的切换联动地变更对包含LSIex500或LSIex500的装置施加的电压，能够进一步提高省电效果。例如，在将驱动频率设定为低的情况下，与之相伴地，考虑将对包含LSIex500或LSIex500的装置施加的电压设定为比将驱动频率设定为高的情况下的该电压低。
另外，驱动频率的设定方法中，在解码时的处理量大的情况下将驱动频率设定为高，在解码时的处理量小的情况下将驱动频率设定为低即可，不限于上述的设定方法。例如，在对遵循MPEG4-AVC标准的影像数据进行解码的处理量比对通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据进行解码的处理量大的情况下，考虑使驱动频率的设定与上述的情况相反。
进而，驱动频率的设定方法不限于使驱动频率降低的结构。例如，也考虑在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据的情况下，将对包含LSIex500或LSIex500的装置施加的电压设定为高，在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，将对包含LSIex500或LSIex500的装置施加的电压设定为低。另外，作为另一例，也考虑在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，而在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，由于处理有余裕，因此使CPUex502的驱动暂时停止。也考虑即使在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或装置生成的影像数据的情况下，如果处理有余裕，则也使CPUex502的驱动暂时停止。该情况下，考虑将停止时间设定为比表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下的停止时间短。
如此，通过根据影像数据所遵循的标准来切换驱动频率，能够实现省电化。另外，在使用电池来驱动包含LSIex500或LSIex500的装置的情况下，伴随省电化，能够使电池的寿命延长。
(实施方式6)
电视机、便携电话等上述的设备和系统有时被输入遵循不同标准的多个影像数据。如此，为了使得在被输入遵循不同标准的多个影像数据的情况下也能够进行解码，需要使LSIex500的信号处理部ex507支持多个标准。但是会产生如下问题：若单独地使用支持各个标准的信号处理部ex507，则LSIex500的电路规模变大，另外，成本会增加。
为了解决该问题，设为如下结构：使用于执行上述各实施方式中所述的运动图像解码方法的解码处理部和遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的解码处理部在一部分上共用。将该构成例示出在图41A的ex900中。例如，对于上述各实施方式中所述的运动图像解码方法和遵循MPEG4-AVC标准的运动图像解码方法，在熵编码、逆量化、去块滤波(deblocking filter)、运动补偿等的处理中，处理内容的一部分是共同的。可考虑如下结构：关于共用的处理内容，共用支持MPEG4-AVC标准的解码处理部ex902，关于不支持MPEG4-AVC标准的本发明的一个技术方案所特有的其他处理内容，使用专用的解码处理部ex901。关于解码处理部的共用化，也可以是如下结构：关于共同的处理内容，共用用于执行上述各实施方式中所述的运动图像解码方法的解码处理部，关于MPEG4-AVC标准所特有的处理内容，使用专用的解码处理部。
另外，将使处理一部分共用的另一例示出在图41B的ex1000中。在该例中，设为如下结构：使用与本发明的一个技术方案所特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、以及与本发明的一个技术方案涉及运动图像解码方法和其他的以往标准的运动图像解码方法共同的处理内容对应的共用的解码处理部ex1003。在此，专用的解码处理部ex1001、ex1002不一定专用于本发明的一个技术方案或其他的以往标准所特有的处理内容，也可以是能够执行其他的通用处理的单元。另外，也可以在LSIex500中安装本实施方式的结构。
如此，通过针对在本发明的一个技术方案涉及的运动图像解码方法和以往的标准的运动图像解码方法中共同的处理内容，共用解码处理部，能够减小LSI的电路规模并降低成本。
产业上的可利用性
本发明涉及的编码方法以及解码方法可获得能够提高编码效率这一效果，例如能够利用于电视机、数码视频记录器、车载导航、便携电话、数码相机、数码摄像机等信息显示设备或拍摄设备。
标号说明
100编码装置；101转换部；102量化部；103逆量化部；104逆转换部；105块存储器；106图画存储器；107帧内预测部；108帧间预测部；109熵编码部；110减法器；111加法器；130控制部；131运动向量预测部；136写入部；200解码装置；201熵解码部；202逆量化部；203逆转换部；204块存储器；205图画存储器；206帧内预测部；207帧间预测部；210运动向量预测部；212控制部；213解读部；215加法器。

Claims (16)

1.一种编码方法，按块对运动图像进行编码，所述编码方法包括：
从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；
使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；
通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行编码；
将解码端运动向量导出参数写入包含编码后的所述对象块的比特流，所述解码端运动向量导出参数表示是否在解码器中使导出运动向量的功能即解码端运动向量导出功能有效。
2.根据权利要求1所述的编码方法，
所述编码方法还包括：识别相对于对象块预先定义的所述N个邻近模板，
在所述邻近模板的选择中，从所识别出的所述N个邻近模板中选择所述邻近模板，
在所述解码端运动向量导出参数的写入中，作为表示使所述解码端运动向量导出功能有效的所述解码端运动向量导出参数，写入用于识别所选择出的所述邻近模板的识别参数。
3.根据权利要求1所述的编码方法，
所述编码方法还包括：
决定是使用多个子集中的某个子集、还是不使用任何子集，所述多个子集分别由小于N个的多个邻近模板构成；
将扩展参数写入所述比特流，所述扩展参数将所述子集的决定结果表示为值，
在所述邻近模板的选择中，
(a)在所述扩展参数表示预先确定的值的情况下，
从所述多个子集中确定与所述扩展参数相应的子集，
从所述N个邻近模板中的包含在所确定出的所述子集中的M个邻近模板中选择一个邻近模板，所述M为2以上且小于N的整数；
(b)在所述扩展参数不表示预先确定的值的情况下，
从所述N个邻近模板中选择一个邻近模板。
4.根据权利要求1所述的编码方法，
所述编码方法还包括：决定是否自适应地变更邻近模板，
在所述解码端运动向量导出参数的写入中，写入将是否进行所述变更的决定结果表示为值的参数来作为所述解码端运动向量导出参数，
在所述邻近模板的选择中，在所述解码端运动向量导出参数表示预先确定的值的情况下，在所述对象块的编码时，根据在该对象块的周边所生成的重构图像的区域，从所述N个邻近模板中选择一个邻近模板。
5.根据权利要求2或3所述的编码方法，
在所述邻近模板的选择中，
对所述N个邻近模板中的成为候选的多个邻近模板分别决定优先级，
从所述成为候选的多个邻近模板中的、在所述对象块的编码时生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中，选择优先级最高的邻近模板。
6.根据权利要求2或3所述的编码方法，
在所述邻近模板的选择中，
对所述N个邻近模板中的成为候选的多个邻近模板，分别算出由对该邻近模板导出的运动向量表示的图像与该邻近模板的图像之间的形变的程度来作为形变值，
从所述成为候选的多个邻近模板中选择形变值最小的邻近模板。
7.根据权利要求1所述的编码方法，
在所述解码端运动向量导出参数的写入中，根据是否比预先确定的阈值大，写入表示是否使所述解码端运动向量导出功能有效的值来作为所述解码端运动向量导出参数。
8.一种解码方法，按块对表示编码后的运动图像的比特流进行解码，所述解码方法包括：
从所述比特流中解读解码端运动向量导出参数，所述解码端运动向量导出参数表示是否在解码器中使导出运动向量的功能即解码端运动向量导出功能有效；
基于所解读出的所述解码端运动向量导出参数，执行从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；
使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；
通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行解码。
9.根据权利要求8所述的解码方法，
所述解码方法还包括：识别相对于对象块预先定义的所述N个邻近模板，
在所述解码端运动向量导出参数的解读中，作为表示使所述解码端运动向量导出功能有效的所述解码端运动向量导出参数，解读用于识别应选择的邻近模板的识别参数，
在所述邻近模板的选择中，从所识别出的所述N个邻近模板中选择与所述识别参数相应的所述邻近模板。
10.根据权利要求8所述的解码方法，
所述解码方法还包括：从所述比特流中解读扩展参数，所述扩展参数将是使用多个子集中的某个子集、还是不使用任何子集表示为值，所述多个子集分别由小于N个的多个邻近模板构成，
在所述邻近模板的选择中，
(a)在所述扩展参数表示预先确定的值的情况下，
从所述多个子集中确定与所述扩展参数相应的子集，
从所述N个邻近模板中的包含在所确定出的所述子集中的M个邻近模板中选择一个邻近模板，所述M为2以上且小于N的整数；
(b)在所述扩展参数不表示预先确定的值的情况下，
从所述N个邻近模板中选择一个邻近模板。
11.根据权利要求8所述的解码方法，
在所述解码端运动向量导出参数的解读中，解读将是否自适应地变更邻近模板表示为值的参数来作为所述解码端运动向量导出参数，
在所述邻近模板的选择中，在所述解码端运动向量导出参数表示预先确定的值的情况下，在所述对象块的解码时，根据在该对象块的周边所生成的重构图像的区域，从所述N个邻近模板中选择一个邻近模板。
12.根据权利要求10所述的解码方法，
在所述邻近模板的选择中，
对所述N个邻近模板中的成为候选的多个邻近模板分别决定优先级，
从所述成为候选的多个邻近模板中的、在所述对象块的解码时生成由该邻近模板表示的区域内的全部重构图像的至少一个邻近模板中，选择优先级最高的邻近模板。
13.根据权利要求10所述的解码方法，
在所述邻近模板的选择中，
对所述N个邻近模板中的成为候选的多个邻近模板，分别算出由对该邻近模板导出的运动向量表示的图像与该邻近模板的图像之间的形变的程度来作为形变值，
从所述成为候选的多个邻近模板中选择形变值最小的邻近模板。
14.根据权利要求8所述的解码方法，
在所述解码端运动向量导出参数的解读中，根据是否比预先确定的阈值大，解读表示是否使所述解码端运动向量导出功能有效的值来作为所述解码端运动向量导出参数。
15.一种编码装置，按块对运动图像进行编码，所述编码装置具备：
选择部，其从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；
导出部，其使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；
编码部，其通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行编码；以及
写入部，其将解码端运动向量导出参数写入包含编码后的所述对象块的比特流，所述解码端运动向量导出参数表示是否在解码器中使导出运动向量的功能即解码端运动向量导出功能有效。
16.一种解码装置，按块对表示编码后的运动图像的比特流进行解码，所述解码装置具备：
解读部，其从所述比特流中解读解码端运动向量导出参数，所述解码端运动向量导出参数表示是否使导出运动向量的功能即解码端运动向量导出功能有效；
选择部，其基于所解读出的所述解码端运动向量导出参数，执行从相对于对象块预先定义的N个邻近模板中选择一个邻近模板，所述N个邻近模板表示在空间上与所述对象块邻近的互不相同的区域，所述N为2以上的整数；
导出部，其使用由所选择出的所述邻近模板表示的区域中的重构图像和与包含所述对象块的图画不同的参照图画来导出运动向量；以及
解码部，其通过使用所导出的所述运动向量来对所述对象块进行运动补偿，从而对所述对象块进行解码。
CN201580014731.4A 2014-04-28 2015-04-17 编码方法、解码方法、编码装置以及解码装置 Pending CN106105196A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014093071 2014-04-28
JP2014-093071 2014-04-28
US201462003582P 2014-05-28 2014-05-28
US62/003,582 2014-05-28
JP2015-021590 2015-02-05
JP2015021590 2015-02-05
PCT/JP2015/002110 WO2015166639A1 (ja) 2014-04-28 2015-04-17 符号化方法、復号方法、符号化装置および復号装置

Publications (1)

Publication Number Publication Date
CN106105196A true CN106105196A (zh) 2016-11-09

Family

ID=54358385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580014731.4A Pending CN106105196A (zh) 2014-04-28 2015-04-17 编码方法、解码方法、编码装置以及解码装置

Country Status (5)

Country Link
US (1) US20160345011A1 (zh)
EP (1) EP3139605A4 (zh)
JP (1) JPWO2015166639A1 (zh)
CN (1) CN106105196A (zh)
WO (1) WO2015166639A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454643A (zh) * 2016-12-03 2017-02-22 邯郸学院 一种补偿频率可调的音频播放器
CN107483867A (zh) * 2017-08-22 2017-12-15 广州波视信息科技股份有限公司 一种tico格式4k/8k解码器及其实现方法
WO2019153861A1 (zh) * 2018-02-06 2019-08-15 华为技术有限公司 一种双向帧间预测方法及装置
CN110431842A (zh) * 2017-03-22 2019-11-08 高通股份有限公司 解码器侧运动向量导出
CN110582000A (zh) * 2018-06-07 2019-12-17 北京字节跳动网络技术有限公司 改进的模式匹配的运动矢量推导
CN111133759A (zh) * 2017-06-30 2020-05-08 佳能株式会社 存储器访问减少的fruc模式下编码或解码视频数据的方法和装置
CN111903133A (zh) * 2018-02-15 2020-11-06 艾锐势有限责任公司 用于模板匹配的可变模板尺寸
CN111971962A (zh) * 2017-11-02 2020-11-20 联发科技股份有限公司 视频编解码装置和方法
CN112703730A (zh) * 2018-09-14 2021-04-23 腾讯美国有限责任公司 视频编解码的方法和设备
US11363290B2 (en) 2018-07-02 2022-06-14 Beijing Bytedance Network Technology Co., Ltd. Block size restrictions for DMVR
US12126825B2 (en) 2023-06-27 2024-10-22 Beijing Bytedance Network Technology Co., Ltd. Block size restrictions for DMVR

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
GB2564133B (en) * 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
JP2019041165A (ja) 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
WO2019107916A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
US11265551B2 (en) * 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US11647222B2 (en) 2018-06-18 2023-05-09 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
WO2020005002A1 (ko) * 2018-06-28 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 템플릿 영역 도출 방법 및 장치
US10911768B2 (en) * 2018-07-11 2021-02-02 Tencent America LLC Constraint for template matching in decoder side motion derivation and refinement
WO2020084462A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
JP6867611B2 (ja) * 2019-03-11 2021-04-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
WO2021008470A1 (en) * 2019-07-12 2021-01-21 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
WO2024148106A2 (en) * 2023-01-04 2024-07-11 Qualcomm Incorporated Multiple modes and multiple templates for template matching related video coding tools

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1919223A4 (en) * 2005-07-05 2011-06-15 Ntt Docomo Inc DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE ENCODING AND DYNAMIC IMAGE DECODING DEVICE, METHOD, AND PROGRAM
WO2011071514A3 (en) * 2009-12-08 2011-08-25 Thomson Licensing Methods and apparatus for adaptive template matching prediction for video encoding and decoding
CN102318346A (zh) * 2009-02-20 2012-01-11 索尼公司 图像处理设备和方法
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1919223A4 (en) * 2005-07-05 2011-06-15 Ntt Docomo Inc DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE ENCODING AND DYNAMIC IMAGE DECODING DEVICE, METHOD, AND PROGRAM
CN102318346A (zh) * 2009-02-20 2012-01-11 索尼公司 图像处理设备和方法
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
WO2011071514A3 (en) * 2009-12-08 2011-08-25 Thomson Licensing Methods and apparatus for adaptive template matching prediction for video encoding and decoding

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454643A (zh) * 2016-12-03 2017-02-22 邯郸学院 一种补偿频率可调的音频播放器
CN110431842A (zh) * 2017-03-22 2019-11-08 高通股份有限公司 解码器侧运动向量导出
CN110431842B (zh) * 2017-03-22 2021-06-18 高通股份有限公司 解码器侧运动向量导出
US11202076B2 (en) 2017-06-30 2021-12-14 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding video data in FRUC mode with reduced memory accesses
CN111133759B (zh) * 2017-06-30 2022-06-24 佳能株式会社 编码或解码视频数据的方法和装置
CN111133759A (zh) * 2017-06-30 2020-05-08 佳能株式会社 存储器访问减少的fruc模式下编码或解码视频数据的方法和装置
CN107483867A (zh) * 2017-08-22 2017-12-15 广州波视信息科技股份有限公司 一种tico格式4k/8k解码器及其实现方法
CN111971962A (zh) * 2017-11-02 2020-11-20 联发科技股份有限公司 视频编解码装置和方法
WO2019153861A1 (zh) * 2018-02-06 2019-08-15 华为技术有限公司 一种双向帧间预测方法及装置
CN111903133A (zh) * 2018-02-15 2020-11-06 艾锐势有限责任公司 用于模板匹配的可变模板尺寸
CN110582000B (zh) * 2018-06-07 2022-03-25 北京字节跳动网络技术有限公司 改进的模式匹配的运动矢量推导
US11159816B2 (en) 2018-06-07 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Partial cost calculation
CN110582000A (zh) * 2018-06-07 2019-12-17 北京字节跳动网络技术有限公司 改进的模式匹配的运动矢量推导
US12075084B2 (en) 2018-06-07 2024-08-27 Beijing Bytedance Network Technology Co., Ltd Partial cost calculation
US11363290B2 (en) 2018-07-02 2022-06-14 Beijing Bytedance Network Technology Co., Ltd. Block size restrictions for DMVR
US11722688B2 (en) 2018-07-02 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Block size restrictions for DMVR
CN112703730A (zh) * 2018-09-14 2021-04-23 腾讯美国有限责任公司 视频编解码的方法和设备
CN112703730B (zh) * 2018-09-14 2023-04-04 腾讯美国有限责任公司 视频编解码的方法、设备和存储介质
US12126825B2 (en) 2023-06-27 2024-10-22 Beijing Bytedance Network Technology Co., Ltd. Block size restrictions for DMVR

Also Published As

Publication number Publication date
US20160345011A1 (en) 2016-11-24
EP3139605A4 (en) 2017-05-17
JPWO2015166639A1 (ja) 2017-04-20
EP3139605A1 (en) 2017-03-08
WO2015166639A1 (ja) 2015-11-05

Similar Documents

Publication Publication Date Title
CN106105196A (zh) 编码方法、解码方法、编码装置以及解码装置
CN103621092B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码和解码装置
CN103650501B (zh) 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
CN104041042B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103348679B (zh) 图像解码方法及图像解码装置
CN103688545B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103718558B (zh) 运动图像编码方法及装置、解码方法及装置和编解码装置
CN103503450B (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103348680B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置
CN103563384B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN103597830B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN102771127B (zh) 图像编码装置、图像解码装置、图像编码方法及图像解码方法
CN103843349B (zh) 用于使用周期性缓冲器描述对视频进行编码和解码的方法和装置
CN103650498B (zh) 运动图像解码方法及运动图像解码装置
CN103202020B (zh) 动态图像解码方法以及动态图像解码装置
CN106851269A (zh) 图像解码方法及装置、图像编码方法及装置、编解码装置
CN104094604A (zh) 使用时间运动矢量预测对视频进行编码和解码的方法和装置
CN103119944A (zh) 用于使用色彩平面间预测对视频进行编码和解码的方法和装置
CN107197284A (zh) 图像编码解码装置
CN103828373A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN107770556A (zh) 解码方法、解码装置以及编码方法、编码装置
CN103650508B (zh) 影像编码方法及影像编码装置
CN103069804B (zh) 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置
CN105284110A (zh) 图像编码方法及图像编码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109