CN107426575B - 影像编码方法、装置及影像解码方法、装置 - Google Patents

影像编码方法、装置及影像解码方法、装置 Download PDF

Info

Publication number
CN107426575B
CN107426575B CN201710789640.9A CN201710789640A CN107426575B CN 107426575 B CN107426575 B CN 107426575B CN 201710789640 A CN201710789640 A CN 201710789640A CN 107426575 B CN107426575 B CN 107426575B
Authority
CN
China
Prior art keywords
picture
unit
key
pictures
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710789640.9A
Other languages
English (en)
Other versions
CN107426575A (zh
Inventor
袁明亮
林宗顺
乃苏孟德
西孝启
柴原阳司
笹井寿郎
杉尾敏康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Publication of CN107426575A publication Critical patent/CN107426575A/zh
Application granted granted Critical
Publication of CN107426575B publication Critical patent/CN107426575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种使用多个参照图片的影像编码方法，包括：在进行影像编码时选择是否使用耐性图片参照方案的步骤(300)；将表示所述选择的参数写入编码影像比特流的头中的步骤(302)；采用使用所述选择的结果的图片间预测对图片进行编码的步骤(304)。

Description

影像编码方法、装置及影像解码方法、装置
本申请是申请日为2012年2月16日、申请号为201280007704.0、名称为“影像编码方法及影像解码方法”的中国专利申请的分案申请。
技术领域
本发明涉及多媒体数据编码、尤其是使用超过一个的参照图片(picture)进行图片间预测的影像编码方法及影像解码方法。
背景技术
MPEG－4AVC/H.264(非专利文献1)及下一代的HEC(High－Efficiency VideoCoding：高效视频编码)等最新的影像编码方式，对应于使用来自超过一个的参照图片的运动补偿预测的图片间预测。在具有超过一个的参照图片的情况下，生成图片间预测用的一个以上的参照图片的列表，在时间上接近对象图片的参照图片被按照规定的方式从列表的开头重新排序。按照参照图片列表的从上到下的顺序，利用具有增量值的参照指数唯一地确定参照图片。
随着诸如目前研发中的HEVC影像编码标准的近年来的发展，在构造、实验及评价的作业中采用分层编码构造。分层编码构造具有编码效率及画质提高的优点。在分层编码构造中，图片被按照时间等级(temporal level)进行配置，其中最低的层次是最低的帧速率，在包含其后续的较高的层次(时间等级为1或者2)的情况下，表示包含更高的帧速率。分层编码构造的示例如图1和图2所示。(例如，通过减少适用的量化)通过在质量比高时间等级的图片好的较低时间等级中对图片进行编码，能够得到某个一定量的编码增益。在HEVC中，时间等级利用位于图片的编码切片(slice)的NAL(Network Abstraction Layer：网络提取层)单元的开头的语法参数temporal_id进行表示。
时间等级被用来实现编码影像比特流的时间可扩展性(temporal scalability)的特征。对于对象图片，通过以仅参照时间等级与该对象图片相同或比其低的参照图片的方式限制图片的参照，能够将图片的参照从较高时间等级(较高的帧速率)切换为较低时间等级(较低的帧速率)。另一方面，通过使用时间嵌套方案(nesting scheme)能够实现从较低时间等级切换为较高时间等级，但是在具有较低时间等级的图片被按照编码顺序进行解码的情况下，不能将具有较高时间等级的参照图片用于该时间等级以上的图片的预测。
现有技术文献
专利文献
非专利文献1：ITU－T H.264 03/2010
发明概要
发明要解决的问题
在如具有包含误差在内的损失的发送那样存在编码及解码处理间的不一致的情况下，通过图片间预测，该误差如图1(a)所示传播到许多图片中。在该图中，误差产生于图片B2(数字2表示输出顺序)。图片B2在图片B3和图片B6的图片间预测处理中被用作参照图片，因而误差也传播到图片B3和图片B6中。然后，如果将图片B3和图片B6用作参照图片，该误差进一步传播。这种误差的传播在经由公共网络的低延迟影像发送等特定的用途中成为重要问题。
通常，通过对如上所述的与时间等级对应的各个图片设定不同的质量等级，主观性及客观性结果整体提高。该现有技术的问题是在时间上非常远的低质量的参照图片，通常其有用性比在时间上非常远的高质量的参照图片低。因此，如果将在时间上非常远的低质量的参照图片包含在参照图片的列表中，将不能得到最佳的编码效率。这是因为与在时间上非常远的高质量的参照图片对应的参照指数需要更多的信令比特。
通过采用现有技术的时间嵌套，何时都能进行从较低时间等级向较高时间等级的切换。但是，在这种方式中，由于是非常受制约的参照构造，因而多少产生编码效率的损失。
发明内容
用于解决问题的手段
为了解决上述问题，本发明提出了耐性图片参照方案的新方法。利用该新方法，图片间预测的效率及误差耐性均得到提高，并且在时间可扩展的编码影像比特流中能够提供从低帧速率向高帧速率的切换点。
本发明的新观点是通过定义在图片间预测中用于限制图片参照的边界图片，当在编码处理和解码处理之间产生不一致的情况下，能够在解码处理中进行修复。另外，根据利用本发明的参照图片的列表构建用的规定的方式，能够执行有效地把用于将参照列表的顺序排序的信号的比特设为最小的分层编码构造。最后，利用本发明生成的编码影像比特流在本质上包括时间可扩展的切换点。
本发明的某个方面涉及的影像编码方法，使用一个以上的参照图片对影像中包含的对象图片进行编码，该影像编码方法包括：判定步骤，判定所述影像中包含的各图片是否是关键图片，所述关键图片为表示帧类型的参数是零的规定的帧类型；图片列表构建步骤，构建包括用于所述对象图片的有效参照图片的参照图片列表；以及编码步骤，通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片编码为比特流；在所述对象图片是时间等级的切换点的情况下，参照图片存储器中包含的全部参照图片仅包含所述关键图片。
本发明的某个方面涉及的影像编码装置，使用一个以上的参照图片对影像中包含的对象图片进行编码，该影像编码装置具备处理器和存储器，所述处理器使用所述存储器进行如下操作：判定所述影像中包含的各图片是否是关键图片，所述关键图片为表示帧类型的参数是零的规定的帧类型；构建包括用于所述对象图片的有效参照图片的参照图片列表；以及通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片编码为比特流；在所述对象图片是时间等级的切换点的情况下，参照图片存储器中包含的全部参照图片仅包含所述关键图片。
本发明的某个方面涉及的影像解码方法，使用一个以上的参照图片对将影像中包含的各图片编码而成的比特流进行解码，该影像解码方法包括：判定步骤，判定所述各图片是否是关键图片，所述关键图片为表示帧类型的参数是零的规定的帧类型；参照图片列表构建步骤，构建包括用于所述影像中包含的对象图片的有效参照图片的参照图片列表；以及解码步骤，通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片解码；在所述对象图片是时间等级的切换点的情况下，参照图片存储器中包含的全部参照图片仅包含所述关键图片。
本发明的某个方面涉及的影像解码装置，使用一个以上的参照图片对将影像中包含的各图片编码而成的比特流进行解码，该影像解码装置具备处理器和存储器，所述处理器使用所述存储器进行如下操作：判定所述各图片是否是关键图片，所述关键图片为表示帧类型的参数是零的规定的帧类型；构建包括用于所述影像中包含的对象图片的有效参照图片的参照图片列表；以及通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片解码；在所述对象图片是时间等级的切换点的情况下，参照图片存储器中包含的全部参照图片仅包含所述关键图片。
本发明的某个方面涉及的影像编码方法，使用一个以上的参照图片对影像中的对象图片进行编码，该影像编码方法包括：选择步骤，选择在进行影像编码时是否使用时间可扩展方案；类别确定步骤，使用关于所述时间可扩展方案的所述选择的结果，确定影像中的图片的类别；判定步骤，判定所述图片是否是关键图片，所述关键图片具有规定的时间等级；有效参照图片选择步骤，当所述对象图片的所述类别被确定为表示图片可以被用作时间等级的切换点的规定类别时，从参照图片存储器中的全部参照图片中，对所述对象图片选择一个以上的作为所述关键图片的有效参照图片；参照图片列表构建步骤，构建包括所述一个以上的有效参照图片中的至少一个有效参照图片的参照图片列表；以及编码步骤，使用所述参照图片列表中的所述一个以上的有效参照图片对所述对象图片进行运动预测，由此将所述对象图片编码为比特流。
本发明的另一个方面涉及的影像解码方法是使用多个参照图片的影像解码方法，包括：解析步骤，从编码影像比特流的头中解析表示在进行影像编码时是否使用耐性图片参照方案的参数；判定步骤，根据所述解析出的参数判定是否使用了所述耐性图片参照方案；以及解码步骤，在判定为使用了所述耐性图片参照方案的情况下，使用所述耐性图片参照方案进行编码影像比特流的局部解码，在判定为未使用所述耐性图片参照方案的情况下，不使用所述耐性图片参照方案而进行编码影像比特流的全部解码。
根据如上所述的各种结构，本发明提供这样的技术：在使用多个参照图片对影像进行编码及解码时，对误差进行修复并优化参照图片的选择。因此，本发明的效果是提高误差耐性和编码效率。
另外，本发明不仅能够实现为包括这种特征性步骤的影像编码方法或者影像解码方法，而且也能够实现为将影像编码方法或者影像解码方法中所包含的特征性步骤作为处理部的影像编码装置或者影像解码装置。并且，也能够实现为使计算机执行影像编码方法或者影像解码方法中所包含的特征性步骤的程序、或者用于使计算机作为影像编码装置或者影像解码装置中所包含的特征性处理部而发挥作用的程序。并且，这种程序当然能够通过CD－ROM(Compact－Disc－Read Only Memory)等计算机可读的非易失性记录介质或因特网等通信网络进行流通。
发明效果
本发明提供这样的技术：在使用多个参照图片对影像进行编码及解码时，对误差进行修复并优化参照图片的选择。因此，本发明的效果是提高误差耐性和编码效率。
附图说明
图1是表示在编码处理与解码处理产生不一致时的误差的传播的一例、以及限制误差传播的本发明的效果的图。
图2是表示在支持时间可扩展的编码影像比特流中从较低时间等级向较高时间等级的切换点的一例的图。
图3是表示使用本发明的影像编码处理的流程图。
图4是表示使用本发明的影像解码处理的流程图。
图5是表示使用本发明的影像编码装置的一例的框图。
图6是表示使用本发明的影像解码装置的一例的框图。
图7是表示用于表示是否使用耐性图片参照方案的参数在编码影像比特流的头中的位置的图。
图8是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码处理的流程图。
图9是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码处理的流程图。
图10是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第1实施方式的流程图。
图11是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第1实施方式的流程图。
图12是表示在使用本发明的耐性图片参照方案的影像编码处理及解码处理中决定用于表示图片是否是关键图片的类别的处理的第1实施方式中，表示与编码图片是否是关键图片相关的类别的标志在编码图片的编码切片的切片头中的位置的图。
图13是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第2实施方式的流程图。
图14是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第2实施方式的流程图。
图15是表示在使用本发明的耐性图片参照方案的影像编码处理及影像解码处理中决定用于表示图片是否是关键图片的类别的处理的第2实施方式中，用于确定编码图片的时间等级的参数在编码图片的编码切片的切片头中的位置的图。
图16是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第3实施方式的流程图。
图17是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第3实施方式的流程图。
图18是表示在使用本发明的耐性图片参照方案的影像编码处理及影像解码处理中决定用于表示图片是否是关键图片的类别的处理的第3实施方式中，用于确定关键图片的周期的参数在编码影像比特流的头中的位置的图。
图19是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码装置的一例的框图。
图20是表示使用本发明的耐性图片参照方案的第1实施方式的影像解码装置的一例的框图。
图21是表示使用本发明的耐性图片参照方案的第2实施方式的影像编码处理的流程图。
图22是表示使用本发明的耐性图片参照方案的第2实施方式的影像解码处理的流程图。
图23是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、构成参照图片的列表的处理的流程图。
图24是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第1实施方式的流程图。
图25是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第2实施方式的流程图。
图26是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第3实施方式的流程图。
图27是表示使用本发明的耐性图片参照方案的第2实施方式的影像编码装置的一例的框图。
图28是表示使用本发明的耐性图片参照方案的第2实施方式的影像解码装置的一例的框图。
图29是表示使用本发明的耐性图片参照方案的第3实施方式的影像编码装置的一例的框图。
图30是表示使用本发明的耐性图片参照方案的第3实施方式的影像解码装置的一例的框图。
图31是表示用于确定参照列表重新排序步骤的参数在影像编码比特流的切片头中的位置的图。
图32是实现内容分发服务的内容供给系统的整体结构图。
图33是数字广播用系统的整体结构图。
图34是表示电视机的结构例的模块图。
图35是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图36是表示作为光盘的记录介质的构造例的图。
图37A是表示便携电话的一例的图。
图37B是表示便携电话的结构例的模块图。
图38是表示复用数据的结构的图。
图39是示意地表示各流在复用数据中怎样被复用的图。
图40是更详细地表示在PES包序列中视频流怎样被保存的图。
图41是表示复用数据的TS包和源包的构造的图。
图42是表示PMT的数据结构的图。
图43是表示复用数据信息的内部结构的图。
图44是表示流属性信息的内部结构的图。
图45是表示识别影像数据的步骤的图。
图46是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。
图47是表示切换驱动频率的结构的图。
图48是表示识别影像数据、切换驱动频率的步骤的图。
图49是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图50A是表示将信号处理部的模块共用的结构的一例的图。
图50B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
下面，使用附图详细说明本发明的实施方式。另外，下面说明的实施方式均用于示出本发明的优选的一个具体示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定本发明。本发明仅利用权利要求书进行限定。因此，关于下面的实施方式的构成要素中、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素，不一定是实现本发明的课题所需要的构成要素，仅是作为构成更优选的方式的构成要素进行说明的。
本发明的某个实施方式涉及的影像编码方法，使用一个以上的参照图片对影像中的对象图片进行编码，该影像编码方法包括：选择步骤，选择在进行影像编码时是否使用时间可扩展方案；类别确定步骤，使用关于所述时间可扩展方案的所述选择的结果，确定影像中的图片的类别；判定步骤，判定所述图片是否是关键图片，所述关键图片具有规定的时间等级；有效参照图片选择步骤，当所述对象图片的所述类别被确定为表示图片可以被用作时间等级的切换点的规定类别时，从参照图片存储器中的全部参照图片中，对所述对象图片选择一个以上的作为所述关键图片的有效参照图片；参照图片列表构建步骤，构建包括所述一个以上的有效参照图片中的至少一个有效参照图片的参照图片列表；以及编码步骤，使用所述参照图片列表中的所述一个以上的有效参照图片对所述对象图片进行运动预测，由此将所述对象图片编码为比特流。
优选的是，上述影像编码方法还包括：写入步骤，将表示所述对象图片的所述类别的类别信息写入所述比特流的头中。
另外，也可以是，在所述写入步骤中，还将表示所述对象图片的时间等级的时间等级参数写入所述比特流的头中。
另外，也可以是，在所述判定步骤中，判定所述图片的时间等级参数是否为零，在所述有效参照图片选择步骤中，当具有大于零的时间等级参数的所述对象图片的类别被确定为所述规定类别时，选择一个以上的所述关键图片。
另外，也可以是，在所述写入步骤中，还将选择信息和参照信息写入所述比特流的头中，其中所述选择信息表示关于所述时间可扩展方案的所述选择的结果，所述参照信息表示在所述参照图片存储器中的所述参照图片。
另外，也可以是，所述关键图片是图片间预测的图片。
另外，也可以是，在所述有效参照图片选择步骤中，当所述对象图片的类别未被确定为所述规定类别时，选择非关键图片作为所述一个以上的有效参照图片之一。
另外，也可以是，在所述有效参照图片选择步骤中，当所述对象图片的类别未被确定为所述规定类别时，选择所述参照图片存储器中的所有参照图片作为所述一个以上的有效参照图片，所述参照图片列表构建步骤还包括：使用所述参照图片存储器中的一个以上的参照图片中的每一个参照图片与所述对象图片之间的时间上的距离，构建包括所述一个以上的参照图片的第1参照图片列表的步骤；使用所述一个以上的参照图片中的每一个参照图片与所述对象图片之间的时间上的距离和所述一个以上的参照图片中的每一个参照图片的类别，构建包括所述一个以上的有效参照图片的第2参照图片列表的步骤；以及对所述第1参照图片列表进行重新排序以使得所述第1参照图片列表与所述第2参照图片列表等效的步骤，在所述编码步骤中，使用重新排序后的第1参照图片列表，对所述对象图片进行预测。
另外，也可以是，上述影像编码方法还包括：从所述参照图片存储器中选择包含一个以上的关键图片在内的参照图片的第1组的步骤；在所述对象图片的类别未被确定为所述规定类别时，(i)识别出第1边界图片作为比所述对象图片更早显示的关键图片中具有与所述对象图片最近的时间上的实例的关键图片，(ii)识别出第2边界图片作为比所述对象图片更晚显示的关键图片中具有与所述对象图片最近的时间上的实例的关键图片的步骤；在所述第2边界图片不存在的情况下，(i)选择包含比所述第1边界图片更晚显示的非关键参照图片在内的参照图片的第2组，(ii)将所述参照图片的第2组追加在所述参照图片的第1组中的步骤；在所述第2边界图片存在的情况下，(i)选择包含比所述第1边界图片更晚显示而且比所述第2边界图片更早显示的非关键参照图片在内的参照图片的第3组，(ii)将所述参照图片的第3组追加在所述参照图片的第1组中的步骤；以及使用距所述对象图片的时间上的距离和所述类别，将所述参照图片的第1组置于按照规定的方案被排序后的参照图片列表中的步骤。
本发明的另一个实施方式涉及的影像编码装置，使用一个以上的参照图片对影像中的对象图片进行编码，该影像编码装置包括：选择单元，选择在进行影像编码时是否使用时间可扩展方案；类别确定单元，使用关于所述时间可扩展方案的所述选择的结果，确定影像中的图片的类别；判定单元，判定所述图片是否是关键图片，所述关键图片具有规定的时间等级；有效参照图片选择单元，当所述对象图片的所述类别被确定为表示图片可以被用作时间等级的切换点的规定类别时，从参照图片存储器中的全部参照图片中，对所述对象图片选择一个以上的作为所述关键图片的有效参照图片；参照图片列表构建单元，构建包括所述一个以上的有效参照图片中的至少一个有效参照图片的参照图片列表；以及编码单元，使用所述参照图片列表中的所述一个以上的有效参照图片对所述对象图片进行运动预测，由此将所述对象图片编码为比特流。
本发明的另一个实施方式涉及的影像解码方法，使用一个以上的参照图片对与对象图片相对应的比特流进行解码，该影像解码方法包括：确定步骤，确定在进行影像解码时是否使用时间可扩展方案；获取步骤，获取影像中的图片的类别，所述类别是通过使用关于所述时间可扩展方案的所述选择的结果而确定的；判定步骤，判定所述图片是否是关键图片，所述关键图片具有规定的时间等级；有效参照图片选择步骤，当所述对象图片的所述类别被确定为表示图片可以被用作时间等级的切换点的规定类别时，从参照图片存储器中的全部参照图片中，对所述对象图片选择一个以上的作为所述关键图片的有效参照图片；参照图片列表构建步骤，构建包括所述一个以上的有效参照图片中的至少一个有效参照图片的参照图片列表；以及解码步骤，使用所述参照图片列表中的所述一个以上的有效参照图片对所述对象图片进行运动预测，由此将所述对象图片解码。
另外，也可以是，上述影像解码方法还包括：类别信息获取步骤，从所述比特流的头中获取表示所述对象图片的所述类别的类别信息。
另外，也可以是，上述影像解码方法还包括：时间等级参数获取步骤，从所述比特流的头中获取表示所述对象图片的时间等级的时间等级参数。
另外，也可以是，在所述判定步骤中，判定图片的时间等级参数是否为零，在所述选择步骤中，当具有大于零的时间等级参数的所述对象图片的类别被确定为所述规定类别时，选择一个以上的所述关键图片。
另外，也可以是，上述影像解码方法还包括：选择信息和参照信息获取步骤，从所述比特流的头中获取选择信息和参照信息，其中所述选择信息表示所述时间可扩展方案是否被用于影像解码，所述参照信息表示所述参照图片存储器中的所述参照图片。
另外，也可以是，所述关键图片是图片间预测的图片。
另外，也可以是，在所述有效图片选择步骤中，当所述对象图片的类别不是所述规定类别时，选择非关键图片作为所述一个以上的有效参照图片之一。
另外，也可以是，在所述有效参照图片选择步骤中，当所述对象图片的类别不是所述规定类别时，选择所述参照图片存储器中的所有参照图片作为所述一个以上的有效参照图片，所述参照图片列表构建步骤还包括：使用所述参照图片存储器中的一个以上的参照图片中的每一个参照图片与所述对象图片之间的时间上的距离，构建包括所述一个以上的参照图片的第1参照图片列表的步骤；使用所述一个以上的参照图片中的每一个参照图片与所述对象图片之间的时间上的距离和所述一个以上的参照图片中的每一个参照图片的类别，构建包括所述一个以上的有效参照图片的第2参照图片列表的步骤；以及对所述第1参照图片列表进行重新排序以使得所述第1参照图片列表与所述第2参照图片列表等效的步骤，在所述解码步骤中，使用重新排序后的第1参照图片列表，对所述对象图片进行预测。
另外，也可以是，上述影像解码方法还包括：从所述参照图片存储器中选择包含一个以上的关键图片在内的参照图片的第1组的步骤；在所述对象图片的类别不是所述规定类别的情况下，(i)识别出第1边界图片作为比所述对象图片更早显示的关键图片中具有与所述对象图片最近的时间上的实例的关键图片，(ii)识别出第2边界图片作为比所述对象图片更晚显示的关键图片中具有与所述对象图片最近的时间上的实例的关键图片的步骤；在所述第2边界图片不存在的情况下，(i)选择包含比所述第1边界图片更晚显示的非关键参照图片在内的参照图片的第2组，(ii)将所述参照图片的第2组追加在所述参照图片的第1组中的步骤；在所述第2边界图片存在的情况下，(i)选择包含比所述第1边界图片更晚显示而且比所述第2边界图片更早显示的非关键参照图片在内的参照图片的第3组，(ii)将所述参照图片的第3组追加在所述参照图片的第1组中的步骤；以及使用距所述对象图片的时间上的距离和所述类别，将所述参照图片的第1组置于按照规定的方案被排序后的参照图片列表中的步骤。
本发明的另一实施方式涉及的影像解码装置，使用一个以上的参照图片对与对象图片相对应的比特流进行解码，该影像解码装置包括：确定单元，确定在进行影像解码时是否使用时间可扩展方案；获取单元，获取影像中的图片的类别，所述类别是通过使用关于所述时间可扩展方案的所述选择的结果而确定的；判定单元，判定所述图片是否是关键图片，所述关键图片具有规定的时间等级；有效参照图片选择单元，当所述对象图片的所述类别被确定为表示图片可以被用作时间等级的切换点的规定类别时，从参照图片存储器中的全部参照图片中，对所述对象图片选择一个以上的作为所述关键图片的有效参照图片；参照图片列表构建单元，构建包括所述一个以上的有效参照图片中的至少一个有效参照图片的参照图片列表；以及解码单元，使用所述参照图片列表中的所述一个以上的有效参照图片对所述对象图片进行运动预测，由此将所述对象图片解码。
为了公开内容的整合性，在本说明书中采用这样的惯例：即，具有时间等级最低的值(例如值“0”)和时间等级次之的较高的值(例如，值1、2和3)的最低帧速率的主要图片被附加在较低的时间等级的开头的情况，表示用于提示更高(2倍)帧速率的后续的图片的集。在HEVC、扩展H.264MVC和扩展H.264SVC等近期的影像编码方案中采用相同的惯例，但是在该方案中使用语法参数temporal_id来表示时间等级。对于本领域技术人员可以理解为基于同样的目的而采用时间等级较大的值表示较低的帧速率这种替代的惯例。
图1是表示由于传输损失等在编码处理与解码处理产生不一致时的误差的传播的一例的图。在图1(a)所示的现有技术中，误差被跨越多个图片传输，并作为眼睛能够持续看到的缺陷(artifect)有可能经常出现在重建图片中。在图中，对于受到误差的影响的图片利用斜线附加阴影示出。如图1(b)所示，在本发明中定义关键图片(key picture)，并对图片参照进行限制使其与最近的关键图片相邻，因而从位于在时间上远离所述最近的关键图片的位置的非关键图片进行的图片间预测不被允许。为了简化起见，图1示出了仅存在前方预测的低延迟编码事例。但是，对与最近的关键图片相邻的图片参照的限制适用于前方及后方这两种预测方向。使用本发明能够利用关键图片(图片B4)防止误差传播，能够没有误差地完美地重建其后续的图片(图片B5、B6、B7等)。
图2是表示在时间可扩展(temporal scalable)的影像比特流中从较低时间等级向较高时间等级的切换点的生成的本发明的效果的示例。在现有技术中，如图2(a)所示，在时间嵌套为无效(disable)时，不支持从较低时间等级向较高时间等级的切换。例如，向最高帧速率(相当于时间等级2)的切换不能在图片B5中实施，因为在对图片B5进行解码时需要图片B1和图片B3。
如图2(b)所示，在现有技术中，在时间嵌套为有效(enable)时，在任何时刻(利用斜线的阴影示出的图片)都能够进行从较低时间等级向较高时间等级的切换。例如，在图片B5中能够进行向时间等级2的切换，这是因为图片B5仅根据图片I0和图片B4进行预测。但是，在时间嵌套为有效(enable)时，图片参照被极端限制，具有对编码效率带来损失的趋势。另一方面，在实际适用时间可扩展的编码时，也许不需要使哪个图片都具有切换点。
如上所述，根据本发明以使与关键图片相邻的方式来限制图片参照。其结果是，关键图片所附带的各时间等级的第1图片能够用作切换点。例如，图片B2是针对时间等级1的有效切换点，图片B1是针对时间等级2的有效切换点。任意时间等级的下一个图片(例如时间等级2的图片B3)不能用作切换点。但是，对于针对这些下一个图片的图片参照的限制较低(例如，对于图片B11允许将图片B9用作预测参照)，因而能够进行更有效的编码。因此，本发明实现时间可扩展特性和编码效率间的实际平衡。
图3是表示使用本发明的影像编码处理的流程图。另外，在本说明书中说明的模块是指软件模块或者硬件模块。模块300选择是否使用耐性图片参照方案。模块302将表示所述选择的参数写入编码影像比特流的头中。然后，模块304采用使用所述选择的结果的图片间预测对图片进行编码。在使用所述耐性图片参照方案的情况下，按照上述的以与关键图片相邻的方式来限制图片参照的方法执行参照图片选择处理和排序处理。下面，在本说明书中详细说明所述耐性图片参照方案的实施方式。
图4是表示使用本发明的影像解码处理的流程图。模块400从编码影像比特流的头中解析表示是否使用耐性图片参照方案的参数。然后，模块402判定是否使用耐性图片参照方案。
在使用所述耐性图片参照方案的情况下，模块404使用所述耐性图片参照方案对编码影像比特流实施局部解码。在所述局部解码中，按照与编码处理相同的方法来使用耐性图片参照方案。在所述局部解码中，在不会影响到其它编码图片的解码处理的情况下，几个编码图片的解码处理被省略。
在不使用所述耐性图片参照方案的情况下，模块406不使用所述耐性图片参照方案而进行编码影像比特流的全部解码。
图5是表示使用本发明的影像编码装置的一例的框图。本装置具有参照方案选择部500、编码部502、写入部504和存储器部506。
如图5所示，参照方案选择部500选择是否使用耐性图片参照方案。编码部502使用参照方案选择部500的选择结果即方案选择D501和在存储器部506中保存的参照图片D511，并采用图片间预测对未被压缩的原始图像D503进行编码，其结果是能够得到编码图片数据D505和参照图片数据D507。写入部504获取所述编码图片数据D505和所述方案选择D501，生成编码影像比特流D509。所述参照图片数据D507由所述原始图像D503的被重建的采样(sample)构成，并保存在存储器部506中。在使用耐性图片参照方案的第1实施方式的本发明的一个可能的实施例中，所述参照图片数据D507还具有图片标记信号，用于对在存储器部506中保存的参照图片进行被用于参照用或者不被用于参照用的标记。
图6是表示使用本发明的影像解码装置的一例的框图。本装置具有解析部600、第1开关部602、第1解码部604、第2解码部606、第2开关部608和存储器部601。
如图所示，解析部600解析编码影像比特流D601的头，并取得表示是否使用耐性图片参照方案的选择的参数D603。根据解析出的所述参数D603，开关部602向第1解码部604或者第2解码部606中某一方发送编码影像比特流D601。
如果使用在存储器部506中保存的参照图片D615，则所述第1解码部604使用所述耐性图片参照方案进行编码影像比特流D605的局部解码。在所述局部解码中，在不会影响到其它编码图片的解码处理的情况下，几个编码图片的解码处理被省略。在使用耐性图片参照方案的第1实施方式的本发明的一个可能的实施例中，所述第1解码部604发送图片标记信号，用于对在存储器部610中保存的参照图片进行被用于参照用或者不被用于参照用的标记。
另一方面，使用在存储器部610中保存的参照图片D615，所述第2解码部606在不使用所述耐性图片参照方案的情况下进行编码影像比特流D609的全部解码。根据解析出的所述参数603，第2开关部608将来自第1解码部604的重建图片D607或者来自第2解码部606的重建图片D611，作为解码处理的输出D613进行发送。作为解码处理的输出D613的重建图片被保存在存储器部610中，在下一个编码图片的图片间预测解码处理中使用。
图7是表示用于表示是否使用耐性图片参照方案的参数在编码影像比特流的头中的位置的图。作为参数的一例有表示使用所述耐性图片参照方案的值1的标志(flag)和表示不使用所述耐性图片参照方案的值0的标志。图7(a)表示所述参数在压缩影像比特流的序列头中的位置。图7(b)表示所述参数在压缩影像比特流的图片头中的位置。图7(c)表示所述参数在压缩影像比特流的切片头中的位置。图7(d)表示根据位于压缩影像比特流的序列头中的规范(profile)参数、等级参数、或者规范和等级两个参数，从规定的查找表(lookup table)生成所述参数。
图8是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码处理的流程图。模块800决定表示图片是否是关键图片的类别。下面，详细说明表示图片是否是关键图片的所述类别的实施方式。模块802判定对象图片是否是关键图片。在对象图片是关键图片的情况下，模块804对在图片存储器中保存的非关键参照图片进行不被用作参照用的标记。
然后，无论对象图片是否是关键图片，在模块804中都使用被标记为被用作参照用的参照图片(被标记为不被用作参照用的参照图片以外的参照图片)对图像采样的块执行运动估计(motion estimation)处理，在模块808中都使用被标记为被用作参照用的参照图片对图像采样的所述块执行运动预测(motion prediction)处理。
图9是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码处理的流程图。模块900决定表示图片是否是关键图片的类别。模块902判定对象图片是否是关键图片。在对象图片是关键图片的情况下，模块904对在图片存储器中保存的非关键参照图片进行不被用作参照用的标记。
然后，无论对象图片是否是关键图片，在模块906中都使用被标记为被用作参照用的参照图片(被标记为不被用作参照用的参照图片以外的参照图片)对图像采样的块执行运动预测处理。
图10是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第1实施方式的流程图。模块1000将表示与所述编码图片是否是关键图片相关的类别的标志写入编码图片的编码切片的切片头中。
图11是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第1实施方式的流程图。模块1100从编码图片的编码切片的切片头中解析表示与所述编码图片是否是关键图片相关的类别的标志。
图12是表示在使用本发明的耐性图片参照方案的影像编码处理及解码处理中决定用于表示图片是否是关键图片的类别的处理的第1实施方式中，表示与编码图片是否是关键图片相关的类别的标志在编码图片的编码切片的切片头中的位置的图。在编码影像比特流中，利用一个以上的切片网络提取层单元(NALU)表示编码图片。表示图片的所述类别的所述标志位于切片NALU的NALU头(header)。
图13是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第2实施方式的流程图。首先，模块1300将参数写入编码图片的编码切片的切片头中，并确定所述编码图片的时间等级。作为用于确定时间等级的所述参数的示例，有HEVC影像编码方案的语法参数temporal_id。模块1302判定所述参数是否具有与规定的值相等的值。作为所述规定值的示例有表示与最低的帧速率显示相当的最低的时间等级的值“0”。在所述参数值与所述规定值相等的情况下，模块1304将所述编码图片分类为关键图片。在所述参数值与所述规定值不相等的情况下，模块1306将所述编码图片分类为非关键图片。
图14是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第2实施方式的流程图。首先，模块1400从编码图片的编码切片的切片头中解析参数，并确定所述编码图片的时间等级。模块1402判定所述参数是否具有与规定的值相等的值。在所述参数值与所述规定值相等的情况下，模块1404将所述编码图片分类为关键图片。在所述参数值与所述规定值不相等的情况下，模块1406将所述编码图片分类为非关键图片。
图15是表示在使用本发明的耐性图片参照方案的影像编码处理及影像解码处理中决定用于表示图片是否是关键图片的类别的处理的第2实施方式中，用于确定编码图片的时间等级的参数在编码图片的编码切片的切片头中的位置的图。图15(a)表示用于表示编码图片的所述参数在切片NALU的NALU头的位置。图15(b)表示所述参数在压缩影像比特流的切片头中的位置。
图16是表示在使用本发明的耐性图片参照方案的影像编码处理中、决定用于表示图片是否是关键图片的类别的处理的第3实施方式的流程图。首先，模块1600将参数写入编码影像比特流的头中，并确定关键图片的周期(期间)。并且，模块1602判定图片的图片数量(在输出顺序中)是否与关键图片的所述周期的整数倍相等。在所述图片的所述图片数量与关键图片的所述周期的整数倍相等的情况下，模块1604将所述图片分类为关键图片。在所述图片的所述图片数量与关键图片的所述周期的整数倍不相等的情况下，模块1606将所述图片分类为非关键图片。作为确定关键图片的周期的所述参数值的示例，有表示每4个图片产生关键图片的值4。在这种情况下，根据输出顺序，具有图片数量为0、4、8、12等的图片被分类为关键图片，其它图片全部被分类为非关键图片。
图17是表示在使用本发明的耐性图片参照方案的影像解码处理中、决定用于表示图片是否是关键图片的类别的处理的第3实施方式的流程图。首先，模块1700从编码影像比特流的头中解析参数，并确定关键图片的周期。并且，模块1702判定编码图片的图片数量(在输出顺序中)是否与关键图片的所述周期的整数倍相等。在所述编码图片的所述图片数量与关键图片的所述周期的整数倍相等的情况下，模块1704将所述编码图片分类为关键图片。在所述图片的所述图片数量与关键图片的所述周期的整数倍不相等的情况下，模块1706将所述编码图片分类为非关键图片。
图18是表示在使用本发明的耐性图片参照方案的影像编码处理及影像解码处理中决定用于表示图片是否是关键图片的类别的处理的第3实施方式中，表示用于确定关键图片的周期的参数在编码影像比特流的头中的位置的图。图18(a)表示所述参数在压缩影像比特流的序列头中的位置。图18(b)表示所述参数在压缩影像比特流的图片头中的位置。图18(c)表示所述参数在压缩影像比特流的切片头中的位置。图18(d)表示所述参数也能够根据位于压缩影像比特流的序列头中的规范参数、等级参数、或者规范和等级这两种参数，从规定的查找表生成。
图19是表示使用本发明的耐性图片参照方案的第1实施方式的影像编码装置的一例的框图。本装置具有类别决定部1900、存储器部1902、第1开关部1904、标记部1906、第2开关部1908、列表生成部1910、运动估计部1912、运动预测部1914和写入部1916。
如图所示，运动估计部1912读出图像采样的块D1919和参照图片的一个以上的列表D1917，并输出运动矢量的集合D1921。运动预测部1914读出运动矢量的集合D1921和参照图片的列表D1917，并输出预测采样的块D1923。
类别决定部1900读出输入数据D1901并进行处理，生成表示图片是否是关键图片的类别信号D1903和输出数据D1925。输出数据D1925通过写入部1916被写入到编码影像比特流D1927中。
在使用图10公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第1实施方式的本发明的一个可能的实施例中，所述输入数据D1901是表示与所述编码图片是否是关键图片相关的类别的标志。根据该实施方式，类别决定部1900将所述标志作为双方的输出即类别信号D1903和输出数据D1925，并传递给下一个单元。
在使用图13公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第2实施方式的本发明的另一个可能的实施例中，所述输入数据D1901是编码图片的时间等级。使用编码图片的所述时间等级，类别决定部1900决定表示图片是否是关键图片的类别信号D1903并进行输出。根据该实施方式，类别决定部1900将编码图片的时间等级作为输出数据D1925发送给写入部1916。
在使用图16公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第3实施方式的本发明的又一个可能的实施例中，所述输入数据D1901有时是关键图片的周期。使用关键图片的所述周期，类别决定部1900决定表示图片是否是关键图片的类别信号D1903并进行输出。根据该实施方式，类别决定部1900将编码图片的周期作为输出数据D1925发送给写入部1916。
第1开关部1904使用类别信号D1903作为控制信号，在类别信号D1903表示非关键图片时，从存储器部1902向第2开关部1908发送参照图片D1905，在类别信号D1903表示关键图片时，从存储器部1902向标记部1906发送参照图片D1905。标记部1906检查输入参照图片D1909，然后发送标记信号D1911，存储器部1902将非关键参照图片标记为不被用作参照用，并输出被标记为在参照图片D1913中使用的参照图片。第2开关部1908根据类别信号D1903选择参照图片D1907或者参照图片D1913。列表生成部1910读出参照图片D1915，并输出参照图片的一个以上的列表D1917。
图20是表示使用本发明的耐性图片参照方案的第1实施方式的影像解码装置的一例的框图。本装置具有类别决定部2000、存储器部2002、第1开关部2004、标记部2006、第2开关部2008、列表生成部2010和运动预测部2012。
如图所示，运动预测部2012读出被解码后的运动矢量的集合D2019和参照图片的一个以上的列表D2017，并输出预测采样的块D2021。
类别决定部2000读出所解析出的输入数据D2001并进行处理，生成表示图片是否是关键图片的类别信号D2003。
在使用图11公开的、在影像解码处理中决定表示图片是否是关键图片的类别的处理的第1实施方式的本发明的一个可能的实施例中，所述被解析出的输入数据D2001是表示与所述编码图片是否是关键图片相关的类别的解析标志。根据该实施方式，类别决定部2000将所述解析标志作为类别信号D2003进行输出。
在使用图14公开的、在影像解码处理中决定表示图片是否是关键图片的类别的处理的第2实施方式的本发明的另一个可能的实施例中，所述被解析出的输入数据D2001是编码图片的时间等级。使用编码图片的所述被解析出的时间等级，类别决定部2000决定用于表示图片是否是关键图片的类别信号D2003并进行输出。
在使用图17公开的、决定表示图片是否是关键图片的类别决定处理的第3实施方式的本发明的又一个可能的实施例中，所述被解析出的输入数据D2001是关键图片的被解析出的周期。使用关键图片的所述被解析出的周期，类别决定部2000决定用于表示图片是否是关键图片的类别信号D2003并进行输出。
第1开关部2004使用类别信号D2003作为控制信号，在类别信号D2003表示非关键图片时，从存储器部2002向第2开关部2008发送参照图片D2005，在类别信号D2003表示关键图片时，从存储器部2002向标记部2006发送参照图片D2005。标记部2006检查输入参照图片D2009，然后发送标记信号D2011，存储器部2002中的非关键参照图片被标记为不被用作参照用，并输出被标记为被用作参照用的参照图片D2013。第2开关部2008根据类别信号D2003选择参照图片D2007或者参照图片D2013。列表生成部2010读出参照图片D2015，并输出参照图片的一个以上的列表D2017。
图21是表示使用本发明的耐性图片参照方案的第2实施方式的影像编码处理的流程图。模块2100决定用于表示图片是否是关键图片的类别。关于决定用于表示图片是否是关键图片的所述类别的步骤的实施方式，已在本说明书的前面的部分中进行了详细说明。模块2102使用距对象图片的时间上的距离以及表示图片是否是关键图片的所述类别，构成参照图片的列表。然后，在模块2104中使用参照图片的所述列表对图像采样的块执行运动估计处理，在模块2106中使用参照图片的所述列表对图像采样的块执行运动预测处理。
图22是表示使用本发明的耐性图片参照方案的第2实施方式的影像解码处理的流程图。模块2200决定用于表示图片是否是关键图片的类别。模块2202使用距对象图片的时间上的距离以及表示图片是否是关键图片的所述类别，构成参照图片的列表。然后，在模块2204中使用参照图片的所述列表对图像采样的块执行运动预测处理。
图23是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、构成参照图片的列表的处理的流程图。如图所示，模块2300选择由关键图片构成的参照图片的第1组。模块2302使用距对象图片的时间上的距离、生成由按照第1规定方法被排序(sort)的参照图片的所述第1组构成的参照图片的列表。然后，模块2304判定所述对象图片是否是关键图片。
在所述对象图片是关键图片的情况下，参照列表构成处理结束。或者，在所述对象图片不是关键图片的情况下，模块2306确定第1关键边界图片，作为比所述对象图片靠前而且具有与所述对象图片最近的时间上的实例(instance)的关键参照图片。然后，模块2308判定是否存在第2边界图片，另一方面，所述第2边界图片被确定为比所述对象图片靠后而且具有与所述对象图片最近的时间上的实例的关键参照图片。
根据模块2308的判定，在所述第2边界图片不存在的情况下，模块2314选择由具有比所述第1边界图片靠后的时间上的实例的非关键参照图片构成的参照图片的第2组，模块2316将参照图片的所述第2组附加在参照图片的所述列表中。
根据模块2308的判定，在所述第2边界图片存在的情况下，模块2310选择由具有比所述第1边界图片靠后的时间上的实例的非关键参照图片构成的参照图片的第3组，模块2312将参照图片的所述第3组附加在参照图片的所述列表中。
然后，无论所述第2边界图片是否存在，均由模块2318使用第2规定方案对作为其结果而得到的参照图片的列表(附加参照图片的第2组或者第3组任意一方后)进行排序，该第2规定方案使用距所述对象图片的时间上的距离和表示图片是否是关键图片的所述类别。
图24是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第1实施方式的流程图。首先，模块2400根据距所述对象图片的时间上的距离，将关键参照图片置于参照图片的列表的开头。并且，模块2402根据距所述对象图片的时间上的距离，将非关键参照图片置于所述列表的关键参照图片的后头。在第2规定排序方案的一个可能的实施例中，通过根据时间上的距离将参照图片置于所述列表中的步骤，能够得到按照距所述对象图片的时间上的距离增加的顺序而排序的参照图片。
图25是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第2实施方式的流程图。首先，模块2500选择由一个以上的关键图片构成的参照图片的第1集合。然后，模块2502选择由未包含在参照图片的所述第1集合中的参照图片构成的参照图片的第2集合。模块2504根据距所述对象图片的时间上的距离将参照图片的所述第1集合置于参照图片的列表的开头。最后，模块2506根据距所述对象图片的时间上的距离将参照图片的所述第2集合置于所述列表的参照图片的所述第1集合之后。在第2规定排序方案的一个可能的实施例中，通过根据时间上的距离将参照图片置于所述列表中的步骤，能够得到按照距所述对象图片的时间上的距离增加的顺序而排序的参照图片。
图26是表示在使用本发明的耐性图片参照方案的第2或者第3实施方式的影像编码处理及影像解码处理中、将参照图片的列表排序的处理第2规定方案的第3实施方式的流程图。无论与图片是否是关键图片相关的类别如何，模块2600都是根据距所述对象图片的时间上的距离将参照图片置于参照图片的列表中。在第2规定排序方案的一个可能的实施例中，通过根据时间上的距离将参照图片置于所述列表中的步骤，能够得到按照距所述对象图片的时间上的距离增加的顺序而排序的参照图片。
图27是表示使用本发明的耐性图片参照方案的第2实施方式的影像编码装置的一例的框图。本装置具有类别决定部2700、存储器部2702、第1选择部2704、第2选择部2714、第3选择部2716、列表生成部2706、第1开关部2708、第2开关部2724、边界确定部2710、第3开关部2712、第4开关部2718、列表附加部2720、列表排序部2722、运动估计部2726、运动预测部2728和写入部2730。
如图所示，运动估计部2726读出图像采样的块D2735和参照图片的一个以上的列表D2733，并输出运动矢量的集合D2737。运动预测部2728读出运动矢量的集合D2737和参照图片的列表D2733，并输出预测采样的块D2739。
类别决定部2700读出输入数据D2701并进行处理，生成表示图片是否是关键图片的类别信号D2703和输出数据D2741。输出数据D2741通过写入部2730被写入到编码影像比特流D2743中。
在使用图10公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第1实施方式的本发明的一个可能的实施例中，所述输入数据D2701是表示与所述编码图片是否是关键图片相关的类别的标志。根据该实施方式，类别决定部2700将所述标志作为双方的输出即类别信号D2703和输出数据D2741，并传递给下一个单元。
在使用图13公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第2实施方式的本发明的另一个可能的实施例中，所述输入数据D2701是编码图片的时间等级。使用编码图片的所述时间等级，类别决定部2700决定表示图片是否是关键图片的类别信号D2703并进行输出。根据该实施方式，类别决定部2700将编码图片的时间等级作为输出数据D2741进行输出。
在使用图16公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第3实施方式的本发明的又一个可能的实施例中，所述输入数据D2701是关键图片的周期。使用关键图片的所述周期，类别决定部2700决定表示图片是否是关键图片的类别信号D2703并进行输出。根据该实施方式，类别决定部2700将编码图片的周期作为输出数据D2741进行发送。
第1选择部2704从存储器部2702读出参照图片D2705，将关键参照图片D2707传递给列表生成部2706。由此，生成参照图片的一个以上的列表D2709。第1开关部2708使用类别信号D2703作为控制信号，在类别信号D2703表示关键图片时，向第2开关部2724发送作为参照图片的列表D2709的参照图片的列表D2711，在类别信号D2703表示非关键图片时，向列表附加部2720发送作为参照图片的列表D2709的参照图片的列表D2713。
列表附加部2720将选择非关键参照图片而得到的组D2727附加在参照图片的列表D2713中，并输出参照图片的扩大列表D2729。列表排序部2722将参照图片的扩大列表D2729进行排序，并输出参照图片的排序列表D2731。根据类别信号D2703，第2开关部2724将参照图片的列表D2711或者参照图片的排序列表D2731中的某一方作为参照图片的最终列表D2733进行发送。
边界确定部2710读出关键参照图片D2707，并确定由第1及第2边界图片构成的两个边界图片D2717。边界确定部2710输出表示是否存在第2边界图片的控制信号D2715。在控制信号D2715表示不存在所述第2边界图片的情况下，第3开关部2712向第2选择部2714发送作为边界图片D2717的边界图片D2719。第2选择部2714从存储器部2702读出参照图片D2705，而且也读出边界图片D2719，并输出通过选择非关键参照图片而得到的组D2723。在控制信号D2715表示不存在所述第2边界图片的情况下，第3开关部2712向第3选择部2716发送作为边界图片D2717的边界图片D2721。第3选择部2716从存储器部2702读出参照图片D2705，而且也读出边界图片D2721，并输出通过选择非关键参照图片而得到的组D2725。第4开关部2718使用控制信号D2715，将第2选择部2714的输出或者第3选择部2716的输出作为通过选择非关键参照图片而得到的组D2727进行发送。
图28是表示使用本发明的耐性图片参照方案的第2实施方式的影像解码装置的一例的框图。本装置具有类别决定部2800、存储器部2802、第1选择部2804、第2选择部2814、第3选择部2816、列表生成部2806、第1开关部2808、第2开关部2824、边界确定部2810、第3开关部2812、第4开关部2818、列表附加部2820、列表排序部2822、运动预测部2826。
如图所示，运动预测部2826读出被解码后的运动矢量的集合D2835和参照图片的一个以上的列表D2833，并输出预测采样的块D2837。
类别决定部2800读出所解析出的输入数据D2801并进行处理，生成表示图片是否是关键图片的类别信号D2803。
在使用图11公开的、在影像解码处理中决定表示图片是否是关键图片的类别的处理的第1实施方式的本发明的一个可能的实施例中，所述被解析出的输入数据D2801是表示与所述编码图片是否是关键图片相关的类别的解析标志。根据该实施方式，类别决定部2800将所述解析标志作为类别信号D2803进行输出。
在使用图14公开的、在影像解码处理中决定表示图片是否是关键图片的类别的处理的第2实施方式的本发明的另一个可能的实施例中，所述被解析出的输入数据D2801是编码图片的时间等级。使用编码图片的所述被解析出的时间等级，类别决定部2800决定用于表示图片是否是关键图片的类别信号D2803并进行输出。
在使用图17公开的、决定表示图片是否是关键图片的类别决定处理的第3实施方式的本发明的又一个可能的实施例中，所述被解析出的输入数据D2801是关键图片的被解析出的周期。使用关键图片的所述被解析出的周期，类别决定部2800决定用于表示图片是否是关键图片的类别信号D2803并进行输出。
第1选择部2804从存储器部2802读出参照图片D2805，并向列表生成部2806传递关键参照图片D2807。由此，生成参照图片的一个以上的列表D2809。第1开关部2808使用类别信号D2803作为控制信号，在类别信号D2803表示关键图片时，向第2开关部2824发送作为参照图片的列表D2809的参照图片的列表D2811，在类别信号D2803表示非关键图片时，向列表附加部2820发送作为参照图片的列表D2809的参照图片的列表D2813。列表附加部2820将选择非关键参照图片而得到的组D2827附加在参照图片的列表D2813中，并输出参照图片的扩大列表D2829。列表排序部2822将参照图片的扩大列表D2829进行排序，并输出参照图片的排序列表D2831。根据类别信号D2803，第2开关部2824将参照图片的列表D2811或者参照图片的排序列表D2831中的某一方作为参照图片的最终列表D2833进行发送。
边界确定部2810读出关键参照图片D2807，并确定由第1及第2边界图片构成的两个边界图片D2817。边界确定部2810输出表示是否存在第2边界图片的控制信号D2815。在控制信号D2815表示不存在所述第2边界图片的情况下，第3开关部2812向第2选择部2814发送作为边界图片D2817的边界图片D2819。第2选择部2814从存储器部2802读出参照图片D2805，而且也读出边界图片D2819，并输出通过选择非关键参照图片而得到的组D2823。在控制信号D2815表示不存在所述第2边界图片的情况下，第3开关部2812向第3选择部2816发送作为边界图片D2817的边界图片D2821。第3选择部从存储器部2802读出参照图片D2805，而且也读出边界图片D2821，并输出通过选择非关键参照图片而得到的组D2825。第4开关部2818使用控制信号D2815，将第2选择部2814的输出或者第3选择部2816的输出作为通过选择非关键参照图片而得到的组D2827进行输出。
图29是表示使用本发明的耐性图片参照方案的第3实施方式的影像编码装置的一例的框图。模块2900决定用于表示图片是否是关键图片的类别。关于决定用于表示图片是否是关键图片的所述类别的步骤的实施方式，已在本说明书的前面的部分中进行了详细说明。模块2902使用距对象图片的时间上的距离以及表示图片是否是关键图片的所述类别，构成参照图片的第1列表。模块2904使用距对象图片的时间上的距离以及表示图片是否是关键图片的所述类别，构成参照图片的第2列表。关于使用距所述对象图片的时间上的距离和所述类别构成参照图片的列表的所述步骤的实施方式，已在本说明书的前面的部分中进行了详细说明。模块2906以使参照图片的所述第1列表与参照图片的所述第2列表等效的方式进行重新排序。然后，模块2908将确定用于对参照图片的所述第1列表进行重新排序的所述步骤的多个参数，写入所述对象图片的编码切片的切片头中。在模块2910中使用参照图片的所述第1列表对图像采样的块执行运动估计处理，在模块2912中使用参照图片的所述第2列表对图像采样的所述块执行运动预测处理。
图30是表示使用本发明的耐性图片参照方案的第3实施方式的影像编码装置的一例的框图。本装置具有类别决定部3000、存储器部3002、第1选择部3004、第2选择部3014、第3选择部3016、第1列表生成部3030、第2列表生成部3006、第1开关部3008、第2开关部3024、边界确定部3010、第3开关部3012、第4开关部3018、列表附加部3020、列表排序部3022、运动估计部3026、运动预测部3028、列表重新排序部3032和写入部3034。
如图所示，运动估计部3026读出图像采样的块D3035和参照图片的一个以上的列表D3043，并输出运动矢量的集合D3037。运动预测部3028读出运动矢量的集合D3037和参照图片的列表D3043，并输出预测采样的块D3039。
类别决定部3000读出输入数据D3001并进行处理，生成表示图片是否是关键图片的类别信号D3003和输出数据D3042。
在使用图10公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第1实施方式的本发明的一个可能的实施例中，所述输入数据D3001是表示与所述编码图片是否是关键图片相关的类别的标志。根据该实施方式，类别决定部3000将所述标志作为双方的输出即类别信号D3003和输出数据D3042，并传递给下一个单元。
在使用图13公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第2实施方式的本发明的另一个可能的实施例中，所述输入数据D3001是编码图片的时间等级。使用编码图片的所述时间等级，类别决定部3000决定表示图片是否是关键图片的类别信号D3003并进行输出。根据该实施方式，类别决定部3000将编码图片的时间等级作为输出数据D3042进行输出。
在使用图16公开的、在影像编码处理中决定表示图片是否是关键图片的类别的处理的第3实施方式的本发明的又一个可能的实施例中，所述输入数据D3001是关键图片的周期。使用关键图片的所述周期，类别决定部3000决定表示图片是否是关键图片的类别信号D3003并进行输出。根据该实施方式，类别决定部3000将编码图片的周期作为输出数据D3042进行发送。
第1列表生成部3030从存储器部3002读出参照图片D3005，生成参照图片的一个以上的初始列表D3041。列表重新排序部3032取出参照图片的初始列表D3041和参照图片的修正列表D3033，生成参照图片的最终重新排序列表D3043，以便由运动估计部3026和运动预测部3028进行使用。列表重新排序部3032输出重新排序步骤D3045，进行重新排序以使参照图片的初始列表D3041与参照图片的修正列表D3033等效。写入部3034将来自类别决定部3000的输出数据D3042和重新排序步骤D3045写入编码影像比特流D3047中。
参照图片的修正列表D3033是按照以下所述进行构成的。第1选择部3004从存储器部3002读出参照图片D3005，将关键参照图片D3007传递给第2列表生成部D3006。由此，生成参照图片的一个以上的列表D3009。第1开关部3008使用类别信号D3003作为控制信号，在类别信号D3003表示关键图片时，向第2开关部3024发送作为参照图片的列表D3009的参照图片的列表D3011，在类别信号D3003表示非关键图片时，向列表附加部3020发送作为参照图片的列表D3009的参照图片的列表D3013。列表附加部3020将选择非关键参照图片而得到的组D3027附加在参照图片的列表D3013中，并输出参照图片的扩大列表D3029。列表排序部3022将参照图片的扩大列表D3029进行排序，并输出参照图片的排序列表D3031。根据类别信号D3003，第2开关部3024将参照图片的列表D3011或者参照图片的排序列表D3031作为参照图片的最终列表D3033进行发送。
边界确定部3010读出关键参照图片D3007，并确定由第1及第2边界图片构成的两个边界图片D3017。边界确定部3010输出表示是否存在第2边界图片的控制信号D3015。在控制信号D3015表示不存在所述第2边界图片的情况下，第3开关部3012向第2选择部3014发送作为边界图片D3017的边界图片D3019。第2选择部3014从存储器部3002读出参照图片D3005，而且也读出边界图片D3019，并输出通过选择非关键参照图片而得到的组D3023。在控制信号D3015表示不存在所述第2边界图片的情况下，第3开关部3012向第3选择部3016发送作为边界图片D3017的边界图片D3021。第3选择部3016从存储器部3002读出参照图片D3005，而且也读出边界图片D3021，并输出通过选择非关键参照图片而得到的组D3025。第4开关部3018使用控制信号D3015，将第2选择部3014的输出或者第3选择部3016的输出作为通过选择非关键参照图片而得到的组D3027进行发送。
图31是表示用于确定参照列表重新排序步骤的参数在影像编码比特流的切片头中的位置的图。使用从编码影像比特流中进行解析得到的多个参照列表重新排序参数，对应的影像解码器对参照图片的规定列表进行重新排序，并生成在编码处理中使用的参照图片的等效修正列表。
(实施方式4)
通过将用来实现上述各实施方式所示的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
图32是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给系统ex100并不限定于图32那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统ex100的例子，如图33所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。
图34是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图35中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。
在图36中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图34所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图37A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图37B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式5)
也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图38是表示复用数据的结构的图。如图38所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图39是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图40更详细地表示在PES包序列中怎样保存视频流。图40的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图40的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图41表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图41下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图42是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图43所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图43所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图44所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图45中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。
(实施方式6)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图46中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式7)
在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图47表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图46的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图46的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息，并不限定于在实施方式5中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图49所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图48表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式8)
在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图50A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图50B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
产业上的可利用性
本发明能够适用于影像编码装置及影像解码装置等。
标号说明
500参照方案选择部；502编码部；504、1916、2730、3034写入部；506、610、1902、2002、2702、2802、3002存储器部；600解析部；602、1904、2004、2708、2808、3008第1开关部；604第1解码部；606第2解码部；608、1908、2008、2724、2824、3024第2开关部；1900、2000、2700、2800、3000类别决定部；1906、2006标记部；1910、2010、2706、2806列表生成部；1912、2726、3026运动估计部；1914、2012、2728、2826、3028运动预测部；2704、2804、3004第1选择部；2710、2810、3010边界确定部；2712、2812、3012第3开关部；2714、2814、3014第2选择部；2716、2816、3016第3选择部；2718、2818、3018第4开关部；2720、2820、3020列表附加部；2722、2822、3022列表排序部；3006第2列表生成部；3030第1列表生成部；3032列表重新排序部。

Claims (4)

1.一种影像编码方法，使用一个以上的参照图片对影像中包含的对象图片进行编码，
该影像编码方法包括：
判定步骤，判定所述影像中包含的各图片是否是关键图片，所述关键图片为用于确定时间等级的参数是零的规定的图片；
图片列表构建步骤，构建包括用于所述对象图片的有效参照图片的参照图片列表；以及
编码步骤，通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片编码为比特流；
在所述对象图片是时间等级的切换点的情况下，从参照图片存储器中的全部参照图片中选择一个以上的所述关键图片作为所述有效参照图片。
2.一种影像编码装置，使用一个以上的参照图片对影像中包含的对象图片进行编码，
该影像编码装置具备处理器和存储器，所述处理器使用所述存储器进行如下操作：
判定所述影像中包含的各图片是否是关键图片，所述关键图片为用于确定时间等级的参数是零的规定的图片；
构建包括用于所述对象图片的有效参照图片的参照图片列表；以及
通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片编码为比特流；
在所述对象图片是时间等级的切换点的情况下，从参照图片存储器中的全部参照图片中选择一个以上的所述关键图片作为所述有效参照图片。
3.一种影像解码方法，使用一个以上的参照图片对将影像中包含的各图片编码而成的比特流进行解码，
该影像解码方法包括：
判定步骤，判定所述各图片是否是关键图片，所述关键图片为用于确定时间等级的参数是零的规定的图片；
参照图片列表构建步骤，构建包括用于所述影像中包含的对象图片的有效参照图片的参照图片列表；以及
解码步骤，通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片解码；
在所述对象图片是时间等级的切换点的情况下，从参照图片存储器中的全部参照图片中选择一个以上的所述关键图片作为所述有效参照图片。
4.一种影像解码装置，使用一个以上的参照图片对将影像中包含的各图片编码而成的比特流进行解码，
该影像解码装置具备处理器和存储器，所述处理器使用所述存储器进行如下操作：
判定所述各图片是否是关键图片，所述关键图片为用于确定时间等级的参数是零的规定的图片；
构建包括用于所述影像中包含的对象图片的有效参照图片的参照图片列表；以及
通过使用所述参照图片列表中包含的所述有效参照图片的预测，将所述对象图片解码；
在所述对象图片是时间等级的切换点的情况下，从参照图片存储器中的全部参照图片中选择一个以上的所述关键图片作为所述有效参照图片。
CN201710789640.9A 2011-02-16 2012-02-16 影像编码方法、装置及影像解码方法、装置 Active CN107426575B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161443373P 2011-02-16 2011-02-16
US61/443,373 2011-02-16
CN201280007704.0A CN103650508B (zh) 2011-02-16 2012-02-16 影像编码方法及影像编码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280007704.0A Division CN103650508B (zh) 2011-02-16 2012-02-16 影像编码方法及影像编码装置

Publications (2)

Publication Number Publication Date
CN107426575A CN107426575A (zh) 2017-12-01
CN107426575B true CN107426575B (zh) 2021-02-19

Family

ID=46672275

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710789640.9A Active CN107426575B (zh) 2011-02-16 2012-02-16 影像编码方法、装置及影像解码方法、装置
CN201280007704.0A Active CN103650508B (zh) 2011-02-16 2012-02-16 影像编码方法及影像编码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280007704.0A Active CN103650508B (zh) 2011-02-16 2012-02-16 影像编码方法及影像编码装置

Country Status (11)

Country Link
US (7) US9602818B2 (zh)
EP (1) EP2677751B1 (zh)
JP (4) JP5912088B2 (zh)
KR (2) KR101954465B1 (zh)
CN (2) CN107426575B (zh)
BR (1) BR112013019920A2 (zh)
CA (1) CA2825900C (zh)
ES (1) ES2874762T3 (zh)
MX (1) MX2013008895A (zh)
PL (1) PL2677751T3 (zh)
WO (1) WO2012111331A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426575B (zh) * 2011-02-16 2021-02-19 太阳专利托管公司 影像编码方法、装置及影像解码方法、装置
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
JP2015080035A (ja) * 2013-10-15 2015-04-23 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
KR20150075041A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015147426A1 (ko) * 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2024096709A1 (ko) * 2022-11-06 2024-05-10 엘지전자 주식회사 Amvpmerge 모드에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101036391A (zh) * 2004-10-07 2007-09-12 松下电器产业株式会社 画面编码装置和画面解码装置
CN101562497A (zh) * 2008-04-17 2009-10-21 华为技术有限公司 一种分级b帧的帧层速率控制方法及装置
CN101669369A (zh) * 2007-04-24 2010-03-10 诺基亚公司 媒体文件中的多个解码时间的信号传输

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US7933294B2 (en) 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
EP2375749B1 (en) 2005-10-11 2016-11-23 Nokia Technologies Oy System and method for efficient scalable stream adaptation
KR100818921B1 (ko) * 2006-01-12 2008-04-03 삼성전자주식회사 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더
EP1809042A1 (en) * 2006-01-13 2007-07-18 THOMSON Licensing Method and apparatus for coding interlaced video data
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
WO2008048886A2 (en) * 2006-10-16 2008-04-24 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
CA2858458C (en) * 2006-10-16 2019-04-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
CN101179719B (zh) * 2006-11-10 2011-01-19 中兴通讯股份有限公司 视频序列的快速切换方法
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
US9706214B2 (en) * 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
EP2664151A4 (en) * 2011-01-14 2016-01-20 Vidyo Inc HIGH-COATED SYNTAX FOR TIMELY SCALABILITY
CN107426575B (zh) * 2011-02-16 2021-02-19 太阳专利托管公司 影像编码方法、装置及影像解码方法、装置
WO2012121744A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc Adaptive picture rotation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101036391A (zh) * 2004-10-07 2007-09-12 松下电器产业株式会社 画面编码装置和画面解码装置
CN101669369A (zh) * 2007-04-24 2010-03-10 诺基亚公司 媒体文件中的多个解码时间的信号传输
CN101562497A (zh) * 2008-04-17 2009-10-21 华为技术有限公司 一种分级b帧的帧层速率控制方法及装置

Also Published As

Publication number Publication date
EP2677751A4 (en) 2014-10-29
EP2677751B1 (en) 2021-03-31
US20130315315A1 (en) 2013-11-28
US20180103267A1 (en) 2018-04-12
PL2677751T3 (pl) 2021-10-25
US20220264145A1 (en) 2022-08-18
JPWO2012111331A1 (ja) 2014-07-03
KR20190022916A (ko) 2019-03-06
JP6422036B2 (ja) 2018-11-14
EP2677751A1 (en) 2013-12-25
CN103650508A (zh) 2014-03-19
MX2013008895A (es) 2013-08-21
WO2012111331A1 (ja) 2012-08-23
JP2017085601A (ja) 2017-05-18
JP2019022227A (ja) 2019-02-07
JP5912088B2 (ja) 2016-04-27
US10397605B2 (en) 2019-08-27
US11818391B2 (en) 2023-11-14
CN103650508B (zh) 2017-09-22
JP6065299B2 (ja) 2017-01-25
KR20130140133A (ko) 2013-12-23
ES2874762T3 (es) 2021-11-05
US9602818B2 (en) 2017-03-21
CA2825900A1 (en) 2012-08-23
CN107426575A (zh) 2017-12-01
BR112013019920A2 (pt) 2016-12-13
US20240031599A1 (en) 2024-01-25
JP2016123135A (ja) 2016-07-07
US20210127132A1 (en) 2021-04-29
CA2825900C (en) 2019-05-21
KR102125930B1 (ko) 2020-06-23
US10917659B2 (en) 2021-02-09
US9961362B2 (en) 2018-05-01
US20190335198A1 (en) 2019-10-31
US20170118487A1 (en) 2017-04-27
KR101954465B1 (ko) 2019-03-05
US11303926B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109905710B (zh) 动态图像编码方法及装置、动态图像解码方法及装置
KR101790401B1 (ko) 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
WO2012160797A1 (en) Methods and apparatuses for encoding and decoding video using inter-color-plane prediction
JP6422036B2 (ja) 映像復号方法及び映像復号装置
JP6414712B2 (ja) 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
JP6489337B2 (ja) 算術復号方法および算術符号化方法
WO2012023281A1 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
JP6451961B2 (ja) 復号装置
JP2014512705A (ja) 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
WO2012105265A1 (en) Systems and methods for encoding and decoding video which support compatibility functionality to legacy video players
JP2018133820A (ja) 符号化方法、復号方法、符号化装置、および復号装置
WO2012014458A1 (ja) 画像符号化方法および画像復号方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant