CN102792696B - 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法 - Google Patents

动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法 Download PDF

Info

Publication number
CN102792696B
CN102792696B CN201180013583.6A CN201180013583A CN102792696B CN 102792696 B CN102792696 B CN 102792696B CN 201180013583 A CN201180013583 A CN 201180013583A CN 102792696 B CN102792696 B CN 102792696B
Authority
CN
China
Prior art keywords
image
sequence information
display sequence
random access
access picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180013583.6A
Other languages
English (en)
Other versions
CN102792696A (zh
Inventor
文仲丞
铃木芳典
藤林晓
陈朝庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to CN201510603845.4A priority Critical patent/CN105187842B/zh
Priority to CN201510165668.6A priority patent/CN104768020B/zh
Publication of CN102792696A publication Critical patent/CN102792696A/zh
Application granted granted Critical
Publication of CN102792696B publication Critical patent/CN102792696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

动态图像预测编码装置具有：编码单元，其对所输入的图像进行编码，并生成包含随机访问图像的压缩图像数据，并且对与图像的显示顺序信息相关的数据进行编码；解码单元，其对压缩图像数据进行解码，由此将再现图像复原；图像存储单元，其将再现图像存储为参照图像；以及存储器管理单元，其控制图像存储单元，在生成随机访问图像的编码处理结束后，在对显示顺序信息比随机访问图像的显示顺序信息大的第一个图像即将进行编码之前或者刚刚进行编码之后，存储器管理单元将图像存储单元内的参照图像中除随机访问图像之外的参照图像设定为不要，由此刷新图像存储单元。

Description

动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法
技术领域
本发明涉及动态图像预测编码装置、方法和程序、以及动态图像预测解码装置、方法和程序。
背景技术
为了高效地进行动态图像数据的传输和蓄积，采用了压缩编码技术。对于动态图像广泛采用了MPEG1～4和H.261～H.264的方式。
在这些编码方式中，将作为编码的对象的图像分割为多个块，对各个块进行编码/解码处理。为了提高编码效率采用了如下所述的预测编码方法。在画面内的预测编码中，使用与对象块相同画面内的相邻的已再现的图像信号(将过去被编码的图像数据复原得到的信号)来生成预测信号，并对从对象块的信号中减去预测信号得到的差分信号进行编码。在画面间的预测编码中，参照与对象块不同的画面内的已再现的图像信号而检索信号的位移，并对该位移量进行补偿而生成预测信号，对从对象块的信号中减去预测信号得到的差分信号进行编码。将此时为了进行动态的检索/补偿而参照的已再现的图像称为参照图像。
另外，在双向画面间预测中存在如下情况，即不仅参照在显示时间顺序中被显示于对象图像前面的过去的图像，而且也一并参照被显示于对象图像后面的未来的图像(但是，需要先于对象图像对未来的图像进行编码并预先再现)。并且，对从过去的图像取得的预测信号和从未来的图像取得的预测信号双方进行平均，由此对被隐藏的新出现的物体的信号的预测比较有效，并且具有减轻双方的预测信号中包含的杂音的效果。
另外，在H.264的画面间预测编码中，关于针对对象块的预测信号，参照过去被编码并再现的多个参照图像，在进行动态检索的同时将误差最小的图像信号选择为最佳的预测信号。并且，求出对象块的像素信号与该最佳的预测信号之差分，对差分实施离散余弦变换并进行量化，然后进行熵编码。同时，对有关从哪个参照图像取得针对对象块的最佳的预测信号的信息(参照索引)以及有关从参照图像内的哪个区域取得最佳的预测信号的信息(运动向量)一并进行编码。在H.264中，已被再现的4～5张图像被作为参照图像被存储在帧存储器中。另外，在本说明书中，假设帧存储器包括所谓再现图像缓冲器(decoded picture buffer)。
画面间预测编码虽然能够运用图像间的相关高效地进行压缩编码，但是为了能够通过电视的频道切换从中途视听影像节目，需要切断画面间的依赖性。下面，在动态图像的压缩比特流中，将不存在画面间的依赖性的位置称为“随机访问点(randomaccess point)”。除频道的切换之外，在编辑动态图像的情况下以及将不同的动态图像的压缩数据连接起来的情况下，都需要随机访问点。在H.264中，指定IDR图片，利用上述的画面内预测编码方法对所指定的IDR图片进行编码，同时将存储在帧存储器中的再现图像设定为不要，将该再现图像设为不可参照，由此实质上将帧存储器释放(刷新(refresh))。这种处理被称为“存储器刷新”，根据情况也被称为“帧存储器刷新(memory refresh)”或者“缓冲器刷新(buffer refresh)”。
图11(A)是表示包括IDR图片的动态图像的预测构造的示意图。该图11(A)所示的多个图像901、902、…、909是构成动态图像的图像组的一部分，将各个图像也称为“图片”或者“帧”。各个箭头表示预测的方向。例如，图像902将朝向图像902的两个箭头的起点即图像903、905作为参照图像取得预测信号。另外，假设图11(A)的图像901是参照图11(A)未示出的过去的图像进行了编码的图像。然后对图像902、903、904进行编码，但此时采用上述的双向预测编码方法，以便提高压缩率。即，先对图像905进行编码/再现，然后参照已再现的图像901和905对图像903进行编码(在图11(A)中省略了源自图像901的箭头)。并且，图像902、904分别将已再现的3个图像901、905、903作为参照图像进行编码(在图11(A)中省略了源自图像901的箭头)。同样地，图像906、907、908参照图像905和909进行编码。并且，这样被编码(压缩)后的各个图像的压缩数据按照图11(B)所示的顺序进行传输或者蓄积。关于图11(B)的压缩数据和图11(A)的图像，利用P1、IDR5、B3等共同的符号示出其对应关系。例如，压缩数据910是指附加了相同符号P1的图像901的压缩数据，压缩数据911是指附加了相同符号IDR5的图像905的压缩数据。
另外，考虑到随机访问，对将图像905指定为IDR图片进行画面内预测编码的情况进行说明。在这种情况下，根据H.264中的IDR规则，在刚刚对压缩数据911进行解码来再现图像905后(或者也可以是即将开始压缩数据911的解码之前)，必须将在帧存储器中存储的全部参照图像(即包括图像901的过去的再现图像)设定为不要，使不可参照。其结果是，图11(A)的图像901不可参照，在对图像902、903、904进行编码时不能参照图像901。这种与IDR图片相关的处理例如记述在下述的非专利文献1中。
现有技术文献
专利文献
专利文献1：日本国际公开公报WO2005/006763A1
非专利文献
非专利文献1：Iain E.G.Richardson,“H.264and MPEG-4Video Compression”,JohnWiley & Sons,2003,section6.4.2
发明内容
发明要解决的问题
由于IDR图片的导入，在上述预测中使用的参照图像受限制，因而不能高效地对在图像的显示顺序中位于IDR图片前面的图像(图11(A)的图像902、903、904)进行编码。为了解决该问题，在上述专利文献1中公开了如下的方法：使刷新帧存储器的定时(即将帧存储器内的参照图像设定为不要的定时)延迟到对在IDR图片后面被编码的图像执行编码的时刻。通过延迟帧存储器刷新的定时，在图11(A)的图像902、903、904的编码执行时刻，图像901残留在帧存储器中，因而在对图像902、903、904进行编码时能够参照图像901，能够高效地进行编码。
根据专利文献1，关于延迟存储器刷新的定时的方法公开了如下的方法。
方法1：对IDR图片附加与使延迟的图像的张数相关的信息。
方法2：对与实施存储器刷新的定时对应的图像的压缩数据附加用于指示执行存储器刷新的信号(标志)。
方法3：将在IDR图片之后出现的第一个P图片(单向预测图像)设为刷新的定时。
可是，上述的方法具有下述缺点。
缺点1：在上述的方法1中，在编辑动态图像时是这样进行的，即将多张图像中的一部分图像舍去，将另一部分图像连接起来并插入另一部分图像，因而对IDR图片附加的“与使延迟的图像的张数相关的信息”不贴切，存在导致错误动作的情况。
缺点2：在上述的方法2中，同样即使是在采用标志的情况下，在通过编辑动态图像而使得对应的图像的压缩数据被删除时，附加于被删除的压缩数据的标志消失，也存在导致错误动作的情况。
缺点3：在上述的方法3中，存储器刷新的信号(定时)被限定为P图片，因而存在不能利用其它方法进行编码的情况。例如，对于场景的变化衔接处，不能作为画面内预测(I图片)进行编码。
另外，此处的“错误动作”是指由于不能在恰当的定时进行存储器刷新，致使成为在对后续数据进行解码时需要的参照图像没有存储在帧存储器中的状态，其结果是后续的图像不能准确再现。
本发明目的在于解决上述问题，对作为随机访问的位置的图像的前后图像高效地进行压缩编码，同时消除由于现有技术的缺点导致的问题。
用于解决问题的手段
为了达到上述目的，本发明的一个实施方式的动态图像预测编码装置的特征在于，该动态图像预测编码装置具有：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；复原单元，其对所生成的所述压缩图像数据进行解码，由此复原再现图像；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在生成所述随机访问图像的编码处理结束后，所述存储器管理单元在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前或者刚刚进行编码之后，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
也可以是，对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像在内的一个以上的编码对象图像，所述编码单元对所述编码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与所述编码对象图像的显示顺序信息相关的数据。
并且，也可以是，所述编码单元对于从在随机访问图像之后成为编码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像为止的各个图像，对各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与该各个图像的显示顺序信息相关的数据。
本发明的一个实施方式的动态图像预测解码装置的特征在于，该动态图像预测解码装置具有：输入单元，其输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；复原单元，其通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在对所述随机访问图像进行解码的解码处理结束后，在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前或者刚刚进行解码之后，所述存储器管理单元将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
也可以是，所述复原单元对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在对所述随机访问图像进行解码的解码处理结束后第一个成为解码对象的图像在内的一个以上的解码对象图像的显示顺序信息，将对该解码对象图像的显示顺序编码数据进行解码得到的该解码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该解码对象图像的显示顺序信息。
并且，也可以是，所述复原单元对于从在随机访问图像之后成为解码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的解码处理结束后第一个成为解码对象的图像为止的各个图像的显示顺序信息，将对该各个图像的显示顺序编码数据进行解码得到的该各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该各个图像的显示顺序信息。
本发明的一个实施方式的动态图像预测编码方法是由动态图像预测编码装置执行的方法，该动态图像预测编码装置具有用于存储对后续的图像进行编码时使用的参照图像的图像存储单元，其特征在于，该动态图像预测编码方法包括：输入步骤，输入构成动态图像的多个图像；编码步骤，利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；复原步骤，对所生成的所述压缩图像数据进行解码，由此复原再现图像；图像存储步骤，将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像存储于所述图像存储单元中；以及存储器管理步骤，控制所述图像存储单元，在所述存储器管理步骤中，在生成所述随机访问图像的编码处理结束后，所述动态图像预测编码装置在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前或者刚刚进行编码之后，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
也可以是，在所述编码步骤中，所述动态图像预测编码装置对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像在内的一个以上的编码对象图像，对所述编码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与所述编码对象图像的显示顺序信息相关的数据。
并且，也可以是，在所述编码步骤中，所述动态图像预测编码装置对于从在随机访问图像之后成为编码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像为止的各个图像，对各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与该各个图像的显示顺序信息相关的数据。
本发明的一个实施方式的动态图像预测解码方法是由动态图像预测解码装置执行的方法，该动态图像预测解码装置具有用于存储对后续的图像进行解码时使用的参照图像的图像存储单元，其特征在于，该动态图像预测解码方法包括：输入步骤，输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；复原步骤，通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；图像存储步骤，将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像存储于所述图像存储单元中；以及存储器管理步骤，控制所述图像存储单元，在所述存储器管理步骤中，在对所述随机访问图像进行解码的解码处理结束后，所述动态图像预测解码装置在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前或者刚刚进行解码之后，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
也可以是，在所述复原步骤中，所述动态图像预测解码装置对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在对所述随机访问图像进行解码的解码处理结束后第一个成为解码对象的图像在内的一个以上的解码对象图像的显示顺序信息，将对该解码对象图像的显示顺序编码数据进行解码得到的该解码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该解码对象图像的显示顺序信息。
并且，也可以是，在所述复原步骤中，所述动态图像预测解码装置对于从在随机访问图像之后成为解码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的解码处理结束后第一个成为解码对象的图像为止的各个图像的显示顺序信息，将对该各个图像的显示顺序编码数据进行解码得到的该各个图像的显示顺序信息与所述随机访问图像的显示顺序信息的差分值、和所述随机访问图像的显示顺序信息进行相加，由此将该各个图像的显示顺序信息复原。
本发明的一个实施方式的动态图像预测编码程序的特征在于，该动态图像预测编码程序使计算机作为如下单元进行工作：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；复原单元，其对所生成的所述压缩图像数据进行解码，由此复原再现图像；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在生成所述随机访问图像的编码处理结束后，在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前或者刚刚进行编码之后，所述存储器管理单元将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
本发明的一个实施方式的动态图像预测解码程序的特征在于，该动态图像预测解码程序使计算机作为如下单元进行工作：输入单元，其输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；复原单元，其通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像进行存储；以及存储器管理单元，其控制所述图像存储单元，在对所述随机访问图像进行解码的解码处理结束后，在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前或者刚刚进行解码之后，所述存储器管理单元将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
根据以上所述的本发明，对成为随机访问的位置的图像的前后图像高效地进行压缩编码，同时消除由于现有技术的缺点导致的问题。
发明效果
在本发明中，利用构成动态图像的各个图像或者被压缩编码后的图像数据所附带的表示显示顺序的信息(下面称为“显示顺序信息”(相当于现有技术中的显示时间、显示参照信息、临时参照(temporary reference)等))，设定在成为随机访问的位置的画面内预测图像(内帧：intra-frame)后面进行的存储器刷新的定时，由此能够高效地对在显示顺序中位于随机访问图像的前后的多个图像进行压缩编码，同时如下所述地消除了由于现有技术的缺点导致的问题。
即，由于显示顺序信息是各个图像一定附带的信息，因而不需要发送新的信息(标志)，消除了现有技术的缺点2。
并且，在进行动态图像的编辑(例如将一部分图像舍弃，将另一部分图像连接起来等)的情况下，由于恰当地设定构成动态图像的各个图像的显示顺序信息，因而不会引发错误动作，消除了现有技术的缺点1。
另外，本发明的存储器刷新的定时不限于P图片，不依赖于图像的编码类型(I图片、P图片、B图片)，因而无论是否需要存储器的刷新，都能够以编码效率最好的编码类型进行处理，消除了现有技术的缺点3。
附图说明
图1是表示本发明的实施方式的动态图像预测编码装置的结构的功能框图。
图2是表示本发明的实施方式的动态图像预测解码装置的结构的功能框图。
图3是表示本发明的实施方式的动态图像预测编码/解码方法的流程图。
图4是用于说明本发明的实施方式的动态图像预测编码/解码方法的示意图。
图5是表示本发明的实施方式的变形例的动态图像预测编码/解码方法的流程图。
图6是用于说明本发明的实施方式的变形例的动态图像预测编码/解码方法的示意图。
图7是表示用于执行在记录介质中记录的程序的计算机的硬件结构的图。
图8是表示用于执行在记录介质中存储的程序的计算机的概观图。
图9是表示动态图像预测编码程序的结构示例的框图。
图10是表示动态图像预测解码程序的结构示例的框图。
图11是表示过去的动态图像预测编码/解码方法的预测构造的示意图。
具体实施方式
下面，使用图1～图10说明本发明的实施方式。
[关于动态图像预测编码装置]
图1是表示本发明的实施方式的动态图像预测编码装置100的结构的功能框图。如图1所示，动态图像预测编码装置100具有作为功能性构成要素的输入端子101、块分割器102、预测信号生成器103、帧存储器104、减法器105、变换器106、量化器107、逆量化器108、逆变换器109、加法器110、熵编码器111、输出端子112、输入端子113、帧存储器管理器114。关于各个功能单元的动作，将在后述的动态图像预测编码装置100的动作中进行说明。
下面，叙述动态图像预测编码装置100的动作。由成为编码处理的对象的多张图像构成的动态图像的信号被输入到输入端子101，各个图像经由块分割器102被分割为多个区域。在本实施方式中，各个图像被分割为由8×8像素构成的多个块，但也可以分割为除此之外的块的大小或者块形状。然后，将作为编码处理的对象的块(下面称为“对象块”)作为对象，利用后述的预测方法生成预测信号。在本实施方式中，作为预测方法可以利用画面间预测和画面内预测这两种预测方法，关于画面间预测也可以利用在背景技术中叙述的双向画面间预测。下面，概要说明画面间预测和画面内预测各自的基本动作。
在画面间预测中，将过去被编码后又被复原的再现图像用作参照图像，根据该参照图像，求出赋予针对对象块的误差为最小的预测信号的运动信息(例如运动向量)。该处理被称为“运动检测”。并且，根据情况也可以将对象块进行再次分割，将再次分割后的小区域作为对象来确定画面间预测方法。在这种情况下，从各种分割方法中确定针对对象块整体效率最好的小区域的分割方法及各个小区域的运动信息。在本实施方式中，由预测信号生成器103进行画面间预测，对象块经由线L102、参照图像经由线L104分别被输入预测信号生成器103。关于参照图像，将过去被编码后又被复原的多个图像用作参照图像。其详细情况与现有技术的MPEG－2、MPEG－4、H.264中的任意一种方法相同。所确定的小区域的分割方法信息及各个小区域的运动信息，从预测信号生成器103经由线L112发送给熵编码器111，在由熵编码器111进行编码后，该编码数据经由线L111从输出端子112被发送出去。并且，在多个参照图像中，有关从哪个参照图像取得预测信号的信息(基准索引)，也从预测信号生成器103经由线L112发送给熵编码器111，在由熵编码器111进行编码后，该编码数据经由线L111从输出端子112发送出去。另外，在本实施方式中，作为一例，4张～5张再现图像被存储在帧存储器104中，被作为参照图像使用。预测信号生成器103根据小区域的分割方法以及有关各个小区域的参照图像和运动信息，从帧存储器104取得参照图像，根据参照图像和运动信息生成预测信号(通过画面间预测得到的预测信号的意思，称为“画面间预测信号”)。这样生成的画面间预测信号经由线L103被发送给减法器105和在后述的处理中涉及的加法器110。
另一方面，在画面内预测中，使用在空间上与对象块相邻的已再现的像素值生成画面内预测信号。具体地讲，预测信号生成器103从帧存储器104取得处于同一画面内的已再现的像素信号，并外插已再现的像素信号，由此生成预测信号(通过画面内预测得到的预测信号的意思，称为“画面内预测信号”)。所生成的画面内预测信号从预测信号生成器103经由线L103被发送给减法器105。预测信号生成器103中画面内预测信号的生成方法与现有技术的H.264的方法相同。另外，与画面内预测中的外插的方法相关的信息，从预测信号生成器103经由线L112被发送给熵编码器111，在由熵编码器111进行编码后，编码数据从输出端子112被发送出去。
以上概要说明了画面间预测和画面内预测各自的基本动作。实际上，对于每个对象块，选择如上所述求出的画面间预测信号和画面内预测信号中误差为最小的信号，从预测信号生成器103经由线L103发送给减法器105。
可是，对于被编码的第一张图像，由于在其前面没有图像，因而该第一张图像内的全部对象块是通过画面内预测进行处理。并且，为了应对电视的频道切换，通过画面内预测定期处理作为随机访问点的、某个图像内的全部对象块。这种图像被称为内帧，在H.264中称为IDR图片。
减法器105从经由线L102接收到的对象块的信号中减去经由线L103接收到的预测信号，由此生成残差信号。该残差信号由变换器106进行离散余弦变换，其各个变换系数由量化器107进行量化。最后，被量化后的变换系数由熵编码器111进行编码，所得到的编码数据和与预测方法相关的信息一起经由线L111从输出端子112发送出去。
另一方面，为了对后续的对象块进行画面内预测或者画面间预测，上述被量化后的变换系数(对象块的编码数据)在由逆量化器108进行逆量化后，由逆变换器109进行逆离散余弦变换，由此残差信号被复原。并且，由加法器110将被复原后的残差信号和从线L103发送的预测信号相加，由此对象块的信号被再现，所得到的再现信号被存储在帧存储器104中。另外，在本实施方式中使用了变换器106和逆变换器109，但也可以使用其它的变换处理来取代。并且，根据情况也可以没有变换器106和逆变换器109。
可是，帧存储器104是有限的，实际上不能存储全部的再现图像。因此，只有在对后续的图像进行编码时使用的再现图像被存储在帧存储器104中。控制该帧存储器104的是帧存储器管理器114。帧存储器管理器114进行这样的控制：从在帧存储器104中存储的N张(例如N＝4)再现图像中删除最早的再现图像，由此能够将最新被用作参照图像的再现图像存储在帧存储器104中。实际上，从输入端子113向帧存储器管理器114输入有各个图像的显示顺序信息以及对图像进行编码的类型信息(画面内预测编码、画面间预测编码、双向预测编码)，帧存储器管理器114根据这些信息进行动作。此时，各个图像的显示顺序信息从帧存储器管理器114经由线L114被发送给熵编码器111，由熵编码器111进行编码，该被编码后的显示顺序信息与被编码后的图像数据一起经由线L111从输出端子112被发送出去。另外，显示顺序信息是附随于各个图像的信息，也可以是表示图像的顺序的信息、或表示显示图像的时刻的信息(例如图像的显示参照时间(临时参照))。在本实施方式中，例如利用二值编码直接对显示顺序信息进行编码。另外，关于帧存储器管理器114的控制方法将在后面进行说明。
[关于动态图像预测解码装置]
下面，对本发明的动态图像预测解码装置进行说明。图2是表示本发明的实施方式的动态图像预测解码装置200的结构的功能框图。如图2所示，动态图像预测解码装置200具有作为功能性构成要素的输入端子201、数据分析器202、逆量化器203、逆变换器204、加法器205、预测信号生成器208、帧存储器207、输出端子206以及帧存储器管理器209。关于各个功能单元的动作，将在后述的动态图像预测解码装置200的动作中进行说明。另外，关于与解码相关的单元，不限于逆量化器203和逆变换器204，也可以利用除此之外的单元。并且，也可以没有逆变换器204，而仅利用逆量化器203构成与解码相关的单元。
下面，叙述动态图像预测解码装置200的动作。利用上述的编码方法得到的压缩数据被从输入端子201输入。该压缩数据中包含对象块的残差信号、与预测信号的生成相关的信息、量化参数、图像的显示顺序信息、与图像的编码类型相关的信息。其中，作为与预测信号的生成相关的信息，例如在画面间预测的情况下，是包括与块分割相关的信息(小区域的分割方法信息(例如块的尺寸等))、各个小区域的运动信息、以及基准索引，在画面内预测的情况下，则包括与外插的方法相关的信息。
数据分析器202从所输入的压缩数据中抽取对象块的残差信号、与预测信号的生成相关的信息、量化参数、图像的显示顺序信息、与图像的编码类型相关的信息。其中，对象块的残差信号和量化参数经由线L202被发送给逆量化器203，逆量化器203根据量化参数对对象块的残差信号进行逆量化，逆变换器204再对逆量化的结果进行逆离散余弦变换。这样被复原后的残差信号经由线L204被发送给加法器205。
另一方面，所抽取的与预测信号的生成相关的信息，经由线L206b被发送给预测信号生成器208。预测信号生成器208根据与预测信号的生成相关的信息，从帧存储器207内的多个参照图像中取得恰当的参照图像，根据该恰当的参照图像生成预测信号。所生成的预测信号经由线L208被发送给加法器205，由加法器205加算到上述被复原后的残差信号中，其结果是，对象块的信号被再现。被再现的对象块的信号经由线L205从输出端子206输出，同时作为再现图像被存储在帧存储器207中。
在帧存储器207中存储有在对后续的图像进行解码和再现时使用的再现图像。帧存储器管理器209进行这样的控制：从帧存储器207中存储的N张(此处作为一例是N＝4，但也可以是预先设定的整数)再现图像中删除最早的再现图像，由此能够将最新被用作参照图像的再现图像存储在帧存储器207中。该帧存储器管理器209根据经由线L206a输入的对象图像的显示顺序信息和与图像的编码类型相关的信息进行动作。关于帧存储器管理器209的控制方法将在后面进行说明。
另外，关于作为随机访问点的内帧(画面内预测图像)，在H.264中被称为IDR图片(instantaneous decoder refresh)，该名称来源于在对IDR图片进行编码或者解码后马上(instantaneous)刷新帧存储器(decoder buffer)。与此相对，根据本发明，不是在对作为随机访问点的内帧进行编码或者解码后马上(或者即将进行编码或解码之前)执行帧存储器的刷新，而是暂时待机(或者延迟)，然后执行帧存储器的刷新，因而在本发明中将该图像称为DDR图片(deferred decoder refresh或者delayed decoderrefresh)。如以下详细说明的那样，将DDR图片的显示顺序信息与作为处理(编码或者解码)的对象的图像(下面称为“处理对象图像”)的显示顺序信息进行比较，由此确定帧存储器的刷新的定时。
[动态图像预测编码方法及动态图像预测解码方法的特征性处理动作]
下面，使用图3和图4说明本发明的动态图像预测编码方法及动态图像预测解码方法的动作。图3是表示本实施方式的动态图像预测编码/解码方法的流程图，下面关于图3说明作为动态图像的编码方法时的情况。但是，图3也能够适用于动态图像的解码方法。
首先，对在图3中使用的变量的意思进行说明。TR表示显示顺序信息，TR_DDR表示DDR图像的显示顺序信息，TR_CUR表示该时刻的处理对象图像的显示顺序信息，RP是表示帧存储器104的刷新是否为待机中的状态变量。在RP＝1时，表示DDR图片成为处理对象后，帧存储器104的刷新尚未执行的状态(即，帧存储器刷新为待机中的状态)，在RP＝0时，表示帧存储器104的刷新已执行完毕的状态或者不需要刷新处理的状态。
在图3中，在动态图像的编码开始时，首先将TR_DDR和RP初始化为0(步骤301)。在步骤302，确认RP＝1而且TR_CUR是否大于TR_DDR。如果满足该条件，则意味着帧存储器刷新为待机中、而且处理对象的图像在显示顺序中是DDR图片后面的图像，因而执行帧存储器104的刷新处理(即，将帧存储器104中存储的参照图像设定为不要的处理)(步骤303)。但是，在此，设定为不要的参照图像仅是显示顺序信息TR比最近的DDR图片的显示顺序信息(TR_DDR)小的参照图像。并且，不将最近的DDR图片(或者画面内预测编码图像)设定为不要。以上所述的刷新处理结束，由此将状态变量RP设定为RP＝0。
另一方面，当在步骤302不满足上述条件的情况下，进入步骤304，确认该时刻的处理对象图像是否是DDR图片。另外，在动态图像预测编码装置100中，假设与图像的编码类型(DDR、画面间预测编码或者双向预测编码)相关的信息是经由图1中的输入端子113从未图示的控制装置提供的。在步骤304，在该时刻的处理对象图像是DDR图片的情况下，在步骤305将该时刻的处理对象图像的显示顺序信息TR_CUR设定为TR_DDR，将状态变量RP设定为RP＝1，然后进入步骤306。另一方面，当在步骤304不满足条件的情况下，进入步骤306。
在步骤306，得到相当于处理对象图像的再现图像。在此，利用图1中说明的编码方法对处理对象图像进行编码而得到压缩数据，再对压缩数据进行解码得到再现图像(相当于处理对象图像的再现图像)。另外，通过进行编码得到的压缩数据被发送到动态图像预测编码装置100的外部。或者，也可以将压缩数据蓄积在动态图像预测编码装置100内的未图示的存储器中。在后面的步骤307，判定相当于处理对象图像的再现图像是否在后续的处理中被用作参照图像。该判定是根据该图像的编码类型进行的。另外，在本实施方式中，将DDR图片、单向预测编码图像、以及特定的双向预测编码图像全部设为参照图像。但是，不限于该方法。
当在步骤307判定为再现图像未被用作参照图像的情况下，不将再现图像存储在帧存储器104中，进入步骤309。另一方面，当在步骤307判定为再现图像被用作参照图像的情况下，在步骤308将再现图像存储在帧存储器104中，进入步骤309。
在步骤309判定是否存在下一个图像(未处理的图像)，如果存在下一个图像，则返回到步骤302，针对下一个图像重复步骤302～步骤308的处理。这样重复进行步骤302～步骤308的处理一直到最后一个图像，在全部图像的处理结束后，结束图3所示的处理。
通过上述的图3所示的处理，在随机访问图像(此处指最近的DDR图片)的处理结束后，在对显示顺序信息TR比TR_DDR大的第一个图像进行处理时(实际上指紧挨在步骤306的处理前面的步骤303)，帧存储器被刷新。另外，帧存储器的刷新的定时可以设为在随机访问图像(此处指最近的DDR图片)的处理结束后，对显示顺序信息TR比TR_DDR大的第一个图像进行处理的时刻，也可以设为紧挨在步骤306的处理之后。
上述的图3所示的处理对应于图1中的动态图像预测编码装置100整体的处理，尤其是步骤302～305的处理由帧存储器管理器114进行。
另外，图3说明了作为动态图像的编码方法时的情况，但也能够适用于动态图像解码方法的处理。在进行解码处理的情况下，在步骤301还输入被实施了压缩编码的图像的数据(比特流)。从该数据中抽取对象图像的显示顺序信息和编码类型，利用与上述相同的方法进行步骤302～305的控制。执行对在步骤306将对象图像压缩得到的数据进行解码，将图像复原的处理。自步骤307开始的处理如上所述。这种处理对应于图2中的动态图像预测解码装置200整体的处理，尤其是步骤302～305的处理是由帧存储器管理器209进行的。
图4是用于说明本实施方式的动态图像预测编码/解码方法的处理的示意图。图4所示的图像401～409是构成动态图像的图像组的一部分，表示图像401被n张图像领先的状态。因此，如图4的区域418所示，将图像401的显示顺序信息TR表述为(n+1)。并且，在本实施方式中示出了先对TR＝(n+5)的图像402进行处理，然后对在显示顺序中先行于图像402的图像403、404、405进行处理的状态，以便进行包括双向预测的编码/解码处理。基于同样的理由，显示顺序为(n+3)的图像403先于显示顺序为(n+2)的图像404被处理。这种顺序与图11(B)相同。另外，以后所说的“对图像进行处理”是指“对图像进行编码或者解码”。
在图4的图像401～409的框内记述的英文的意思如下所述。即，P表示通过单向预测被编码的图像，DDR表示作为DDR图片被编码的图像，B和b表示通过双向预测被编码的图像。并且，除用小写字母b示出的图像之外的图像(即用大写字母B、P、DDR示出的图像)全部被用作参照图像。针对图4中的区域420示出的各个图像的RP的值以及区域419示出的TR_DDR的值，是指针对各个图像的处理刚刚结束后的值，不是针对各个图像的处理开始时(即进入图3的步骤302时)的值。例如，在针对图像402的处理开始时RP＝0，针对图像402的处理刚刚结束后的RP＝1。
在对图像401的处理中，由于图像401不是DDR图片，因而RP＝0。对应于图像401的TR_DDR可以取任意的值，但设定为通过先行的处理而存储的值。并且，用大写字母P1示出的图像401被用作参照图像，因而被存储在帧存储器中。
下面，参照图3说明图像402的处理。此时，如图4中最下段的区域410所示，在帧存储器中存储有被再现的图像P1。在图像402的处理开始的时刻RP＝0，因而在步骤302判定为否定，进入步骤304。由于图像402是DDR图片，因而在步骤304判定为肯定，在步骤305设定为RP＝1、TR_DDR＝n+5。并且，图像402由于被用作参照图像，因而被存储在帧存储器中。
然后，在图像403的处理开始的时刻，如图4中的区域411所示，在帧存储器中存储有图像P1和DDR5。此时RP＝1，但由于图像403的显示顺序TR(n+3)比TR_DDR(n+5)小、而且图像403不是DDR图片，因而在步骤302、304判定为否定，直接进行编码或者解码(步骤306)。并且，图像403由于被用作参照图像，因而被存储在帧存储器中。
在对图像404和405进行处理时，帧存储器的刷新同样保持待机状态(RP＝1)。并且，图像404和405由于未被用作参照图像，因而如图4的区域412、413所示在帧存储器中没有存储图像404和405，而是存储有图像P1、DDR5、B3。
在图像406的处理开始的时刻RP＝1，但是由于图像406的显示顺序信息TR(n+9)比TR_DDR(n+5)大，因而在步骤302判定为肯定，在步骤303将参照图像设定为不要，由此刷新帧存储器，设定RP＝0。此时设定为不要的参照图像仅仅是除最近的DDR图片402之外的、显示顺序信息TR比最近的DDR图片402小的参照图像。因此，如图4的区域414所示，在帧存储器中，图像P1和图像B3的存储区域被释放，仅存储有图像DDR5。图像406如图4的区域415所示在该图像406的处理结束后被存储在帧存储器中，其后进行与上述相同的帧存储器的刷新控制。
这样在刚刚进行DDR图片402的处理之后或者之前，不将位于帧存储器中的参照图像(在图4中指P1)设定为不要，因而在DDR图片402之后实施的图像403、404、405的处理中能够参照图像P1，因此能够有助于编码效率的提高。并且，当在DDR图片402的处理之后执行帧存储器刷新时，不将最近的DDR图片402(图像DDR5)设定为不要，因而在后续的图像407、408、409的处理中能够将最近的DDR图片402(图像DDR5)用作参照图像。
这样，本实施方式通过利用附随于图像的显示顺序信息，能够利用显示顺序信息设定在作为随机访问的位置的画面内预测图像(DDR图片)的处理之后进行的存储器刷新的定时，由此能够高效地对位于随机访问图像前后的图像进行压缩编码。并且，能够如下所述消除由于现有技术的缺点导致的问题。
即，由于显示顺序信息是各个图像一定附带的信息，因而不需要发送新的信息(标志)，消除了现有技术的缺点2。并且，在进行动态图像的编辑(例如将一部分图像舍弃，将另一部分图像连接起来等)的情况下，由于恰当地设定构成动态图像的各个图像的显示顺序信息，因而不会引发错误动作，消除了现有技术的缺点1。另外，本发明的存储器刷新的定时不限于P图片，不依赖于图像的编码类型(I图片、P图片、B图片)，因而无论是否需要存储器的刷新，都能够以编码效率最好的编码类型进行处理，消除了现有技术的缺点3。
[关于变形例]
在上述的实施方式中说明了将图像的显示顺序信息设为“绝对值”进行编码时的处理，然而为了提高编码效率，也存在将图像的显示顺序信息设为“差分值”进行编码的实施方式。下面，作为变形例，说明将显示顺序信息设为“差分值”进行编码的实施方式。
图5是表示动态图像预测编码/解码方法的变形例的流程图。在变形例中，按照下面所述对图像的显示顺序信息进行编码。即，对于在帧存储器的刷新的待机过程中成为处理对象的图像，对该图像的显示顺序信息与DDR图片的显示顺序信息的差分值进行编码。另一方面，对于上述图像之外的图像，利用任意的方法对该图像的显示顺序信息进行编码。例如，可以对该图像的显示顺序信息与DDR图片的显示顺序信息的差分进行编码，也可以对该图像的显示顺序信息与在编码顺序中紧挨其前面的图像的显示顺序信息的差分进行编码。
在下面的变形例中，关于图5说明作为动态图像的解码方法的情况，当然图5也能够适用于动态图像的编码方法。在图5的步骤501，已实施压缩编码的图像的数据被输入动态图像预测解码装置200，从该数据中抽取对象图像的显示顺序信息的差分值(delta_TR)以及与图像的编码类型相关的信息。同时，将TR_DDR和RP初始化为0。
在后面的步骤502，确认是否RP＝1。如果满足该条件，则意味着帧存储器刷新处于待机中，因而进入步骤503。在步骤503，将该时刻的处理对象图像的显示顺序信息TR_CUR设定为TR_DDR与delta_TR之和(相加得到的值)。
然后，在步骤504确认TR_CUR是否大于TR_DDR。如果满足该条件，则意味着处于帧存储器刷新待机中、而且处理对象的图像是在显示顺序中位于DDR图片后面的图像，因而执行帧存储器207的刷新处理(即，将在帧存储器207中存储的参照图像设定为不要的处理)(步骤505)。但是，此处被设定为不要的参照图像仅是显示顺序信息TR比最近的DDR图片的显示顺序信息(TR_DDR)小的参照图像。并且，不将最近的DDR图片(或者画面内预测编码图像)设定为不要。以上所述的刷新处理结束，由此将状态变量RP设定为RP＝0。然后，进入后述的步骤507。并且，当在前述的步骤504判定为否定时也进入步骤507。
另一方面，当在步骤502判定为否定时进入步骤506，将TR_CUR设定为此前已进行处理的图像的显示顺序信息TR_PREV与delta_TR之和(相加得到的值)，进入步骤507。
在步骤507，确认该时刻的处理对象图像是否是DDR图片。另外，动态图像预测解码装置200能够从由外部输入的压缩编码数据中得到与图像的编码类型(DDR、画面间预测编码或者双向预测编码)相关的信息。
在步骤507，在该时刻的处理对象图像是DDR图片的情况下，在步骤508，将该时刻的处理对象图像的显示顺序信息TR_CUR设定为TR_DDR，将状态变量RP设定为RP＝1，然后进入步骤509。另一方面，当在步骤507不满足条件的情况下，进入步骤509。
在步骤509，得到相当于处理对象图像的再现图像。此处是利用在图2中说明的解码方法对处理对象图像的压缩数据进行解码，由此得到相当于处理对象图像的再现图像。另外，此处得到的再现图像例如被发送到动态图像预测解码装置200的外部。在后面的步骤501，判定相当于处理对象图像的再现图像是否在后续的处理中被用作参照图像。该判定是根据该图像的编码类型而进行的。另外，在此将DDR图片、单向预测编码图像以及特定的双向预测编码图像全部设为参照图像。但是，不限于该方法。
当在步骤510判定为再现图像未被用作参照图像的情况下，不将再现图像存储在帧存储器207中，进入步骤512。另一方面，当在步骤510判定为再现图像被用作参照图像的情况下，进入步骤511，将再现图像存储在帧存储器207中，进入步骤512。
在步骤512，为了便于后续的步骤506的处理，将TR_CUR设定为TR_PREV，进入步骤513。在步骤513判定是否存在下一个图像(未处理的图像)，如果存在下一个图像，则返回到步骤502，针对下一个图像反复步骤502～步骤512的处理。这样反复进行步骤502～步骤512的处理一直到最后一个图像，在全部图像的处理结束后，结束图5所示的处理。
通过上述的图5所示的处理，在随机访问图像(此处指最近的DDR图片)的处理结束后，在对显示顺序信息TR比TR_DDR大的第一个图像进行处理时(实际上指紧挨在步骤509的处理前面的步骤505)，帧存储器被刷新。另外，帧存储器的刷新的定时可以设为在随机访问图像(此处指最近的DDR图片)的处理结束后，对显示顺序信息TR比TR_DDR大的第一个图像进行处理的时刻，也可以设为紧挨在步骤509的处理之后。
上述的图5所示的处理对应于图2中的动态图像预测解码装置200整体的处理，尤其是步骤502～508的处理是由帧存储器管理器209进行的。
另外，关于图5说明了作为动态图像的解码方法的情况，但也能够适用于动态图像编码方法的处理。在进行编码处理的情况下，在步骤503根据TR_CUR与TR_DDR的差分求出delta_TR，在步骤506根据TR_CUR与TR_PREV的差分求出delta_TR，然后进行熵编码。并且，在步骤509对对象图像进行编码后进行编码。这种处理对应于图1中的动态图像预测编码装置100整体的处理，尤其是步骤502～508的处理是由帧存储器管理器114进行的。
图6是用于说明变形例的动态图像预测编码/解码方法的处理的示意图。图6所示的图像601～609是构成动态图像的图像组的一部分，示出了与在图4中说明的图像401～409相同的处理。但是，在图6中针对图4追加了区域621示出的delta_TR。根据该区域621可知，delta_TR的求出方法根据对象图像的编码处理开始时的RP的值(前面的图像的RP值)而不同。即，在图像603～606的编码处理中，delta_TR是作为各个图像的TR与TR_DDR的差分值而求出的。在自图像607起的编码处理中，delta_TR是作为各个图像的TR与紧挨其前面的图像的TR的差分值而求出的。另一方面，在各个图像的解码处理中，在从差分值delta_TR将显示顺序信息TR复原的情况下，将对差分值的压缩数据进行解码得到的差分值delta_TR与TR_DDR相加，由此将显示顺序信息TR复原。其后是与图4相同的处理，因而省略。
在图6中，假设即使图像603～605通过编辑而丢失，由于图像606的显示顺序信息TR是从TR_DDR求出的，因而能够准确再现为TR＝delta_TR+TR_DDR＝4+(n+5)＝n+9，能够没有错误动作地控制帧存储器的刷新。假设全部图像的delta_TR是作为在解码顺序中该图像的显示顺序信息与紧挨其前面的图像的显示顺序信息的差分值而求出的，则在图像603丢失的情况下，将不能准确再现显示顺序信息，导致在图像605的定时执行帧存储器的刷新(本来，图像606的定时是正确的定时)。
在将图6应用于动态图像编码处理的情况下，在随机访问图像(此处指最近的DDR图片)的处理结束后，当在帧存储器刷新的待机过程中对某个图像(图像603～606)的显示顺序信息进行编码时，不是对该图像的显示顺序信息TR自身，而是对该图像的显示顺序信息TR与DDR图片的显示顺序信息TR_DDR的差分值delta_TR进行编码，由此能够准确将帧存储器刷新的定时复原。因此，假设即使某个图像在帧存储器刷新的待机过程中丢失时，也能够避免错误动作，具有抗错误性能较强的效果。
另外，作为另一个示例也可以是，对差分值delta_TR进行编码的对象指这样的图像，即随机访问图像(此处指最近的DDR图片)后面的、包括显示顺序信息TR比TR_DDR大的第一个图像(在图6中指图像606)的一个以上的图像。即，对于随机访问图像(此处指最近的DDR图片)后面的、包括显示顺序信息TR比TR_DDR大的第一个图像(在图6中指图像606)的一个以上的图像，在对其显示顺序信息进行编码时，可以不对该图像的显示顺序信息TR自身，而是对该图像的显示顺序信息TR与DDR图片的显示顺序信息TR_DDR的差分值delta_TR进行编码。
[关于动态图像预测编码程序、动态图像预测解码程序]
涉及动态图像预测编码装置的发明也能够作为用于使计算机作为动态图像预测编码装置发挥作用的动态图像预测编码程序的发明提出。同样，涉及动态图像预测解码装置的发明也能够作为用于使计算机作为动态图像预测解码装置发挥作用的动态图像预测解码程序的发明提出。
动态图像预测编码程序和动态图像预测解码程序例如被存储在记录介质中被提供。另外，关于记录介质，可以例示软盘、CD－ROM、DVD等记录介质，或者ROM等记录介质，或者半导体存储器等。
图9示出了用于使计算机作为动态图像预测编码装置发挥作用的动态图像预测编码程序的模块。如图9所示，动态图像预测编码程序P100具有输入模块P101、编码模块P102、复原模块P103、图像存储模块P104、存储器管理模块P105。
另外，图10示出了用于使计算机作为动态图像预测解码装置发挥作用的动态图像预测解码程序的模块。如图9所示，动态图像预测解码程序P200具有输入模块P201、复原模块P202、图像存储模块P203、存储器管理模块P204。
如上所述构成的动态图像预测编码程序P100和动态图像预测解码程序P200能够存储在图8所示的记录介质10中，由后述的计算机30执行。
图7是表示用于执行在记录介质中记录的程序的计算机的硬件结构的图，图8是表示用于执行在记录介质中存储的程序的计算机的概观图。计算机包括具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒、移动电话等。
如图7所示，计算机30具有：软盘驱动装置、CD－ROM驱动装置、DVD驱动装置等的读取装置12；使操作系统常驻的作业用存储器(RAM)14；存储记录在记录介质10中的程序的存储器16；显示器等显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的发送接收的通信装置24；控制程序的执行的CPU26。在记录介质10被插入到读取装置12中时，计算机30能够从读取装置12对记录在记录介质10中的动态图像预测编码程序进行存取，通过该动态图像预测编码程序，能够作为本发明的动态图像预测编码装置进行工作。同样，在记录介质10被插入到读取装置12中时，计算机30能够从读取装置12对记录在记录介质10中的动态图像预测解码程序进行存取，通过该动态图像预测解码程序，能够作为本发明的动态图像预测解码装置进行工作。
如图8所示，动态图像预测编码程序或者动态图像预测解码程序也可以作为被叠加于载波中的计算机数据信号40通过网络来提供。在这种情况下，计算机30能够将通过通信装置24接收到的动态图像预测编码程序或者动态图像预测解码程序存储在存储器16中并执行。
标号说明
10记录介质；30计算机；100动态图像预测编码装置；101输入端子；102块分割器；103预测信号生成器；104帧存储器；105减法器；106变换器；107量化器；108逆量化器；109逆变换器；110加法器；111熵编码器；112输出端子；113输入端子；114帧存储器管理器；200动态图像预测解码装置；201输入端子；202数据分析器；203逆量化器；204逆变换器；205加法器；206输出端子；207帧存储器；208预测信号生成器；209帧存储器管理器；P100动态图像预测编码程序；P101输入模块；P102编码模块；P103复原模块；P104图像存储模块；P105存储器管理模块；P200动态图像预测解码程序；P201输入模块；P202复原模块；P203图像存储模块；P204存储器管理模块。

Claims (12)

1.一种动态图像预测编码装置，其特征在于，该动态图像预测编码装置具有：
输入单元，其输入构成动态图像的多个图像；
编码单元，其利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；
复原单元，其对所生成的所述压缩图像数据进行解码，由此复原再现图像；
图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像进行存储；以及
存储器管理单元，其控制所述图像存储单元，
在生成所述随机访问图像的编码处理结束后，所述存储器管理单元在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
2.根据权利要求1所述的动态图像预测编码装置，其特征在于，
对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像在内的一个以上的编码对象图像，所述编码单元对所述编码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与所述编码对象图像的显示顺序信息相关的数据。
3.根据权利要求1所述的动态图像预测编码装置，其特征在于，
所述编码单元对于从在所述随机访问图像之后成为编码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像为止的各个图像，对各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与该各个图像的显示顺序信息相关的数据。
4.一种动态图像预测解码装置，其特征在于，该动态图像预测解码装置具有：
输入单元，其输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；
复原单元，其通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；
图像存储单元，其将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像进行存储；以及
存储器管理单元，其控制所述图像存储单元，
在对所述随机访问图像进行解码的解码处理结束后，在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前，所述存储器管理单元将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
5.根据权利要求4所述的动态图像预测解码装置，其特征在于，
所述复原单元对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在对所述随机访问图像进行解码的解码处理结束后第一个成为解码对象的图像在内的一个以上的解码对象图像的显示顺序信息，将对该解码对象图像的显示顺序编码数据进行解码得到的该解码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该解码对象图像的显示顺序信息。
6.根据权利要求4所述的动态图像预测解码装置，其特征在于，
所述复原单元对于从在所述随机访问图像之后成为解码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的解码处理结束后第一个成为解码对象的图像为止的各个图像的显示顺序信息，将对该各个图像的显示顺序编码数据进行解码得到的该各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该各个图像的显示顺序信息。
7.一种由动态图像预测编码装置执行的动态图像预测编码方法，该动态图像预测编码装置具有用于存储对后续的图像进行编码时使用的参照图像的图像存储单元，其特征在于，该动态图像预测编码方法包括：
输入步骤，输入构成动态图像的多个图像；
编码步骤，利用画面内预测方法或者画面间预测方法对所输入的所述图像进行编码，生成包含成为随机访问的图像即随机访问图像在内的压缩图像数据，并且对与所述图像的显示顺序信息相关的数据进行编码；
复原步骤，对所生成的所述压缩图像数据进行解码，由此复原再现图像；
图像存储步骤，将被复原的所述再现图像作为用于对后续的图像进行编码的参照图像存储于所述图像存储单元中；以及
存储器管理步骤，控制所述图像存储单元，
在所述存储器管理步骤中，在生成所述随机访问图像的编码处理结束后，所述动态图像预测编码装置在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行编码之前，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
8.根据权利要求7所述的动态图像预测编码方法，其特征在于，
在所述编码步骤中，所述动态图像预测编码装置对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像在内的一个以上的编码对象图像，对所述编码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与所述编码对象图像的显示顺序信息相关的数据。
9.根据权利要求7所述的动态图像预测编码方法，其特征在于，
在所述编码步骤中，所述动态图像预测编码装置对于从在所述随机访问图像之后成为编码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的编码处理结束后第一个成为编码对象的图像为止的各个图像，对各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值进行编码，作为与该各个图像的显示顺序信息相关的数据。
10.一种由动态图像预测解码装置执行的动态图像预测解码方法，该动态图像预测解码装置具有用于存储对后续的图像进行解码时使用的参照图像的图像存储单元，其特征在于，该动态图像预测解码方法包括：
输入步骤，输入利用画面内预测方法或者画面间预测方法对构成动态图像的多个图像进行编码得到的、包括成为随机访问的图像即随机访问图像在内的压缩图像数据、以及通过对与所述图像的显示顺序信息相关的数据进行编码得到的显示顺序编码数据；
复原步骤，通过对所述压缩图像数据进行解码而复原再现图像，并且通过对所述显示顺序编码数据进行解码而复原显示顺序信息；
图像存储步骤，将被复原的所述再现图像作为用于对后续的图像进行解码的参照图像存储于所述图像存储单元中；以及
存储器管理步骤，控制所述图像存储单元，
在所述存储器管理步骤中，在对所述随机访问图像进行解码的解码处理结束后，所述动态图像预测解码装置在对显示顺序信息比所述随机访问图像的显示顺序信息大的第一个图像即将进行解码之前，将存储于所述图像存储单元的参照图像中除所述随机访问图像之外的参照图像设定为不要，由此刷新所述图像存储单元。
11.根据权利要求10所述的动态图像预测解码方法，其特征在于，
在所述复原步骤中，所述动态图像预测解码装置对于包括显示顺序信息比所述随机访问图像的显示顺序信息大、而且在对所述随机访问图像进行解码的解码处理结束后第一个成为解码对象的图像在内的一个以上的解码对象图像的显示顺序信息，将对该解码对象图像的显示顺序编码数据进行解码得到的该解码对象图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该解码对象图像的显示顺序信息。
12.根据权利要求10所述的动态图像预测解码方法，其特征在于，
在所述复原步骤中，所述动态图像预测解码装置对于从在所述随机访问图像之后成为解码对象的图像开始、到显示顺序信息比所述随机访问图像的显示顺序信息大、而且在生成所述随机访问图像的解码处理结束后第一个成为解码对象的图像为止的各个图像的显示顺序信息，将对该各个图像的显示顺序编码数据进行解码得到的该各个图像的显示顺序信息与所述随机访问图像的显示顺序信息之间的差分值、和所述随机访问图像的显示顺序信息进行相加，由此复原该各个图像的显示顺序信息。
CN201180013583.6A 2010-03-17 2011-03-14 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法 Active CN102792696B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510603845.4A CN105187842B (zh) 2010-03-17 2011-03-14 动态图像预测解码装置、动态图像预测解码方法
CN201510165668.6A CN104768020B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置和方法、动态图像预测解码装置和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010061337A JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2010-061337 2010-03-17
PCT/JP2011/055915 WO2011115045A1 (ja) 2010-03-17 2011-03-14 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201510165668.6A Division CN104768020B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置和方法、动态图像预测解码装置和方法
CN201510603845.4A Division CN105187842B (zh) 2010-03-17 2011-03-14 动态图像预测解码装置、动态图像预测解码方法

Publications (2)

Publication Number Publication Date
CN102792696A CN102792696A (zh) 2012-11-21
CN102792696B true CN102792696B (zh) 2015-10-21

Family

ID=44649138

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201510165668.6A Active CN104768020B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置和方法、动态图像预测解码装置和方法
CN201180013583.6A Active CN102792696B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法
CN201510603845.4A Active CN105187842B (zh) 2010-03-17 2011-03-14 动态图像预测解码装置、动态图像预测解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510165668.6A Active CN104768020B (zh) 2010-03-17 2011-03-14 动态图像预测编码装置和方法、动态图像预测解码装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510603845.4A Active CN105187842B (zh) 2010-03-17 2011-03-14 动态图像预测解码装置、动态图像预测解码方法

Country Status (17)

Country Link
US (6) US9113171B2 (zh)
EP (3) EP2549758B1 (zh)
JP (1) JP2011199396A (zh)
KR (3) KR101867461B1 (zh)
CN (3) CN104768020B (zh)
AU (9) AU2011228218B2 (zh)
BR (1) BR112012023322B1 (zh)
CA (8) CA3009695C (zh)
ES (2) ES2655919T3 (zh)
MX (1) MX2012010614A (zh)
NO (2) NO2942965T3 (zh)
PL (2) PL2549758T3 (zh)
PT (2) PT2549758T (zh)
RU (6) RU2601134C2 (zh)
SG (2) SG184079A1 (zh)
TW (7) TWI650002B (zh)
WO (1) WO2011115045A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
TWI637628B (zh) 2011-07-02 2018-10-01 三星電子股份有限公司 視訊解碼裝置執行的解碼視訊的方法、視訊編碼裝置執行的編碼視訊的方法以及非暫態的電腦可讀取儲存媒體
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9432694B2 (en) * 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
AU2013281946B2 (en) * 2012-06-29 2017-03-02 Sony Group Corporation Decoding device, and decoding method
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
KR102133978B1 (ko) 2013-11-13 2020-07-14 삼성전자주식회사 압축 데이터를 이용하여 패널 셀프 리프레쉬를 수행할 수 있는 타이밍 컨트롤러, 이의 동작 방법, 및 상기 타이밍 컨트롤러를 포함하는 데이터 처리 시스템
CN107113422B (zh) * 2015-11-06 2020-08-25 微软技术许可有限责任公司 一种用于视频编码和解码的参考图片管理的计算机系统
JP6641344B2 (ja) * 2017-12-05 2020-02-05 三菱電機株式会社 符号化装置
CN114503573A (zh) * 2019-03-20 2022-05-13 威诺瓦国际有限公司 低复杂性增强视频编码
CN111124337B (zh) * 2019-12-17 2023-08-01 西安万像电子科技有限公司 图像显示方法及系统
EP4118835A4 (en) * 2020-03-31 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. HIGH LEVEL SYNTAX METHODS AND DEVICES IN VIDEO CODING
WO2021203039A1 (en) * 2020-04-03 2021-10-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high-level syntax in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107863A (zh) * 2005-01-19 2008-01-16 汤姆森特许公司 用于实时并行编码的方法和装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2161377C2 (ru) * 1992-12-04 2000-12-27 Сони Корпорейшн Устройство и способ подготовки к записи на носителе информации кодируемого с переменным параметром сигнала, устройство и способ последовательного сигнала, способ воспроизведения шаблонов с носителя информации
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
EP1401214A4 (en) * 2001-10-17 2006-08-02 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING IMAGES
CN101656882B (zh) * 2001-11-06 2013-04-17 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
DK1406451T3 (da) * 2002-07-11 2007-02-05 Matsushita Electric Ind Co Ltd Billedkodnings- og dekodningsfremgangsmåde til H.264 ved anvendelse af en virtuel visningsbuffer
US8300690B2 (en) * 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US20060153463A1 (en) * 2003-01-20 2006-07-13 Youji Notoya Image encoding method
JP5068947B2 (ja) * 2003-02-18 2012-11-07 ノキア コーポレイション ピクチャの符号化方法
JP2004260236A (ja) 2003-02-24 2004-09-16 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法
CN101771881B (zh) * 2003-03-03 2012-08-29 松下电器产业株式会社 编码装置、编码方法、解码装置、解码方法及记录方法
EP1496707A1 (en) * 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US8948262B2 (en) * 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
JP4638874B2 (ja) * 2004-08-11 2011-02-23 株式会社日立製作所 符号化ストリーム記録媒体、及び画像符号化装置
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
GB2438776B (en) * 2005-02-09 2010-06-09 March Networks Corp Method and system for low-subband content discrimination
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
US8548064B2 (en) * 2006-01-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method by using selected parallax for parallax compensation, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
CN101563927A (zh) * 2006-12-21 2009-10-21 汤姆森许可贸易公司 用于对视频图像的块进行解码的方法
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
FR2924296B1 (fr) * 2007-11-28 2010-05-28 Canon Kk Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
JP2009296078A (ja) 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
JP5993453B2 (ja) * 2011-07-15 2016-09-14 テレフオンアクチーボラゲット エルエム エリクソン（パブル） クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
KR102266902B1 (ko) * 2014-01-13 2021-06-18 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107863A (zh) * 2005-01-19 2008-01-16 汤姆森特许公司 用于实时并行编码的方法和装置

Also Published As

Publication number Publication date
AU2021200759B2 (en) 2021-09-09
EP2549758A1 (en) 2013-01-23
SG10201501390XA (en) 2015-04-29
AU2021266226B2 (en) 2023-01-12
WO2011115045A1 (ja) 2011-09-22
US10178407B2 (en) 2019-01-08
EP2942965A2 (en) 2015-11-11
EP3300369A1 (en) 2018-03-28
JP2011199396A (ja) 2011-10-06
ES2655416T3 (es) 2018-02-20
KR20170066709A (ko) 2017-06-14
TWI691198B (zh) 2020-04-11
CN104768020A (zh) 2015-07-08
CA2935201C (en) 2019-07-02
BR112012023322B1 (pt) 2018-09-25
AU2021200759A1 (en) 2021-03-04
CN104768020B (zh) 2018-01-16
KR101747195B1 (ko) 2017-06-14
CA2935201A1 (en) 2011-09-22
US20130044813A1 (en) 2013-02-21
US20190110069A1 (en) 2019-04-11
US20190238885A1 (en) 2019-08-01
NO2549758T3 (zh) 2018-05-05
CA3169174A1 (en) 2011-09-22
RU2676408C1 (ru) 2018-12-28
RU2652438C1 (ru) 2018-04-26
AU2016200188B2 (en) 2018-01-04
PL2942965T3 (pl) 2018-05-30
CA3094541C (en) 2022-10-25
US20190116378A1 (en) 2019-04-18
EP2549758B1 (en) 2017-12-06
TWI619373B (zh) 2018-03-21
AU2019280003B2 (en) 2021-01-21
CN102792696A (zh) 2012-11-21
US10298953B2 (en) 2019-05-21
TW201808005A (zh) 2018-03-01
AU2011228218B2 (en) 2016-03-31
KR101640872B1 (ko) 2016-07-19
AU2016200188A1 (en) 2016-02-04
CA3094541A1 (en) 2011-09-22
AU2011228218A1 (en) 2012-10-18
TWI678913B (zh) 2019-12-01
RU2015122410A (ru) 2015-10-27
CA2793168C (en) 2016-09-20
RU2628260C1 (ru) 2017-08-15
RU2601134C2 (ru) 2016-10-27
CA3094540C (en) 2022-09-20
PT2942965T (pt) 2018-02-09
CA3041891A1 (en) 2011-09-22
TWI479895B (zh) 2015-04-01
US10715829B2 (en) 2020-07-14
ES2655919T3 (es) 2018-02-22
KR20130016289A (ko) 2013-02-14
RU2012144029A (ru) 2014-05-10
AU2019280009A1 (en) 2020-01-16
AU2018202169A1 (en) 2018-04-26
TW201941607A (zh) 2019-10-16
TW201820865A (zh) 2018-06-01
BR112012023322A2 (pt) 2016-05-24
CA3041891C (en) 2020-11-10
EP2549758A4 (en) 2015-11-25
CA3094540A1 (en) 2011-09-22
AU2018202171B2 (en) 2019-09-12
EP2942965A3 (en) 2016-03-09
AU2021266226A1 (en) 2021-12-02
CA3009695A1 (en) 2011-09-22
MX2012010614A (es) 2013-02-26
US10567794B2 (en) 2020-02-18
TWI650002B (zh) 2019-02-01
US20150350644A1 (en) 2015-12-03
AU2018202171A1 (en) 2018-04-26
CA3081303C (en) 2022-06-28
CA3009695C (en) 2020-07-14
AU2018202169B2 (en) 2019-09-12
US10390042B2 (en) 2019-08-20
PL2549758T3 (pl) 2018-03-30
TW201515441A (zh) 2015-04-16
CN105187842B (zh) 2018-06-29
RU2568310C2 (ru) 2015-11-20
TW201914301A (zh) 2019-04-01
AU2018202170B2 (en) 2019-08-29
TW201206202A (en) 2012-02-01
KR20160058977A (ko) 2016-05-25
CA2793168A1 (en) 2011-09-22
TW202005374A (zh) 2020-01-16
PT2549758T (pt) 2018-01-15
US20190327488A1 (en) 2019-10-24
RU2690220C1 (ru) 2019-05-31
CA3081303A1 (en) 2011-09-22
NO2942965T3 (zh) 2018-05-12
AU2019280009B2 (en) 2021-03-04
AU2019280003A1 (en) 2020-01-16
TWI670965B (zh) 2019-09-01
SG184079A1 (en) 2012-10-30
US9113171B2 (en) 2015-08-18
KR101867461B1 (ko) 2018-06-14
EP2942965B1 (en) 2017-12-13
TWI611686B (zh) 2018-01-11
CN105187842A (zh) 2015-12-23
AU2018202170A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN102792696B (zh) 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法
CN104380735B (zh) 动态图像预测编码及解码装置、方法和程序
CN104380736A (zh) 动态图像预测编码装置、动态图像预测编码方法、动态图像预测编码程序、动态图像预测解码装置、动态图像预测解码方法、动态图像预测解码程序
CN103858429A (zh) 动态图像预测编码方法、动态图像预测编码装置、动态图像预测编码程序、动态图像预测解码方法、动态图像预测解码装置、动态图像预测解码程序
JP5753595B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6229023B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5977852B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2018026872A (ja) 動画像予測復号方法及び動画像予測復号装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant