CN101185339A - 使用用于运动补偿预测的代替参考帧的视频编码 - Google Patents

使用用于运动补偿预测的代替参考帧的视频编码 Download PDF

Info

Publication number
CN101185339A
CN101185339A CNA2006800186540A CN200680018654A CN101185339A CN 101185339 A CN101185339 A CN 101185339A CN A2006800186540 A CNA2006800186540 A CN A2006800186540A CN 200680018654 A CN200680018654 A CN 200680018654A CN 101185339 A CN101185339 A CN 101185339A
Authority
CN
China
Prior art keywords
picture
image
decoded
image graphic
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800186540A
Other languages
English (en)
Other versions
CN101185339B (zh
Inventor
北岛光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101185339A publication Critical patent/CN101185339A/zh
Application granted granted Critical
Publication of CN101185339B publication Critical patent/CN101185339B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种对包括多个图像图片的压缩编码图像数据进行解码的图像数据解码方法，包括：选择步骤，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及解码步骤，用于参考作为所述第一参考图片的代替的所述第二参考图片而对所述待解码的图像图片进行解码。

Description

使用用于运动补偿预测的代替参考帧的视频编码
技术领域
本发明涉及一种图像解码设备和方法、图像编码设备和方法、计算机程序、以及存储介质。
背景技术
近年来，需要这样的编码技术：其能在高压缩率下以高图像质量对图像数据进行编码，以将运动图像信息处理为数字数据并将其用于存储和传输。为了压缩图像信息，已经提出并普及了MPEG等方法：其通过利用图像信息特有的冗余性，通过离散余弦变换(discrete cosine transformation)等正交变换(orthogonal transformation)和运动预测/运动补偿来对图像信息进行压缩编码。
而且，近年来，H.264(也被称作MPEG4第10部分：AVC)作为一种目的在于更高压缩率和更高图像质量的编码方法是可用的。与MPEG2、MPEG4等传统的编码方法相比较，这种H.264在编码处理和解码处理中需要更多的运算量但是可以实现更高的编码率(关于H.264标准的详细信息，参见ISO/IEC14496-10(Mpeg-4第10部分)。
这样的编码方法通过减少时间冗余信息来压缩信息大小。可以通过参考图像图片之间在时间上的过去和将来的信息而进行对于各块的运动信息的检测和预测图像的生成、计算获得的预测图像和当前的帧图像之间的差分值、然后对该差分值进行编码，来减少时间冗余信息。
注意，“图片”是表示一个画面的术语，其代表逐行扫描图像(progressive image)中的帧图像以及隔行扫描图像(interlacedimage)中的帧图像或者场图像。
图10示出了H.264中的图片的类型及其参考关系。参考图10，符号I、P和B分别表示图片的类型，即I(内部编码)图片、P(前向预测编码)图片以及B(双向预测编码)图片。跟在符号后的数字表示图片的编号。在这种情况下，越小的图片编号表示在时间上越早回放的数据。例如，在图10中，P5图片将在B1图片之后回放。P5图片通过箭头与B1图片联结。该箭头表示图片间的参考关系。因此，P5图片参考B1图片，并且对于P5图片，对P5和B1图片之间的差分进行编码。
在图10中，I2和I17都是I图片。这种I图片被限制在各图片内进行编码，并且不参考其它图片。如P5、P8、P11和P14图片等P图片仅参考在时间上存在于感兴趣的图片之前的图片，并对图片之间的差分进行编码。此外，B0、B1、B3、B4、B6、B7、B9、B10、B12、B13、B15和B16是B图片。每一个这样的B图片与时间关系无关地参考两个图片，并对图片之间的差分进行编码。注意，P和B图片可能包括不参考其它图片并在图片内进行编码的块。
在H.264中，对于作为包含在各图片中的小区域的各块指定参考目的地，各图片中这样的块可以参考不同图片中的块。图11示出了这种参考关系。参考图11，作为P图片的P5图片包括P5(a)块和P5(b)块。P5(a)块参考B1图片中的B1(a)块，而P5(b)块参考I2图片中的I2(b)块。
在H.264中，可以对作为比图片小的单位的各切片(slice)指定I、P和B。然而，为了简便起见，在一个图片包括相同的切片类型(I，P，B)的假设下给出以下说明。
为了对使用图片间(inter-picture)差分而编码的数据进行解码，必须已经对被参考的图片进行了解码。以下考虑这样的情况：即仅提取具有图11所示参考关系的编码数据的I图片和P图片以进行搜索回放。在对I2图片进行解码时，由于对I2图片进行了内部编码，因而可以毫无问题地对其进行解码。接着，对于P5图片，由于P5图片中的P5(b)块参考已被解码的I2图片的I2(b)块，因而可以对P5(b)块进行解码。然而，由于P5(a)块参考仍未被解码的B1图片的B1(a)块，因而不能对P5(a)块原样进行解码。这样，在仅对I图片和P图片解码时，可以仅对P图片的某些块和I图片进行解码。
同样，可以单独提取I图片并在回放时对其进行解码。然而，即使当采用与MPEG2中相同的图片结构时，也是每例如15个图片包括一个I图片。因此，在仅提取I图片的回放中，不能进行低速(例如三倍速度)搜索。
即使在搜索以外的情况下，当从图像流的中间(例如B图片)开始回放时，通常也不能对被参考的图片进行解码。在这种情况下，必须通过将控制返回或者前进到作为参考的I图片(IDR图片)来进行解码，并且难以立即对图像进行解码和回放。
发明内容
考虑到上述问题做出了本发明，本发明的目的在于：即使当对图像进行解码时作为该图像的参考的图片未被解码时，也将该图像作为近似图像进行解码和回放。
为了实现上述目的，根据本发明，提供一种对包括多个图像图片的压缩编码图像数据进行解码的图像数据解码方法，其特征在于包括：选择步骤，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的该图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及解码步骤，用于参考作为所述第一参考图片的代替的所述第二参考图片对所述待解码的图像图片进行解码。
根据下面结合附图所做的说明，本发明的其它特征和优点将变得明显，在所有附图中，相同的附图标记表示相同或相似的部分。
附图说明
图1是示出根据本发明第一实施例的图像解码设备的配置的示例的框图；
图2示出了根据本发明第一实施例的图像序列的图片结构；
图3是根据本发明第一实施例的用于说明图片的代替参考的图；
图4是示出根据本发明第一实施例的运动补偿单元的处理的流程的示例的流程图；
图5是根据本发明第一实施例的用于说明当场景变化发生时的图片的参考关系的图；
图6是根据本发明第一实施例的用于说明单个图片中的多个块参考不同图片的示例的图；
图7是根据本发明第一实施例的用于说明单个图片中的多个块参考作为代替参考的一个图片的示例的图；
图8是示出根据本发明第二实施例的编码设备的配置的示例的框图；
图9是示出根据本发明第二实施例的解码设备的示例的框图；
图10示出了根据本发明现有技术的图片的参考关系；以及
图11示出了根据本发明现有技术的图片的参考关系。
具体实施方式
以下将参考示出了本发明实施例的附图来更充分地说明本发明。然而，可以以多种不同形式实施本发明，并且本发明不应理解为仅限于此处提出的实施例；相反，所提供的这些实施例表明本公开是彻底的和完整的，并将向本领域技术人员充分地传达本发明的范围。相同的附图标记在整个附图中表示相同的元件。
第一实施例
图1是示出根据本实施例的对通过H.264编码方法压缩编码的数据进行解码的图像解码设备的配置的示例的框图。参考图1，附图标记100表示可变长度解码单元(variable-lengthdecoding unit)；101表示逆量化单元(inverse quantization unit)；102表示逆正交变换单元(inverse orthogonal transformationunit)；103表示加法器；104表示运动补偿单元(motioncompensation unit)；以及105表示帧存储器。
下面将参考图1说明图像解码设备的操作。在接收到压缩编码后的码序列时，可变长度解码单元100执行可变长度解码处理以将输入的码序列解码为量化的正交变换系数(orthogonaltransformation coefficient)和图像相关信息，并且将其输出到逆量化单元101。此时，由于图像相关信息包括运动向量数据，因而将该运动向量数据输出到运动补偿单元104。逆量化单元101基于存储在量化表(未示出)中的量化值，对输入的量化正交变换系数进行逆量化，并将所获得的正交变换系数输出到逆正交变换单元102。
逆正交变换单元102将逆正交变换应用于作为频率分量的正交变换系数，以将它们转换为原始图像数据。当要从逆正交变换单元102输出的图像数据是图片内(intra-picture)编码数据(即I图片数据)时，将该图像数据连接到端子(a)并向外部输出该图像数据。此时，该图像数据也被存储在帧存储器105中。另一方面，当该输出的图像数据是编码时参考其它图像数据的图像数据(即P图片或者B图片)时，将该图像数据连接到端子(b)并由加法器103将该图像数据与从运动补偿单元104输出的预测图像相加，输出总和数据。此时，该总和数据也被存储在帧存储器105中。运动补偿单元104通过利用从可变长度解码单元100输出的运动向量数据，对存储在帧存储器105中的图像数据施加稍后将说明的处理，来生成预测图像。
下面将参考图2～4说明图1所示的图像解码设备中的运动补偿单元104的操作的细节。图2示出了待解码图像数据的图片序列的示例。在图2中，I、P和B表示图片的类型，编号表示回放时的时间顺序。
图3部分地示出了图2中从B0图片开始到P5图片为止的参考关系。在图3中，P5(a)和P5(b)表示运动参考的单位块，实线箭头表示编码时的参考。即，P5(a)块参考B1(a)块，P5(b)块参考I2(b)块。这样，图像图片被分割成块。作为块的大小，可以选择16×16像素、16×8像素、8×16像素以及8×8像素的其中之一，在8×8像素的情况下，可以选择8×4像素、4×8像素和4×4像素的其中之一作为更小的块。
下面将详细地说明将图2所示的码序列输入到图1所示的图像解码设备的情况。在下面的说明中，将举例说明通过从具有图2所示图片结构的图像数据中仅提取I和P图片来执行三倍速搜索回放的情况。在下面所要说明的示例中，假设将本实施例的图像解码设备应用于图像回放设备，并使用图像回放设备中的n倍速回放功能来实现搜索回放。
当将I2图片的码序列输入到可变长度解码单元100时，如上所述，由于I图片是图片内编码数据，因而从图1中的逆正交变换单元102输出的数据被直接输出到外部。由于I2图片被P5图片参考，因而其数据被输出并存储到帧存储器105中。
当通过可变长度解码单元100对P5图片的码序列进行解码时，将其运动向量信息输出到运动补偿单元104，并且通过逆量化单元101和逆正交变换单元102将其图像数据输出到加法器103。
下面将参考图4的流程图说明对P5图片进行解码时运动补偿单元104的实际操作。图4是示出运动补偿单元的处理的流程的流程图。当要对包括在P5(b)块中的图像数据进行解码时，在步骤S400中检查其参考图片是否已经被解码。在这种情况下，P5(b)块参考I2图片。如上所述，由于I2图片已经被解码，所以判断为参考图片已经被解码(在步骤S400中为“是”)，并且流程进入步骤S401。在步骤S401中，基于存储在帧存储器105中的I2图片和运动向量信息来进行运动补偿，以生成I2(b)块的图像作为预测图像。将生成的预测图像输出到加法器103并通过加法器103将该预测图像与解码后的图像信号相加，从而对P5(b)块的图像信号进行解码。这样，完成了P5(b)块的解码处理。
在执行P5(a)块的解码处理时，同样地在步骤S400中检查其参考图片是否已经被解码。如图3所示，P5(a)块参考B1图片。然而，在这种情况下，由于进行三倍速搜索回放，因而作为B图片的B1图片未被解码。因此，判断为参考图片仍未被解码(在步骤S400中为“否”)。因此，流程进入步骤S402。在步骤S402中，检测在时间上与参考图片最邻近的I图片或P图片。即，本实施例使用检测到的邻近的I图片或P图片作为原本所参考的B图片的代替图片。
更具体地，在图2和图3的示例中，检测在时间上与B1图片最邻近的作为I图片或P图片的I2图片。该I2图片作为B1图片的代替而被参考。在步骤S403中，执行运动向量信息的补偿处理。
下面将详细说明该补偿处理。P5(a)块的运动向量信息是当参考B1(a)块时所产生的运动向量信息。因此，当将该运动向量原样应用于I2图片时，例如当运动很大时，误差增大。因此，必须根据显示时序来补偿运动向量。注意块之间在时间上的差别，B1图片与P5图片具有四个图片的差别，I2图片与P5图片具有三个图片的差别。因此，通过将B1(a)块的运动向量乘以3/4，可以生成I2(a)块的补偿运动向量。
以这样的方式在步骤S403中补偿运动向量之后，流程进入步骤S401。在步骤S401中，基于补偿后的运动向量和存储在帧存储器105中的I2图片来执行运动补偿，从而生成对应于I2(a)的块作为预测图像。将生成的预测图像输出到加法器103，并由加法器103将该预测图像与解码后的图像信号相加，从而对原始图像信号进行解码。
这样，即使当在图像解码时参考图片仍未被解码时，也代替地参考在时间上与参考图片最邻近的已解码图片，从而对图像进行解码。结果，可以得到搜索等的灵活回放。
注意，基于上面说明中的补偿运动向量来执行加法处理。然而，当运动向量很大时，可能跳过加法器103的加法处理，而原样输出预测图像。这是因为，当代替地参考邻近的图片时，已经与原始参考的图像产生了误差，如果将解码信号与该包括误差的图像相加，则可能进一步增大误差。
选择作为代替而参考的图片的其它方法
在上面的说明中，选择在时间上与原本所参考的图片最邻近的I图片或P图片作为代替地参考的图片。然而，选择代替地参考的图片的方法并不限于该方法，也可以使用其它方法。
即，当代替地参考的图片是P图片时，由于解码后的P图片原本包括误差，  因而代替的参考图片可不限于P图片，而是限于与原本所参考的图片最邻近的I图片。根据本示例，可以防止P图片的误差的传播。
作为另一个示例，可以使用考虑到给予各图片的特征信息来选择代替参考的方法。为了提取该特征信息，例如，可以使用场景信息、照相机信息等元数据(meta data)。注意，元数据是与记录的图像数据相关联附加记录的附加数据的通称。
下面将说明使用特征信息来选择代替参考的方法。图5示出了图像序列以及一些参考关系。在图5中，I1～B11表示图片，而P10图片原本参考B5图片。而且，在P4图片和B5图片之间发生了场景变化。
下面考虑使用该序列仅提取并回放I图片或P图片的情况。在对P10图片进行解码时，通常必须已经对B5图片进行了解码。然而，在I图片或P图片的搜索回放时，B5图片未被解码。因此选择代替B5图片而被参考的图片。在这种情况下，如果选择在时间上最邻近的I图片或P图片，则选择P4图片。
然而，在本示例中，由于在P4图片和B5图片之间发生了场景变化，所以P4图片和B5图片之间的相关性很小。由于该原因，当代替P5图片而参考P4图片进行解码时，解码图像的误差很有可能变得非常大。因此，在图4的流程图的步骤S402中，从与P10图片相关联的元数据中获取作为参考图片的B5图片的场景信息。然后，选择与B5图片的场景属于相同场景的并与B5图片最邻近的已经被解码的I图片或P图片。在这种情况下，选择P7图片作为代替地参考的图片。
注意，表示发生场景变化等的参考图片的场景信息在例如编码时被记录为元数据。
在上面的说明中，从场景信息检测场景变化，并基于场景变化选择代替参考。同样地，可以使用照相机信息。更具体地，当存在在时间上最邻近并具有与原本所参考的图片的元数据中包括的照相机信息相对应(或者一致)的照相机信息的I图片或P图片时，可以选择该I图片等作为代替参考。
注意，作为特征信息的照相机信息包括例如摄影时的被摄体的亮度、镜头的缩放倍率、闪光灯的发光状态、AF状态、所拍图像的大小、白平衡控制状态、ND滤光器状态、摄影模式等。注意，在对图像数据进行编码(即摄影)时，这种照相机信息被记录为元数据。
运动向量补偿的另一示例
在上面的说明中，基于原本所参考的图片以及代替地参考的图片的回放时序来补偿运动向量。然而，运动向量补偿方法并不仅限于这种特定的方法，还可以通过其它方法来实现补偿。
例如，可以使用下面将说明的方法。图6和图7示出了P5图片中的4个相邻块的参考。参考图6，P5图片中的P5(a)块参考I2图片。同样地，P5(b)块参考B1图片，P5(c)块参考B0图片，B5(d)块参考B3图片。
如上所述，由于除了I2图片之外的其它图片在回放I图片和P图片时均未被解码，因而在这种状态下不能对P5(b)、P5(c)以及P5(d)块进行解码。因此，检测代替参考图片。在这种情况下，将相邻的P5(a)～P5(d)块组合在一起并作为一个大块来考虑。如果在该大块中发现参考已解码图片的任何块，则该图片就被确定为被整个大块代替地参考的图片。
在图6的情况下，在由P5(a)～P5(d)块形成的大块中，仅P5(a)块参考已解码的I2图片。因此，I2图片被确定为该大块的代替参考。关于运动向量，将P5(a)块的运动向量代替地用作P5(b)～P5(d)块的运动向量。结果，如图7所示，这四个块代替地参考I2图片，并可以对这四个块的图像进行解码。
在本示例中，由P5(a)～P5(d)块形成的大块中仅P5(a)块参考已解码图片。如果另一个块参考I2图片以外的已解码图片，则必须选择这两个图片的其中之一作为代替参考。选择代替参考图片的方法没有特别的限制。例如，可以使用以下任何一种方法：选择在时间上与待解码的P5图片最邻近的图片作为代替参考图片的方法；比P图片更优先地选择I图片作为参考的方法；选择被大块中多于其它块的多个块参考的图片作为代替参考图片的方法等。
在图6所示的情况下，由P5(a)～P5(d)块形成的大块中仅P5(a)块参考I2图片。如果在一个大块中有多个参考I2图片的块，则可以采用如下方法：使用参考I2图片的块的运动向量的平均值作为代替参考的运动向量。
如上所述，即使当通过仅对包括在码序列中的多个图片中的一些图片进行解码而进行回放时，根据本实施例的图像解码设备也可以仅使用已解码图片来对待解码的图片进行解码。
本实施例已经说明了三倍速搜索回放。在这种搜索回放中，由于只需要识别场景的大致轮廓，因而和原始图像相比，只要维持了特定的再现性，就可以达到其目的。因此，当使用在时间上与原本所参考的图片最邻近的图片来对图片进行解码时，即使当未进行不必要的解码处理时，也可以在达到上述目的的同时维持再现性，从而有效地执行搜索回放。
此外，对于场景变化等增大误差的因素，可以使用场景信息或者照相机信息来选择与参考图片在相同场景内的图片。这样，即使当发生了场景变化时，解码时所产生的误差也可以维持得较低。
第二实施例
在第一实施例的说明中，在解码时确定了代替地参考的图片之后执行解码处理。与此相反，在本实施例中，在编码时预先确定代替地参考的图片的信息，并将其记录在码序列中。解码时，根据该代替地参考的图片的信息来进行解码。下面将说明该实施例。
首先参考图8说明根据本实施例的图像编码设备。图8是示出根据本实施例的使用H.264进行图像压缩编码的图像编码设备的基本配置的示例的框图。参考图8，附图标记800表示图片重排列(rearrangement)单元；801表示图片内预测单元；802表示正交变换单元；803表示量化单元；804表示编码单元；805表示逆量化单元；806表示逆正交变换单元；807表示加法器；808表示环路滤波器(loop filter)处理单元；809表示帧存储器；810表示运动预测单元；811表示运动补偿单元；812表示减法器。
下面将说明图8中所示的图像编码设备的操作。当将数字输入图像信号输入到图片重排列单元800时，图片重排列单元800以图像图片被编码的顺序来重排列图像图片。这是因为B图片参考在时间上出现在该图片之后的图片，所以必须在对参考图片编码之后再对B图片进行编码。
对于各块处理以编码顺序重排列的图像。在I图片或确定要经过图片内预测的块的情况下，图片内预测单元801预测图片中的像素，并将来自预测像素的差分数据输出到正交变换单元802。如果输入的图像是B图片或P图片，并要进行图片间预测，则将由图片间预测(稍后将说明)生成的预测图像与当前图像之间的差分图像输出到正交变换单元802。正交变换单元802进行4×4(像素)整数变换以将图像转换成频率分量。量化单元803对输入的频率分量的数据进行量化。将通过量化单元803量化的图像数据输出到编码单元804以及对图像数据进行本地解码的逆量化单元805。
另一方面，逆量化单元805对通过量化单元803量化的图像数据进行逆量化，以解码频率分量，并且逆正交变换单元806通过逆正交变换对预测误差图像(差分图像)进行解码。如果从逆量化单元803输出的图像是P图片或B图片的图像，则加法器807将差分图像与运动补偿图像相加，以对图片图像进行解码。解码后的图像经过由环路滤波器(处理单元)808进行的去除块失真的滤波处理，然后被存储在帧存储器809中。帧存储器809可以存储任意数量的可用作参考图片的图片。
运动补偿单元810在图片间预测模式下在存储于帧存储器809内的解码图像中搜索与输入图像的差分最小的参考图像，计算到该参考图像的运动向量，并将该运动向量输出到编码单元804。而且，将在时间上与被选择为参考图像的图片最邻近的I图片或P图片的位置信息作为解码时的代替参考信息输出到编码单元804。
运动补偿单元811进行由运动向量和参考方向信息表示的算术运算，并输出运动补偿后的图像。减法器812计算输入图像和运动补偿后的图像之间的差分，并将差分图像输出到正交变换单元802。编码单元804通过对图像数据、运动向量信息和代替参考信息进行可变长度编码或算术编码，生成码序列，并输出所生成的码序列。
关于代替参考图片的选择，不仅可以采用选择与参考图像邻近的I图片或P图片的方法，还可以采用在第一实施例中说明的任何一种选择方法。
下面将参考图9说明对这样生成的码序列进行回放的解码设备。
图9是示出与图1相同的图像解码设备的配置的框图。除可变长度解码单元900和运动补偿单元904以外的块与第一实施例中由相同的附图标记表示的块相同，在此省略其说明。
下面将说明如下情况：与第一实施例相同，通过仅回放输入码序列的I图片和P图片，来进行搜索回放。
在接收到码序列时，可变长度解码单元900进行可变长度解码处理，并将码序列解码为量化的正交变换系数和图像相关信息。图像相关信息存储运动向量数据和代替参考信息。将运动向量数据和代替参考信息输出到运动补偿单元904，而将量化的正交变换系数数据输出到逆量化单元101。在逆量化单元101、逆正交变换单元102和帧存储器中的处理与第一实施例中的处理相同。
运动补偿单元904通过基于运动向量数据和存储在帧存储器105中的本地解码图像进行运动补偿，来生成预测图像。当待解码图片的参考图片未被解码时，确定代替参考图片。在确定了代替参考后，补偿运动向量数据、生成代替预测图像和由加法器103相加该图像的处理与第一实施例的处理相同，在此省略其说明。
如上所述，根据本实施例，由于在编码时指定了代替参考图片，因而不需要进行在解码时检测代替参考图片的处理，并且可以进一步减轻搜索回放时的处理负荷。
作为代替参考信息，不仅记录代替参考图片，而且到代替参考图片的运动向量信息等也会被一起记录。运动向量信息既可以通过补偿对于原本所参考的图片计算出的运动向量信息来获得，也可以通过计算代替参考图片的新的运动向量信息来获得。
上述各实施例以H.264作为编码方法的示例进行了说明。然而，编码方法并不局限于这种特定的方法，可以使用任何其它的编码方法，只要它们使用图片间预测即可。
其它实施例
也可以通过向系统或者设备提供记录有可实现上述实施例的功能的软件程序的程序代码的存储介质(或记录介质)，由系统或设备的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码，来达到本发明的目的。
在这种情况下，从存储介质读出的程序代码本身实现了上述实施例的功能，并且存储该程序代码的存储介质构成了本发明。
此外，例如软盘(floppy)、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、磁性和非易失型存储卡以及ROM等存储介质可以用来提供该程序代码。
上述实施例的功能不仅可以通过由计算机执行所读出的程序代码来实现，也可以通过由运行在计算机上的操作系统(Operating System，OS)基于程序代码的指令所执行的部分或全部的实际处理操作来实现。
此外，上述实施例的功能还可以通过在将从存储介质读出的程序代码写入插入计算机的功能扩展卡或连接到计算机的功能扩展单元的存储器中之后，由功能扩展卡或者功能扩展单元中配置的CPU等所执行的部分或全部的实际处理操作来实现。
当将本发明应用于上述存储介质时，该存储介质优选地存储与实施例中说明的流程图对应的程序代码。同时，本发明不限于上述实施例，在本发明的精神和范围内可以进行各种变化和修改。因此，为了向公众告知本发明的范围而做出了所附的权利要求书。
这样，我们相信从上面的说明中可以看出，本发明的操作和配置是显而易见的。显然，可以适当地对所公开和说明的方法、设备和系统进行特征化，并且可以在不脱离所附权利要求书中所定义的本发明的范围的情况下，做出各种变化和修改。
由于在不脱离本发明的精神和范围的情况下可以做出本发明许多明显大大不同的实施例，因而应该理解，除在所附权利要求书中所定义的以外，本发明并不局限于其特定的实施例。
本申请主张于2005年5月27日提交的日本专利申请2005-156197号的权益，其全部内容通过引用包含于此。

Claims (19)

1.一种对包括多个图像图片的压缩编码图像数据进行解码的图像数据解码方法，其特征在于，包括：
选择步骤，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的该图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及
解码步骤，用于参考作为所述第一参考图片的代替的所述第二参考图片对所述待解码的图像图片进行解码。
2.根据权利要求1所述的图像数据解码方法，其特征在于，所述多个图像图片包括不参考任何其它图像图片而压缩编码的第一图像图片、参考一个不同的图片而压缩编码的第二图像图片、以及参考两个不同的图像图片而压缩编码的第三图像图片，以及
当仅对所述多个图像图片中的所述第一图像图片和所述第二图像图片进行解码时，进行所述解码步骤中的解码。
3.根据权利要求1所述的图像数据解码方法，其特征在于，多个图片包括I图片、P图片和B图片，以及
当仅对所述多个图像图片中的I图片和P图片进行解码时，进行所述解码步骤中的解码。
4.根据权利要求1～3中任一项所述的图像数据解码方法，其特征在于，在所述选择步骤中，从所述已解码图片中选择在时间上与所述第一参考图片邻近的图片作为所述第二参考图片。
5.根据权利要求2所述的图像数据解码方法，其特征在于，在所述选择步骤中，从所述已解码图片中选择在时间上与所述第一参考图片邻近的所述第一图像图片作为所述第二参考图片。
6.根据权利要求1～5中任一项所述的图像数据解码方法，其特征在于，所述选择步骤包括特征信息获取步骤，该特征信息获取步骤用于获取与所述图像图片相关联的特征信息，并且基于与所述第一参考图片相关联的特征信息来选择所述第二参考图片。
7.根据权利要求6所述的图像数据解码方法，其特征在于，在所述选择步骤中，选择已解码的图像图片中的、具有与所述第一参考图片相关联的特征信息对应的特征信息的图像图片作为所述第二参考图片。
8.根据权利要求1～7中任一项所述的图像数据解码方法，其特征在于，所述解码步骤包括补偿步骤，该补偿步骤用于对为所述待解码的图像图片而给出的第一运动信息进行补偿，以及
通过利用补偿后的所述第一运动信息和所述第二参考图片对所述待解码的图像图片进行解码。
9.根据权利要求8所述的图像数据解码方法，其特征在于，在所述补偿步骤中，基于所述第一参考图片和所述第二参考图片相对于所述待解码的图像图片的时间关系，对所述第一运动信息进行补偿。
10.根据权利要求1所述的图像数据解码方法，其特征在于，在将所述图像图片分割为各自具有预定数量像素的块之后，对所述图像图片进行压缩编码，并且各块可以参考不同的第一参考图片，
在所述选择步骤中为各块选择所述第二参考图片，以及
在所述解码步骤中对各块进行解码。
11.根据权利要求2所述的图像数据解码方法，其特征在于，在将所述图像图片分割为各自具有预定数量像素的块之后，对所述图像图片进行压缩编码，并且各块可以参考不同的第一参考图片，以及
当所述待解码的图像图片中的第一个块是参考所述第一图像图片和所述第二图像图片的其中之一而压缩编码的块，并且参考所述第三图像图片对与所述第一个块相邻的第二个块进行压缩编码时，
在所述选择步骤中，与所述第二个块相关联地选择由所述第一个块参考的所述第一图像图片和所述第二图像图片的其中之一作为所述第二参考图片。
12.根据权利要求1～11中任一项所述的图像数据解码方法，其特征在于，在所述解码步骤中，输出使用所述第二参考图片进行运动补偿的图像作为所述待解码的图像图片的解码图像。
13.根据权利要求1、2、3、8～10以及12中任一项所述的图像数据解码方法，其特征在于，所述待解码的图像图片包括指定所述第二参考图片作为所述代替参考的信息，以及
在所述选择步骤中，基于所述指定来选择所述第二参考信息。
14.根据权利要求13所述的图像数据解码方法，其特征在于，所述待解码的图像图片还包括与指定的所述第二参考图片相关联给出的第二运动信息，以及
在所述解码步骤中，通过利用所述第二运动信息和所述第二参考图片来进行解码。
15.一种对包括多个图像图片的图像数据进行压缩编码的图像编码方法，其特征在于，包括：
第一编码步骤，用于不参考任何其它图像图片对待编码的图像图片进行压缩编码；
第二编码步骤，用于参考其它图像图片对待编码的图像图片进行压缩编码；以及
选择步骤，用于当在所述第二编码步骤中参考的所述其它图像图片是参考另一个图像图片而压缩编码的第一图像图片时，选择不参考任何其它图像图片而压缩编码的第二图像图片和参考一个不同的图像图片而压缩编码的第三图像图片的其中之一作为代替参考图像图片，以及
其中，将所述代替参考图像图片的信息附加到在所述第二编码步骤中编码的所述图像图片的编码数据。
16.一种计算机程序，其特征在于，使计算机执行根据权利要求1～15中任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，存储权利要求16所述的计算机程序。
18.一种对包括多个图像图片的压缩编码图像数据进行解码的图像解码设备，其特征在于，包括：
选择部件，用于当要对所述多个图像图片中的一个图像图片进行解码时，以及当待解码的该图像图片所参考的第一参考图片未被解码时，从已解码图片中选择第二参考图片作为代替参考；以及
解码部件，用于参考作为所述第一参考图片的代替的所述第二参考图片对所述待解码的图像图片进行解码。
19.一种对包括多个图像图片的图像数据进行压缩编码的图像编码设备，其特征在于，包括：
第一编码部件，用于不参考任何其它图像图片而对待编码的图像图片进行压缩编码；
第二编码部件，用于参考其它图像图片而对待编码的图像图片进行压缩编码；以及
选择部件，用于当由所述第二编码部件参考的所述其它图像图片是参考另一个图像图片而压缩编码的第一图像图片时，选择不参考任何其它图像图片而压缩编码的第二图像图片和参考一个不同的图像图片而压缩编码的第三图像图片的其中之一作为代替参考图像图片，以及
其中，将所述代替参考图像图片的信息附加到由所述第二编码部件编码的所述图像图片的编码数据。
CN2006800186540A 2005-05-27 2006-05-22 图像解码设备和图像数据解码方法、图像编码设备及方法 Expired - Fee Related CN101185339B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005156197A JP4574444B2 (ja) 2005-05-27 2005-05-27 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
JP156197/2005 2005-05-27
PCT/JP2006/310602 WO2006126694A2 (en) 2005-05-27 2006-05-22 Video coding using an alternative reference frame for motion compensated prediction

Publications (2)

Publication Number Publication Date
CN101185339A true CN101185339A (zh) 2008-05-21
CN101185339B CN101185339B (zh) 2011-06-22

Family

ID=36743754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800186540A Expired - Fee Related CN101185339B (zh) 2005-05-27 2006-05-22 图像解码设备和图像数据解码方法、图像编码设备及方法

Country Status (4)

Country Link
US (1) US8165217B2 (zh)
JP (1) JP4574444B2 (zh)
CN (1) CN101185339B (zh)
WO (1) WO2006126694A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP5173613B2 (ja) * 2007-07-03 2013-04-03 キヤノン株式会社 動画像符号化装置及びその制御方法
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013098735A (ja) * 2011-10-31 2013-05-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
KR20200081367A (ko) 2017-11-09 2020-07-07 소니 주식회사 화상 처리 장치와 화상 처리 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3161614B2 (ja) * 1991-11-30 2001-04-25 ソニー株式会社 動画像復号化装置
JPH08223577A (ja) * 1994-12-12 1996-08-30 Sony Corp 動画像符号化方法及び装置、並びに動画像復号方法及び装置
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
EP1401214A4 (en) * 2001-10-17 2006-08-02 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING IMAGES
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
AU2003242037A1 (en) * 2002-07-02 2004-01-23 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
EP1582064A4 (en) 2003-01-09 2009-07-29 Univ California VIDEO PROCESSING AND DEVICES
JP4140709B2 (ja) * 2003-02-05 2008-08-27 松下電器産業株式会社 画像信号再生装置および画像信号再生方法

Also Published As

Publication number Publication date
WO2006126694A2 (en) 2006-11-30
US8165217B2 (en) 2012-04-24
JP2006333249A (ja) 2006-12-07
CN101185339B (zh) 2011-06-22
WO2006126694A3 (en) 2007-08-16
US20090129471A1 (en) 2009-05-21
JP4574444B2 (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
CN101185339B (zh) 图像解码设备和图像数据解码方法、图像编码设备及方法
US10764574B2 (en) Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
TWI622288B (zh) 視訊解碼方法
CN101990761B (zh) 运动图像编码设备和运动图像编码方法
CN101164336B (zh) 影像信息记录装置以及影像信息记录方法
US8467442B2 (en) Image searching device and method, program and program recording medium
US20060083299A1 (en) Moving image encoding apparatus and control method therefor
US20090028447A1 (en) Image compression method and image processing apparatus
KR20090116728A (ko) 비디오 하드웨어에서 화상 압축을 위한 구조
US8184700B2 (en) Image decoder
JP2001527304A (ja) ディジタル動画の階層的要約及び閲覧方法
US20040218675A1 (en) Method and apparatus for determining reference picture and block mode for fast motion estimation
US8300692B2 (en) Moving picture coding method, moving picture decoding method, moving picture coding device, and moving picture decoding device
JP2010258576A (ja) シーンチェンジ検出装置および映像記録装置
US20100027621A1 (en) Apparatus, method and computer program product for moving image generation
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008199616A (ja) 秘匿データが挿入された画像データの表示方式
Adami et al. Embedded indexing in scalable video coding
JP2011193453A (ja) 復号化装置及び復号化方法
Jubran et al. Sequence-level reference frames in video coding
JP2007109329A (ja) 画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体
US11611749B2 (en) Encoding apparatus, image capturing apparatus, control method, and storage medium
CN115412727A (zh) 编码方法、解码方法及其装置
De Cock et al. An industry-level blu-ray watermarking framework
JP2011139289A (ja) 画像記録制御装置、画像記録制御方法および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20180522

CF01 Termination of patent right due to non-payment of annual fee