CN102986225B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN102986225B
CN102986225B CN201180030088.6A CN201180030088A CN102986225B CN 102986225 B CN102986225 B CN 102986225B CN 201180030088 A CN201180030088 A CN 201180030088A CN 102986225 B CN102986225 B CN 102986225B
Authority
CN
China
Prior art keywords
anchor information
anchor
information
homogeneity
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180030088.6A
Other languages
English (en)
Other versions
CN102986225A (zh
Inventor
松本润一
福山贵士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102986225A publication Critical patent/CN102986225A/zh
Application granted granted Critical
Publication of CN102986225B publication Critical patent/CN102986225B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

使得高效地使用锚信息。当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从锚信息存储单元获取与要解码的目标块对应的锚块的锚信息。当满足所述同一性条件时,持续使用所述前一个块的所述锚信息。使用所获取的锚信息或要持续使用的所述锚信息来计算运动矢量。基于所计算的运动矢量来执行运动补偿,并且产生预测图像数据。此外,使用预测图像数据来产生解码图像数据。

Description

信息处理设备和信息处理方法
技术领域
本发明涉及信息处理设备和信息处理方法。更具体地,本发明的目的是提供能够高效地使用锚信息的信息处理设备和信息处理方法。
背景技术
近些年来,以数字格式处理图像信息并且那时高效地发送和累积该信息的装置已经在广播站和家庭中普及,该装置例如是能够符合诸如MPEG方法的装置,其中,通过诸如离散余弦变换的正交变换并且通过运动补偿来压缩信息。
特别地,MPEG2(ISO/IEC13818-2)被定义为通用图像编码方法,并且当前广泛地用在专业用途和消费者用途的大量应用中。
此外,被称为H.26L(ITU-TQ6/16VCEG)的标准已经被标准化以用于电话会议等的图像编码的目的。已知,虽然比诸如MPEG2和MPEG4的传统编码方法在编码和解码中要求更大的计算量,但是H.26L能够实现更高的编码效率。此外,当前,作为MPEG4活动的一部分,实现较高的编码效率的标准化已经作为基于这个H.26L的增强压缩视频编码的联合模型而进展,并且已经变为在H.264和MPEG-4第10部分(以下被描述为“H.264/AVC(高级视频编码)”)的名称下的国际标准。
在H.264/AVC方法中的帧间预测处理中,当引入当前块的运动矢量时,定义了使用锚图片的预测模式,诸如,跳跃模式或直接模式(以下称为“跳跃/直接模式”)。此外,专利文献1公开了使用这样的锚图片的帧间预测处理。
引用列表
专利文献
专利文献1:日本专利申请公报No.2009-55519
发明内容
本发明要解决的问题
顺便提及,锚图片是由要解码的目标图片参考的图片,并且在特定点被解码的图片可能变为要随后解码的图片的锚图片。因此,产生和在存储器中存储可能要作为锚图片被参考的图片的锚信息,并且在跳跃/直接模式中,读出锚信息,并且执行解码处理。注意,锚信息具有在锚图片中的锚块的运动矢量和用于标识在锚图片中的锚块的参考索引。
因此,当图像的大小(在水平和垂直方向上的像素的数量)变大时,块的数量增加。因此,在存储器中存储的锚信息的数据量增加。因而,需要大容量存储器。此外,如果使用锚信息的预测模式增加,则对于锚信息的访问增加。
因此,本发明提供了能够高效地使用锚信息的信息处理设备和信息处理方法。
问题的解决方案
本发明的第一方面是一种信息处理设备,其包括:锚信息存储单元,其被配置来存储锚信息;以及图像解码单元,其被配置来当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时从所述锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息,当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息,以及使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
在本发明中,基于例如同一性标识信息来确定所述锚信息的获取或前一个块的所述锚信息的连续使用,所述同一性标识信息确定在要解码的目标块的解码处理中要使用的所述锚信息是否满足与用于前一个块的所述锚信息的同一性条件。即,当基于所述同一性标识信息确定未满足所述同一性条件时,从锚信息存储单元获取与要解码的所述目标块对应的锚块的所述锚信息。同时,当确定满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息。使用所获取的锚信息或所述持续地使用的锚信息来执行解码处理。
所述同一性标识信息是关于要被用作锚图片并且已经在图像解码单元中进行了解码处理的图片,基于对于该图片的每一个块所产生的锚信息而产生的信息或者基于在要解码的目标块的编码时使用的锚信息和在前一个块的编码时使用的锚信息而产生的信息。例如,所述同一性标识信息是用于指示是否可以将所述锚信息确定为与所述前一个块的所述锚信息相同的同一性标记或用于指示其锚信息可以被看作相同的连续块的数量的同一性计数值。
当在解码时产生所述同一性标记时,在与所述锚信息存储单元分离地设置的存储器中存储所产生的同一性标记。当在编码时产生所述同一性标记时,在编码流中包括所产生的同一性标记。此外,当在解码时产生所述同一性计数值时,在所述锚信息存储单元中与所述锚信息一起存储所产生的同一性计数值,其中,所述同一性计数值指示连续。
本发明的第二方面是一种信息处理方法,包括步骤:当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从用于存储锚信息的锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息;当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息;以及使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
本发明的效果
根据本发明,当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从锚信息存储单元获取与要解码的目标块对应的锚块的锚信息。此外,当满足所述同一性条件时,持续地使用用于前一个块的锚信息。使用所获取的锚信息或所连续使用的锚信息来执行解码处理。因此,不必对于要解码的每一个目标块从锚信息存储单元获取对应的锚块的锚信息,由此,可以高效地使用锚信息。
附图说明
图1是示出图像解码设备的配置的图。
图2是示出图像解码处理操作的流程图。
图3是示出预测处理的流程图。
图4是示例性地示出锚信息的获取操作的图。
图5是示出其中连续块两者需要锚信息的情况的图。
图6是示出其中产生同一性标记的情况的操作的流程图。
图7是示例性地示出同一性标记的产生结果的图。
图8是示出其中使用同一性标记读出锚信息的情况的操作的图。
图9是示出其中产生同一性计数值的情况的操作的流程图。示出S的图。
图10是示例性地示出同一性计数值的产生结果的图。
图11是示出其中使用同一性计数值来读出锚信息的情况的操作的图。
图12是示出图像编码设备的配置的图。
图13是示例性地示出关于同一性标识信息的产生的配置部分的图。
图14是示出图像编码处理操作的流程图。
图15是示出其中产生同一性标记的情况的操作的流程图。
图16是示例性地示出同一性标记的产生结果的图。
图17是图示锚信息的数据量的示例。
图18是示出用于在空间直接模式中计算运动矢量的概略操作的流程图。
图19是示出用于在时间直接模式中计算运动矢量的概略操作的流程图。
图20是示例性地示出电视设备的示意配置的图。
图21是示例性地示出移动电话的示意配置的图。
图22是示例性地示出记录/再现设备的示意配置的图。
图23是示例性地示出图像采集设备的示意配置的图。
具体实施方式
根据本公开的示例性实施例,提供了一种信息处理设备,其包括:锚信息存储单元,其被配置来存储锚信息;以及图像解码单元,其被配置来当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时从所述锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息,当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息,以及使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
根据本公开的示例性实施例,提供了一种信息处理方法,其包括步骤:当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从用于存储锚信息的锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息;当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息;以及使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
在此将描述包含本发明的实施例。在帧间预测模式中,并且当在跳跃/直接模式中,使用与要解码的目标块对应的锚块的锚信息来执行解码处理。因此,如果在跳跃/直接模式中的块增加,则对于锚信息的访问增加。同时,在锚图片中,锚块的运动矢量经常在相邻的锚块之间是相同的。例如,位于移动体的图像中的每个锚块具有相同的运动矢量。
因此,当在要解码的目标块的解码处理中要使用的锚信息满足与用于前一个解码块(前一个块)的锚信息的同一性条件时,本发明通过下述方式来执行解码处理:基于连续的锚信息的同一性持续使用已经获取的锚信息,使得减少对于存储器的访问频率,并且可以高效地使用锚信息。此外,本发明不仅仅被应用到H.264/AVC方法,也被应用到扩展宏块的大小的新方法。注意,以下面的顺序来给出描述。
1.使用锚信息的同一性的解码处理
2.在解码时确定锚信息的同一性的情况
3.在编码时确定锚信息的同一性的情况
4.在解码时和在编码时产生的锚信息的同一性的比较
5.软件处理的情况
6.向电子装置应用的示例
[1.使用锚信息的同一性的解码处理]
将描述在信息处理设备中使用锚信息的同一性来执行解码处理的情况。
[1-1.图像解码设备的配置]
图1示出图像解码设备10的配置。图像解码设备10是信息处理设备,其执行解码处理、使用通过执行图像数据的编码处理而产生的流(编码流)来执行解码处理,并且在编码处理之前产生图像数据。此外,图像解码设备10当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从锚信息存储单元获取与要解码的目标块对应的锚块的锚信息。图像解码设备10当满足该同一性条件时确定要持续使用用于前一个块的锚信息,并且使用所获取的锚信息或被确定为要持续使用的锚信息来执行解码处理。
图像解码设备10包括累积缓冲器11、无损解码单元12、逆量化单元13、逆正交变换单元14、相加单元15、去块滤波器16和画面重排缓冲器17。此外,图像解码设备10包括帧存储器21、选择器22和26、帧内预测单元23和运动补偿单元24。此外,设置了存储锚信息的锚信息存储单元25。
通过编码输入图像而产生的编码流经由预定的传输线或记录介质被供应到图像解码设备10的累积缓冲器11。
累积缓冲器11累积被发送的编码流。无损解码单元12解码从累积缓冲器11供应的编码流。
无损解码单元12对于从累积缓冲器11供应的编码流执行诸如可变长度解码或算术解码的处理,并且向逆量化单元13输出量化的正交变换系数。此外,无损解码单元12向帧内预测单元23和运动补偿单元24输出通过解码编码流的首部信息而获得的诸如运动矢量的预测模式信息。
逆量化单元13通过与在图像编码设备中使用的量化方法对应的方法来逆量化在无损解码单元12中解码的量化数据。逆正交变换单元14通过与在图像编码设备中使用的正交变换方法对应的方法来逆正交变换来自逆量化单元13的输出,并且向相加单元15输出变换的数据。
相加单元15相加逆正交变换后的数据和从选择器26供应的预测图像数据,以产生解码图像数据,并且向去块滤波器16和帧存储器21输出所产生的数据。
去块滤波器16对于从相加单元15供应的解码图像数据执行滤波处理以去除块失真,向帧存储器21供应滤波的数据,并且允许帧存储器21累积滤波的数据,以及向画面重排缓冲器17输出滤波的数据。
画面重排缓冲器17重新排列图像。画面重排缓冲器17将在图像编码设备中已经以编码的顺序排列的帧的顺序重新排列为原始显示的顺序,并且向D/A转换单元18输出图像数据。
D/A转换单元18执行从画面重排缓冲器17供应的图像数据的D/A转换,并且向显示器(未示出)输出转换的数据以显示图像。
帧存储器21保存从相加单元15供应的滤波处理之前的解码图像数据和从去块滤波器16供应的滤波处理后的解码图像数据。
当基于从无损解码单元12供应的预测模式信息来解码进行帧内预测的预测块时,选择器22向帧内预测单元23供应从帧存储器21读出的滤波处理之前的解码图像数据。此外,当基于从无损解码单元12供应的预测模式信息来解码进行帧间预测的预测块时,选择器22向运动补偿单元24供应从帧存储器21读出的滤波处理之后的解码图像数据。
帧内预测单元23执行在从无损解码单元12供应的预测模式信息中指示的帧内预测处理,并且产生预测图像数据。帧内预测单元23向选择器26输出所产生的预测图像数据。
运动补偿单元24基于从无损解码单元12供应的预测模式信息来执行帧间预测处理,以产生预测图像数据。运动补偿单元24基于预测模式信息来计算要解码的目标块的运动矢量。此外,运动补偿单元24使用在帧存储器21中存储的解码图像数据中的、在预测模式信息中包括的参考图片信息中指示的解码图像数据。此外,运动补偿单元24基于所计算的运动矢量和在预测模式信息中指示的预测模式使用解码图像数据来执行运动补偿,并且产生预测图像数据。运动补偿单元24向选择器26输出所产生的预测图像数据。
锚信息存储单元25存储当运动补偿单元24在跳跃/直接模式中执行要解码的目标块的解码处理时所需的锚信息。注意,使用在可能要作为锚图片参考的图片的解码处理中在运动补偿单元24中产生的信息,作为锚信息。
选择器26向相加单元15供应在帧内预测单元23中产生的预测图像数据。此外,选择器26向相加单元15供应在运动补偿单元24中产生的预测图像数据。
[1-2.图像解码设备的操作]
图2是示出在图像解码设备10中执行的图像解码处理操作的流程图。
在步骤ST1,累积缓冲器11累积发送的编码流。在步骤ST2中,无损解码单元12执行无损解码处理。无损解码单元12解码从累积缓冲器11供应的编码流。无损解码单元12对于编码流执行诸如可变长度解码或算术解码的处理,并且向逆量化单元13输出所获得的量化数据。此外,无损解码单元12向帧内预测单元23和运动补偿单元24输出通过解码编码流的首部信息而获得的预测模式信息。注意,预测模式信息包括关于运动矢量或要在帧间预测中使用的参考图片的信息以及在帧内预测或在帧间预测中的预测模式。
在步骤ST3中,逆量化单元13执行逆量化处理。逆量化单元13逆量化从无损解码单元12供应的量化数据,并且向逆正交变换单元14输出所获得的变换系数数据。注意,逆量化执行将量化数据返回为在图像编码处理中的量化之前的变换系数数据的处理。
在步骤ST4中,逆正交变换单元14执行逆正交变换处理。逆正交变换单元14逆正交变换从逆量化单元13供应的变换系数数据,并且向相加单元15输出所获得的图像数据。注意,逆正交变换是将变换系数数据返回为在图像编码处理中的正交变换之前的图像数据的处理。
在步骤ST5中,相加单元15产生解码图像数据。相加单元15相加通过执行逆正交变换处理获得的数据和在下述的步骤ST9中选择的预测图像数据,以产生解码图像数据。以这种方式,解码原始图像。
在步骤ST6中,去块滤波器16执行滤波处理。去块滤波器16滤波从相加单元15输出的解码图像数据,以去除在解码的图像中包括的块失真。
在步骤ST7中,帧存储器21存储解码图像数据。
在步骤ST8中,帧内预测单元23和运动补偿单元24执行预测处理。帧内预测单元23和运动补偿单元24分别根据从无损解码单元12供应的预测模式信息执行预测处理。
即,当从无损解码单元12供应帧内预测的预测模式信息时,帧内预测单元23在预测模式信息中指示的预测模式中执行帧内预测处理,并且产生预测图像数据。同时,当从无损解码单元12供应帧间预测的预测模式信息时,运动补偿单元24基于在预测模式信息中指示的预测模式和关于运动矢量和参考图片的信息等来执行运动补偿,并且产生预测图像数据。
在步骤ST9中,选择器26选择预测图像数据。即,选择器26选择从帧内预测单元23供应的预测图像和在运动补偿单元24中产生的预测图像数据,并且向相加单元15供应所选择的数据,并且如上所述,在步骤ST5中,允许相加单元15向逆正交变换单元14的输出加上所选择的数据。
在步骤ST10中,画面重排缓冲器17执行图像重新排列。即,画面重排缓冲器17将已经排列来编码的帧的顺序重新排列为原始显示的顺序。
在步骤ST11中,D/A转换单元18执行来自画面重排缓冲器17的图像数据的D/A转换。这个图像被输出到显示器(未示出),并且被显示。
图3是示出在运动补偿单元24中执行的预测处理的流程图。注意,可以以图片或片(slice)为单位来设置帧间预测模式或帧内预测模式,并且图3示出以片为单位来设置帧间预测模式的情况。
在步骤ST21中,运动补偿单元24开始要解码的目标块的帧间预测处理,并且进行到步骤ST22。
在步骤ST22中,运动补偿单元24确定要解码的目标块的预测模式。运动补偿单元24基于从无损解码单元12供应的预测模式信息来确定预测模式,并且进行到步骤ST23。
在步骤ST23中,运动补偿单元24确定预测模式是否是使用锚信息的模式。运动补偿单元24当在步骤ST22中确定的预测模式是使用锚信息的模式,即跳跃/直接模式时进行到步骤ST24,并且当预测模式是其他模式时进行到步骤ST27。
在步骤ST24中,运动补偿单元24确定是否满足同一性锚条件。当基于下述的同一性标识信息可以将与要解码的目标块对应的锚块的锚信息看作与用于前一个块的锚信息相同时,运动补偿单元24进行到步骤ST25。同时,当不能将要解码的目标块的锚信息看作相同并且在不使用锚信息的预测模式中处理前一个块时,运动补偿单元24进行到步骤ST26。
在步骤ST25中,运动补偿单元24持续地使用前一个块的锚信息。运动补偿单元24持续地使用用于前一个块的锚信息来作为要解码的目标块的锚信息,并且进行到步骤ST27。以这种方式,运动补偿单元24通过持续地使用已经读出的锚信息而不必从锚信息存储单元25读出锚信息。
在步骤ST26中,运动补偿单元24获取对应的锚块的锚信息。运动补偿单元24从锚信息存储单元25读出对于与要解码的目标块对应的锚块产生的锚信息,并且进行到步骤ST27。
在步骤ST27中,运动补偿单元24计算运动矢量。当预测模式是使用锚信息的模式时,运动补偿单元24使用在用于前一个块的锚信息中或者在从锚信息存储单元25读出的锚信息指示的运动矢量来计算要解码的目标块的运动矢量。同时,当预测模式是不使用锚信息的模式时,运动补偿单元24向在预测模式信息中指示的差运动矢量加上诸如作为预测运动矢量的相邻块的运动矢量的中值的预测运动矢量,以产生要解码的目标块的运动矢量。以这种方式,运动补偿单元24根据预测模式来计算运动矢量,并且进行到步骤ST28。
在步骤ST28中,运动补偿单元24产生预测图像数据。运动补偿单元24基于在步骤ST27中计算的运动矢量来对于在帧存储器中存储的参考图像的图像数据执行运动补偿,产生预测图像数据,并且进行到步骤ST29。
在步骤ST29中,运动补偿单元24确定是否是片的末尾。当不是片的末尾时,运动补偿单元24返回到步骤ST21,并且执行下一个块的处理。此外,当是片的末尾时,运动补偿单元24结束片的帧间预测处理。
图4是示例性地示出在运动补偿单元24中执行的锚信息的获取操作的图。图4(A)是图示使用锚信息的同一性的锚信息的获取操作的图。注意,图4(B)示出不使用锚信息的同一性的锚信息的传统获取操作。
在图4(A)和4(B)中,例如,在要解码的目标图片中的块MB0、MB2、MB3、MB6、MB7、MB8、MB10、MB11和MB14是在使用锚信息的跳跃/直接模式中的块。此外,带括号的块MB1、MB4、MB5、MB9、MB12和MB13在不使用锚信息的其他预测模式中。
在锚图片中的锚信息Anc0是与块MB0对应的锚块的锚信息。类似地,锚信息Anc1至Anc15是与块MB1至MB15对应的锚块的锚信息。
此外,例如,锚信息Anc3是可以看作与锚信息Anc2相同的信息。类似地,锚信息Anc7和Anc8是可以看作与锚信息Anc6相同的信息。
如图4(A)中所示,当要解码的目标块是在使用在要解码的目标图片中的锚信息的跳跃/直接模式中的块时,运动补偿单元24从锚图片获取对应的锚块的锚信息。此外,当在跳跃/直接模式中存在连续块时并且在用于前一个块的锚信息可以被看作与要解码的目标块的锚信息相同的情况下,运动补偿单元24持续地使用已经获取的锚信息。
注意,图5示出连续块两者要求在要解码的目标图片中的锚信息的情况。例如,在要解码的目标图片中的要解码的目标块MBn和作为前一个块的前一个块MB(n-1)在使用锚信息来执行解码处理的预测模式中。此外,在锚图片中,块MBAn是与要解码的目标块MBn对应的锚块,并且,块MBA(n-1)是与要解码的目标块MBn对应的锚块。
在图4(A)中,当要解码的目标块是块MB0时,运动补偿单元24获取在锚图片中的对应的锚块的锚信息Anc0,因为块MB0是在跳跃/直接模式中的块。运动补偿单元24使用在所获取的锚信息Anc0中指示的运动矢量来计算块MB0的运动矢量,基于所计算的运动矢量来执行运动补偿,并且产生预测图像数据。
当要解码的目标块是块MB1时,运动补偿单元24根据预测模式来计算运动矢量,并且产生预测图像数据,而不获取锚信息Anc1,因为块MB1不在跳跃/直接模式中。
当要解码的目标块是块MB2时,运动补偿单元24获取锚信息Anc2,因为块MB2在跳跃/直接模式中并且作为前一个块的前一个块MB1不在跳跃/直接模式中。运动补偿单元24根据在所获取的锚信息Anc2中指示的运动矢量计算块MB2的运动矢量,并且产生预测图像数据。
当要解码的目标块是块MB3时,存在跳跃/直接模式的连续块,因为块MB3在跳跃/直接模式中。因此,在与块MB3对应的锚块的锚信息Anc3可以被看作与用于前一个块的锚信息Anc2相同的情况下,运动补偿单元24持续地使用已经获取的锚信息Anc2。运动补偿单元24根据在持续使用的锚信息Anc2中指示的运动矢量计算块MB3的运动矢量,并且产生预测图像数据。
类似地,块MB6至MB8是在跳跃/直接模式中的连续块,并且锚信息Anc6至Anc8是可以看作相同的信息。因此,运动补偿单元24持续地使用锚信息Anc6作为块MB7和MB8的信息。运动补偿单元24根据在持续使用的锚信息Anc6中指示的运动矢量计算块MB7和MB8以及块MB6的运动矢量,并且产生预测图像数据。
此外,块MB10和MB11是在跳跃/直接模式中的连续块。此外,锚信息Anc10和锚信息Anc8不能被看作相同。因此,运动补偿单元24根据在与块MB10对应的锚块的锚信息Anc10中指示的运动矢量计算块MB10的运动矢量,并且产生预测图像数据。此外,运动补偿单元24根据在与块MB11对应的锚块的锚信息Anc11中指示的运动矢量计算块MB11的运动矢量,并且产生预测图像数据。
注意,如图4(B)中所示,在传统方法中,当要解码的目标块例如是块MB3时,需要对应的锚块的锚信息Anc3,即使可以将锚信息Anc2和锚信息Anc3看作相同。根据在所获取的锚信息Anc3中指示的运动矢量计算块MB3的运动矢量,并且产生预测图像数据。此外,类似地,当可以将锚信息Anc6至Anc8看作相同时,获取对应的锚块的锚信息Anc7和Anc8。
如上所述,当使用锚信息的同一性来执行锚信息的获取操作时,当可以将连续块的锚信息看作相同时不必对于每一个块读出锚信息,由此可以减少对于锚信息存储单元25的访问的数量。
[2.在解码时确定锚信息的同一性的情况]
接下来,将描述在解码时确定锚信息的同一性并且产生相同的锚标识信息的情况。
当解码可能作为锚图片被参考的图片时,运动补偿单元24产生锚信息。此外,运动补偿单元24确定所产生的锚信息的同一性,并且产生指示确定结果的同一性标识信息。同一性标识信息可以是能够确定在要解码的目标块的解码处理中使用的锚信息是否满足与用于前一个块的锚信息的同一性条件的信息。例如,作为同一性标识信息,可以使用标记(以下,“同一性标记”),该标记指示锚信息是否可以被看作相同。此外,作为另一种同一性标识信息,可以使用计数值(以下,“同一性计数值”),其指示其锚信息可以被看作相同的连续块的数量。
[2-1.第一同一性标识信息的产生操作]
图6是示出作为同一性标识信息产生同一性标记(称为“第一同一性标识信息”)的情况的操作的流程图。注意,对于可能作为锚图片被参考的图片执行在图6中所示的操作。
在步骤ST31中,运动补偿单元24启动块的帧间预测处理,并且进行到步骤ST32。
在步骤ST32中,运动补偿单元24计算运动矢量。运动补偿单元24计算例如作为预测运动矢量的、相邻块的运动矢量的中值。此外,运动补偿单元24向预测运动矢量加上在从无损解码单元12供应的预测模式信息中指示的差运动矢量,以产生该块的运动矢量,并且进行到步骤ST33。注意,通过使用在可能作为锚图片被参考的图片的解码处理中为了产生预测图像数据而对于每一个块计算的运动矢量,不必再一次计算运动矢量,以便产生同一性标记。
在步骤ST33中,运动补偿单元24确定运动矢量是否可以被看作相同。当可以将在步骤ST32中计算的运动矢量和前一个块的运动矢量看作相同时,运动补偿单元24进行到步骤ST34。同时,当不能将运动矢量看作相同时,运动补偿单元24进行到步骤ST35。以将在块的运动矢量和前一个块的运动矢量之间的差与预定阈值作比较的方式来执行运动矢量是否相同,并且,当运动矢量的差是阈值或更小时,确定可以将运动矢量看作相同。注意,下面将与在编码时确定锚信息的同一性的情况一起描述阈值。
在步骤ST34中,运动补偿单元24将标识标记设置为相同状态。运动补偿单元24例如将标识标记设置为“1”,并且进行到步骤ST36。
在步骤ST35中,运动补偿单元24将标识标记设置为不同状态。运动补偿单元24例如将标识标记设置为“0”,并且进行到步骤ST36。
在步骤ST36中,运动补偿单元24确定处理是否完成,直到片的最后块的处理。当最后块的处理还没有完成时,运动补偿单元24返回到步骤ST31,并且执行下一个块的处理。此外,当已经完成图片的所有片的处理时,运动补偿单元24结束图片的同一性标记的产生。
图7是示例性地示出同一性标记的产生结果的图。例如,图片的块MBA0没有前一个块。因此,运动补偿单元24将块MBA0的标识标记FE设置为“0”。接下来,当不能将块MBA1的运动矢量看作与作为前一个块的前一个块MBA0的运动矢量相同时,运动补偿单元24将块MBA1的同一性标记FE设置为“0”。当不能将块MBA2的运动矢量看作与前一个块MBA1的运动矢量相同时,运动补偿单元24将块MBA2的同一性标记FE设置为“0”。当能够将块MBA3的运动矢量看作与前一个块MBA2的运动矢量相同时,运动补偿单元24将块MBA3的同一性标记FE设置为“1”。以下,通过以类似的方式来执行处理,可以产生第一同一性标识信息。例如,在图7的情况下示出的第一同一性标识信息是“010100111100101”。
在解码时需要在锚信息之前读出以这种方式产生的第一同一性标识信息。因此,在与锚信息存储单元25分离地设置并且能够快速读取的存储器(例如,SRAM等)中存储第一同一性标识信息。此外,第一同一性标识信息具有每一个块1比特的数据量,并且是小数量。因此,能够快速读取的存储器可以具有小容量。
图8示出当使用同一性标记读出锚信息时的情况的操作。当同一性标记FE是“0”时,运动补偿单元24从锚信息存储单元25读出对应的锚块的锚信息。此外,当同一性标记FE是“1”时,运动补偿单元24持续地使用用于前一个块的锚信息。因此,例如,在块MB3的处理中,持续地使用在块MB2的处理中读出的锚信息Anc2。此外,在块MB6的处理中,从锚信息存储单元25读出对应的锚块的锚信息Anc6,因为前一个块MB5不在使用锚信息的预测模式中。此外,在块MB7和MB8的处理中,持续地使用在块MB6的处理中读出的锚信息Anc6。
[2-2.第二同一性标识信息的产生操作]
接下来,将描述同一性计数值(称为“第二同一性标识信息”)被用作同一性标识信息的情况。注意,例如在下述情况下使用同一性计数值:解码图片的所有块在使用锚信息的跳跃/直接模式中,并且在解码图片的解码处理的中间不切换锚图片。下面描述这一点。
图9是示出作为同一性标识信息产生同一性计数值的情况的操作的流程图。注意,对于可能作为锚图片被参考的图片来执行在图9中所示的操作。
在步骤ST41中,运动补偿单元24复位同一性计数值,并且进行到步骤ST42。
在步骤ST42中,运动补偿单元24启动块的帧间预测处理,并且进行到步骤ST43。
在步骤ST43中,运动补偿单元24计算运动矢量。运动补偿单元24例如计算作为预测运动矢量的、相邻块的运动矢量的中值。此外,运动补偿单元24将在从无损解码单元12供应的预测模式信息中指示的差运动矢量加到预测运动矢量,以计算该块的运动矢量,并且进行到步骤ST44。注意,通过使用在可能作为锚图片被参考的图片的解码处理中为了产生预测图像数据而对于每一个块计算的运动矢量,不必再一次计算运动矢量,来产生同一性计数值。
在步骤ST44中,运动补偿单元24确定运动矢量是否可以被看作相同。当前一个块的运动矢量和在步骤ST43中计算的运动矢量可以被看作相同时,运动补偿单元24进行到步骤ST45。同时,当运动矢量不能被看作相同时,运动补偿单元24进行到步骤ST46。
在步骤ST45中,运动补偿单元24执行信息更新处理。运动补偿单元24递增同一性计数值,该同一性计数值指示其锚信息可以被看作相同的连续块的数量。此外,为了使得前一个块的锚信息可用,运动补偿单元24保存前一个锚信息,并且进行到步骤ST48。
在步骤ST46中,运动补偿单元24执行信息存储处理。因为其锚信息不能被看作相同的连续块,运动补偿单元24在锚信息存储单元25中存储包括其同一性计数值被保存的锚信息的信息,并且进行到步骤ST47。
在步骤ST47中,运动补偿单元24执行信息产生恢复处理。运动补偿单元24复位同一性计数值。此外,运动补偿单元24保存不能被看作相同的块的锚信息,并且进行到步骤ST48。
在步骤ST48中,运动补偿单元24确定是否已经完成处理,直到在图片中的最后块的处理。当处理还没有被完成时,运动补偿单元24返回到步骤ST42,并且执行下一个块的处理,直到最后块的处理。此外,当已经完成最后块的处理时,运动补偿单元24进行到步骤ST49。
在步骤ST49中,运动补偿单元24执行信息存储处理。因为运动补偿单元24已经确定了图片的最后块的同一性,所以运动补偿单元24在锚信息存储单元25中存储包括其同一性计数值被保存的锚信息的信息,并且结束图片的同一性计数值的产生。
图10是示例性地示出同一性计数值的产生结果的图。例如,因为图片的块MBA0的锚信息Anc0和下一个块MBA1的锚信息Anc1可以被看作相同,所以保存锚信息Anc0。此外,将同一性计数值CN递增为CN=1。接下来,因为不能将所保存的锚信息Anc0和下一个块MBA2的锚信息Anc2看作相同,所以在锚信息存储单元25中存储保存的锚信息Anc0与同一性计数值CN=1。此外,复位计数值,并且将同一性计数值CN设置为CN=0。此外,保存锚信息Anc2。
接下来,因为可以将所保存的锚信息Anc2和块MBA3的锚信息Anc3看作相同,所以保存锚信息Anc2。此外,同一性计数值CN被递增为CN=1。接下来,因为不能将所保存的锚信息Anc2和下一个块MBA4的锚信息Anc4看作相同,所以与保存的锚信息Anc2一起存储同一性计数值CN=1。此外,保存锚信息Anc4,并且复位计数值,并且同一性计数值CN被设置为CN=0。
因为不能将所保存的锚信息Anc4和下一个块MBA5的锚信息Anc5看作相同,所以在锚信息存储单元25中与同一性计数值CN=0一起存储保存的锚信息Anc4。此外,复位计数值,并且将同一性计数值CN设置为CN=0。此外,保存锚信息Anc5。
接下来,因为不能将保存的锚信息Anc5和块MBA6的锚信息Anc6看作相同,所以保存锚信息Anc5。此外,同一性计数值CN被递增为CN=1。接下来,因为可以将保存的锚信息Anc5和块MBA7的锚信息Anc7看作相同,所以保存锚信息Anc5。此外,将同一性计数值CN递增为CN=2。因为可以将保存的锚信息Anc5和块MBA8的锚信息Anc8看作相同,所以保存锚信息Anc5。此外,同一性计数值CN被递增为CN=3。接下来,因为可以将保存的锚信息Anc5和块MBA9的锚信息Anc9看作相同,所以保存锚信息Anc5。此外,将同一性计数值CN递增为CN=4。接下来,因为不能将保存的锚信息Anc5和块MBA10的锚信息Anc10看作相同,所以在锚信息存储单元25中与同一性计数值CN=4一起存储所保存的锚信息Anc5。此外,复位计数值,并且将同一性计数值CN设置为CN=0。此外,保存锚信息Anc10。
以下,通过以类似的方式来执行处理,存储锚信息Anc0和同一性计数值CN=1、锚信息Anc2和同一性计数值CN=1、以及锚信息Anc4和同一性计数值CN=0。此外,在锚信息存储单元25中存储锚信息Anc5和同一性计数值CN=4、锚信息Anc10和同一性计数值CN=0、以及锚信息Anc11和同一性计数值CN=1。此外,在锚信息存储单元25中存储锚信息Anc13和同一性计数值CN=1。
图11示出使用同一性计数值来读出锚信息的情况。运动补偿单元24读出与第一块MB0对应的锚信息和同一性计数值。在此,因为第一锚信息Anc0的同一性计数值是CN=1,所以可以确定可以相对于块MB1使用锚信息Anc0,并且不能相对于块MB2使用锚信息Anc0。因此,使用锚信息Anc0来执行块MB0的解码处理,并且持续地使用锚信息Anc0来执行块MB1的解码处理。
在块MB2中,因为不能使用锚信息Anc0,所以读出与块MB2对应的锚信息和同一性计数值。在此,因为锚信息Anc2的同一性计数值是CN=1,所以可以确定可以相对于块MB3使用锚信息Anc2,并且不能相对于块MB4使用锚信息Anc0。因此,使用锚信息Anc2来执行块MB2的解码处理,并且,持续地使用锚信息Anc2来执行块MB3的解码处理。
因为锚信息Anc2不能用于块MB4,所以读出与块MB4对应的锚信息和同一性计数值。在此,因为锚信息Anc4的同一性计数值是CN=0,所以可以确定不能相对于块MB5使用锚信息Anc4。因此,使用锚信息Anc4执行块MB4的解码处理。
因为锚信息Anc4不能用于块MB5,所以读出与块MB5对应的锚信息和同一性计数值。在此,因为锚信息Anc5的同一性计数值是CN=4,所以可以确定可以相对于块MB6至MB9使用锚信息Anc5,并且不能相对于块MB10使用锚信息Anc5。因此,使用锚信息Anc5来执行块MB5的解码处理,并且,持续地使用锚信息Anc5来执行块MB6至MB9的解码处理。
以这种方式,通过读出锚信息和同一性计数值并且基于同一性计数值持续地使用锚信息,不必对于每一个块读出锚信息。锚信息存储单元25也不必存储每一个块的锚信息。因此,变得能够减小锚信息存储单元25的容量。
注意,当同一性计数值被用作同一性标识信息时,在锚信息存储单元25中存储同一性计数值和所保存的锚信息。因此,如果在要解码的目标图片中不考虑不使用锚信息的块,则要解码的目标块的顺序和基于同一性计数值的块的顺序不能彼此对应。因此,如果要解码的目标图片的所有块使用锚信息,则要解码的目标块的顺序和基于同一性计数值的块的顺序彼此对应,由此可以容易地执行解码处理。此外,在其中在图片的中间切换锚图片的情况下,不保证读出切换的块的锚信息。因此,在图片的中间不切换锚图片的情况下,可以使用同一性计数值。
[3.在编码时确定锚信息的同一性的情况]
如上所述,同一性标识信息可以是能够确定在要解码的目标块的解码处理时要使用的锚信息是否满足与用于前一个块的锚信息的同一性条件的信息,并且可以在编码以及解码时产生同一性标识信息。当在编码时产生同一性标识信息时,在编码流中包括所产生的同一性标识信息。图像解码设备从编码流提取同一性标识信息,并且获取锚信息或基于所提取的同一性标识信息持续地使用前一个块的锚信息。接下来,将描述在编码时确定锚信息的同一性并且产生相同的锚标识信息的情况。
[3-1.图像编码设备的配置]
图12示出图像编码设备50的配置。图像编码设备50是信息处理设备,其执行编码处理,并且包括模拟/数字转换单元(A/D转换单元)51、屏幕重排缓冲器52、减法单元53、正交变换单元54、量化单元55、无损编码单元56、累积缓冲器57和速率控制单元58。此外,图像编码设备50包括逆量化单元61、逆正交变换单元62、相加单元63、去块滤波器64、帧存储器65、选择器66、帧内预测单元71、运动预测/补偿单元72和预测图像/最佳模式选择单元73。
A/D转换单元51将模拟图像信号转换为数字图像数据,并且向屏幕重排缓冲器52输出数字图像数据。
屏幕重排缓冲器52对于从A/D转换单元51输出的图像数据执行帧重新排列。屏幕重排缓冲器52按照根据编码处理的GOP(图片组)结构来执行帧重新排列,并且向减法单元53、帧内预测单元71和运动预测/补偿单元72输出重新排列的图像数据。
从屏幕重排缓冲器52输出的图像数据和由如下所述的预测图像/最佳模式选择单元73选择的预测图像数据被供应到减法单元53。减法单元53计算作为在从屏幕重排缓冲器52输出的图像数据和从预测图像/最佳模式选择单元73供应的预测图像数据之间的差的预测误差数据,并且向正交变换单元54输出预测误差数据。
正交变换单元54对于从减法单元53输出的预测误差数据来执行正交变换处理,诸如离散余弦变换(DCT)和Karhunen/Loeve变换。正交变换单元54向量化单元55输出由正交变换处理获得的变换系数数据。
从正交变换单元54输出的变换系数数据和来自下述的速率控制单元58的速率控制信号被供应到量化单元55。量化单元55执行变换系数数据的量化,并且向无损编码单元56和逆量化单元61输出量化数据。此外,量化单元55基于来自速率控制单元58的速率控制信号来切换量化参数(量化比例),以改变量化数据的比特率。
从量化单元55输出的量化数据和来自帧内预测单元71、运动预测/补偿单元72和预测图像/最佳模式选择单元73的预测模式信息被供应到无损编码单元56。注意,预测模式信息包括在帧内预测中或在帧间预测中的预测模式(最佳预测模式)、要在帧间预测中编码的目标块的运动矢量和参考图片信息。无损编码单元56借助于例如相对于量化数据的可变长度编码或算术编码来执行无损编码处理,产生编码流,并且向累积缓冲器57输出编码流。此外,无损编码单元56执行预测模式信息的无损编码,并且将该信息加到编码流的首部信息。此外,当在图像编码时产生同一性标识信息时,无损编码单元56向编码流包括在运动预测/补偿单元72中产生的同一性标识信息。此外,无损编码单元56通过下述方式来减小预测模式信息的数据量:将差运动矢量而不是在运动预测/补偿单元72中计算的要编码的目标块的运动矢量包括到预测模式信息。在该情况下,无损编码单元56根据例如与要编码的目标块相邻的块相关的已经计算的运动矢量计算中值,以产生预测运动矢量。无损编码单元56计算在预测运动矢量和在运动预测/补偿单元72中计算的要编码的目标块的运动矢量之间的差,以产生差运动矢量。
累积缓冲器57累积来自无损编码单元56的编码流。此外,累积缓冲器57以根据传输线的传输速度输出累积的编码流。
速率控制单元58监控累积缓冲器57的空闲空间,根据空闲空间来产生速率控制信号,并且将该信号输出到量化单元55。速率控制单元58例如从累积缓冲器57获取用于指示空闲空间的信息。当空闲空间小时,速率控制单元58通过速率控制信号来降低量化数据的比特率。同时,当累积缓冲器57的空闲空间足够大时,速率控制单元58通过速率控制信号来增大量化数据的比特率。
逆量化单元61执行从量化单元55供应的量化数据的逆量化处理。逆量化单元61向逆正交变换单元62输出通过执行逆量化处理而获得的变换系数数据。
逆正交变换单元62向相加单元63输出通过执行从逆量化单元61供应的变换系数数据的逆正交变换处理而获得的数据。
相加单元63相加从逆正交变换单元62供应的数据和从预测图像/最佳模式选择单元73供应的预测图像数据以产生解码图像数据,并且向去块滤波器64和帧存储器65输出所产生的数据。
去块滤波器64执行滤波处理,用于降低在图像的解码时引起的块失真。去块滤波器64执行滤波处理,以去除从相加单元63供应的解码图像数据的块失真,并且向帧存储器65输出滤波处理后的解码图像数据。
帧存储器65保存从相加单元63供应的解码图像数据和从去块滤波器64供应的滤波处理后的解码图像数据。
选择器66向帧内预测单元71供应从帧存储器65读出的滤波处理前的解码图像数据,以便执行帧内预测。此外,选择器66向运动预测/补偿单元72供应从帧存储器65读出的滤波处理后的解码图像数据,以便执行帧间预测。
帧内预测单元71使用从屏幕重排缓冲器52输出的要编码的目标图像的图像数据和从帧存储器65读出的滤波处理之前的解码图像数据来在所有候选帧内预测模式中执行帧内预测处理。此外,帧内预测单元71计算对于每一个帧内预测模式的代价函数值,并且选择最小化所计算的代价函数值的帧内预测模式,即,优化编码效率的帧内预测模式,作为最佳帧内预测模式。帧内预测单元71向预测图像/最佳模式选择单元73输出在最佳帧内预测模式中产生的预测图像数据、关于最佳帧内预测模式的预测模式信息和在最佳帧内预测模式下的代价函数值。此外,在每一个帧内预测模式中的帧内预测处理中,帧内预测单元71向无损编码单元56输出用于指示帧内预测模式的信息,以便获得要用于计算代价函数值的所产生的代码量。
运动预测/补偿单元72使用从屏幕重排缓冲器52输出的要编码的目标图像的图像数据和从帧存储器65输出的滤波处理之后的解码图像数据来在所有候选帧间预测模式中执行帧间预测处理。此外,运动预测/补偿单元72计算相对于每一个帧间预测模式的代价函数值,并且选择最小化所计算的代价函数值的帧间预测模式,即,优化编码效率的帧间预测模式,作为最佳帧内预测模式。运动预测/补偿单元72向预测图像/最佳模式选择单元73输出在最佳帧间预测模式中产生的预测图像数据、关于最佳帧间预测模式的预测模式信息和在最佳帧间预测模式下的代价函数值。此外,在每一个帧间预测模式中的帧间预测处理中,运动预测/补偿单元72向无损编码单元56输出关于帧间预测模式的信息,以便获得要用于计算代价函数值的所产生的代码量。此外,当在图像编码时产生同一性标识信息时,运动预测/补偿单元72产生同一性标识信息,并且向预测图像/最佳模式选择单元73或无损编码单元56输出所产生的信息。
预测图像/最佳模式选择单元73以块为单位将从帧内预测单元71和从运动预测/补偿单元72供应的代价函数值作比较,并且将较小的代价函数值选择为最大化编码效率的最佳模式。此外,预测图像/最佳模式选择单元73向减法单元53和相加单元63输出在最佳模式中产生的预测图像数据。此外,预测图像/最佳模式选择单元73向无损编码单元56输出最佳模式的预测模式信息。此外,当从运动预测/补偿单元72供应同一性标识信息时,预测图像/最佳模式选择单元73在将最佳帧间预测模式选择为最佳模式的情况下向无损编码单元56输出同一性标识信息。注意,预测图像/最佳模式选择单元73以图片或片为单位来执行帧内预测或帧间预测。
[3-2.运动预测/补偿单元的配置]
图13示例性地示出关于在运动预测/补偿单元72中的同一性标识信息的产生的配置部分。运动预测/补偿单元72包括运动矢量检测单元721、预测模式确定单元722、预测模式存储单元723、锚信息产生/存储单元724和信息产生单元725。
运动矢量检测单元721使用从屏幕重排缓冲器52读出的要编码的目标图像的块的图像数据和从帧存储器65读出的滤波处理后的解码图像数据来检测运动矢量。运动矢量检测单元721向预测模式确定单元722和锚信息产生/存储单元724供应所检测的运动矢量。
预测模式确定单元722通过基于所供应的运动矢量向解码图像数据应用运动补偿处理来产生预测图像数据。此外,预测模式确定单元722当使用所产生的预测图像数据时计算代价函数值。此外,预测模式确定单元722在每一个预测模式中产生预测图像数据,并且计算在每一个预测模式中的代价函数值。此外,预测模式确定单元722将最小化代价函数值的预测模式确定为最佳帧间预测模式。预测模式确定单元722向信息产生单元725和预测图像/最佳模式选择单元73等供应用于指示所确定的最佳帧间预测模式的预测模式信息。
预测模式存储单元723以图片或片为单位存储确定的预测模式。此外,预测模式存储单元723向信息产生单元725供应所存储的预测模式。
锚信息产生/存储单元724使用在运动矢量检测单元721中检测的运动矢量等来产生锚信息。此外,锚信息产生/存储单元724存储所产生的锚信息。
信息产生单元725基于在预测模式确定单元722中确定的最佳帧间预测模式、在预测模式存储单元723中存储的预测模式和在锚信息产生/存储单元724中存储的锚信息来产生同一性标识信息。即,信息产生单元725确定在预测模式确定单元722中确定的最佳帧间预测模式是否是使用锚信息的预测模式。信息产生单元725当最佳帧间预测模式是使用锚信息的预测模式时确定在预测模式存储单元723中存储的前一个块的预测模式。当前一个块的预测模式是使用锚信息的预测模式时,信息产生单元725确定在锚信息产生/存储单元724中存储的块的锚信息是否可以被看作与用于前一个块的锚信息相同。当可以将块的锚信息看作与用于前一个块的锚信息相同时,信息产生单元725确定可以将同一性标识信息看作与前一个块的锚信息相同。否则,信息产生单元725确定同一性标识信息是不能被看作与前一个块的锚信息相同的信息。以这种方式,信息产生单元725产生同一性标识信息,并且向无损编码单元56或经由预测图像/最佳模式选择单元73向无损编码单元56供应所产生的信息。
[3-3.图像编码设备的操作]
接下来,将描述图像编码处理操作。图14是示出图像编码处理操作的流程图。在步骤ST51中,A/D转换单元51执行输入图像信号的A/D转换。
在步骤ST52中,屏幕重排缓冲器52执行图像重新排列。屏幕重排缓冲器52存储从A/D转换单元51供应的图像数据,并且将每一个图片的显示顺序重新排列为每一个图片的编码顺序。
在步骤ST53中,减法单元53产生预测误差数据。减法单元53计算在步骤ST52中重新排列的图像的图像数据和在预测图像/最佳模式选择单元73中选择的预测图像数据之间的差,以产生预测误差数据。预测误差数据具有比原始图像数据小的数据量。因此,与按原样编码图像的情况作比较,可以压缩数据量。
在步骤ST54中,正交变换单元54执行正交变换处理。正交变换单元54执行从减法单元53供应的预测误差数据的正交变换。更具体地,正交变换单元54相对于预测误差数据执行正交变换,诸如离散余弦变换和Karhunen/Loeve变换,并且输出变换系数数据。
在步骤ST55中,量化单元55执行量化处理。量化单元55量化变换系数数据。在量化中,如在下面的步骤ST65中所述,执行速率控制。
在步骤ST56中,逆量化单元61执行逆量化处理。逆量化单元61使用与量化单元55的特性对应的特性来逆量化由量化单元55量化的量化变换系数数据。
在步骤ST57中,逆正交变换单元62执行逆正交变换处理。逆正交变换单元62使用与正交变换单元54的特性对应的特性来执行由逆量化单元61逆量化的变换系数数据的逆正交变换。
在步骤ST58中,相加单元63产生解码图像数据。相加单元63将从预测图像/最佳模式选择单元73供应的预测图像数据与该预测图像数据和要解码的目标块的逆正交变换后的数据相加,以产生解码图像数据。
在步骤ST59中,去块滤波器64执行滤波处理。去块滤波器64滤波从相加单元63输出的解码图像数据,以去除块失真。
在步骤ST60中,帧存储器65存储解码图像数据。帧存储器65存储滤波处理之前的解码图像数据和滤波处理后的解码图像数据。
在步骤ST61中,帧内预测单元71和运动预测/补偿单元72分别执行预测处理。即,帧内预测单元71在帧内预测模式中执行帧内预测处理,并且运动预测/补偿单元72在帧间预测模式中执行运动预测/补偿处理。在预测处理中,在所有候选预测模式的每一个中执行预测处理,并且,计算每一个预测模式的每一个代价函数值。然后,基于所计算的代价函数值来选择最佳帧内预测模式和最佳帧间预测模式,并且,向预测图像/最佳模式选择单元73供应在所选择的预测模式中产生的预测图像和其代价函数和预测模式信息。
在步骤ST62中,预测图像/最佳模式选择单元73选择预测图像数据。预测图像/最佳模式选择单元73基于从帧内预测单元71和运动预测/补偿单元72输出的每个代价函数值来确定优化编码效率的最佳模式。此外,预测图像/最佳模式选择单元73选择所确定的最佳模式的预测图像数据,并且向减法单元53和相加单元63供应所选择的数据。这个预测图像用于在如上所述的步骤ST58中的计算。注意,向无损编码单元56输出与所选择的预测图像数据对应的预测模式信息。
在步骤ST63中,无损编码单元56执行无损编码处理。无损编码单元56执行从量化单元55输出的量化数据的无损编码。即,无损编码单元56执行量化数据的无损编码,诸如可变长度编码和算术编码,并且压缩所处理的数据。此时,向无损编码单元56等输入的预测模式信息(包括预测模式、差运动矢量和参考图片信息等)也进行在如上所述的步骤ST62中的无损编码。此外,将预测模式信息的无损编码数据加到通过执行量化数据的无损编码而产生的编码流的首部信息。此外,当在图像编码时产生同一性标识信息时,无损编码单元56向编码流包括在运动预测/补偿单元72中产生的同一性标识信息。
在步骤ST64中,累积缓冲器57执行累积处理。累积缓冲器57累积从无损编码单元56输出的编码流。在累积缓冲器57中累积的编码流被适当地读出,并且经由传输线被发送到解码侧。
在步骤ST65中,速率控制单元58执行速率控制。当在累积缓冲器57中累积编码流时,速率控制单元58控制通过量化单元55进行的量化操作的速率,以不在累积缓冲器57中产生上溢或下溢。
接下来,将描述在图14中的步骤ST61中的预测处理。帧内预测单元71执行帧内预测处理。帧内预测单元71在所有候选帧内预测模式中执行当前块的图像的帧内预测。注意,作为在帧内预测中参考的解码图像的图像数据,使用在帧存储器65中存储的未进行在去块滤波器64中的滤波处理的解码图像数据。在帧内预测处理中,在所有候选帧内预测模式中执行帧内预测,并且,相对于所有候选的帧内预测模式计算代价函数值。然后,基于所计算的代价函数值从所有帧内预测模式选择优化编码效率的帧内预测模式。
基于由作为在H.264/AVC方法中的参考软件的JM(联合模型)限定的高复杂度模式或低复杂度模式的方法来计算代价函数值。
即,高复杂度模式对于所有的候选预测模式临时执行处理,直到无损编码处理,并且相对于预测模式的每一个计算在下面的公式(1)中表达的代价函数值。
Cost(ModeΩ)=D+λ/R(1)
“Ω”表示用于块或宏块的编码的整个一组候选预测模式。“D”表示在预测模式中编码的解码图像和输入图像之间的差能量(失真)。“R”表示包括正交变换系数和预测模式信息等的产生的编码量,并且“λ”表示作为量化参数QP的函数给出的拉格朗日乘子。
即,为了在高复杂度模式中编码,需要在所有的候选预测模式中执行临时编码处理一次,以便计算上述的参数D和R,并且因此,需要较大的计算量。
另一方面,在低复杂度模式中,对于所有的候选预测模式执行预测图像的产生和信息的计算直到诸如运动矢量信息和预测模式信息的首部比特,并且,相对于预测模式的每一个计算通过下面的公式(2)表达的代价函数值。
Cost(ModeΩ)=D+QPtoQuant(QP)/Header_Bit(2)
“Ω”表示用于编码块或宏块的整个一组候选预测模式。“D”表示在预测模式中解码的解码图像和输入图像之间的差能量(失真)。“Header_Bit”表示相对于预测模式的首部比特,并且,“QPtoQuant”表示作为量化参数QP的函数给出的函数。
即,在低复杂度模式中,虽然需要相对于预测模式的每一个执行预测处理,但是不必处理解码图像。因此,比高复杂度模式低的计算量是可能的。
运动预测/补偿单元72执行帧间预测处理。运动预测/补偿单元72使用在帧存储器65中存储的滤波处理后的解码图像数据,并且在所有的候选帧间预测模式中执行帧间预测处理。运动预测/补偿单元72在所有的候选帧间预测模式中执行预测处理,并且计算相对于所有的候选帧间预测模式的代价函数值。然后,基于所计算的代价函数值从所有的帧间预测模式选择优化编码效率的帧间预测模式。
[3-4.同一性标识信息的产生操作]
图15是示出作为同一性标识信息产生同一性标记的情况的操作的流程图。
在步骤ST71中,运动预测/补偿单元72确定要编码的目标块的预测模式。运动预测/补偿单元72如上所述在所有的候选帧间预测模式中执行预测处理,并且计算相对于所有的候选预测模式的代价函数值。
在步骤ST72中,运动预测/补偿单元72确定预测模式。运动预测/补偿单元72基于在步骤ST71中计算的代价函数值来确定优化编码效率的预测模式,即,最小化代价函数值的预测模式,并且进行到步骤ST73。
在步骤ST73中,运动预测/补偿单元72确定是否是使用锚信息的预测模式。运动预测/补偿单元72当要编码的目标块在使用锚信息的预测模式中、即在跳跃/直接模式中时进行到步骤ST74,而在要编码的目标块在其他模式中时进行到步骤ST77。
在步骤ST74中,运动预测/补偿单元72确定前一个块是否是使用锚信息的块。运动预测/补偿单元72当前一个块是使用锚信息进行解码处理的块时进行到步骤ST75。同时,运动预测/补偿单元72当前一个块不是使用锚信息来进行解码处理的块时进行到步骤ST77。
在步骤ST75中,运动预测/补偿单元72确定是否可以将锚信息看作相同。当要在块的编码处理中使用的锚信息和用于前一个块的锚信息可以被看作相同时,运动预测/补偿单元72进行到步骤ST76。同时,当要在块的编码处理中使用的锚信息和用于前一个块的锚信息不能被看作相同时,运动预测/补偿单元72进行到步骤ST77。
在步骤ST76中,运动预测/补偿单元72将标识标记设置为相同状态。运动预测/补偿单元72将相同的标记设置为例如“1”,并且进行到步骤ST78。
在步骤ST77中,运动预测/补偿单元72将同一性标记设置为不同状态。运动预测/补偿单元72将相同的标记设置为例如“0”,并且进行到步骤ST78。
在步骤ST78中,运动预测/补偿单元72确定是否为片的末尾。运动预测/补偿单元72当块不是片的最后一个时返回到步骤ST71,并且执行下一个块的处理。此外,运动预测/补偿单元72当要编码的目标图片的所有片的处理完成时结束图片的同一性标记的产生。
图16是示例性地示出同一性标记的产生结果的图。例如,要编码的目标图片的块MB0没有前一个块。因此,运动预测/补偿单元72将块MB0的同一性标记FE设置为“0”。
运动预测/补偿单元72将块MB1的同一性标记FE设置为“0”,因为下一个块MB1不在使用锚信息的模式中。
运动预测/补偿单元72将块MB2的同一性标记FE设置为“0”,因为块MB2在使用锚信息的模式中,并且前一个块MB1不在使用锚信息的模式中。
运动预测/补偿单元72可以认为块MB3和前一个块MB2在使用锚信息的模式中,并且,用于块MB3的锚信息Anc3和用于前一个块MB2的锚信息Anc2彼此相同。因此,运动预测/补偿单元72将块MB3的同一性标记FE设置为“1”。以下,通过以类似的方式来执行处理,可以如图16中所示产生同一性标记FE。
此外,通过利用在图16中所示的同一性标记读出或持续地使用锚信息,实现与图8的类似操作。
以这种方式,在编码处理中产生同一性标识信息,并且使用如上所述的所产生的同一性标识信息来执行解码处理,由此,可以对于每一个要解码的目标块执行解码处理,而不读出锚信息。
[4.在解码时和在编码时产生的锚信息的同一性的比较]
[4-1.同一性标识信息的产生操作的比较]
表1示出在图像编码设备中产生同一性标识信息的情况和在图像解码设备中产生同一性标识信息的情况之间的比较结果。
[表1]
在小容量存储器中存储中,当确定锚信息的同一性并且在解码时产生同一性标记时,在解码时需要在锚信息之前读出同一性标记,并且,同一性标记的信息的数据量小。因此,在低容量存储器中存储同一性标记。此外,当在编码时产生同一性标记时,因为在编码流中包括同一性标记的信息,所以不必在低容量存储器中存储信息。此外,因为在锚信息存储单元中存储同一性计数值与其同一性计数值指示连续的锚信息,所以不必在低容量存储器中存储同一性计数值。
在锚信息存储单元中存储中,当使用同一性标记时需要根据同一性标记来读出要解码的目标块的对应的锚块的锚信息。因此,需要在锚信息存储单元中存储锚图片的所有锚块的锚信息。然而,当使用同一性计数值时,在锚信息存储单元中存储同一性计数值和保存的锚信息。因此,在锚信息存储单元中仅存储同一性计数值和部分块的锚信息。
关于流的影响,通过在解码时确定锚信息的同一性和产生同一性标识信息,不必向编码流附加比特。即,通过使用由传统图像编码设备产生的编码流,也可以减少读出锚信息。然而,当通过在编码时确定锚信息的同一性来产生同一性标识信息时,附加比特,因为在编码流中包括同一性标记。
关于锚图片的限制,当使用同一性标记时,没有锚图片的限制。然而,当使用同一性计数值时,不对于每一个块存储锚信息。因此,如果在块的连续锚信息的中间切换锚图片,则不能获取正确的锚信息。因此,必须设置锚图片的限制。
此外,当在编码时产生同一性标识信息时,可以考虑到图像质量等来设置是否可以将锚信息看作相同的确定标准。例如,对于在编码时使用的要解码的目标块的锚信息和用于前一个块的锚信息,当在运动矢量之间的差是预定阈值或更小时,看作相同。在该情况下,即使在运动矢量之间的差大,其中增大阈值但是存在图像质量等的较小劣化,也看作相同。因此,在降低图像质量的影响的同时,可以设置其锚信息不必被读出的更多的块。此外,假定当在运动矢量之间的差是阈值或更小时,看作相同并且产生同一性标识信息。在这样的情况下,产生同一性标记,即使在运动矢量之间的差是阈值或更小,因为通过使用前一个块的锚信息不满足同一性,其中,图像质量的劣化增大,并且劣化超过预定水平。以这种方式,可以控制以图像质量的劣化不超过预定水平的方式来从锚信息存储单元读出锚信息。此外,当在解码时产生同一性标识信息时,如果仅当锚信息的运动矢量例如彼此一致时才看作相同,则可以防止因为在解码时使用的锚信息和用于前一个块的锚信息之间的差导致解码图像的图像质量的劣化的出现。
[4-2.使用同一性标识信息时的效果]
图17示出锚信息的数据量的示例。例如,当锚块由4×4块形成,并且DirectInferenceflag设置为“1”时,在四角处的块(使用斜线示出的块)的运动矢量和参考索引被用作锚信息。在此,一个锚块的锚信息是(14+12+6)×4=128比特(16字节),其中,在水平方向上的运动矢量是14比特,在垂直方向上的运动矢量是12比特,并且参考索引是6比特。即,当通过连续地使用前一个块的锚信息而不必读出其锚信息的K个块出现时,可以在从锚信息存储单元25读出锚信息中减少16×K字节的数据。注意,当DirectInferenceflag设置为“0”时,4×4块的所有的运动矢量和锚索引用作锚信息。
图18是示出当在空间直接模式中计算运动矢量时的概略操作的流程图。在步骤ST81中,运动补偿单元24确定是否可以将锚信息看作与前一个块的锚信息相同。运动补偿单元24当基于同一性标识信息不能将锚信息看作与前一个块的锚信息相同时,进行到步骤ST82,而当可以将锚信息看作相同时进行到步骤ST84。
在步骤ST82中,运动补偿单元24获取锚信息。运动补偿单元24从锚信息存储单元25获取与要解码的目标块对应的锚块的锚信息,并且进行到步骤ST83。
在步骤ST83中,运动补偿单元24产生colZeroFlag。运动补偿单元24基于所获取的锚信息来产生colZeroFlag,并且进行到步骤ST85。
colZeroFlag是按照H.264/AVC标准在P图片的每一个块中限定的信息,并且指示是否存在块的图像的运动。当下面的所有内容为“真”时,colZeroFlag是“1”,否则,colZeroFlag是“0”。
(a)作为在L1预测中的最小参考图片编号的参考图片是短期参考图片。
(b)相对于锚块的参考图片的参考图片编号是0。即,作为参考图片的锚图片在显示顺序上位于后面,并且最接近要解码的目标图片。
(c)锚块的运动矢量的水平和垂直分量都是在-1和1之间的值。
在步骤ST84中,运动补偿单元24持续地使用锚信息。运动补偿单元24持续地使用前一个块的锚信息,并且进行到步骤ST85。即,不像步骤ST83那样,运动补偿单元24通过持续地使用前一个块的锚信息而不产生colZeroFlag来持续地使用基于前一个块的锚信息产生的colZeroFlag。
在步骤ST85中,运动补偿单元24确定是否满足运动矢量的零确定条件。运动补偿单元24当例如colZeroFlag是“1”时因为满足零确定条件而进行到步骤ST86,而当colZeroFlag是“0”时因为不满足零确定条件而进行到步骤ST87。
在步骤ST86中,运动补偿单元24将运动矢量设置为“0”。运动补偿单元24将要解码的目标块的运动矢量的水平和垂直分量都设置为“0”,并且结束运动矢量的计算。
在步骤ST87中,运动补偿单元24执行运动矢量计算处理。运动补偿单元24执行例如中值预测,并且将相邻块的运动矢量的中值设置为预测运动矢量。此外,运动补偿单元24通过向预测运动矢量加上差运动矢量来计算要解码的目标块的运动矢量,并且结束运动矢量的计算。
以这种方式,通过持续地使用前一个块的锚信息而不必在空间直接模式中产生colZeroFlag,由此可以减少处理。
图19是示出当在时间直接模式中计算运动矢量时的概略操作的流程图。
在步骤ST91中,运动补偿单元24确定是否可以将锚信息看作与前一个块的锚信息相同。运动补偿单元24当基于同一性标识信息不能将锚信息看作与前一个块的锚信息相同时,进行到步骤ST92,而当能将锚信息看作相同时,进行到步骤ST94。
在步骤ST92中,运动补偿单元24获取锚信息。运动补偿单元24从锚信息存储单元25获取与要解码的目标块对应的锚块的锚信息,并且进行到步骤ST93。
在步骤ST93中,运动补偿单元24计算运动矢量。运动补偿单元24基于所获取的锚信息来计算运动矢量。即,如H.264/AVC标准所示,基于在锚信息中指示的参考索引来获得在要解码的目标图片和要在L0预测中参考的图片之间的时间间隔和在要解码的目标图片和要在L1预测中参考的图片之间的时间间隔。此外,基于该两个时间间隔和在锚信息中指示的运动矢量来计算要解码的目标块的运动矢量。
在步骤ST94中,运动补偿单元24持续地使用锚信息。运动补偿单元24持续地使用前一个块的锚信息。即,运动补偿单元24通过持续地使用前一个块的锚信息来持续地使用基于前一个块的锚信息而计算的运动矢量,而不在步骤ST93中计算运动矢量。
以这种方式,在时间直接模式中,通过持续地使用前一个块的锚信息而不必计算运动矢量,由此可以减少处理。
此外,当可以根据同一性标识信息将要解码的目标块的锚信息看作与前一个块的锚信息相同时,更有效的是,在下面的情况中使用前一个块的锚信息。
例如,当锚图片是I图片或锚块的片是I片时,锚信息的运动矢量是“0”,并且,锚信息的参考索引是“-1”。因此,当锚图片是I图片时,不必读出锚信息。此外,在锚图片包括I片、P片等的情况下,并且当在片的第一块中读出锚信息并且该片是I片时,其后不必读出锚信息。当扩展宏块的大小并且在水平方向上的块的大小变大时,这也是有效的。例如,当在水平方向上的宏块的长度变为双倍并且这个块被用作锚块时,这个锚块的大小等同于在水平方向上具有一个时间长度的两个连续块的大小。即,因为要解码的目标块的锚信息和前一个块的锚信息相同,所以读出锚信息可以减少。此外,例如,当执行图像采集设备的平移/倾斜操作并且在捕获的图像中的静止背景上引起运动时,指示背景的图像的块的运动矢量变为相同。因此,存在许多情况,其中,可以在背景部分的块中持续地使用前一个块的锚信息,并且因此,读出锚信息可以减少。
[5.软件处理的情况]
可以通过硬件、软件或其组合配置来执行在说明书中描述的系列处理。当通过软件来执行处理时,在被包含到专用硬件内的计算机内的存储器中安装其中记录了处理序列的程序,并且执行该程序。替代地,可以向能够执行各种处理的通用计算机内安装程序,并且可以执行该程序。
例如,可以预先在作为记录介质的硬盘或ROM(只读存储器)上记录程序。替代地,可以在诸如软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器的可移除记录介质中暂时或永久地存储(记录)程序。这样的可移除记录介质可以作为所谓的封装软件提供。
注意,除了从上述的可移除记录介质向计算机安装程序之外,还可以使用无线通信从下载站点向计算机发送或使用有线通信经由诸如LAN(局域网)或因特网的网络向计算机发送程序。计算机可以接收以该方式发送的程序,并且可以向诸如内置硬盘的记录介质内安装程序。
用于描述程序的步骤不仅包括根据所述顺序的时间系列处理,此外如果它不必然是时间系列处理,则包括并行或单独执行的处理。
[6.应用到电子装置的示例]
此外,本发明可以被应用到当经由诸如卫星广播、有线TV(电视)、因特网和移动电话的网络介质来执行接收时或当对于诸如光盘、磁盘和快闪存储器的存储介质执行处理时使用的图像编码设备和图像解码设备。
上述的信息处理设备可以被应用到任何电子装置。以下,将描述一个示例。
图20示例性地示出了应用了本发明的电视设备的示意配置。电视设备90包括天线901、调谐器902、解复用器903、解码器904、图片信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外,电视设备90包括控制单元910和用户接口单元911等。
调谐器902从由天线901接收的广播信号选择和解调期望的频道,并且向解复用器903输出所获得的编码比特流。
解复用器903从编码的比特流提取要观看的目标节目的图片或音频的分组,并且向解码器904输出所提取的分组的数据。此外,解复用器903向控制单元910供应诸如EPG(电子节目指南)的数据的分组。注意,解复用器等当已经执行加扰时取消加扰。
解码器904执行分组的解码处理,向图片信号处理单元905输出由解码处理产生的图片数据,并且向音频信号处理单元907输出音频数据。
图片信号处理单元905根据对于图片数据的用户设置来执行降噪或图片处理等。图片信号处理单元905产生要在显示单元906上显示的节目的图片数据或基于经由网络供应的应用来处理的图像数据。此外,图片信号处理单元905产生用于显示项目选择的菜单屏幕等的图片数据,并且在节目的图片数据上叠加该图片数据。图片信号处理单元905基于所产生的图片数据来产生驱动信号,并且驱动显示单元906。
显示单元906基于来自图片信号处理单元905的驱动信号来驱动显示装置(例如,液晶显示装置等),并且显示节目的图片。
音频信号处理单元907对于音频数据执行诸如降噪的预定处理,执行所处理的音频数据的D/A转换处理或放大处理,并且通过向扬声器908供应数据来输出音频。
外部接口单元909是用于与外部装置或网络连接的接口,并且执行图片数据和音频数据等的数据发送/接收。
用户接口单元911连接到控制单元910。用户接口单元911由操作开关、遥控信号接收单元等配置,并且根据用户操作向控制单元910供应操作信号。
控制单元910由CPU(中央处理单元)、存储器等配置。存储器存储由CPU执行的程序、CPU执行处理所需的各种数据、EPG数据、经由网络获取的数据等。在存储器中存储的程序被CPU在诸如启动电视设备90时的预定时刻读出和执行。CPU通过执行程序来控制各个部分,使得电视设备90可以根据用户操作来运行。
注意,电视设备90包括总线912,用于将控制单元910与调谐器902、解复用器903、图片信号处理单元905、音频信号处理单元907和外部接口单元909等连接。
在具有这样的结构的电视设备中,在解码器904中设置本发明的信息处理设备(信息处理方法)的功能。因此,当解码编码流并且产生解码图像数据时,可以通过高效地使用锚信息来执行解码处理。
图21示例性地示出应用了本发明的移动电话的示意配置。移动电话92包括通信单元922、音频编码解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931。这些单元经由总线933彼此连接。
此外,天线921连接到通信单元922,并且,扬声器924和麦克风925连接到音频编码解码器923。此外,操作单元932连接到控制单元931。
移动电话92在诸如音频电话呼叫模式或数据通信模式的各种模式中执行各种操作,诸如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像拍摄和数据记录。
在音频电话呼叫模式中,在麦克风925中产生的音频信号在音频编码解码器923中进行向音频数据的转换和数据压缩,并且被供应到通信单元922。通信单元922执行音频数据的调制处理和频率转换处理等,并且产生发送信号。此外,通信单元922向天线921供应发送信号,并且将该信号发送到基站(未示出)。此外,通信单元922执行由天线921接收的接收信号的放大、频率转换处理和解调处理,并且向音频编码解码器923供应所获得的音频数据。音频编码解码器923对于音频数据的模拟音频信号执行数据解压或转换,并且向扬声器924输出该数据。
此外,当在数据通信模式中执行邮件发送时,控制单元931接收通过操作单元932的操作输入的字符数据,并且在显示单元930上显示输入字符。此外,控制单元931基于通过操作单元932的用户指令等来产生邮件数据,并且向通信单元922供应该数据。通信单元922执行邮件数据的调制处理和频率转换处理等,并且从天线921发送所获得的发送信号。此外,通信单元922执行通过天线921接收的接收信号的放大、频率转换处理和解调处理等,并且恢复邮件数据。将邮件数据供应到显示单元930,并且显示邮件的内容。
注意,移动电话92可以在记录/再现单元929中的存储介质中存储所接收的邮件数据。存储介质是任意的可重写存储介质。例如,存储介质的示例包括:半导体存储器,诸如RAM和内置快闪存储器;以及可移除介质,诸如硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡。
当在数据通信模式中发送图像数据时,在相机单元926中产生的图像数据被供应到图像处理单元927。图像处理单元927执行图像数据的编码处理,并且产生编码数据。
解复用单元928通过预定方法将在图像处理单元927中产生的编码数据和从音频编码解码器923供应的音频数据复用,向通信单元922供应复用数据。通信单元922执行复用数据的调制处理和频率转换处理等,并且向天线921发送所获得的发送信号。此外,通信单元922还执行由天线921接收的发送信号的放大、频率转换处理和解调处理等,并且恢复复用数据。向解复用单元928供应复用数据。解复用单元928解复用复用数据,向图像处理单元927供应编码数据,并且向音频编码解码器923供应音频数据。图像处理单元927执行编码数据的解码处理,并且产生图像数据。向显示单元930供应图像数据,并且显示接收的图像。音频编码解码器923将音频数据转换为模拟音频信号,向扬声器924供应音频信号,并且输出所接收的音频。
在具有这样的结构的移动电话装置中,本发明的信息处理设备(信息处理方法)的功能被设置到图像处理单元927。因此,在通信图像数据中,当编码流被解码并且解码图像数据产生时,可以通过高效地使用锚信息来执行解码处理。
图22示例性地示出了应用了本发明的记录/再现设备的示意配置。记录/再现设备94在记录介质上记录所接收的广播节目的音频数据和视频数据,并且根据用户指令来向用户提供所记录的数据。此外,记录/再现设备94例如从其他设备获取音频数据和视频数据,并且可以在记录介质上记录所获取的数据。此外,记录/再现设备94可以通过下述方式来在监控设备等上显示图像并且从监控设备等输出音频:解码和输出在记录介质上记录的视频数据或音频数据。
记录/再现设备94包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(在屏显示)单元948、控制单元949和用户接口单元950。
调谐器941从由天线(未示出)接收的广播信号选择期望的频道。调谐器941向选择器946输出通过解调期望频道的接收信号而获得的编码比特流。
外部接口单元942由IEEE1394接口、网络接口单元、USB接口和快闪存储器接口等的至少任何一个配置。外部接口单元942是用于与外部装置、网络和存储卡等连接的接口,并且执行要记录的图片数据和音频数据等的数据接收。
编码器943当未编码从外部接口单元942供应的图片数据或音频数据时通过预定方法来执行编码,并且向选择器946输出编码比特流。
HDD单元944在内置硬盘上记录诸如图片和音频的内容的数据、各种程序和其他数据,并且在再现时从硬盘读出该数据。
盘驱动器945相对于安装的光盘来记录和再现信号。光盘例如是DVD盘(DVD-video、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW等)和蓝光盘等。
在图片或音频的记录时,选择器946从调谐器941或编码器943选择编码比特流的任何一个,并且向HDD单元944或盘驱动器945供应所选择的流。此外,在再现图片或音频时,选择器946还向解码器947供应从HDD单元944或盘驱动器945输出的编码比特流。
解码器947执行编码比特流的解码处理。解码器947向OSD单元948供应通过执行解码处理而产生的图片数据。此外,解码器947输出通过执行解码处理而产生的音频数据。
OSD单元948产生用于显示项目选择的菜单屏幕等的图片数据,并且在从解码器947输出的图片数据上叠加所产生的图片数据并输出。
用户接口单元950连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等配置,并且向控制单元949供应根据用户操作的操作信号。
控制单元949由CPU、存储器等配置。存储器存储由CPU执行的程序和CPU执行处理所需的各种程序。在存储器中存储的程序被CPU在诸如启动记录/再现设备94时的预定时刻读出和执行。CPU通过执行程序来控制各个部分,使得记录/再现设备94可以根据用户操作来操作。
在具有这样的结构的记录/再现设备中,向编码器943设置本发明的信息处理设备(信息处理方法)的功能。因此,当通过解码编码流来产生解码图像数据时,可以通过高效地使用锚信息来执行解码处理。
图23示例性地示出了应用了本发明的图像采集设备的示意配置。图像采集设备96捕获对象、在显示单元上显示对象的图像,并且在记录介质上将图像记录为图像数据。
图像采集设备96包括光学块961、图像采集单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。此外,用户接口单元971连接到控制单元970。此外,图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970等经由总线972连接。
光学块961由聚焦透镜和光圈机构等配置。光学块961将对象的光学图像成像在图像采集单元962的成像平面上。图像采集单元962由CCD或CMOS图像传感器配置,通过光电效应根据光学图像来产生电信号,并且向相机信号处理单元963供应所产生的信号。
相机信号处理单元963对于从图像采集单元962供应的电信号执行各种相机信号处理,诸如拐点校正、伽马校正和颜色校正。相机信号处理单元963向图像数据处理单元964供应进行相机信号处理的图像数据。
图像数据处理单元964执行从相机信号处理单元963供应的图像数据的编码处理。图像数据处理单元964向外部接口单元966和介质驱动器968供应通过执行编码处理而产生的编码数据。此外,图像数据处理单元964执行从外部接口单元966和介质驱动器968供应的编码数据的解码处理。图像数据处理单元964向显示单元965供应通过执行解码处理而产生的图像数据。此外,图像数据处理单元964向显示单元965供应从相机信号处理单元963供应的图像数据,在图像数据上叠加从OSD单元969获取的用于显示的数据,并且向显示单元965供应叠加的数据。
OSD单元969产生用于显示的数据,诸如由符号、字符或图形构成的菜单屏幕和图标,并且向图像数据处理单元964输出该数据。
外部接口单元966由例如USB输入/输出终端等配置,并且被配置来当打印出图像时连接到打印机。此外,驱动器在需要时连接到外部接口单元966,并且诸如磁盘和光盘的可移除介质被适当地附接到外部接口单元966,并且,在需要时向外部接口单元966内安装从驱动器或介质读出的计算机程序。此外,外部接口单元966具有连接到诸如LAN和因特网的预定网络的网络接口。控制单元970能够根据例如来自用户接口单元971的指令来从存储器单元967读出编码数据,并且经由网络向其他装置供应来自外部接口单元966的数据。此外,控制单元970能够经由外部接口单元966获取经由网络从其他装置供应的编码数据或图像数据,并且向图像数据处理单元964供应所获取的数据。
由介质驱动器968驱动的记录介质的示例包括任意的可重写可移除介质,诸如磁盘、磁光盘、光盘和半导体存储器。此外,记录介质可以使用任何类型的可移除介质,并且可以是带装置、盘或存储卡。当然,可以使用无接触IC卡等。
此外,媒体驱动器968和记录介质可以被集成,并且可以例如由诸如内置硬盘驱动器和SSD(固态驱动器)的非便携存储介质配置。
控制单元970由CPU、存储器等配置。存储器存储由CPU执行的程序和CPU执行处理所需的各种数据等。在存储器中存储的程序被CPU在诸如图像采集设备96的启动时的预定时刻读出和执行。CPU通过执行程序来控制各个部分,使得图像采集设备96可以根据用户操作来操作。
在具有这样的结构的图像采集设备中,本发明的信息处理设备(信息处理方法)的功能被设置到图像数据处理单元964。因此,当通过解码在存储器单元967和记录介质等上记录的编码数据而产生解码图像数据时,可以通过高效地使用锚信息来执行解码处理。
此外,本发明的解释应当不限于本发明的上述实施例。本发明的实施例示例性地公开本发明,并且显然,本领域技术人员可以修改或替代实施例,而不偏离本发明的范围。即,应当考虑权利要求以便判定本发明的范围。
工业适用性
当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,本发明的信息处理设备和信息处理方法从锚信息存储单元获取与要解码的目标块对应的锚块的锚信息。此外,当满足同一性条件时,持续地使用前一个块的锚信息。使用所获取的锚信息或要持续使用的锚信息来执行解码处理。因此,不必对于要解码的每一个目标块从锚信息存储单元获取对应的锚块的锚信息,由此,可以高效地使用锚信息。因此,本发明适合于执行图像数据的解码处理的电子装置。
附图标记列表
10图像解码设备
11和57累积缓冲器
12无损解码单元
13和61逆量化单元
14和62逆正交变换单元
15和63相加单元
16和64去块滤波器
17和52屏幕重排缓冲器
18D/A转换单元
21和65帧存储器
22、26和66选择器
23和71帧内预测单元
24运动补偿单元
25锚信息存储单元
50图像编码设备
51A/D转换单元
53减法单元
54正交变换单元
55量化单元
56无损编码单元
58速率控制单元
72运动预测/补偿单元
73预测图像/最佳模式选择单元
90电视设备
91移动电话
94记录/再现设备
96图像采集设备
721运动矢量检测单元
722预测模式确定单元
723预测模式存储单元
724锚信息产生/存储单元
725信息产生单元

Claims (12)

1.一种信息处理设备,包括:
锚信息存储单元,其被配置来存储锚信息;以及
图像解码单元,其被配置来当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时从所述锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息,当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息,以及使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
2.根据权利要求1所述的信息处理设备,其中,所述图像解码单元基于用于确定是否满足所述同一性条件的同一性标识信息来获取所述锚信息或者持续地使用所述前一个块的所述锚信息。
3.根据权利要求2所述的信息处理设备,其中,所述同一性标识信息是相对于要被用作锚图片并且已经在图像解码单元中进行了所述解码处理的图片,基于对于该图片的每一个块所产生的锚信息而产生的信息。
4.根据权利要求3所述的信息处理设备,其中,所述同一性标识信息是用于指示是否将所述锚信息看作与所述前一个块的所述锚信息相同的同一性标记。
5.根据权利要求4所述的信息处理设备,其中,所述图像解码单元在与所述锚信息存储单元分离地设置的存储单元中存储所述同一性标记,并且在所述锚信息存储单元中存储要被用作锚图片的图片的所产生的锚信息。
6.根据权利要求3所述的信息处理设备,其中,所述同一性标识信息是同一性计数值,用于指示其锚信息被看作相同的连续块的数量。
7.根据权利要求6所述的信息处理设备,其中,所述图像解码单元使得所述同一性计数值和按所述同一性计数值看作相同的锚信息以块的顺序彼此对应,并且在所述锚信息存储单元中存储所述同一性计数值和所述锚信息。
8.根据权利要求2所述的信息处理设备,其中,所述同一性标识信息是基于在要解码的所述目标块的编码时使用的所述锚信息和在所述前一个块的编码时使用的所述锚信息而产生的信息。
9.根据权利要求8所述的信息处理设备,其中,关于在要解码的所述目标块的编码时使用的锚信息和在所述前一个块的编码时使用的锚信息,通过当在运动矢量之间的差是预定阈值或更小时将两个锚信息看作相同,并且通过当由所述编码引起的图像质量的劣化超过预定水平时将所述两个锚信息看作不相同,产生所述同一性标识信息。
10.根据权利要求8所述的信息处理设备,其中,所述图像解码单元从图像数据的编码流提取所述同一性标识信息。
11.根据权利要求1-10之一所述的信息处理设备,其中,所述锚信息包括在锚图片中的锚块的运动矢量和用于标识在所述锚图片中的所述锚块的参考索引。
12.一种信息处理方法,包括步骤:
当在要解码的目标块的解码处理中要使用的锚信息不满足与用于前一个块的锚信息的同一性条件时,从用于存储锚信息的锚信息存储单元获取与所述要解码的目标块对应的锚块的锚信息;
当满足所述同一性条件时持续地使用用于所述前一个块的所述锚信息;以及
使用所获取的锚信息或所述持续地使用的所述锚信息来执行所述解码处理。
CN201180030088.6A 2010-06-25 2011-06-22 信息处理设备和信息处理方法 Expired - Fee Related CN102986225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010144907A JP5387520B2 (ja) 2010-06-25 2010-06-25 情報処理装置と情報処理方法
JP2010-144907 2010-06-25
PCT/JP2011/064290 WO2011162299A1 (ja) 2010-06-25 2011-06-22 情報処理装置と情報処理方法

Publications (2)

Publication Number Publication Date
CN102986225A CN102986225A (zh) 2013-03-20
CN102986225B true CN102986225B (zh) 2016-02-17

Family

ID=45371475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180030088.6A Expired - Fee Related CN102986225B (zh) 2010-06-25 2011-06-22 信息处理设备和信息处理方法

Country Status (4)

Country Link
US (1) US20130089146A1 (zh)
JP (1) JP5387520B2 (zh)
CN (1) CN102986225B (zh)
WO (1) WO2011162299A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069617A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 半導体装置および画像符号化方法
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006057182A1 (ja) * 2004-11-26 2006-06-01 Matsushita Electric Industrial Co., Ltd. 復号化回路、復号化装置、及び復号化システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508744A (en) * 1993-03-12 1996-04-16 Thomson Consumer Electronics, Inc. Video signal compression with removal of non-correlated motion vectors
US6163576A (en) * 1998-04-13 2000-12-19 Lsi Logic Corporation Video encoder having reduced memory bandwidth requirements
US7020201B2 (en) * 2002-11-20 2006-03-28 National Chiao Tung University Method and apparatus for motion estimation with all binary representation
CN1922884B (zh) * 2004-02-20 2012-05-23 三叉微系统(远东)有限公司 视频解码方法
EP1662799A3 (en) * 2004-11-30 2012-05-30 Humax Co., Ltd. Video down-sampling transcoding method and device
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
CN101455088B (zh) * 2006-05-24 2011-05-11 松下电器产业株式会社 运动图像解码装置
WO2008078807A1 (ja) * 2006-12-27 2008-07-03 Panasonic Corporation 動画像復号化装置
JP2009055519A (ja) * 2007-08-29 2009-03-12 Sony Corp 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法
EP2201777A2 (en) * 2007-10-15 2010-06-30 Thomson Licensing Apparatus and method for encoding and decoding signals
US8619861B2 (en) * 2008-02-26 2013-12-31 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
WO2010137086A1 (ja) * 2009-05-26 2010-12-02 パナソニック株式会社 動画像処理装置および動画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006057182A1 (ja) * 2004-11-26 2006-06-01 Matsushita Electric Industrial Co., Ltd. 復号化回路、復号化装置、及び復号化システム

Also Published As

Publication number Publication date
WO2011162299A1 (ja) 2011-12-29
US20130089146A1 (en) 2013-04-11
JP5387520B2 (ja) 2014-01-15
CN102986225A (zh) 2013-03-20
JP2012010147A (ja) 2012-01-12

Similar Documents

Publication Publication Date Title
CN103563383B (zh) 图像处理装置和图像处理方法
CN103329536B (zh) 图像解码装置、图像编码装置及其方法
CN102918843B (zh) 图像解码装置、图像编码装置以及用于图像解码和编码的方法和程序
CN102100071B (zh) 图像处理设备和方法
CN102939758A (zh) 图像解码装置、图像编码装置及其方法和程序
CN103200401A (zh) 图像处理装置和图像处理方法
CN103026710A (zh) 图像处理装置和图像处理方法
CN102668569B (zh) 图像处理设备和方法及程序
CN103583045A (zh) 图像处理装置以及图像处理方法
CN102577390A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN102939759A (zh) 图像处理设备和方法
CN102100072B (zh) 图像处理装置和方法
CN103190148A (zh) 图像处理装置和图像处理方法
CN102160380A (zh) 图像处理设备和方法
CN103636211A (zh) 图像处理设备以及图像处理方法
CN102696227A (zh) 图像处理设备和方法
CN103907354A (zh) 编码设备和编码方法,及解码设备和解码方法
US20130077886A1 (en) Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program
CN102986225B (zh) 信息处理设备和信息处理方法
CN102342107A (zh) 图像处理设备和方法
CN103004199A (zh) 图像处理设备和图像处理方法
CN102742273A (zh) 图像处理装置和方法
CN102224735A (zh) 图像处理设备和方法
CN103238331A (zh) 图像处理装置、图像处理方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

Termination date: 20170622