CN103873865B - 运动图像编码设备及其控制方法 - Google Patents

运动图像编码设备及其控制方法 Download PDF

Info

Publication number
CN103873865B
CN103873865B CN201310680905.3A CN201310680905A CN103873865B CN 103873865 B CN103873865 B CN 103873865B CN 201310680905 A CN201310680905 A CN 201310680905A CN 103873865 B CN103873865 B CN 103873865B
Authority
CN
China
Prior art keywords
color component
motion
vector
color
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310680905.3A
Other languages
English (en)
Other versions
CN103873865A (zh
Inventor
竹田英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103873865A publication Critical patent/CN103873865A/zh
Application granted granted Critical
Publication of CN103873865B publication Critical patent/CN103873865B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种运动图像编码设备及其控制方法。该运动图像编码设备针对各颜色成分生成用于对各颜色成分的编码对象图像进行预测编码的至少一个运动预测信息，判断所生成的各颜色成分的至少一个运动预测信息的相关关系，基于该相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定的颜色成分的至少一个运动预测信息进行校正。

Description

运动图像编码设备及其控制方法
技术领域
本发明涉及图像信号编码设备，尤其涉及针对各颜色成分来单独对包括具有相同采样率的多个颜色成分的运动图像信号进行运动补偿预测编码的运动图像编码设备和方法。
背景技术
传统上，作为对被摄体摄像、对通过该摄像所获得的运动图像数据进行压缩编码并且记录该数据的照相机一体型运动图像记录设备，众所周知有数字摄像机。
作为压缩编码方式，一般使用能够利用帧间运动预测来以高压缩率进行压缩的MPEG2。特别地，近来还使用利用更加复杂的预测方式来实现高压缩率的H.264。这些压缩编码方式采用主要被称为4:2:0格式的标准化输入信号格式。
根据4:2:0格式，将诸如RGB等的彩色运动图像信号转换成亮度成分(Y)和两个色差成分(Cb,Cr)，并且在垂直方向和水平方向这两者上，色差成分的样本数缩减为亮度成分的样本数的一半。
色差成分的可视性低于亮度成分的可视性。因此，通过在编码之前对色差成分进行下采样来缩减编码对象的原始信息量。作为代替，有时使用仅在水平方向上将色差成分下采样为一半的4:2:2格式作为诸如广播视频源的格式等的商业用途所用的格式。
近来，根据显示器的高分辨率化或高半色调化，已经开发了在无需对色差成分进行下采样的情况下、以与亮度成分的样本数相同的样本数对色差成分进行编码的编码方式。
将色差成分的样本数与亮度成分的样本数相同的格式称为4:4:4格式。
在4:2:0格式的编码中，仅针对亮度成分对运动补偿预测用的信息进行多路复用，并且使用亮度成分的信息对色差成分进行运动补偿。
4:2:0格式的编码是利用以下特征实现的：大部分的图像信息集中于亮度成分，并且与色差成分相比，亮度成分的失真可视性较高，使得色差成分对图像再现性的贡献较少。
作为对比，在4:4:4格式的编码中，三个成分具有等同的图像信息量。因此，期望与如4:2:0格式那样的假定图像信息在很大程度上依赖于一个成分的传统编码方式不同的编码方式。
例如，在日本特开2007-133823中公开了与4:4:4格式相对应的编码方式。根据日本特开2007-133823，关于包括RGB信号的三原色的输入图像，对G成分和根据RGB成分所生成的亮度成分(Y成分)这两者进行运动矢量检测，随后计算各矢量之间的相关性。在G成分矢量和Y成分矢量之间的相关性高的情况下，将Y成分的运动矢量应用于R、G和B成分的运动矢量。
与4:4:4格式相对应的编码方式的编码处理针对各颜色成分进行运动预测。因此，关于特定颜色成分，有时在参考图像和编码对象图像之间在图片间差值方面不会出现明显差异。
结果，不利地，利用表示与原样使用的被摄体的实际运动不同的图像位置的运动矢量来进行编码。
关于编码效率，由于指示了实现搜索范围内最小的坐标位置，因此存在可以实现用以在输出编码位流的数据量方面减少矢量编码量的控制的优点。
然而，同一位置或周边的编码块中的不同颜色成分的量化参数可能改变，并且颜色成分的运动矢量偏离被摄体的实际运动，由此可能存在发生诸如套色不准(out-of-color registration)等的对图像质量的影响的担忧。
根据日本特开2007-133823所公开的方法，不对B和R颜色成分进行运动矢量检测。作为代替，将Y或G成分的运动矢量唯一地应用于所有的颜色成分。因此，无法解决诸如套色不准等的问题。
发明内容
有鉴于上述几点，本发明的一方面是在针对各颜色成分来对包括具有相同采样率的多个颜色成分的图像信号进行运动预测的编码中，减少由于套色不准所引起的图像质量劣化。
为了解决该问题，根据本发明，一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，针对各颜色成分，生成用于对所获得的各颜色成分的编码对象图像进行预测编码的至少一个运动预测信息，判断所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正。
根据本发明的一方面，一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；校正单元，用于判断所述预测单元所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及编码单元，用于从所述校正单元获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码。
根据本发明的一方面，一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；运动补偿单元，用于根据所述预测单元所生成的各颜色成分的运动预测信息来计算作为基准的运动预测信息，并且共通地使用所计算出的基准运动预测信息来对各颜色成分的所述编码对象图像进行运动补偿；以及编码单元，用于对所述运动补偿单元处理后的各颜色成分的所述编码对象图像进行编码。
根据本发明的一方面，一种运动图像编码设备的控制方法，所述运动图像编码设备包括用于获得包括多个颜色成分的运动图像的获得单元，并且按颜色成分对所获得的所述多个颜色成分进行运动预测编码，所述控制方法包括以下步骤：预测步骤，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；校正步骤，用于判断所述预测步骤中所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及编码步骤，用于从所述校正步骤中获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码。
根据本发明的一方面，一种运动图像编码设备的控制方法，所述运动图像编码设备包括用于获得包括多个颜色成分的运动图像的获得单元，并且按颜色成分对所获得的所述多个颜色成分进行运动预测编码，所述控制方法包括以下步骤：预测步骤，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；运动补偿步骤，用于根据所述预测步骤中所生成的各颜色成分的运动预测信息来计算作为基准的运动预测信息，并且共通地使用所计算出的基准运动预测信息来对各颜色成分的所述编码对象图像进行运动补偿；以及编码步骤，用于对所述运动补偿步骤中处理后的各颜色成分的所述编码对象图像进行编码。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。
图1是包括根据本发明第一实施例的运动图像编码设备的编码系统的框图。
图2是根据本发明第一实施例的运动图像编码设备的帧存储器的数据配置图。
图3是根据本发明第一实施例的运动图像编码设备中的运动预测操作的示意图。
图4是示出根据本发明第一实施例的运动图像编码设备的运动预测中的图片间差和运动矢量之间的关系的图。
图5是示出本发明第一实施例的运动图像编码设备中的用于校正运动矢量的操作的流程图的图。
图6是用于说明根据本发明第一实施例的用于校正运动矢量的操作的图。
图7是示出根据本发明第一实施例的运动图像编码设备中的用于校正运动矢量的操作的流程图的图。
图8A和8B是示出根据本发明第一实施例的运动矢量校正中的图片间差值和运动矢量之间的关系的图。
图9是示出根据本发明第一实施例的第一变形例的运动矢量校正操作的流程图的图。
图10是示出根据本发明第一实施例的第二变形例的运动矢量校正操作的流程图的图。
图11是示出根据本发明第二实施例的运动矢量校正操作的流程图的图。
图12是用于说明根据本发明第二实施例的运动矢量校正的图。
图13是示出根据本发明第二实施例的运动矢量校正操作的流程图的图。
图14是示出根据本发明第二实施例的第一变形例的运动矢量校正操作的流程图的图。
图15是示出根据本发明第二实施例的第二变形例的运动矢量校正操作的流程图的图。
图16A、16B和16C是示出根据本发明第二实施例的第二变形例的运动矢量校正中的图片间差值和运动矢量之间的关系的图。
图17是示出根据本发明第二实施例的第三变形例的运动矢量校正操作的流程图的图。
图18A、18B和18C是用于示出根据本发明第二实施例的第三变形例的运动矢量校正中的图像信号的颜色成分的直方图的图。
图19是包括根据本发明第三实施例的运动图像编码设备的编码系统的框图。
图20是示出根据本发明第三实施例的运动图像编码设备中的用于校正参考图像编号的操作的流程图的图。
图21是示出根据本发明第三实施例的运动图像编码设备中的用于校正参考图像编号的操作的流程图的图。
图22A和22B是根据本发明第三实施例的用于校正参考图像编号的示意图。
图23A和23B是根据本发明第三实施例的用于校正参考图像编号的示意图。
图24是包括根据本发明第四实施例的运动图像编码设备的编码系统的框图。
图25是示出根据本发明第四实施例的运动图像编码设备中的用于校正参考图像编号的操作的流程图的图。
图26A、26B和26C是根据本发明第四实施例的用于校正参考图像编号的示意图。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
第一实施例
系统结构
图1是在将根据本发明第一实施例的运动图像编码设备应用于诸如摄像机等的摄像设备的情况下的运动图像编码系统的框图。在图1的结构中，包括未示出的处理器的控制单元(CPU)根据程序来控制各组件的操作，由此实现根据本实施例的编码操作。
该运动图像编码系统包括摄像单元101、颜色成分分离单元102、帧存储器103、整数转换单元104、量化单元105、熵编码单元106、编码量控制单元107和帧内预测单元108。该系统还包括帧内/帧间判断单元109、运动补偿单元110、环内滤波器111、逆整数转换单元112和逆量化单元113。此外，该系统还包括第一颜色成分运动预测单元114、第二颜色成分运动预测单元115、第三颜色成分运动预测单元116、矢量间距离获得单元117、矢量间距离比较单元118和运动矢量校正单元119。
可以将根据本实施例的运动图像编码设备提供作为如下设备，其中该设备包括运动图像编码系统的排除了摄像单元102以外的各组件并且使得计算机能够执行根据后面所述的流程图的操作。例如，可以将该设备提供作为诸如PC等的信息处理设备根据程序或与硬件的部分组合所执行的运动图像编码设备或方法。
包括光学单元以及诸如透镜和摄像传感器等的照相机单元的摄像单元101使得传感器能够将从透镜所获取的光信号转换成电信号，并且将该信号作为转换成编码所使用的格式的数字图像数据传送至后级的电路。
颜色成分分离单元102针对RGB三原色的各颜色成分来对从摄像单元101读取的数字图像数据进行分离，并且将该数据存储在帧存储器103中。
帧存储器103是能够存储多个帧的图像数据的大容量存储器，并且存储从颜色成分分离单元传送来的图像数据、以及后面所述的运动预测处理中所使用的参考图像数据。
在本发明的本实施例中，为了便于说明，假定RGB三原色的图像输入，并且第一颜色成分是R成分、第二颜色成分是G成分，且第三颜色成分是B成分。然而，在本发明中，该结构不限于此。
图2示出帧存储器103的存储器区域的分割示例。
帧存储器103被分割并且配置成针对各颜色成分利用多个帧存储输入图像的区域和后面所述的参考图像的区域。
为了通过使用邻接像素处相似性高的空间相关性来缩减图像信息的冗余度，整数转换单元104按编码对象的块对像素数据进行空间分辨率转换，以将该像素数据转换成空间频率区域内的数据。
量化单元105基于后级的编码量控制单元107所设置的目标编码量来计算量化步长大小。整数转换单元104对转换成空间频率区域的系数数据进行量化处理。
将量化后的系数数据输出至用于输出编码位流的熵编码单元106和用于计算参考图像和预测图像的逆量化单元113这两者。
熵编码单元106根据诸如CABAC方式等的使用位数据的出现概率的趋势的熵编码，对量化单元105量化后的系数数据或者对帧间预测(图片间预测)的情况下运动预测中所使用的矢量进行编码数据长度压缩。CABAC代表基于上下文的自适应二进制算术编码。
编码量控制单元107获得熵编码单元106中发生的编码数据的编码量，基于比特率和诸如VBV等的缓冲模型来计算针对每帧的目标编码量，随后进行将该量设置在量化单元105中的反馈控制。
帧内预测单元108从帧存储器103的输入图像数据中读取编码对象块的图像数据，并且计算与根据已进行了编码的编码对象块周边的像素数据所生成的帧内预测图像的相关性。
选择相关性最高的帧内预测方式并且向帧内/帧间判断单元进行通知。
帧内/帧间判断单元109接收后面所述的运动补偿单元110使用运动矢量的帧间预测(图片间预测)的结果和帧内预测单元108的结果。选择图片间差值最小的预测方式以生成预测图像。
运动补偿单元110通过使用在环内滤波器111中经过了滤波处理的预测图像数据和从后面所述的运动矢量校正单元119所通知的运动矢量来生成帧间编码要使用的参考图像数据。将所生成的参考图像数据存储在帧存储器103中。
环内滤波器111向通过将预测图像和从逆整数转换单元112输出的图像数据彼此相加所获取到的图像数据应用用以减轻编码失真(块噪声)的滤波处理。
逆整数转换单元112将从逆量化单元113输出的系数数据逆整数转换成像素数据。
逆量化单元113通过再次将量化单元105量化后的系数数据乘以量化步长大小来计算系数数据。
第一颜色成分运动预测单元114根据帧存储器103中所存储的作为编码对象的原始图像的数据和已进行了编码的图像的解码数据(参考图像数据)，按块进行像素数据的模式匹配。第一颜色成分运动预测单元114计算作为运动预测信息的运动矢量。此外，该第一颜色成分运动预测单元114生成计算运动矢量时所参考的参考图像的编号信息作为运动预测信息。
此外，在第二颜色成分运动预测单元115和第三颜色成分运动预测单元116中，尽管仅是作为运动预测的对象的帧存储器103上的颜色成分有所不同，但进行相同的处理。因而，单独对各颜色成分进行预测编码。
矢量间距离获得单元117根据第一颜色成分运动预测单元～第三颜色成分运动预测单元114、115和116所获得的各颜色成分在相同编码对象块位置处的运动矢量来计算矢量间距离。
矢量间距离比较单元118基于从矢量间距离获得单元117所通知的各颜色成分之间的矢量间距离来进行比较以判断预定颜色成分的运动矢量是否不同于其它颜色成分的矢量。
运动矢量校正单元119基于矢量间距离比较单元118的判断结果来对该颜色成分的运动矢量进行校正以获得另一适当矢量。将该校正矢量作为编码参数输出至运动补偿单元110，并且在生成参考图像或进行矢量编码时使用。
在本发明中，将16行×16列的像素数据的集合称为编码块(或编码对象块)，并且除非另外说明，否则进行诸如以编码块为单位的运动预测等的编码处理。如此说明了包括根据本发明第一实施例的运动图像编码设备的运动图像编码系统的结构。
运动矢量搜索
将参考图3和4来说明根据本实施例的运动图像编码设备的各运动预测单元114～116中的用于搜索运动矢量的方法。作为用于搜索运动矢量的方法，已知有模式匹配作为公知技术。该模式匹配以编码块为单位，在原始图像帧301和参考图像帧302之间获得图片间差最小的像素坐标位置。
如通过以下表达式1所示，图片间差SAD是通过累加编码块图像中的所有像素值的差的绝对值所获取到的评价值，并且是表示编码块之间的图像数据的相似度的量。
...表达式(1)
这里，PIXref(x,y)与要参考的编码块305的像素值相对应，并且PIXcur(x,y)与编码对象的编码块303的像素值相对应。
由于处理量庞大，因此不是在参考图像的整个区域内进行搜索。根据一般方式，设置仅在覆盖以编码块303为中心的周围的编码块的区域内进行搜索的搜索窗口304。
在搜索窗口304内，使要参考的编码块305的位置移动，以获得编码块305和作为编码对象的编码块303之间的图片间差值SAD为最小的编码块位置，由此确定运动矢量。
例如，可以将针对搜索窗口内的像素位置和图片间差值的标绘表示为如图4所示的曲线图。
为了简便，在该例示图中，搜索窗口的坐标不是沿着x方向和y方向的二维的，而是一维的。因此，运动矢量值是一维的。然而，矢量值实际是二维的。
在该附图的情况下，在假定编码对象的编码块的位置是原点并且将搜索窗口设置为±5像素的区域的情况下，检测到图片间差值SAD为最小的坐标位置-2。
因而，在该坐标位置中要参考的编码块和作为编码对象的编码块之间，图像数据在该区域内最相似，并且可以识别出与-2像素相对应的图片偏移。因此，输出-2(一维)的运动矢量。
本发明针对存储在帧存储器103中的各颜色成分，在第一颜色成分运动预测单元～第三颜色成分运动预测单元114、115和116中以类似方式进行该运动预测处理。
获得并且比较矢量间距离
随后，将参考图5和6来说明根据本实施例的运动图像编码设备的运动矢量校正操作。
在运动图像编码设备的矢量间距离获得单元117和矢量间距离比较单元118中进行该操作。如上所述，包括未示出的处理器的控制单元(CPU)根据程序来控制各组件，由此实现该操作。在下文，除非另外说明，否则假定进行同样控制。
首先，在步骤S501中，从第一颜色成分运动预测单元114获得运动预测处理所获得的R成分的运动矢量mvR。同样，从第二颜色成分运动预测单元115获得G成分的运动矢量mvG(步骤S502)，并且从第三颜色成分运动预测单元116获得B成分的运动矢量mvB(步骤S503)。
随后，获得了三个颜色成分的运动矢量mvR、mvG和mvB。然后，通过以下表达式(2)来计算这三个运动矢量的矢量间距离。
...表达式(2)
这里，mvx和mvy分别表示关于特定颜色成分的运动矢量的x成分值和y成分值。
如图6所示的示例所述，使用该表达式来获得表示两个颜色成分运动矢量的顶点之间的距离的标量D、并且确定后面将说明的矢量的相关关系。
基于以上表达式，计算R成分和G成分的运动矢量之间的矢量间距离DR-G(步骤S504)。此外，计算G成分和B成分的运动矢量之间的矢量间距离DG-B(步骤S505)。然后，计算B成分和R成分的运动矢量的矢量间距离DB-R(步骤S506)。
在图6的示例中，按照如下计算各颜色成分的运动矢量。
mvR=(4,3)，mvG=(4,4)，并且mvB=(-2,2)
按照如下计算这些运动矢量的矢量间距离。
DR-G=1，并且
随后，计算作为在步骤S504～S506中所获得的矢量间距离DR-G、DG-B和DB-R的三个颜色成分之间的差。判断所有差是否在预定值内(步骤S507)。
在所有矢量间距离均小于预定值的情况下(步骤S507中为“假”)，这表示三个颜色成分的矢量值具有相似的方向和长度。
结果，可以判断为矢量搜索处理检测到利用实际的摄像单元101进行摄像的被摄体的运动的可能性高。因而，没有必要进行本发明的运动矢量校正处理。因此，该流程结束。
作为对比，在任一矢量间距离等于或大于预定值的情况下(步骤S507中为“真”)，判断为需要校正预定颜色信号的运动矢量，并且通过以下步骤来识别要校正的矢量的颜色成分。
以下将说明识别颜色成分的具体方法。
在步骤S508～S512中，基于识别方法来针对三个矢量间距离顺次判断最小值，由此获得要校正的运动矢量。
在步骤S508中，判断R成分和G成分的矢量间距离DR-G在三个矢量间距离中是否最小。在该距离是最小值的情况下(步骤S508中为“真”)，判断为B成分的运动矢量是要校正的运动矢量，并且该操作结束(步骤S509)。
作为对比，在DR-G不是最小值的情况下(步骤S508中为“假”)，该处理进入步骤S510。
在步骤S510中，判断G成分和B成分的矢量间距离DG-B在三个矢量间距离中是否最小。在该距离是最小值的情况下(步骤S510中为“真”)，判断为R成分的运动矢量是要校正的运动矢量，并且该流程结束(步骤S511)。
作为对比，在DG-B不是最小值的情况下(步骤S510中为“假”)，DB-R是最小值。因此，判断为G成分的运动矢量是要校正的运动矢量，并且该流程结束(步骤S512)。
根据使用图6的矢量值并且执行该操作的示例，矢量间距离DR-G的最小值小于其它两个矢量间距离DG-B和DB-R的最小值。因此，判断为没有计算的B成分的运动矢量mvB是校正对象的运动矢量。
如此说明了根据本实施例的运动图像编码设备中的用于获得并且比较判断各颜色成分的运动矢量的矢量间距离的操作。
运动矢量校正
随后，将参考图7的流程图来说明本实施例的运动矢量校正操作。
利用运动图像编码设备的运动矢量校正单元119来执行该操作。
首先，在步骤S701中，获得作为矢量间距离的获取和比较判断流程的输出结果所获得的校正对象的颜色成分的运动矢量mvORG。
运动矢量mvORG是R、G和B成分中的任一颜色成分的运动矢量值。
在比较判断判断为不存在要校正的矢量的情况下，不进行校正。
随后，在步骤S702中，获得并非矢量校正对象的成分的两个运动矢量，获得这些矢量的平均值，并且计算校正用矢量mvCRR。
例如，作为获得并且比较矢量间距离的结果，在判断为需要校正R信号的运动矢量mvR的情况下，通过以下表达式来获得G成分的运动矢量mvG和B成分的运动矢量mvB的平均矢量，由此确定校正用矢量。
...表达式(3)
计算在对作为矢量校正对象的颜色成分的编码块应用以上步骤中所获得的校正用矢量mvCRR的情况下的图片间差值SADCRR(步骤S703)。
随后，在步骤S704中，获得在应用校正矢量的情况下的图片间差SADCRR和校正前(未校正)的图片间差值之间的差，并且判断该差是否小于预定值。
在该判断步骤之后，进行矢量校正处理，其中该处理可以预先防止如下矛盾：矢量表示作为结果的图片间差值大的坐标位置，以使得图像质量劣化变明显。
在图片间差之间的差为预定值以上的情况下(步骤S704中为“假”)，不对矢量进行校正，将运动矢量本身作为编码参数通知至运动补偿单元110，并且该处理结束。尽管检测到具有与其它颜色成分的距离不同的矢量间距离的运动矢量，但由于判断为与校正矢量相比可以追踪实际被摄体的运动，因此如此进行该操作。
作为对比，在校正矢量mvCRR的应用之前和之后图片间差之间的差不大的情况下(步骤S704中为“真”)，将该颜色成分的编码块中的运动矢量从mvORG的值校正为mvCRR的值。将校正后的运动矢量作为编码参数通知至运动补偿单元110(步骤S705)。该校正基于如下这种判断：尽管几乎不会发生编码块水平的视觉上的图像质量劣化，但需要通过使该运动矢量相对于其它颜色成分一致来以图片为单位防止图片之间的图像质量劣化。
这里，并非必须通过访问存储器来再次获得以上步骤中的校正前的图片间差值。例如，保持利用前级的运动预测单元进行矢量搜索所使用的并且在搜索范围内为最小的图片间差值，从而使得该值还能够用在该步骤中并且使得能够提高处理的效率。
矢量校正应用示例
随后，将参考图8A和8B来说明根据本实施例的以上操作中的图片间差和运动矢量之间的关系。
图8A和8B示出在进行矢量校正和不进行矢量校正的各情况下的图片间差与校正之前和之后的矢量之间的关系。
该校正操作获得校正前的运动矢量mvORG和除该运动矢量的颜色信号以外的颜色信号的运动矢量的平均矢量mvCRR这两个矢量。
图8A和8B示出在-4～-6像素附近检测到图片间差的最小值SADORG的情况，并且假定校正用矢量mvCRR具有+2～+3的值来进行计算。
在本实施例中，在原样使用校正矢量来进行编码之前，分析矢量校正之前和之后的图片间差的变化量以判断是否允许校正。更具体地，获得并计算应用mvCRR的情况下的图片间差值SADCRR，并且计算SADORG和SADCRR之间的差(与图中的ΔSAD相对应)。在该差值小的情况下(图8A)，矢量校正之前和之后的图片间差较小。因此，使用利用mvCRR替换mvORG的运动矢量来进行矢量编码。
作为对比，在图8B的差值大的情况下，可以判断为将实际被摄体的运动正确地反映到原始运动矢量mvORG中。因此，没有进行矢量校正，并且将mvORG本身作为编码参数通知至运动补偿单元110。
尽管在针对各颜色成分进行运动预测的情况下输出与实际被摄体的运动不同的运动矢量，但这种判断的应用可以实现向着适当的运动矢量的校正。因此，在针对各颜色成分的运动预测编码中，可以防止图像质量劣化。
在第一实施例中，计算针对各颜色成分的运动矢量之间的距离，将具有与其它运动矢量的距离不同的矢量间距离的矢量替换为其它颜色成分的运动矢量的平均矢量，由此进行校正。然而，还可以考虑使用除校正对象的颜色成分以外的颜色成分的运动矢量的平均以外的矢量作为校正矢量。以下将这种情况下的示例作为第一实施例的变形例来进行说明。
第一实施例的第一变形例
该第一变形例将校正对象的运动矢量校正为矢量间距离较短的其它颜色成分的运动矢量。与使用利用平均矢量的校正矢量的情况相比，该校正使得运动矢量能够表示图片间差较小的坐标位置，由此使得能够抑制图像质量劣化。
以下将参考附图来说明本变形例。在针对本变形例的说明中，将相同的附图标记分配至与第一实施例的组件共通的组件，并且适当省略了针对这些组件的说明。特别地，运动图像编码系统的结构与第一实施例的结构相同。因此，省略了针对该结构的说明。
运动矢量校正
以下将参考图9的流程图来说明本变形例的运动矢量校正操作。矢量间距离获得和比较判断操作与第一实施例相同。因此，省略了该说明。通过将相同的附图标记分配至与第一实施例的步骤相同的步骤来例示运动校正矢量的校正操作。
与第一实施例相同，运动矢量校正操作从获得校正对象的运动矢量mvORG的步骤、即步骤S701开始。
此外，获得通过第一实施例的矢量间距离获得操作所获得的以除校正对象以外的运动矢量为基准的矢量间距离D1和D2(步骤S901)。
例如，在图6的示例中，在选择mvB作为校正对象矢量的情况下，DG-B和DB-R分别与D1和D2相对应。
同样，在mvR是校正对象矢量的情况下，DB-R和DR-G分别与D1和D2相对应。在mvG是校正对象矢量的情况下，DG-B和DR-G分别与D1和D2相对应。
在步骤S902中，将矢量间距离D1和D2彼此进行比较以验证这两者之间的大小关系，并且判断更接近校正对象的颜色成分的运动矢量。
在D1较小的情况下(步骤S902中为“真”)，将计算D1所使用的运动矢量中的与校正对象的颜色成分不同的颜色成分的运动矢量设置为校正矢量mvCRR(步骤S903)。
作为对比，在D2较小的情况下(步骤S902中为“假”)，将计算D2所使用的运动矢量中的与校正对象的颜色成分不同的颜色成分的运动矢量设置为校正矢量mvCRR(步骤S904)。
随后，与第一实施例相同，执行步骤S703～S705，并且运动矢量校正操作结束。
如此以上说明了本发明第一实施例的第一变形例的运动矢量校正处理操作。
第一实施例的第二变形例
在第一变形例中，将作为校正对象的颜色成分的运动矢量校正为矢量间距离较小的颜色成分的矢量。
在本第二变形例中，将作为校正对象的颜色成分的运动矢量校正为图片间差值较小的颜色成分的矢量。因此，与第一实施例所述应用校正矢量的情况相比，参考如下矢量，其中该矢量表示从视觉上可识别图片内的像素值的对比度(即，浓淡的区别)的坐标位置。在针对各颜色成分的运动图像编码中，如此可以抑制图像质量劣化。
以下参考附图来说明本第二变形例。
在针对本第二变形例的说明中，将相同的附图标记分配至与第一实施例及其第一变形例共通的组件，并且适当省略了针对这些组件的说明。特别地，运动图像编码系统的结构与第一实施例的结构相同。因此，省略了该说明。
运动矢量校正
将参考图10的流程图来说明本第二变形例的运动矢量校正操作。在该图中，将相同的附图标记分配至与第一实施例的步骤相同的步骤，并且除非具体要求，否则省略了针对这些步骤的说明。
与第一实施例相同，本第二变形例的运动矢量校正操作从获得作为校正对象的运动矢量mvORG的步骤、即步骤S701开始。
获得第一实施例的运动图像编码设备的各颜色成分的运动预测单元中的除校正对象以外的颜色成分的运动预测单元所计算出的图片间差值的最小值SAD1和SAD2(步骤S1001)。
例如，在图6中，在选择mvB作为校正对象矢量的情况下，SAD1和SAD2分别与确定mvG的矢量坐标时的图片间差值和确定mvR的矢量坐标时的图片间差值相对应。
在步骤S1002中，将SAD1和SAD2彼此进行比较以验证这两者之间的大小关系，并且判断哪个颜色成分的运动矢量的图片间差值较小、即是否可以明确地检测到原始图像和参考图像之间的运动。
在图片间差值SAD1较小的情况下(步骤S1002中为“真”)，将SAD1计算时的颜色成分的运动矢量设置为校正矢量mvCRR(步骤S1003)。
作为对比，在图片间差值SAD2较小的情况下(步骤S1002中为“假”)，将SAD2计算时的颜色成分的运动矢量作为校正矢量mvCRR(编码参数)通知并输出至运动补偿单元110(步骤S1004)。
随后，与第一实施例相同，执行步骤S703～S705，并且运动矢量校正操作结束。
如此以上说明了本发明第一实施例的第二变形例的运动矢量校正操作。
第二实施例
接着，将参考附图来说明本发明的第二实施例。本实施例具有如下结构：将颜色成分的运动矢量中的任一个设置为被视为最适当地反映了图像的运动的基准矢量，并且将其它颜色成分的运动矢量校正为该基准矢量。与第一实施例相同，利用将本发明应用于诸如摄像机等的摄像设备的运动图像编码系统来实现根据本实施例的运动图像编码设备。该结构与第一实施例的结构相同。因此，这里省略了针对该结构的说明。
与第一实施例相同，还可以将根据本实施例的运动图像编码设备提供作为如下设备，其中该设备包括运动图像编码系统的排除了摄像单元101和颜色成分分离单元102以外的各组件并且可以利用计算机来执行。例如，可以将该设备提供作为诸如PC等的信息处理设备根据程序或与硬件的部分组合所执行的运动图像编码设备或方法。此外，在本发明的本实施例中，为了便于说明，假定RGB三原色的图像输入，并且第一颜色成分是R成分、第二颜色成分是G成分，且第三颜色成分是B成分。然而，在本发明中该结构不限于此。
基准矢量确定处理
将参考图11来说明根据本实施例的运动图像编码设备的基准矢量确定操作。
利用根据第一实施例的运动图像编码设备的矢量间距离获得单元117来执行该操作。
首先，在步骤S501中，获得利用第一颜色成分运动预测单元114所获得的R成分的运动矢量mvR。同样，从第二颜色成分运动预测单元115获得G成分的运动矢量mvG(步骤S502)，并且从第三颜色成分运动预测单元116获得B成分的运动矢量mvB(步骤S503)。
在本实施例中，在三个颜色信号中，根据人的视觉特性从视觉上最可识别亮度成分。因此，将包括最大量的亮度成分的G成分的运动矢量mvG设置为基准矢量mvREF(步骤S1104)。
如此以上说明了基准矢量的确定操作。
矢量间距离比较和运动矢量校正
接着，将参考图12和13来说明本实施例的矢量间距离比较和运动矢量校正操作。
利用运动图像编码设备的矢量间距离比较单元118和运动矢量校正单元119来执行该操作。
首先，在步骤S1301中，获得通过基准矢量确定操作所获得的基准矢量mvREF和除该基准矢量的颜色成分以外的第一颜色成分的运动矢量mv1，并且基于表达式(2)来计算这两个运动矢量之间的矢量间距离D1。
同样，在步骤S1302中，获得基准矢量mvREF、以及除该基准矢量和mv1矢量的颜色成分以外的第二颜色成分的运动矢量mv2，并且基于表达式(2)来计算这两个运动矢量之间的矢量间距离D2。
因而，如图12的示例所示，获得表示两个颜色成分运动矢量的顶点之间的距离的标量D，并且判断后面所述的矢量的相关关系。
在图12的示例中，各颜色成分的运动矢量为mvR=(4,3)、mvG=(4,4)并且mvB=(-2,2)。该基准矢量确定操作将G成分的运动矢量mvG设置为mvREF。
因而，可以按照如下计算G成分和B成分之间的矢量间距离D1、以及G成分和R成分之间的矢量间距离D2。
D2=1
基于该计算结果，在步骤S1303中，将表示第一颜色成分的运动矢量相对于基准矢量的偏差量的矢量间距离D1与预定值进行比较，以判断该距离是否小于预定值。在图12中，D1与B成分的运动矢量相对于G成分的运动矢量的顶点之间的距离相对应。
通常，在矢量间距离小于几个像素的情况下(步骤S1303中为“真”)，基准矢量mvREF和mv1具有大致相同的矢量方向和长度。因此，判断为从视觉上几乎不会发生诸如套色不准等的问题。根据这种判断来设置利用比较判断步骤设置为阈值的预定值。
结果，没有对运动矢量mv1进行校正而是将其原样作为编码参数输出至运动补偿单元110，并且生成参考图像且进行矢量编码。
作为对比，在矢量间距离D1具有预定值以上的值的情况下(步骤S1303中为“假”)，将该颜色成分的运动矢量mv1校正为与基准矢量mvREF相同的矢量，并且输出该矢量(步骤S1304)。
同样，在步骤S1305中，将表示第二颜色成分的运动矢量相对于基准矢量的偏差量的矢量间距离D2与预定值进行比较，以判断该距离是否小于预定值。在图12中，D2与R成分的运动矢量相对于G成分的运动矢量的顶点之间的距离相对应。
在D2小于预定值的情况下(步骤S1305中为“真”)，基准矢量mvREF和mv2具有大致相同的矢量方向和长度。因此，没有对mv2进行校正而是将其原样输出至运动补偿单元110，并且生成参考图像并进行矢量编码。
作为对比，在矢量间距离D2具有预定值以上的值的情况下(步骤S1305中为“假”)，将该颜色成分的运动矢量mv2校正为与基准矢量mvREF相同，并且输出该矢量(步骤S1306)。
如此说明了本实施例的矢量间距离比较和矢量校正操作。
根据本发明的第二实施例，在针对各颜色成分进行运动预测的情况下，即使输出与实际被摄体的运动不同的运动矢量，也可以校正为适当的运动矢量。因而，可以防止图像质量劣化。
在第二实施例中，选择各颜色成分的运动矢量中的G成分的运动矢量作为基准矢量，并且对相对于基准矢量的矢量间距离为预定值以上的运动矢量进行校正。
接着，将说明设置基准矢量的结构的其它示例作为第二实施例的第一变形例和第二变形例。此外，在本变形例中，运动图像编码系统的结构与第一实施例的结构相同。因此，这里省略了该说明。
第二实施例的第一变形例
第二实施例的第一变形例根据用户在记录操作时所指定的拍摄模式来确定基准矢量。因而，使适合于根据拍摄模式而不同的诸如色相和明度等的拍摄参数的颜色成分的运动矢量优先，并且可以抑制图像质量劣化。
基准矢量确定
以下将参考图14的流程图来说明本第一变形例的基准矢量确定操作。将相同的附图标记分配至与第二实施例的组件共通的组件，并且适当省略了针对这些组件的说明。
与第二实施例相同，基准矢量确定操作从获得R、G和B的三个颜色成分的运动矢量mvR、mvG和mvB的步骤、即步骤S501～S503开始。
从诸如运动图像编码设备的CPU等的控制单元中获得经由图1中没有示出的诸如操作按钮和触摸面板等的用户界面所输入的用户设置的拍摄模式(步骤S1401)。
接着，在步骤S1402及其之后中，判断拍摄模式的类型，并且在对在该模式下所输入的运动图像进行编码时顺次执行用于将最佳颜色成分的运动矢量设置为基准矢量的处理。
在步骤S1402中，判断是否将拍摄模式设置为夜景模式。夜景模式是自动设置各种拍摄参数以适当拍摄夜景作为被摄体的拍摄模式。在诸如夜景等的暗图像的情况下(步骤S1402中为“真”)，与绿色色相和红色色相相比，蓝色色相是确定图像质量的更主要的因素。因此，将使得B成分优先的mvB设置为作为基准的运动矢量mvREF(步骤S1403)。
随后，在该模式不是夜景模式的情况下(步骤S1402中为“假”)，判断是否将拍摄模式设置为风景模式(步骤S1404)。风景模式是自动设置各种拍摄参数以适当拍摄风景作为被摄体的拍摄模式。
在设置了风景模式的情况下(步骤S1404中为“真”)，经常拍摄与人物和运动中的被摄体相比包括较多的G成分的诸如山和树等的被摄体的图像。因此，在将拍摄模式指定为风景模式的情况下，将G成分的运动矢量mvG设置为基准矢量mvREF(步骤S1405)。
在没有将设置模式设置为夜景模式或风景模式的情况下(步骤S1404中为“假”)，判断是否设置诸如儿童模式或肖像模式等的用于拍摄主要是人物的被摄体的模式(步骤S1406)。在儿童模式和肖像模式中，自动设置各种拍摄参数以分别适当拍摄运动中的人物和静止的人物的被摄体。
在步骤S1406中判断为“真”并且设置了用于拍摄人物的模式的情况下，肤色的色感和质感是确定图像质量的因素。因此，将R成分的矢量mvR设置为基准矢量mvREF(步骤S1407)。
最后，在该模式不是任一拍摄模式的情况下(步骤S1406中为“假”)，第二实施例的基准矢量判断处理将G成分的运动矢量mvG设置为基准矢量mvREF，并且该流程结束。
随后，根据图13的流程图，使用所设置的基准矢量来进行针对其它颜色成分的运动矢量校正。
如此说明了根据本发明第二实施例的第一变形例的基准矢量确定操作。
第二实施例的第二变形例
第二实施例的第一变形例根据用户在记录操作时所指定的拍摄模式来确定基准矢量。在本第二变形例中，将三个颜色成分的运动矢量中的图片间差值最小的运动矢量设置为基准矢量。因此，判断最忠实地跟随被摄体的运动的颜色成分的运动矢量。以该运动矢量为基准的矢量校正处理的精度提高，并且可以抑制图像质量劣化。
基准矢量确定
将参考图15和16A～16C来说明本第二变形例的基准矢量确定操作。在本第二变形例中，将相同的附图标记分配至与第二实施例及其第一变形例的组件共通的组件，并且适当省略了针对这些组件的说明。
与第二实施例相同，该基准矢量确定操作从获得R、G和B的三个颜色成分的运动矢量mvR、mvG和mvB的步骤、即步骤S501～S503开始。
针对各颜色成分，获得第一颜色成分运动预测单元～第三颜色成分运动预测单元114、115和116中生成运动矢量所用的图片间差值(最小值)(步骤S1501、S1502和S1503)。
图16A、16B和16C例示出在确定运动矢量mvR、mvG和mvB的情况下的搜索窗口内的各颜色成分的图片间差值。
根据这些图中的示例，将确定mvR时的图片间差值的最小值定义为SADR，将确定mvG时的图片间差值的最小值定义为SADG，并且将确定mvB时的图片间差值的最小值定义为SADB。
在步骤S1504及其之后中，顺次进行以下操作：在通过以上处理步骤所获得的三个颜色成分的图片间差值的最小值中搜索具有最小值的颜色成分，然后将该颜色成分的运动矢量设置为基准矢量。
在步骤S1504中，判断三个图片间差值的最小值中的具有最小值的颜色成分是否是B成分。
在B成分的图片间差值SADB最小的情况下(步骤S1504中为“真”)，将B成分的运动矢量mvB设置为基准矢量mvREF(步骤S1505)。
作为对比，在除B成分的图片间差值SADB以外的值具有较小值的情况下(步骤S1504中为“假”)，判断G成分的图片间差值的最小值是否是最小的(步骤S1506)。
在G成分的图片间差值SADG最小的情况下(步骤S1506中为“真”)，将G成分的运动矢量mvG设置为基准矢量mvREF(步骤S1507)。
最后，在三个图片间差值的最小值中的具有最小值的颜色成分不是B成分或G成分的情况下(步骤S1506中为“假”)，判断为R成分的图片间差值SADR最小。因此，将R成分的运动矢量mvR设置为基准矢量mvREF(步骤S1508)。
如此以上说明了本发明第二实施例的第二变形例的基准矢量确定操作。随后，根据图13的流程图，使用所设置的基准矢量来进行针对其它颜色成分的运动矢量校正。
在该确定操作中，按B成分、G成分和R成分的顺序进行比较判断。然而，就实现本发明而言，也可以采用颜色成分的任意判断顺序。没有限制该操作，只要该操作比较所有的颜色成分即可。
在图16A～16C的示例中，在根据以上确定操作来确定基准矢量的情况下，选择具有SADB为最小SAD值的B成分的运动矢量mvB(-2,2)作为基准矢量。
第二实施例的第三变形例
第二实施例的第二变形例将三个颜色成分的运动矢量中的图片间差值最小的矢量设置为基准矢量。
在本第三变形例中，关于三个颜色成分的输入图像，在图片内或针对各图像区域获得像素值的频率(直方图)。根据像素值分布的变化来确定并设置基准矢量。该结构基于如下特性来确定基准矢量，其中在该特性中，图片内的像素值分布较宽、即浓淡范围较宽的颜色成分可以容易地计算更为正确地反映了被摄体的运动的矢量。该结构可以抑制图像质量劣化。
基准矢量确定处理
以下将参考图17和18A～18C来说明第二实施例的第三变形例。
在第三变形例的说明中，将相同的附图标记分配至与第二实施例的第一变形例和第二变形例的组件共通的组件，并且适当省略了针对这些组件的说明。与第二实施例相同，基准矢量确定操作从确定R、G和B的三个颜色成分的运动矢量mvR、mvG和mvB的步骤、即步骤S501～S503开始。
针对所有这三个颜色成分分别生成像素直方图(步骤S1701、S1702和S1703)。
图18A～18C示出各颜色成分的直方图的示例。直方图的横轴表示可能的像素值的范围。通常，在以8位表示一个像素的像素值的情况下，这些值为0～255的整数。纵轴表示针对这些像素值的以帧为单位、以搜索窗口为单位或以编码块为单位的颜色成分的频率数。
本变形例没有特别限制进行直方图计算的图像数据的单位的大小。然而，为了实现图片内的精细控制和依赖于样本数的数据可靠性这两者，期望以搜索窗口为单位。
接着，在步骤S1704及其之后中，顺次执行以下处理，其中这些处理在通过以上处理步骤所生成的三个颜色成分的直方图中搜索像素值的变化最大的颜色成分，并且将该颜色成分的运动矢量设置为基准矢量。
在本变形例中，用于获得针对各颜色成分的像素值的变化的措施基于以下表达式(4)来获得一般的分布评价所使用的标准分散σ2，并且在这些颜色成分之间比较分散值的大小。
...表达式(4)
这里，xi是各像素值的频率，并且X是通过以下表达式(5)所获得的算术平均值。n是像素值的最大值、即255，并且i是0～255的任意整数。
...表达式(5)
这表示：基于以上表达式所获得的分散值越大，分布变化越宽。这表示像素存在于0～255的范围内。
在步骤S1704中，判断具有三个直方图中的变化最大的直方图的颜色成分是否是B成分。
在B成分的直方图最宽的情况下(步骤S1704中为“真”)，将B成分的运动矢量mvB设置为基准矢量mvREF(步骤S1705)。
作为对比，在除B成分以外的直方图分布具有较大的值的情况下(步骤S1704中为“假”)，判断G成分的直方图分布值是否是最大的(步骤S1706)。
在G成分的直方图分布最宽的情况下(步骤S1706中为“真”)，将G成分的运动矢量mvG设置为基准矢量mvREF(步骤S1707)。
最后，在具有三个直方图分布中的最大值的颜色成分不是B成分或G成分的情况下(步骤S1706中为“假”)，判断为R成分的直方图分布最宽。因此，将R成分的运动矢量mvR设置为基准矢量mvREF(步骤S1708)。
如此说明了根据本发明第二实施例的第三变形例中的确定基准矢量的操作。与第二实施例相同，根据图13的流程图来进行设置基准矢量之后的运动矢量校正。
在以上确定流程中，按B成分、G成分和R成分的顺序进行比较判断。然而，就实现本发明而言，也可以采用颜色成分的任意判断顺序。没有限制该流程，只要该流程比较所有的颜色成分即可。
在图18A～18C的示例中，在根据确定操作来确定基准矢量的情况下，直方图分布最宽的颜色成分是R成分。因此，选择R成分的运动矢量mvR作为基准矢量。
第三实施例
在第一实施例中，计算各颜色成分的运动矢量的矢量间距离，并且将这些距离彼此进行比较以检测矢量间距离与其它颜色成分的矢量间距离不同的颜色成分。将该颜色成分的运动矢量校正为其它颜色成分的运动矢量的平均矢量、矢量间距离最小的颜色成分的运动矢量、或图片间差值最小的颜色成分的运动矢量。在第二实施例中，将颜色成分的运动矢量其中之一确定为基准矢量，并且根据所确定的运动矢量和其它运动矢量之间的距离来确定要作为校正对象的颜色成分。
在第三实施例中，将各颜色成分的参考图像编号彼此进行比较，并且在存在参考图像编号与其它颜色成分的参考图像编号不同的颜色成分的情况下，将该参考图像编号校正为适当的参考图像编号，并且还对相应的运动矢量进行校正。因此，除了二维的矢量值的大小以外，还可以进行包括时间方向的高精度的校正，并且可以抑制图像质量劣化。
以下将参考附图来说明本发明的第三实施例。在第三实施例的说明中，将相同的附图标记分配至与第一实施例和第二实施例的组件共通的组件，并且适当省略了针对这些组件的说明。
系统结构
图19是示出将根据本发明第三实施例的运动图像编码设备应用于诸如摄像机等的摄像设备的运动图像编码系统的结构的框图。
与第一实施例相同，也可以将根据本实施例的运动图像编码设备提供作为如下设备，其中该设备包括运动图像编码系统的排除了摄像单元101和颜色成分分离单元102以外的各组件并且可以利用计算机来执行。例如，可以将该设备提供作为诸如PC等的信息处理设备根据程序或与硬件的部分组合所执行的运动图像编码设备或方法。
此外，在本发明的本实施例中，为了便于说明，假定RGB三原色的图像输入，并且第一颜色成分是R成分、第二颜色成分是G成分，且第三颜色成分是B成分。然而，在本发明中该结构不限于此。
本实施例的系统包括：作为第一实施例的构成元件的构成元件101～116；以及作为参考图像编号获得单元1901、参考图像编号比较单元1902、参考图像编号校正单元1903和第二运动矢量校正单元1904的构成元件。
运动补偿单元110生成参考图像数据，其中在通过使用环内滤波器111进行滤波处理后的预测图像数据对参考图像编号和从后面所述的第二运动矢量校正单元1904所通知的运动矢量进行帧间编码时，使用该参考图像数据。将所生成的参考图像数据存储在帧存储器103中。
参考图像编号获得单元1901获得第一颜色成分运动预测单元114、第二颜色成分运动预测单元115和第三颜色成分运动预测单元116所获得的编码块内的相同位置处的各颜色成分的参考图像编号。本实施例采用MPEG-4AVC/H.264标准所定义的以编码块为单位进行编码所用的被称为ref_idx的句法值，作为表示参考图像编号的信息。然而，没有特别限制该信息，只要可以获得与该信息相同的值即可。
ref_idx值在编码数据中被描述为用于唯一识别编码块要参考的图像位置的信息，并且用来进行解码。即使在针对各颜色成分单独进行编码的情况下，针对时间上处于相同位置处的图像也描述相同的ref_idx值。
参考图像编号比较单元1902将从参考图像编号获得单元1901所通知的各颜色成分的参考图像的各时间位置信息(ref_idx)彼此进行比较，并且判断特定的颜色成分ref_idx是否不同。
参考图像编号校正单元1903基于参考图像编号比较单元1902的判断结果，将该颜色成分的参考图像编号校正为适当的参考图像编号。
第二运动矢量校正单元1904基于由参考图像编号校正单元所设置的校正之前和之后的参考图像编号所表示的参考图像的参考距离，来根据比例计算对运动矢量进行校正。将校正后的参考图像编号和运动矢量作为编码参数输出至运动补偿单元110，并且用于在运动补偿单元110内生成预测图像。
如此以上说明了本发明的第三实施例的运动图像编码系统的结构。
参考图像编号比较
以下将参考图20的流程图来说明根据本发明第三实施例的参考图像编码比较操作。利用根据本实施例的运动图像编码系统的参考图像编号获得单元1901和参考图像编号比较单元1902来执行该操作。
首先，在步骤S2001中，从第一颜色成分运动预测单元114获得运动预测处理所获得的R成分的参考图像编号ref_idxR。同样，从第二颜色成分运动预测单元115获得G成分的参考图像编号ref_idxG(步骤S2002)，并且从第三颜色成分运动预测单元116获得B成分的参考图像编号ref_idxB(步骤S2003)。
随后，将步骤S2001～S2003中所获得的三个颜色成分的参考图像编号彼此进行比较，以判断要校正的颜色成分的参考图像编号。
在步骤S2004中，比较判断是否仅R成分具有与其它颜色成分的参考图像编号不同的参考图像编号。作为该比较判断的结果，在仅R成分具有不同的编号的情况下(步骤S2004中为“真”)，确定为要对R成分的参考图像编号ref_idxR值进行校正并且编码。将该确定通知至后级的参考图像编号校正处理单元，然后该流程结束(步骤S2008)。
作为对比，在除R成分以外的成分的参考图像编号不同的情况下(步骤S2004中为“假”)，比较判断是否仅G成分具有与其它颜色成分的参考图像编号不同的参考图像编号(步骤S2005)。作为该比较判断的结果，在仅G成分具有不同的编号的情况下(步骤S2005中为“真”)，确定为要对G成分的参考图像编号ref_idxG值进行校正并且编码。将该确定通知至后级的参考图像编号校正处理单元，然后该流程结束(步骤S2009)。
作为代替，在除G成分以外的成分的参考图像编号不同的情况下(步骤S2005中为“假”)，比较判断是否仅B成分具有与其它颜色成分的参考图像编号不同的参考图像编号(步骤S2006)。结果，在仅B成分具有不同的编号的情况下(步骤S2006中为“真”)，确定为要对B成分的参考图像编号ref_idxB值进行校正并且编码。将该确定结果通知至后级的参考图像编号校正处理单元，然后该流程结束(步骤S2010)。
最后，在所有颜色成分的参考图像编号均不同的情况下(步骤S2006中为“假”)，确定为要对所有颜色成分的参考图像编号进行校正并且编码，并且该操作结束(步骤S2007)。
如此说明了本发明第三实施例的参考图像编号比较操作。
参考图像编号校正
接着，将参考图21的流程图来说明本发明的第三实施例的参考图像编号校正操作。
利用本实施例的运动图像编码系统的参考图像编号校正单元1903和第二运动矢量校正单元1904来执行该操作。
首先，在参考图像编号比较操作的步骤S2101中，获得作为校正对象的颜色成分的参考图像编号ref_idxORG和该颜色成分的运动矢量值mvORG。
运动矢量值mvORG是从第一颜色成分运动预测单元114～第三颜色成分运动预测单元116输出的各颜色成分的运动矢量。
随后，使用参考图像编号ref_idxORG和作为运动矢量mvORG的运动预测信息来计算该编码块的预测图像和参考图像之间的图片间差值SADORG(步骤S2102)。
然后，判断参考图像编号比较操作的判断结果是仅需对任一颜色成分进行校正还是需要对所有颜色成分进行校正(步骤S2103)。
在仅需对特定颜色的参考图像编号进行校正的情况下(步骤S2103中为“假”)，将除校正对象以外的颜色成分的参考图像编号设置为校正参考图像编号ref_idxCORR(步骤S2105)。
作为对比，在需要对所有颜色成分的参考图像编号进行校正的情况下(步骤S2103中为“真”)，将所有颜色成分中具有以编码图像位置为起点的时间距离最小的图像编号的ref_idx值设置为校正参考图像编号ref_idxCORR(步骤S2104)。
随后，基于步骤S2104或S2105中所设置的参考图像编号ref_idxCORR和校正前的参考图像编号ref_idxORG的参考距离，根据校正前的运动矢量mvORG，通过比例计算来计算校正运动矢量mvCORR(步骤S2106)。采用如下方法：在参考方向反转的情况下，矢量成分的符号反转，并且在参考图像位置的时间距离变为N倍的情况下，根据比例计算，将矢量成分的元素乘以N。
与步骤S2102相同，针对参考图像编号校正对象的颜色成分的编码块，根据校正参考图像编号ref_idxCORR和运动矢量mvCORR来计算图片间差值SADCORR(步骤S2107)。
随后，在步骤S2108中，获得参考图像编号校正时的图片间差SADCORR和校正前的图片间差值SADORG之间的差，并且判断该差是否小于预定值。通过该判断步骤，确定要实际进行编码的参考图像编号。因此，结果，预先防止了如下的不利效果：矢量表示图片间差值大的参考图像，由此导致图像质量劣化明显。
在图片间差之间的差为预定值以上的情况下(步骤S2108中为“假”)，运动预测结果表示参考图像编号不同于其它颜色成分的参考图像编号，并且与应用参考图像编号校正的情况相比，判断为允许追踪实际被摄体的运动。结果，没有对参考图像编号进行校正，将运动矢量mvORG和ref_idxORG通知至运动补偿单元110，并且该操作结束(步骤S2109)。
作为对比，在即使在校正参考图像编号ref_idxCORR的应用之后、图片间差之间的差也不大的情况下(步骤S2108中为“真”)，进行以下判断。判断为施加如下的有利效果：可以在几乎不存在编码块水平的视觉的图像质量劣化的情况下使参考图像编号与其它颜色成分的参考编号一致，并且还可以防止以图片为单位和图片之间的图像质量劣化。
将基于该颜色成分的编码块中的运动矢量mvCORR和ref_idxORG而校正为ref_idxCORR值的参考图像编号作为编码参数通知并且输出至运动补偿单元110(步骤S2110)。
如此以上说明了本发明第三实施例的参考图像编号校正操作。
参考图像编号校正操作示例
随后，将参考图22A、22B、23A和23B来说明根据本实施例的操作示例。
图22A和22B的示例示出在对参考图像编号进行校正之前(图22A)和之后(图22B)、在相同编码块位置处进行运动预测的情况下三个颜色成分即RGB的编码对象图像。在附图的示例中，该结构具有作为相对于编码对象图像的过去图像所参考的一个或三个前方参考图像。然而，为了实现本发明，参考方向和图像张数不限于所例示的结构。
在附图的示例中，关于R成分和G成分，作为运动预测单元的结果，对参考图像编号为0的帧图像、即前方参考图像进行运动矢量预测。作为对比，关于B成分，对参考图像编号为1的帧图像、即后方参考图像进行运动矢量预测。
在本实施例中，与仅运动矢量值是校正对象的第一实施例和第二实施例相比，可以防止在各颜色成分之间运动矢量相同但参考图像彼此不同的情况下可能发生的图像质量劣化。也就是说，可以将时间轴方向上的参考关系识别为在各颜色成分中彼此一致，或者可以针对所有颜色成分对参考图像编号进行校正和编码。
更具体地，如图22B所示，B成分的参考图像编号ref_idx从1改变为与R成分的参考图像编号和G成分的参考图像编号相同的0，然后进行编码。关于B成分的运动矢量mvB，在原始的参考图像编号和校正后(已校正)的参考图像编号之间，时间方向反转。因此，使用符号反转以使矢量的方向反转的矢量(-mvB)来进行编码。
在图23A～23B的示例中，示出在相同编码块位置处所有颜色成分的参考图像编号不同的情况下的校正之前(图23A)和之后(图23B)的参考图像编号。
在图23A中，参考R成分与参考图像编号2相对应的帧图像、G成分与参考图像编号0相对应的帧图像、并且B成分与参考图像编号1相对应的帧图像，并且进行矢量预测。
根据本实施例，在各颜色成分具有不同的参考图像编号的情况下，对参考图像编号进行校正，以使得所有颜色成分参考在时间上离编码图像位置最近的位置、即图像编号为0的帧图像(图23B)。基于对参考图像编号进行校正之前和之后的参考距离，将各颜色成分的运动矢量校正为通过将原始运动矢量mvR乘以1/3并且将矢量mvB乘以1/2所获取到的运动矢量mvR'和mvB'。
如上所述，根据本实施例，不仅可以考虑到运动矢量的方向和大小而且还可以考虑到时间轴方向来对运动预测信息进行校正。因此，可以防止在被摄体在图片之间运动并且参考特定颜色成分与其它颜色成分极大不同的图像的情况下要发生的图像质量劣化。
第四实施例
在第三实施例中，将各颜色成分的参考图像编号彼此进行比较。在存在参考图像编号与其它成分的编号不同的颜色成分的情况下，将该参考图像编号校正为适当的参考图像编号，并且还对相应的运动矢量进行校正。此时，关于校正之前和之后的参考图像编号，将根据基于时间方向的前后关系和时间距离的比例关系所求出的值应用于运动矢量校正。
第四实施例具有在根据第三实施例的参考图像编号的校正和相应的运动矢量校正之后进行根据第一实施例和第二实施例的运动矢量校正的结构。根据该结构，参考图像编号校正使得能够进行各颜色成分基于同一时刻的参考图像编号的运动预测，随后进一步对运动矢量进行校正以使得能够求出最佳值。
以下参考附图来说明本发明的第四实施例。在本实施例的说明中，将相同的附图标记分配至与第一实施例～第三实施例的组件共通的组件，并且适当省略了针对这些组件的说明。特别地，本实施例中的参考图像编号比较操作与第三实施例的参考图像编号比较操作相同。
系统结构
图24是示出将根据本发明第四实施例的运动图像编码设备应用于诸如摄像机等的摄像设备的运动图像编码系统的结构的框图。本实施例的系统包括第一实施例～第三实施例所述的系统结构的所有组件。
与第一实施例相同，可以将根据本实施例的运动图像编码设备提供作为如下设备，其中该设备包括运动图像编码系统中的排除了摄像单元101和颜色成分分离单元102以外的各组件并且可以利用计算机执行。例如，可以将该设备提供作为诸如PC等的信息处理设备根据程序或与硬件的部分组合所执行的运动图像编码设备或方法。
此外，在本发明的本实施例中，为了便于说明，假定RGB三原色的图像输入，并且第一颜色成分是R成分、第二颜色成分是G成分且第三颜色成分是B成分。然而，在本发明中该结构不限于此。
本实施例的运动补偿单元110接收环内滤波器111进行滤波处理后的预测图像数据。该结构与第一实施例～第三实施例的结构相同。此外，本实施例接收从参考图像编号校正单元1903所通知的校正后的参考图像编号和从运动矢量校正单元119所通知的运动矢量作为编码参数。运动补偿单元110基于所接收到的信息来生成帧间编码要使用的参考图像数据，并且将该数据存储在帧存储器103中。
第三运动矢量校正单元2401在根据第三实施例中的比例计算的运动矢量校正与来自第一颜色成分运动预测单元～第三颜色成分运动预测单元114、115和116的校正前的运动矢量之间进行切换。将切换后的运动矢量通知至矢量间距离获得单元117。
如此说明了本发明第四实施例中的运动图像编码系统的结构。
参考图像编号校正
以下将参考图25的流程图来说明本发明第四实施例的参考图像编号校正操作。
利用根据本实施例的运动图像编码设备的参考图像校正单元1903和第二运动矢量校正单元1904来执行该操作。
该流程图的步骤S2101～S2109与第三实施例中的参考图像编号校正的步骤相同。
根据本实施例，在步骤S2108中判断为校正之前和之后的图片间差较小并且需要输出运动矢量和参考图像编号的校正值的情况下(“真”)的操作不同于第三实施例中的操作。在这种情况下，根据本实施例，将作为校正后的参考图像编号的ref_idxCORR通知并且输出至运动补偿单元110，并且针对各颜色成分，将通过比例计算校正后的运动矢量mvCORR通知至矢量间距离获得单元117。根据第一实施例和第二实施例中的任意方法来计算各颜色成分之间的矢量间距离以最佳地校正运动矢量，随后通知并且输出至运动补偿单元110(步骤S2501)。如此以上说明了本发明第四实施例的参考图像编号校正操作。
参考图像编号校正应用示例
将参考图26A～26C来说明本实施例的操作的示例。
图26A～26C示出在RGB这三个成分的编码对象图像中的相同编码块位置处的根据本实施例的用于校正运动预测信息的操作。图26A示出矢量搜索之后且参考图像编号校正之前的校正操作。图26B示出通过比例计算的参考图像编号校正和运动矢量校正之后的校正操作。图26C示出基于矢量间距离的运动矢量校正之后的状态。
在图26A～26C的示例中，该结构针对编码对象图像包括参考过去图像所用的两个前方参考图像和参考将来图像所用的一个后方参考图像。然而与第三实施例相同，为了实现本发明，参考方向和图像张数不限于所例示的结构。
在图26A中，R成分参考前方参考图像编号为1的帧图像，G成分参考后方参考图像编号为2的帧图像，并且B成分参考前方参考图像编号为0的帧图像，由此进行矢量预测。
与第三实施例相同，在各颜色成分具有不同的参考图像的情况下，对参考图像编号进行校正，以使得参考位于在时间上离编码图片位置最近的位置处的参考图像编号为0的帧图像(图26B)。同样，还基于对参考图像编号进行校正之前和之后的参考距离的比例关系来对校正后的颜色成分的运动矢量进行校正。
此外，在本实施例中，在校正各颜色成分的参考图像编号并使校正后的参考图像编号一致之后，基于第一实施例或第二实施例的运动矢量之间的距离来对通过比例计算校正后的各颜色成分的运动矢量进行一系列矢量校正。
在图26B中，假定将根据比例计算的校正之后的颜色成分的运动矢量计算作为长度和方向不同的值。随后，根据第一实施例或第二实施例的方法，根据各颜色成分的运动矢量之间的距离来将这些运动矢量校正为共通的mvCRR(图26C)。
如此以上说明了根据本发明第四实施例的参考图像编号和运动矢量校正。本发明可以提供如下的运动图像编码设备，其中该运动图像编码设备可以在用于针对各颜色成分对包括具有相同采样率的多个颜色成分的运动图像进行运动预测的编码中，降低由于套色不准所引起的图像质量劣化。
其它实施例
根据本发明实施例的记录装置中所包括的各单元和记录方法中所包括的各步骤可以通过执行存储在计算机的RAM或ROM中的程序来实现。该程序和存储有该程序的计算机可读存储介质包括在本发明中。
本发明可以作为例如系统、设备、方法、程序和存储介质的实施例来实现。更具体地，本发明可应用于包括多个设备的系统，并且还可应用于包括单个仪器的设备。
本发明还包括针对系统或设备直接或远程提供实现这些实施例的功能的软件的程序(与例示流程图相对应的程序)的情况。本发明还包括系统或设备的计算机读取所提供的程序代码并且执行这些代码以实现本发明的情况。
因此，安装在计算机中的用于在该计算机中实现本发明的功能处理的程序代码本身也实现了本发明。也就是说，本发明包括用于实现本发明的功能处理的计算机程序本身。在这种情况下，可以采用诸如对象代码、解释器所执行的程序和要提供给OS的脚本数据等的任何模式，只要该模式具有程序的功能即可。
用于提供程序的存储介质例如可以是软盘、硬盘、光盘和磁光盘中的任一个。此外，该介质可以是MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM和DVD(DVD-ROM和DVD-R)中的任一个。
存在通过使用客户端计算机的浏览器来提供连接至因特网的网页的程序的另一方法。可以通过从网站将本发明的计算机程序本身或者已压缩的并且包含自动安装程序的文件下载到诸如硬盘等的存储介质来提供该程序。
本发明还可以通过将构成本发明的程序的程序代码划分成多个文件、然后从不同的网站下载这些文件来实现。也就是说，本发明还包括允许多个用户下载用于实现本发明的功能处理的程序文件的WWW服务器。
根据其它方法，可以对本发明的程序进行加密，存储在诸如CD-ROM等的存储介质中，分发至用户，并且允许满足预定条件的用户经由因特网从网站下载解密所用的密钥信息。可以执行使用密钥信息加密后的程序，并且将该程序安装到计算机中以实现本发明。
计算机执行所读取的程序以使得能够实现实施例的功能。根据该程序的指令，运行在计算机上的OS执行实际处理的一部分或全部，并且其处理可以实现实施例的各功能。
根据又一方法，首先，将从存储介质读取的程序写入插入至计算机的功能扩展板或连接至计算机的功能扩展单元中所包括的存储器中。基于该程序的指令，包括在该功能扩展板或功能扩展单元中的CPU执行实际处理的一部分或全部，并且其处理可以实现实施例的各功能。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：
颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；
预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；
校正单元，用于判断所述预测单元所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及
编码单元，用于从所述校正单元获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，在所述校正单元对要作为所述校正对象的颜色成分的至少一个运动预测信息进行校正的情况下，所述校正单元计算所述编码对象图像和与作为所述校正对象的颜色成分的至少一个运动预测信息有关的参考图像之间的第一图片间差值、以及所述编码对象图像和代替所述校正对象的颜色成分的至少一个运动预测信息而使用与其它颜色成分相对应的运动预测信息的情况下的参考图像之间的第二图片间差值，
在所计算出的第一图片间差值和所计算出的第二图片间差值的差等于或小于预定值的情况下，所述校正单元输出所述校正对象的颜色成分的校正后的运动预测信息和其它颜色成分的运动预测信息作为所述编码参数，以及
在所计算出的第一图片间差值和所计算出的第二图片间差值的差大于所述预定值的情况下，所述校正单元输出所述校正对象的颜色成分的未校正的运动预测信息和其它颜色成分的运动预测信息作为所述编码参数。
2.一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：
颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；
预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；
校正单元，用于判断所述预测单元所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及
编码单元，用于从所述校正单元获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，所述至少一个运动预测信息是运动矢量，以及
在颜色成分的运动矢量之间的距离大于或等于预定值的情况下，所述校正单元将除矢量间距离最小的颜色成分以外的颜色成分确定为所述校正对象。
3.根据权利要求2所述的运动图像编码设备，其中，所述校正单元将确定为所述校正对象的颜色成分的运动矢量校正为其它颜色成分的运动矢量的平均矢量。
4.根据权利要求2所述的运动图像编码设备，其中，所述校正单元将确定为所述校正对象的颜色成分的运动矢量校正为相对于确定为所述校正对象的颜色成分的运动矢量的距离最小的其它颜色成分的运动矢量。
5.根据权利要求2所述的运动图像编码设备，其中，所述校正单元将确定为所述校正对象的颜色成分的运动矢量校正为如下其它颜色成分的运动矢量：所述编码对象图像和与该其它颜色成分的运动矢量有关的参考图像之间的图片间差值最小。
6.一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：
颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；
预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；
校正单元，用于判断所述预测单元所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及
编码单元，用于从所述校正单元获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，所述至少一个运动预测信息是运动矢量，以及
所述校正单元将所述多个颜色成分中的预定颜色成分的运动矢量设置为基准矢量，并且在所述基准矢量和除所述预定颜色成分以外的各颜色成分的运动矢量之间的距离大于或等于预定值的情况下，将除所述预定颜色成分以外的颜色成分确定为所述校正对象，并将所确定出的颜色成分的运动矢量校正为所述基准矢量。
7.根据权利要求6所述的运动图像编码设备，其中，在所述颜色成分获得单元所获得的所述多个颜色成分包括红色、绿色和蓝色的三原色的情况下，所述校正单元将绿色的颜色成分的运动矢量设置为所述基准矢量。
8.根据权利要求6所述的运动图像编码设备，其中，所述校正单元将根据用户所指定的拍摄模式所确定出的颜色成分的运动矢量设置为所述基准矢量。
9.根据权利要求6所述的运动图像编码设备，其中，所述校正单元将如下颜色成分的运动矢量设置为所述基准矢量：所述编码对象图像和与该颜色成分的运动矢量有关的参考图像之间的图片间差值最小。
10.根据权利要求6所述的运动图像编码设备，其中，所述校正单元生成各颜色成分的所述编码对象图像的像素值的直方图，并且将与表示像素值的最宽分布的直方图相对应的颜色成分的运动矢量设置为所述基准矢量。
11.一种运动图像编码设备，用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述运动图像编码设备包括：
颜色成分获得单元，用于获得构成所述运动图像的所述多个颜色成分；
预测单元，用于针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；
校正单元，用于判断所述预测单元所生成的各颜色成分的至少一个运动预测信息的相关关系，基于所述相关关系的判断结果来确定要作为校正对象的颜色成分，并且使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及
编码单元，用于从所述校正单元获得编码参数，并且使用所获得的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，所述至少一个运动预测信息是运动矢量和参考图像编号，
所述校正单元判断所述多个颜色成分的参考图像编号的相关关系，
在作为该判断的结果、仅一个颜色成分不具有相关性的情况下，所述校正单元将该一个颜色成分确定为所述校正对象，以及
在所述多个颜色成分的参考图像编号不具有相关性的情况下，所述校正单元将除表示与所述编码对象图像最相似的参考图像的参考图像编号的颜色成分以外的颜色成分确定为所述校正对象，使用其它颜色成分的参考图像编号来对该所确定出的颜色成分的参考图像编号进行校正，并且使用与作为所述校正对象的颜色成分的未校正的参考图像编号所表示的参考图像和校正后的参考图像编号所表示的参考图像之间的距离相对应的比例计算，来对校正了参考图像编号的作为所述校正对象的颜色成分的运动矢量进行校正。
12.根据权利要求11所述的运动图像编码设备，其中，在仅一个颜色成分不具有相关性的情况下，所述校正单元将所述校正对象的颜色成分的参考图像编号校正为与其它颜色成分具有相关性的参考图像编号，以及
在所述多个颜色成分的参考图像编号不具有相关性的情况下，所述校正单元将所述校正对象的参考图像编号校正为表示与所述编码对象图像最相似的参考图像的参考图像编号。
13.根据权利要求11所述的运动图像编码设备，其中，除了根据权利要求11所述的运动矢量所用的校正单元以外，所述校正单元还利用根据权利要求2所述的单元对运动矢量进行校正。
14.一种运动图像编码设备的控制方法，所述运动图像编码设备用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述控制方法包括以下步骤：
获得构成所述运动图像的所述多个颜色成分；
针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的至少一个运动预测信息；
判断各颜色成分的至少一个运动预测信息的相关关系；
基于所述相关关系的判断结果来确定要作为校正对象的颜色成分；
使用与其它颜色成分中的至少一个颜色成分相对应的运动预测信息来对所确定出的颜色成分的至少一个运动预测信息进行校正；以及
使用校正后的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，在对要作为所述校正对象的颜色成分的至少一个运动预测信息进行校正的情况下，计算所述编码对象图像和与作为所述校正对象的颜色成分的至少一个运动预测信息有关的参考图像之间的第一图片间差值、以及所述编码对象图像和代替所述校正对象的颜色成分的至少一个运动预测信息而使用与其它颜色成分相对应的运动预测信息的情况下的参考图像之间的第二图片间差值；
在所计算出的第一图片间差值和所计算出的第二图片间差值的差等于或小于预定值的情况下，输出所述校正对象的颜色成分的校正后的运动预测信息和其它颜色成分的运动预测信息作为所述编码参数；以及
在所计算出的第一图片间差值和所计算出的第二图片间差值的差大于所述预定值的情况下，输出所述校正对象的颜色成分的未校正的运动预测信息和其它颜色成分的运动预测信息作为所述编码参数。
15.一种运动图像编码设备的控制方法，所述运动图像编码设备用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述控制方法包括以下步骤：
获得构成所述运动图像的所述多个颜色成分；
针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的运动矢量；
判断各颜色成分的运动矢量的相关关系；
基于所述相关关系的判断结果来确定要作为校正对象的颜色成分；
使用与其它颜色成分中的至少一个颜色成分相对应的运动矢量来对所确定出的颜色成分的运动矢量进行校正；以及
使用校正后的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，在颜色成分的运动矢量之间的距离大于或等于预定值的情况下，将除矢量间距离最小的颜色成分以外的颜色成分确定为所述校正对象。
16.一种运动图像编码设备的控制方法，所述运动图像编码设备用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述控制方法包括以下步骤：
获得构成所述运动图像的所述多个颜色成分；
针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的运动矢量；
判断各颜色成分的运动矢量的相关关系；
基于所述相关关系的判断结果来确定要作为校正对象的颜色成分；
使用与其它颜色成分中的至少一个颜色成分相对应的运动矢量来对所确定出的颜色成分的运动矢量进行校正；以及
使用校正后的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，将所述多个颜色成分中的预定颜色成分的运动矢量设置为基准矢量；以及
在所述基准矢量和除所述预定颜色成分以外的各颜色成分的运动矢量之间的距离大于或等于预定值的情况下，将除所述预定颜色成分以外的颜色成分确定为所述校正对象，并将所确定出的颜色成分的运动矢量校正为所述基准矢量。
17.一种运动图像编码设备的控制方法，所述运动图像编码设备用于按颜色成分对包括多个颜色成分的运动图像进行运动预测编码，所述控制方法包括以下步骤：
获得构成所述运动图像的所述多个颜色成分；
针对各颜色成分，生成用于对所获得的颜色成分的编码对象图像进行预测编码的运动矢量和参考图像编号；
判断所述多个颜色成分的参考图像编号的相关关系；
基于所述相关关系的判断结果来确定要作为校正对象的颜色成分；
使用与其它颜色成分中的至少一个颜色成分相对应的运动矢量和参考图像编号来对所确定出的颜色成分的运动矢量和参考图像编号进行校正；以及
使用校正后的编码参数来对各颜色成分的所述编码对象图像进行预测编码，
其中，在作为该判断的结果、仅一个颜色成分不具有相关性的情况下，将该一个颜色成分确定为所述校正对象，以及
在所述多个颜色成分的参考图像编号不具有相关性的情况下，将除表示与所述编码对象图像最相似的参考图像的参考图像编号的颜色成分以外的颜色成分确定为所述校正对象，使用其它颜色成分的参考图像编号来对该所确定出的颜色成分的参考图像编号进行校正，并且使用与作为所述校正对象的颜色成分的未校正的参考图像编号所表示的参考图像和校正后的参考图像编号所表示的参考图像之间的距离相对应的比例计算，来对校正了参考图像编号的作为所述校正对象的颜色成分的运动矢量进行校正。
CN201310680905.3A 2012-12-12 2013-12-12 运动图像编码设备及其控制方法 Expired - Fee Related CN103873865B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-271615 2012-12-12
JP2012271615A JP6151909B2 (ja) 2012-12-12 2012-12-12 動画像符号化装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
CN103873865A CN103873865A (zh) 2014-06-18
CN103873865B true CN103873865B (zh) 2017-04-12

Family

ID=50880951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310680905.3A Expired - Fee Related CN103873865B (zh) 2012-12-12 2013-12-12 运动图像编码设备及其控制方法

Country Status (3)

Country Link
US (1) US9641838B2 (zh)
JP (1) JP6151909B2 (zh)
CN (1) CN103873865B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410513B2 (ja) * 2014-08-07 2018-10-24 キヤノン株式会社 画像符号化装置及び方法
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
JP6875821B2 (ja) 2016-10-19 2021-05-26 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法およびプログラム
CA3060089C (en) * 2017-04-21 2023-06-13 Zenimax Media Inc. Player input motion compensation by anticipating motion vectors
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
GB2569557B (en) 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
EP3761640A4 (en) * 2018-02-28 2022-01-12 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE ASSOCIATED, AND DECODED METHOD AND DEVICE ASSOCIATED
CN113032274B (zh) * 2021-04-07 2021-09-10 北京电信易通信息技术股份有限公司 一种针对h.265的cabac连续图像验证的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491105A (zh) * 2006-07-14 2009-07-22 索尼株式会社 再生装置、再生方法和程序
CN101616329A (zh) * 2003-07-16 2009-12-30 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US20110243436A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding image based on segments
WO2011155378A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法
CN102450018A (zh) * 2009-05-29 2012-05-09 三菱电机株式会社 影像编码装置、影像解码装置、影像编码方法及影像解码方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
JP4557752B2 (ja) * 2005-03-07 2010-10-06 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4630174B2 (ja) 2005-11-14 2011-02-09 日本放送協会 動きベクトル検出装置
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
EP2200326A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Method and device for encoding a block of an image using a reference block of a further image, data carrier carrying an encoded block of an image and method for decoding a block of an image
JP5684823B2 (ja) * 2009-11-06 2015-03-18 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ハイブリッド映像符号化

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616329A (zh) * 2003-07-16 2009-12-30 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
CN101491105A (zh) * 2006-07-14 2009-07-22 索尼株式会社 再生装置、再生方法和程序
CN102450018A (zh) * 2009-05-29 2012-05-09 三菱电机株式会社 影像编码装置、影像解码装置、影像编码方法及影像解码方法
US20110243436A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding image based on segments
WO2011155378A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
CN103873865A (zh) 2014-06-18
US20140161185A1 (en) 2014-06-12
JP6151909B2 (ja) 2017-06-21
JP2014116902A (ja) 2014-06-26
US9641838B2 (en) 2017-05-02

Similar Documents

Publication Publication Date Title
CN103873865B (zh) 运动图像编码设备及其控制方法
Korhonen Two-level approach for no-reference consumer video quality assessment
CN105519109B (zh) 对在低光照中捕获的视频进行编码
CN101778222B (zh) 图像处理装置
CN100596165C (zh) 图像处理装置及其方法
CN110463201A (zh) 使用参考块的预测方法和装置
CN107439012A (zh) 高动态范围视频编码中的在环且基于块的图像再成形
CN105791861A (zh) 定向内插和数据后处理
US20130169834A1 (en) Photo extraction from video
JP2008083894A (ja) プログラム、検出方法、及び検出装置
WO2005084036A1 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
CN101375593A (zh) 处理多视图视频
US20160255356A1 (en) Evaluation Measure for Images
CN111047529A (zh) 一种基于机器学习的视频处理方法
US20110249747A1 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
CN101938649B (zh) 译码设备、译码控制设备、译码方法和程序
CN102067582A (zh) 颜色调整
CN107646194A (zh) 用于视频运动补偿的装置和方法
CN101185339B (zh) 图像解码设备和图像数据解码方法、图像编码设备及方法
US8855213B2 (en) Restore filter for restoring preprocessed video image
CN101945277B (zh) 处理多视图视频
KR20180104603A (ko) 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2022174469A1 (zh) 一种光照补偿方法、编码器、解码器及存储介质
CN102822868B (zh) 一种用于重新生成视频流的数字图像的背景的方法
Su et al. A novel source mpeg-2 video identification algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20201212