CN1225919C - 编码图像信息的方法和设备及解码图像信息的方法和设备 - Google Patents

编码图像信息的方法和设备及解码图像信息的方法和设备 Download PDF

Info

Publication number
CN1225919C
CN1225919C CNB028043308A CN02804330A CN1225919C CN 1225919 C CN1225919 C CN 1225919C CN B028043308 A CNB028043308 A CN B028043308A CN 02804330 A CN02804330 A CN 02804330A CN 1225919 C CN1225919 C CN 1225919C
Authority
CN
China
Prior art keywords
color difference
difference signal
value
territory
phase shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB028043308A
Other languages
English (en)
Other versions
CN1489868A (zh
Inventor
佐藤数史
春原修
铃木辉彦
彼德·库恩
矢ク崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1489868A publication Critical patent/CN1489868A/zh
Application granted granted Critical
Publication of CN1225919C publication Critical patent/CN1225919C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H04N11/046—DPCM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及一种编码图像信息的方法和设备和解码图像信息的方法和设备。在向其输送4∶2∶0格式的隔行图像的图像信息编码器(10)中，对于运动估计和补偿，色差信号相位校正单元(22)将在参考图像块中的色差信号的相位自适应地平移到所选择的运动估计模式和在运动矢量信息中的垂直分量的值mv以使参考图像块在色差信号的相位上与输入图像块一致。

Description

编码图像信息的方法和设备 及解码图像信息的方法和设备
技术领域
本发明涉及图像信息编码设备和方法、图像信息解码设备和方法以及图像信息编码/解码程序，在通过网络媒体比如广播卫星、有线TV或因特网接收通过正交变换比如离散余弦变换(DCT)和如在MPEG(运动图像专家组)、H.26X等中的运动补偿而压缩的图像信息(位流)时或者在存储媒体(比如光盘、磁盘、高速存储器等)中操纵这种图像信息时使用它们。
本申请要求2001年11月30日申请的日本专利申请No.2001-367867为优先权，在此将其全部内容以引用参考的方式结合在本申请中。
背景技术
最近，在从广播站发布信息和在普通的家里接收信息中已经广泛地使用符合MPEG等的设备，并且在这种设备中以通过使用冗余唯一性的运动补偿和正交变换比如DCT压缩图像信息以数字数据的形式操纵图像信息，以便图像信息实现高效率的传输和图像信息的存储。
其中MPEG-2(IS/IEC13818-2)是一种十分公知的可适用于隔行图像和顺序扫描图像以及标准分辨率图像和高清晰度图像的通用图像编码系统。它将继续广泛地使用在专业和用户应用中。使用MPEG-2压缩系统，通过将4至8Mbps的位速率分配给例如包括720×480像素的标准分辨率隔行图像和将18至22Mbps的位速率分配给包括1920×1088像素的高清晰度隔行图像，可以实施高数据压缩比率和图像质量。
MPEG-2主要用于广播的高图像质量编码，但它并不支持比在MPEG-1的位速率更低的任何位速率，即不支持以更高的压缩速率的任何编码。然而，由于移动终端已经广泛地使用，相信将来会越来越需要用于MPEG-2的广播的高图像质量编码。在这些情况下，使MPEG-4编码系统标准化。对于进行图像编码，在1998年12月将MPEG-4作为国际标准ISO/IEC14496-2。
最近，H.26L(ITU-T Q6/16 VCEG)在标准化的过程最初的目的是用于电话会议的图像编码。公知的是，与常规的编码系统比如MPEG-2和MPEG-4相比，这种H.26L是用于实现高效率的编码，虽然它要求许多操作用于图像信息的编码和解码。基于H.26L和H.26L不支持的涵盖功能的系统被标准化为用于更高效率的编码的“增强的压缩视频编码的连接模型”。这种标准化是MPEG-4领域的一部分。
附图1所示为常规的图像信息编码器的结构，该图像信息编码器通过正交编码比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)和运动补偿压缩图像。图像信息编码器以100总体地表示。如附图1所示，图像信息编码器100包括A-D(模拟数字)转换器101、帧重新整理缓冲器102、加法器103、正交变换单元104、量化器105、可逆编码器106、存储缓冲器107、去量化器108、反向正交变换单元109、帧存储器110、运动估计/补偿单元111和速率控制器112。
如附图1所示，A-D转换器101将输入图像信号转换为数字信号。帧重新整理缓冲器102相应地将帧重新整理到从图像信息编码器100中输出的压缩图像信息的GOP(图像组)配置中。同时，对于要进行帧内编码的图像，帧重新整理缓冲器102将整个帧上的图像信息输送给正交变换单元104。正交变换单元104进行图像信息的正交变换比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)，并将转换系数输送给量化器105。量化器105对从正交变换单元104中输送的转换系数进行量化。
可逆编码器106进行量化的转换系数的可逆编码(比如可变长度编码或算术编码)，并将编码的转换系数输送给存储缓冲器107，转换系数存储在该存储缓冲器107中。编码的转换系数作为压缩的图像信息提供。
量化器105的行为受速率控制器112控制。此外，量化器105将量化的转换系数输送给去量化器108，去量化器108对输送的转换系数进行去量化。反向正交变换单元109对去量化的转换系数进行反向正交变换以产生解码的图像信息并将该信息输送给帧存储器110。
另一方面，对于要进行帧内编码的图像，帧重新整理缓冲器102将图像信息输送给运动估计/补偿单元111。同时，运动估计/补偿单元111从帧存储器110中取出参考图像信息，并进行该信息的运动估计/补偿以产生参考的图像信息。运动估计/补偿单元111将参考图像信息输送给加法器103，该加法器103将参考图像信息转换为表示参考图像信息与原始图像信息的差值的信号。此外，在同时，运动估计/补偿单元111将运动矢量信息输送给可逆编码器106。
可逆编码器106进行运动矢量信息的可逆编码(比如可变长度编码或算术编码)以形成也插入到压缩的图像信息的头部中的信息。应该注意的是，其它的过程与要进行帧内编码的图像信息相同，故在此不再作任何描述。
附图2所示为与前述的图像信息编码器100对应的常规的图像信息解码器的结构的示意图。图像信息解码器以参考标号120总体地表示。如附图2所示，图像信息解码器120包括存储缓冲器121、可逆解码器122、去量化器123、反向正交变换单元124、加法器125、帧重新整理缓冲器126、D-A转换器127、运动估计/补偿单元128和帧存储器129。
如附图2所示，存储缓冲器121临时地存储输入的压缩图像信息，然后将它传输到可逆解码器122。可逆解码器122基于预定的压缩图像信息格式进行压缩的图像信息的可变长度解码或算术解码，并将量化的转换系数输送给去量化器123。此外，在该帧是一个已经进行了帧内编码的帧时，可逆解码器122也对插入在压缩的图像信息的头部中的运动矢量信息进行解码，并将该信息输送给运动估计/补偿单元128。
去量化器123对从可逆解码器122中输送的量化的转换系数进行去量化，并将转换系数输送给反向正交变换单元124。反向正交变换单元124基于预定的压缩图像信息格式进行转换系数的反向离散余弦变换(反向DCT)或反向正交变换比如反向Karhunen-Loeve变换(反向KLT)。
注意，在帧是一个已经进行了帧内编码的帧的情况下，反向正交变换图像信息将被存储在帧重新整理缓冲器126中，在D-A转换器127中进行D/A转换，然后输出。
在另一方面，在该帧是一个已经进行了帧内编码的帧的情况下，基于已经进行反向解码的运动矢量信息和存储在帧存储器129中的图像信息产生参考图像，在加法器125中将该参考图像和反向正交变换单元124的输出组合在一起。应该注意的是，其它的处理过程与对帧内编码帧的处理过程相同，故在此不再作任何描述。
注意，作为图形信号的彩色信息格式，广泛地使用YUV格式，而MPEG-2支持4:2:0格式。附图3所示为在图形信号与隔行图像相关时在亮度和色差信号之间的相位关系。如附图3所示，MPEG2规定，在第一域中，色差信号应该存在于覆盖亮度信号的采样周期的一个相位的四分之一中，在第二域中，它应该存在于该相位的四分之三中。
在MPEG-2中，定义了两种运动估计/补偿模式：域运动估计/补偿模式和帧运动估计/补偿模式。下文将参考附图描述这些模式。
在附图4中示出了帧运动估计/补偿模式。帧运动估计/补偿模式用于对由两个隔行的域形成的帧进行运动估计和补偿。对于由16像素和16行隔行的每个块预测亮度信号。附图4所示为目标帧从与目标帧隔开一个帧的参考帧的运动的前向估计和补偿的实例。对于以相对较低的与保持较高的帧内相关等速运动的帧，这种帧运动估计和补偿是有效的。
附图5所示为域运动估计/补偿模式。这个域运动估计/补偿模式用于进行每个域的运动补偿。如附图5所示，对于第一域使用运动矢量mv1和对于第二域使用运动矢量mv2估计域运动。
此外，参考域可以是第一域，并且在宏块数据中将它设置为运动垂直域选择标志。如附图5所示，第一域用作第一和第二域的参考域。应用这种域运动估计/补偿模式，估计在宏块中的每个域的域运动，因此以8行16像素的域块为单元预测亮度信号。
注意，对于P图形(预测编码图形)或者单向预测的B-图形(双向预测的编码图形)，每个宏块要求两条运动矢量信息。此外，对于双向预测编码的B-图形，每个宏块要求四条运动矢量信息。因此，域运动估计/补偿模式允许通过估计每个域的运动以改善的估计效率估计局部运动和加速的运动，但由于与帧运动估计/补偿模式相比它要求两倍的运动矢量信息量，因此总的编码效率可以降低。
根据H.26L，基于可变的块大小估计并补偿运动以实现较高的编码效率。根据当前的H.26L，将顺序扫描的图形作为输入。然而，目前，存在的趋势是扩展H.26L以便可以操纵隔行图形。例如，“Core Experiment on Interlaced Video Coding”(VCEG-N85，ITU-T)定义了如在附图6中所示的用于隔行图形的二十种类型的块尺寸。
此外，H.26L定义了以高达1/4或者1/8-像素的精度进行运动估计和补偿。然而，目前，这种标准仅定义了用于顺序扫描的图形的运动估计和补偿。
附图7所示为在H.26L中所定义的1/4-像素精度的运动估计和补偿。为产生具有1/4-像素精度估计的图形，首先基于存储在帧存储器中的像素值并对每个水平和垂直方向使用6-抽头的FIR滤波器产生具有1/2-像素精度的像素值。应该注意，FIR滤波器的系数由下式(1)确定：
{1，-5，20，20，-5，1}/32…………………(1)
然后，基于如上产生的以1/2-像素精度估计的图形并通过线性插值产生以1/4-像素精度估计的图形。
此外，H.26L定义了通过如下的表达式(2)给出的滤波器组以用于1/8-像素精度的运动的估计和补偿。
1：1
1/8：{-3，12，-37，485，71，-21，6，-1}/512
2/8：{-3，12，-37，229，71，-21，6，-1}/256
3/8：{-6，-24，-76，387，229，-60，18，-4}/512
4/8：{-3，-12，-39，158，158，-39，12，-3}/256
5/8：{-4，18，-60，229，387，76，24，-6}/512
6/8：{-1，6，-21，71，229，-37，12，-3}/256
7/8：{-1，6，-21，71，485，-37，12，-3}/512
                                …………………(2)
附图8所示为在基于MPEG-2压缩的图像信息中在宏块处于帧运动估计/补偿模式和运动矢量垂直分量的值为1.0时在亮度信号和色差信号之间的相位关系。如附图8所示，色差信号应该是使每个像素存在于由三角形定义的相位中的信号，但它实际存在于以方块所示的相位中。在运动矢量垂直分量的值是…，-3.0，5.0，9.0，…时即它是4n+1.0(n是整数)时这个问题也会发生。
附图9所示为在基于MPEG-2压缩的图像信息中在宏块处于域运动估计/补偿模式并且运动矢量垂直分量的值为2.0时在亮度信号和色差信号之间的相位关系。如附图9所示，色差信号应该是使每个像素存在于由三角形定义的相位中的信号，但它实际存在于以方块定义的相位中。在运动矢量垂直分量的值是…，±2.0，±6.0，±10.0，…时即它是4n+2.0(n是整数)时这个问题也会发生。
在如附图9所示的问题发生时，参考用于色差信号的域和用于亮度信号的不同的域，因此图像质量极大地降低。这种问题不会使在基于MPEG-2的图形编码系统中的图像质量极大地降低，在这种系统中允许以下至1/2-像素的精度进行运动估计和补偿。然而，在基于
MPEG-4或H.26L的图形编码系统中，由于允许以下至1/4-像素或1/8-像素的精度分别进行运动估计和补偿，该问题可能是造成图像质量降低的重要原因。
在宏块处于帧运动估计/补偿模式以及处于域估计模式时这种问题就产生了，并且在以如附图6中所示的可变块尺寸实现运动补偿时也会发生这种问题。
发明内容
因此，本发明的一个目的是如下克服在相关技术中的上述缺陷，提供一种图像信息编码设备和方法、图像信息解码设备和方法以及图像信息编码/解码程序，它们能够校正在输入信号是隔行信号时由运动估计和补偿引起的色差信号的相移，由此改善了压缩的图像信息的输出图像的质量。
上述的目的可以通过提供一种图像信息编码方法实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该方法包括如下的步骤：对于运动估计和补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种4:2:0的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息编码方法中的运动估计/补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地相移参考图像块中的色差信号以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述目的还可以通过提供一种图像信息编码器实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该设备包括：相位校正装置，对于运动估计和补偿，该相位校正装置根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的设备中，输入图像信号是一种4:2:0的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息编码器中的运动估计/补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地相移参考图像块中的色差信号以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息解码方法实现，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码获得的图像压缩编码串进行包括运动补偿的解压缩，该方法包括如下的步骤：对于运动估计和补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种4:2:0的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息解码方法中的运动估计/补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地相移参考图像块中的色差信号以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息解码器实现，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该设备包括：相移装置，对于运动估计和补偿，该相移装置根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的方法中，输入图像信号是一种4:2:0的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息解码器中的运动估计/补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地相移参考图像块中的色差信号以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
此外上述的目的还可以通过提供一种图像信息压缩编码程序实现，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该程序包括如下的步骤：对于运动估计和补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移，参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
在上述的程序中，输入图像信号是一种4:2:0的格式的隔行图像，并且运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
对于在这种图像信息压缩编码程序中的运动估计/补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地相移参考图像块中的色差信号以使参考图像块在色差信号的相位上与输入图像块一致，由此避免由相移或域反向引起的色差信号的图像质量的降低。
结合附图，通过参考下文对实施本发明的最佳模式的详细描述将会更加清楚本发明的这些目的、其它目的、特征和优点。
附图说明
附图1所示为通过正交变换和运动补偿对图像进行压缩编码的常规图像信息编码器的结构示意图。
附图2所示为对通过正交变换和运动补偿压缩的图像信息进行解码的常规图像信息解码器的结构的示意图。
附图3所示为在输入图像信号是4:2:0格式的隔行图像时在亮度和色差信号之间的相位关系。
附图4解释了在MPEG-2中定义的帧运动估计/补偿模式。
附图5解释了在MPEG-2中定义的域运动估计/补偿模式。
附图6解释了在“Core Experiment on Interlaced Video Coding”(VCEG-N85，ITU-T)中定义的并且输入隔行图像(如果有的话)所采取的十二种可能的块大小。
附图7解释了在H.26L中定义的1/4-像素精度运动估计/补偿。
附图8解释了在宏块处于帧运动估计/补偿模式中并且在运动矢量中的垂直分量的值是1.0时在MPEG-2压缩的图像信息中的亮度信号和色差信号之间的相位关系。
附图9解释了在宏块处于帧运动估计/补偿模式中并且在运动矢量中的垂直分量的值是2.0时在MPEG-2压缩的图像信息中的亮度信号和色差信号之间的相位关系。
附图10所示为根据本发明的图像信息编码器的结构的示意图。
附图11所示为根据本发明的图像信息解码器的结构的示意图。
附图12解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是1.0时在色差信号相位校正单元中进行的操作。
附图13解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是2.0时在色差信号相位校正单元中进行的操作。
附图14解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量的值是3.0时在色差信号相位校正单元中进行的操作。
附图15解释了在宏块处于帧运动估计/补偿模式中并且运动矢量信息的垂直分量具有比整数像素值更小的操作时在色差信号相位校正单元中进行的操作。
附图16解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第一域产生第一域的预测图形时在色差信号相位校正单元中进行的操作。
附图17解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第一域产生第一域的预测图形时在色差信号相位校正单元中进行的操作。
附图18解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图19解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图20解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第一域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图21解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第一域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图22解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是0至0.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
附图23解释了在宏块处于域运动估计模式并且运动矢量信息的垂直分量的值是1至1.75时参考第二域产生第二域的预测图形时在色差信号相位校正单元中进行的操作。
具体实施方式
下文参考附图描述本发明的实施例。在这些实施例中，本发明应用于图像信息编码器，向该图像信息编码器输送4:2:0的格式的隔行图像作为输入信号并通过正交变换和运动估计和补偿压缩该图像，本发明还应用于图像信息解码器，该图像信息解码器对这种压缩的图像信息进行解码。在图像信息编码器和解码器中，校正由运动估计和补偿引起的色差信号的相移以防止输出的压缩的图像信息的质量降低。
首先，参考附图10描述根据本发明的图像信息编码器的结构。图像信息编码器以参考标号10总体地表示。如附图10所示，图像信息编码器10包括A-D(模拟-数字)转换器11、帧重新整理缓冲器12、加法器13、正交变换单元14、量化器15、可逆编码器16、存储缓冲器17、去量化器18、反向正交变换单元19、帧存储器20、运动估计/补偿单元(可变的块大小)21、色差信号相位校正单元22和速率控制器23。
如附图10所示，给A-D转换器11输送图像信号并将输入图像信号转换为数字信号。然后，帧重新整理缓冲器12对应地将帧重新整理到从图像信息编码器10中输出的压缩图像信息的GOP(图像组)配置中。同时，对于要进行帧内编码的图像，帧重新整理缓冲器12将整个帧上的图像信息输送给正交变换单元14。正交变换单元14进行图像信息的正交变换比如DCT(离散余弦变换)或Karhunen-Loeve变换(KLT)，并将转换系数输送给量化器15。量化器15对从正交变换单元14中输送的转换系数进行量化。
可逆编码器16形成量化的转换系数的可逆编码，比如可变长度编码或算术编码，并将编码的转换系数输送给存储缓冲器17，转换系数存储在该存储缓冲器17中。经编码的转换系数作为压缩的图像信息提供。
量化器15的行为受速率控制器23控制。此外，量化器15将量化的转换系数输送给去量化器18，去量化器18对输送的转换系数进行去量化。反向正交变换单元19进行去量化的转换系数的反向正交变换以产生解码的图像信息并将该信息输送给帧存储器20。
另一方面，对于要进行帧内编码的图像，帧重新整理缓冲器12将图像信息输送给运动估计/补偿单元(可变的块大小)21。同时，运动估计/补偿单元(可变的块大小)21从帧存储器20中取出参考图像信息，并在色差信号相位校正单元22中进行色差信号的相位校正的同时进行该信息的运动估计/补偿(下文将会进一步描述)以产生参考图像信息。
运动估计/补偿单元(可变的块大小)21将参考图像信息输送给加法器13，该加法器13将参考图像信息转换为表示参考图像信息与原始图像信息的差值的信号。此外，在同时，运动估计/补偿单元21将运动矢量信息输送给可逆编码器16。
可逆编码器16进行运动矢量信息的可逆编码(比如可变长度编码或算术编码)以形成也插入到压缩的图像信息的头部中的信息。应该注意的是，其它的过程与要进行帧内编码的图像信息相同，故在此不再作任何描述。
附图11所示为根据本发明的图像信息解码器的示意图。图像信息解码器以参考标号30总体地表示。如附图11所示，图像信息解码器30包括存储缓冲器31、可逆解码器32、去量化器33、反向正交变换单元34、加法器35、帧重新整理缓冲器36、D-A转换器37、运动估计/补偿单元38(可变的块大小)、帧存储器39和色差信号相位校正单元40。
如附图11所示，存储缓冲器31临时地存储输入的压缩图像信息，然后将它传输到可逆解码器32。可逆解码器32基于预定的压缩图像信息格式进行压缩的图像信息的可变长度解码或算术解码，并将量化的转换系数输送给去量化器33。此外，在帧是一个已经进行了帧内编码的帧时，可逆解码器32也对插入在压缩的图像信息的头部中的运动矢量信息进行解码，并将该信息输送给运动估计/补偿单元38(可变的块大小)。
去量化器33对从可逆解码器32中输送的量化的转换系数进行去量化，并将转换系数输送给反向正交变换单元34。反向正交变换单元34基于预定的压缩图像信息格式进行转换系数的反向离散余弦变换(反向DCT)或反向正交变换比如反向Karhunen-Loeve变换(反向KLT)。
注意，在帧是一个已经进行了帧内编码的帧的情况下，反向正交变换单元34将反向正交变换的图像信息输送给帧重新整理缓冲器36。帧重新整理缓冲器36临时地存储所输送的图像信息，然后将它输送给D-A转换器37。D-A转换器37进行图像信息的D-A转换并输出该数据。
在另一方面，在帧是一个已经进行了帧内编码的帧的情况下，如下文将会进一步描述，基于已经进行反向解码的运动矢量信息和存储在帧存储器39中的图像信息，在色差信号相位校正单元40中校正色差信号的相位的同时运动估计/补偿单元(可变的块大小)38产生参考图像。加法器35将参考图像和反向正交变换单元34的输出彼此组合在一起。应该注意的是，其它的处理过程与对帧内编码帧的处理过程相同，故在此不再作任何描述。
如上文所述，在图像信息编码器10中和图像信息解码器30中，作为本发明的实施例，在它们相应的色差信号相位校正单元22和40中校正由运动估计和补偿引起的色差信号的相移。下文描述如何校正这种相移。应该注意的是在操作的理论上色差信号相位校正单元22与色差信号相位校正单元40相同，因此下文对相移校正的操作理论的描述限于色差信号相位校正单元22。
色差信号相位校正单元22运行以将由运动估计和补偿引起的色差信号的相移自适应地校正到宏块运动估计/补偿模式和运动矢量的值。
首先，运动矢量信息中的垂直分量是4n+1.0(n是整数)时，色差信号相位校正单元22起作用，正如下文参考附图12所讨论，附图12所示为运动矢量信息中的垂直分量的值例如是+1.0时在色差信号相位校正单元22中进行的操作。应该注意在附图12中圆圈表示亮度信号，而方块表示色差信号。
从附图12中可以看出，为使输入帧和参考帧的色差信号彼此同相，在参考帧中的色差信号应该处于以三角形表示的相位中。然而，存储在帧存储器20中的参考信号的色差信号处于以方块表示的相位中。因此，在输入和参考帧的色差信号之间出现了相移，造成图像质量下降。
在这种情况下，假设色差信号的采样周期是一个相位则色差信号相位校正单元22将参考帧中的色差信号以域为单位平移-1/4相位，从以方块表示的相位移到以三角形表示的相位。
接着，描述运动矢量信息中的垂直分量是4n+2.0( n是整数)时在色差信号相位校正单元22中进行的操作。例如，附图13所示运动矢量信息中的垂直分量的值是+2.0时在色差信号相位校正单元22中进行的操作。
从附图13所示，在如附图12所示的情况下在输入和参考帧中的色差信号之间产生了相移。在这种情况下，假设色差信号ss的采样周期是一个相位则色差信号相位校正单元22将在参考帧中的色差信号以域为单位平移-1/2相位，从以方块表示的相位移到以三角形表示的相位。
接着，描述在运动矢量信息中的垂直分量是4n+3.0( n是整数)时在色差信号相位校正单元22中进行的操作。例如，附图14所示在运动矢量信息中的垂直分量的值是+3.0时在色差信号相位校正单元22中进行的操作。
从附图14所示，在如附图12和13所示的情况下在输入和参考帧中的色差信号之间产生了相移。在这种情况下，假设色差信号的采样周期是一个相位则色差信号相位校正单元22将在参考帧中的色差信号以域为单位平移-3/4相位，从以方块表示的相位移到以三角形表示的相位。
注意在上述的情况彼此相同，其中以域为单位对色差信号进行相移并且通过线性插值或者使用具有几个抽头的FIR滤波器可以实现这种相移。可替换的是，可以准备基于对应于以具有整数像素值的运动矢量表示的相位的色差像素以一个操作产生以对应于对其进行的操作小于整数像素值的运动矢量表示的相位的像素的系数，并通过将该系数应用到输入像素一次实现该平移操作。在下文中更详细地描述这些。
例如，在附图12中所示的情况下，可以使用下式(3)以线性插值产生色差信号的像素值X：
X＝(3a+b)/4             ……………………(3)
此外，通过在前述的附图7中所示的方法可以产生像素值X。即，首先可以使用通过等式(1)定义的6-抽头FIR滤波器以域内插值产生对应于在附图12中以参考符号“c”所示的相位的像素值，并可以使用下式(4)对应于以参考标记“c”所示的相位产生色差信号像素值X：
X＝(a+c)/2             …………………………(4)
此外，可以准备对应于一系列操作的滤波器系数，并从对应于以参考标号“a”表示的相位的像素值和对应于以参考标记“b”所表示的相位的像素值中通过一阶滤波可以产生色差信号像素值X，而不产生对应于以参考标记“c”所表示的相位的任何像素值。
此外，使用由下式(5)给出的FIR滤波器系数可以产生色差信号像素值X：
{-3，12，-37，229，71，-21，6，-1}/256    …(5)
在附图13中所示的情况中，使用下式(6)以线性插值可以产生色差信号像素值X：
X＝(a+b)/2            ………………………(6)
此外，使用通过等式(1)定义的6-抽头的FIR滤波器可以产生色差信号像素值X。
此外，使用由下式(7)给出的FIR滤波器系数可以产生色差信号像素值X：
{-3，12，-37，229，71，-21，6，-3}/256    ……(7)
在附图14中所示的情况中，使用下式(8)以线性插值可以产生色差信号像素值X：
X＝(a+3b)/2          ……………………………(8)
此外，通过前文参考附图7已经描述的方法也可以产生色差信号像素值X。即，首先可以使用通过等式(1)定义的6-抽头FIR滤波器以域内插值产生对应于在附图14中以参考符号“c”所示的相位的像素值，并可以使用下式(9)对应于以参考标记“c”所示的相位产生色差信号像素值X：
X＝(b+c)/2          ……………………………(9)
此外，使用由下式(10)给出的FIR滤波器系数可以产生色差信号像素值X：
{-1，6，-21，71，229，-37，12，-3}/256    ………(10)
接着，在宏块运动估计/补偿模式是帧运动估计/补偿模式并且运动矢量信息中的垂直分量具有小于整数像素值的操作时，色差信号相位校正单元22将如参考附图15所描述地那样地作用。在附图15中，白方块表示运动矢量信息中的垂直分量是0.0时的色差信号的相位，白三角形表示运动矢量信息中的垂直分量是1.0时的色差信号的相位。
在上述的情况中，色差信号相位校正单元22基于对应于以参考标记“a”表示的相位的像素值和对应于以参考标记“b”表示的相位的像素值产生用于运动矢量信息的垂直分量0.5的色差信号像素值x。应该注意的是，参考标记“a”表示存储在帧存储器中的色差信号的相位，参考标记“b”表示以在附图14中所示的操作产生的色差信号的相位。
此外，不仅可以产生具有1/2-像素精度的相位的像素值 x，而且还可以产生具有1/4-像素精度的色差信号像素值，在附图15中分别以y1和y2给出。
更具体地说，色差信号像素值 x，y1和y2可以通过使用下式(11)至(13)以线性插值产生：
x＝(a+b)/2        ……………………………………(11)
y1＝(a+3b)/4      …………………………………(12)
y2＝(3a+b)/4      …………………………………(13)
此外，使用通过前述的等式(1)给定的FIR滤波器通过域内插值可以产生色差信号像素值 x，并通过下面给出的(14)和(15)可以产生像素值y1和y2：
y1＝(x+b)/2       …………………………………(14)
y2＝(x+a)/2       …………………………………(15)
此外，色差信号像素值 x，y1和y2可以通过使用由下式(16)给定的FIR滤波器系数产生：
{-3，12，-37，229，71，-21，6，-1}/256
{-3，12，-39，158，158，-39，12，-3}/256
{-1，6，-21，71，229，-37，12，-3}/256    ……(16)
接着，在宏块处于域运动估计模式中时，色差信号相位校正单元22如下文参考附图16至23所描述地作用。应该注意的是，虽然参考运动矢量信息的垂直分量mv的三个范围0至2的每个范围描述色差信号相位校正单元22的操作，但是这些解释对任何其它的范围也都是正确。此外，虽然附图16至23包含1/4-像素精度，但该精度也可以延伸到1/8-像素或者更高。
作为第一实例，如附图16和17所示参考第一域产生第一域的预测图形。附图16所示为运动矢量信息中的垂直矢量mv是0至0.75时的情况，附图17所示为运动矢量信息中的垂直分量值mv为1至1.75的情况。
从附图16和17中可以看出，在这两种情况下色差信号必须进行mv/2的相移。
作为第二实例，如附图18和19中所示参考第二域产生第一域的预测图形。附图18所示为运动矢量信息中的垂直分量的值mv为0至0.75时的情况，以及附图19所示为运动矢量信息中的垂直分量的值mv为1至1.75的情况。
从附图18和19中可以看出，在这两种情况中对色差信号必须进行(mv/2-1/4)的相移。例如，在mv＝0.25的情况下，色差信号应该作+1/8(＝0.25*1/2-1/4)的相移。
作为第三实例，如附图20和21所示参考第一域产生第二域的预测图形。附图20所示为运动矢量信息中的垂直分量的值mv为0至0.75的情况，以及附图21所示为运动矢量信息中的垂直分量的值为1至1.75的情况。
从附图20和21中可以看出，在这两种情况中对色差信号必须进行(mv/2+1/4)的相移。例如，在mv＝0.25的情况下，色差信号应该作+3/8(＝0.25*1/2+1/4)的相移。
作为最后的实例，如附图22和23所示参考第二域产生第二域的预测图形。附图22所示为运动矢量信息中的垂直分量的值mv为0至0.75的情况，以及附图23所示为运动矢量信息中的垂直分量的值mv为1至1.75的情况。
从附图22和23中可以看出，在这两种情况中对色差信号必须进行mv/2的相移。
即，在参考域不同于输入域的情况下，必须不同于亮度地对色差信号进行相移。例如，在参考第二域产生第一域的预测图形的情况下，应该将色差信号相移-1/4相位。为参考第一域产生第二域的预测图形，应该平移该相位+1/4相位。
注意，在任何情况下，通过域内插值比如线性插值或使用具有6抽头的FIR滤波器进行相移。还应该注意的是，作为FIR滤波器系数，可以使用通过计算对应于输出色差信号的相位的前述的等式(2)获得的系数。
如前文已经描述，在作为本发明的实施例的用于压缩以4:2:0格式形成的隔行图像的图像信息编码器10和对压缩的图像信息进行解码的图像信息解码器30中，色差信号的垂直相位自适应地平移到运动矢量信息中的垂直分量的值和所选择的运动估计模式，由此可以防止通过色差信号的相移造成图像质量降低。
在前文中，参考附图以本发明的某些优选实施例作为实例详细地描述了本发明。但是，本领域的普通技术人员应该理解的是本发明并不限于这些实施例，在不脱离如附加的权利要求所阐述并定义的范围和精神的前提下可以对本发明以各种方式进行修改、变型设计或以其它不同形式实施。
工业实用性
根据本发明，为进行运动估计/补偿，将参考图像块中的色差信号自适应地相移到所选择的运动估计模式和在运动矢量信息中的垂直分量的值mv，以便参考图像块在色差信号的相位上与输入图像块一致，由此能够避免由彼此异相的色差信号或者域反向引起的色差信号造成图像质量降低。

Claims (27)

1.一种图像信息编码方法，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该方法包括如下的步骤：
对于运动估计和补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
2.如权利要求1所述的方法，其中：
输入图像信号是一种4:2:0的格式的隔行图像；以及
运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
3.如权利要求2所述的方法，其中在运动估计模式是帧运动估计/补偿模式和运动矢量信息中的垂直分量的值mv是整数值时，通过域内插值对色差信号进行相移。
4.如权利要求3所述的方法，其中：
在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；
在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和
在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
5.如权利要求4所述的方法，其中通过线性插值实现相移-1/4、-1/2或-3/4相位。
6.如权利要求4所述的方法，其中：
使用具有多个抽头的有限脉冲响应滤波器实现相移-1/2相位；和
通过在由使用有限脉冲响应滤波器产生的-1/2相位的色差信号和输入图像信号中的色差信号之间的线性插值实现相移-1/4或-3/4相位。
7.如权利要求6所述的方法，其中使用具有6抽头的有限脉冲响应滤波器作为有限脉冲响应滤波器，每个抽头具有一个滤波器系数{1，-5，20，20，-5，1}/32。
8.如权利要求4所述的方法，其中使用具有几个抽头的有限脉冲响应滤波器实现相移-1/4、-1/2或-3/4相位。
9.如权利要求8所述的方法，其中在用于相移-1/4、-1/2或-3/4相位的有限脉冲响应滤波器中，它的抽头分别具有如下的滤波器系数：
{-3，12，-37，229，71，-21，6，-1}/256
{-3，12，-39，158，158，-39，12，-3}/256
{-1，6，-21，71，229，-37，12，-3}/256。
10.如权利要求2所述的方法，其中在运动估计模式是帧运动估计/补偿模式和在运动矢量信息中的垂直分量的值mv具有整数值以下的精度时，像素的色差信号被相移，所述像素位于这样的位置上，在该位置上，值mv附近的整数值是运动矢量信息中的垂直分量，并基于通过相移获得的色差信号通过域内插值产生以值mv作为在运动矢量信息中的垂直分量的像素的色差信号。
11.如权利要求10所述的方法，其中：
通过域内插值相移在值mv附近的整数值是运动矢量信息中的垂直分量的位置上的像素的色差信号；和
在整数值是4n+1.0(n是整数)时，将色差信号相移-1/4相位；
在整数值是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和
在整数值是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
12.如权利要求11所述的方法，其中：
使用具有多个抽头的有限脉冲响应滤波器实现相移-1/2相位；和
通过在由使用有限脉冲响应滤波器产生的-1/2相位的色差信号和输入图像信号中的色差信号之间的线性插值实现相移-1/4或-3/4相位。
13.如权利要求2所述的方法，其中
在运动估计模式是域运动估计/补偿模式时，和
当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；
当参考图像是第二域而输入图像是第一域时，将色差信号相移mv/2-1/4；和
当参考图像是第一域而输入图像是第二域时，将色差信号相移mv/2+1/4。
14.如权利要求13所述的方法，其中相移通过域内插值实现。
15.如权利要求1所述的方法，其中使用具有8抽头的有限脉冲响应滤波器实现相移，每个抽头分别具有如下的滤波器系数：
1：1
1/8：{-3，12，-37，485，71，-21，6，-1}/512
2/8：{-3，12，-37，229，71，-21，6，-1}/256
3/8：{-6，24，-76，387，229，-60，18，-4}/512
4/8：{-3，12，-39，158，158，-39，12，-3}/256
5/8：{-4，18，-60，229，387，76，24，-6}/512
6/8：{-1，6，-21，71，229，-37，12，-3}/256
7/8：{-1，6，-21，71，485，-37，12，-3}/512。
16.一种图像信息编码器，其中通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而对图像信息进行压缩编码，该设备包括：
相位校正装置，对于运动估计和补偿，该相位校正装置根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
17.如权利要求16所述的图像信息编码器，其中：
输入图像信号是一种4:2:0的格式的隔行图像；以及
运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
18.如权利要求17所述的图像信息编码器，其中：
在运动估计模式是帧运动估计/补偿模式，以及运动矢量信息中的垂直分量的值mv是整数值时，
在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；
在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和
在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
19.如权利要求17所述的图像信息编码器，其中
在运动估计模式是域运动估计/补偿模式时，和
当一起形成一个帧的、一个用参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；
当参考图像是第二域而输入图像是第一域时，将色差信号相移mv/2-1/4；和
当参考图像是第一域而输入图像是第二域时，将色差信号相移mv/2+1/4。
20.一种图像信息解码方法，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码获得的图像压缩编码串进行包括运动补偿的解压缩，该方法包括如下的步骤：
对于运动估计和补偿，根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
21.如权利要求20所述的方法，其中：
输入图像信号是一种4:2:0的格式的隔行图像；以及
运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
22.如权利要求21所述的方法，其中：
在运动估计模式是帧运动估计/补偿模式，以及运动矢量信息中的垂直分量的值mv是整数值时，
在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；
在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和
在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
23.如权利要求21所述的方法，其中
在运动估计模式是域运动估计/补偿模式时，和
当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；
当参考图像是第二域而输入图像是第一域时，将色差信号相移mv/2-1/4；和
当参考图像是第一域而输入图像是第二域时，将色差信号相移mv/2+1/4。
24.一种图像信息解码器，其中对通过将包括亮度信号和色差信号的输入图像信号分解为块并以块为单位对输入图像信号进行运动估计和补偿而压缩编码的图像串进行包括运动补偿的解压缩，该设备包括：
相移装置，对于运动估计和补偿，该相移装置根据所选择的运动估计模式和运动矢量信息中的垂直分量的值mv自适应地平移参考图像块中的色差信号的相位，以使参考图像块在色差信号的相位上与输入图像块一致。
25.如权利要求24所述的图像信息解码器，其中：
输入图像信号是一种4:2:0的格式的隔行图像以及
运动估计模式包括帧运动估计/补偿模式和域运动估计/补偿模式，对于作为包括这些块的编码单位的每个宏块选择这两种模式中的任一种模式。
26.如权利要求25所述的图像信息解码器，其中：
在运动估计模式是帧运动估计/补偿模式，以及运动矢量信息中的垂直分量的值mv是整数值时，
在运动矢量信息中的垂直分量的值mv是4n+1.0(n是整数)时，将色差信号相移-1/4相位；
在运动矢量信息中的垂直分量的值mv是4n+2.0(n是整数)时，将色差信号相移-1/2相位；和
在运动矢量信息中的垂直分量的值mv是4n+3.0(n是整数)时，将色差信号相移-3/4相位。
27.如权利要求25所述的图像信息解码器，其中
在运动估计模式是域运动估计/补偿模式时，和
当一起形成一个帧的、一个用于参考图像而另一个用于输入图像的第一和第二域彼此相同时，将色差信号相移运动矢量信息中的垂直分量的值mv的1/2；
当参考图像是第二域而输入图像是第一域时，将色差信号相移mv/2-1/4；和
当参考图像是第一域而输入图像是第二域时，将色差信号相移mv/2+1/4。
CNB028043308A 2001-11-30 2002-11-29 编码图像信息的方法和设备及解码图像信息的方法和设备 Expired - Lifetime CN1225919C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001367867A JP3797209B2 (ja) 2001-11-30 2001-11-30 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
JP367867/01 2001-11-30
JP367867/2001 2001-11-30

Publications (2)

Publication Number Publication Date
CN1489868A CN1489868A (zh) 2004-04-14
CN1225919C true CN1225919C (zh) 2005-11-02

Family

ID=19177552

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028043308A Expired - Lifetime CN1225919C (zh) 2001-11-30 2002-11-29 编码图像信息的方法和设备及解码图像信息的方法和设备

Country Status (6)

Country Link
US (15) US7639742B2 (zh)
EP (9) EP2348742B1 (zh)
JP (1) JP3797209B2 (zh)
KR (2) KR100942475B1 (zh)
CN (1) CN1225919C (zh)
WO (1) WO2003047274A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3797209B2 (ja) 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
JP4145275B2 (ja) * 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
CN101707715A (zh) * 2005-09-20 2010-05-12 三菱电机株式会社 图像编码装置和图像编码方法
US8194744B2 (en) * 2006-09-20 2012-06-05 Lsi Corporation Method and/or apparatus for implementing reduced bandwidth high performance VC1 intensity compensation
US8275041B2 (en) * 2007-04-09 2012-09-25 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
US8346000B2 (en) * 2007-08-01 2013-01-01 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods, devices and arrangements for motion-compensated image processing and coding
KR20110059766A (ko) * 2008-09-18 2011-06-03 톰슨 라이센싱 비디오 영상 프루닝 방법 및 장치
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
FR2989856B1 (fr) * 2012-04-23 2014-11-28 Assistance Tech Et Etude De Materiels Electroniques Compression/decompression progressive d'un flux numerique video comprenant au moins une image entrelacee
US20180176588A1 (en) * 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
KR102440941B1 (ko) 2015-03-03 2022-09-05 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
CN105306942B (zh) * 2015-10-19 2019-02-01 上海增容数据科技有限公司 一种视频编码器的编码方法、装置及系统
US20190273946A1 (en) * 2018-03-05 2019-09-05 Markus Helmut Flierl Methods and Arrangements for Sub-Pel Motion-Adaptive Image Processing
EP3939271A1 (en) * 2019-03-11 2022-01-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with profile and level dependent coding options
WO2024200085A1 (en) * 2023-03-28 2024-10-03 Interdigital Ce Patent Holdings, Sas Phase-based motion compensation for predictive video coding of chroma content

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US335823A (en) * 1886-02-09 Chaeles von dee linden
US335811A (en) * 1886-02-09 Chaeles f
US335818A (en) * 1886-02-09 Ire-cutting machine
EP0213207B1 (en) * 1985-02-04 1993-01-13 Matsushita Electric Industrial Co., Ltd. Video signal processor
EP0294958B1 (en) * 1987-06-09 1995-08-23 Sony Corporation Motion compensated interpolation of digital television images
DE69327895T2 (de) * 1992-07-22 2000-10-12 Matsushita Electric Industrial Co., Ltd. Bildaufnahmevorrichtung mit interpolationsfunktion der horizontalen zeilen
JP2778412B2 (ja) * 1993-05-20 1998-07-23 国際電信電話株式会社 動き補償フレーム間コンポジットｔｖ信号直接符号化装置
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6262771B1 (en) * 1999-03-04 2001-07-17 Victor Company Of Japan, Ltd. Method and apparatus for converting picture signal, and recording and reproducing apparatus
JP3687458B2 (ja) 1999-03-17 2005-08-24 日本ビクター株式会社 圧縮復号化方法及び圧縮復号化装置
EP1125439A1 (en) * 1999-07-20 2001-08-22 Koninklijke Philips Electronics N.V. Drift-free transcoder and related method
US7197194B1 (en) * 2001-05-14 2007-03-27 Lsi Logic Corporation Video horizontal and vertical variable scaling filter
JP2003033203A (ja) 2001-07-24 2003-02-04 Shinjo Seisakusho:Kk ゴルフ靴用樹脂製スパイク
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム

Also Published As

Publication number Publication date
EP2364030A1 (en) 2011-09-07
EP2348740A3 (en) 2011-08-24
US8243809B2 (en) 2012-08-14
EP2348736A2 (en) 2011-07-27
US20140072049A1 (en) 2014-03-13
EP2348742A3 (en) 2011-08-24
KR20040054602A (ko) 2004-06-25
US8824556B2 (en) 2014-09-02
KR20090128504A (ko) 2009-12-15
EP2348742A2 (en) 2011-07-27
US20090135914A1 (en) 2009-05-28
US20120243617A1 (en) 2012-09-27
US8542742B2 (en) 2013-09-24
US20040066972A1 (en) 2004-04-08
US8989273B2 (en) 2015-03-24
US20150085919A1 (en) 2015-03-26
EP2348741A3 (en) 2011-08-24
EP2348737A3 (en) 2011-08-24
EP2348739A2 (en) 2011-07-27
US8774277B2 (en) 2014-07-08
US20140064378A1 (en) 2014-03-06
EP2348738A3 (en) 2011-08-24
EP2348736A3 (en) 2011-08-24
US20120263236A1 (en) 2012-10-18
US20130101044A1 (en) 2013-04-25
US8634472B2 (en) 2014-01-21
EP2348741A2 (en) 2011-07-27
US8243808B2 (en) 2012-08-14
US9338457B2 (en) 2016-05-10
US8705629B2 (en) 2014-04-22
US8457209B2 (en) 2013-06-04
EP1353517A4 (en) 2010-01-27
KR100942475B1 (ko) 2010-02-12
EP2348741B1 (en) 2019-04-10
US20090103623A1 (en) 2009-04-23
US8437402B2 (en) 2013-05-07
JP3797209B2 (ja) 2006-07-12
EP2348737A2 (en) 2011-07-27
US20130094588A1 (en) 2013-04-18
EP1353517A1 (en) 2003-10-15
US20130093950A1 (en) 2013-04-18
US8275043B2 (en) 2012-09-25
EP2348739A3 (en) 2011-08-24
US8548059B2 (en) 2013-10-01
EP2348740A2 (en) 2011-07-27
US8559521B2 (en) 2013-10-15
EP2348738A2 (en) 2011-07-27
WO2003047274A1 (en) 2003-06-05
JP2003169349A (ja) 2003-06-13
KR100945826B1 (ko) 2010-03-05
US7639742B2 (en) 2009-12-29
US20130101020A1 (en) 2013-04-25
US20120243800A1 (en) 2012-09-27
US20140307797A1 (en) 2014-10-16
EP2348742B1 (en) 2019-04-17
US20090168888A1 (en) 2009-07-02
CN1489868A (zh) 2004-04-14

Similar Documents

Publication Publication Date Title
CN1225919C (zh) 编码图像信息的方法和设备及解码图像信息的方法和设备
CN1225126C (zh) 用于视频编码的新型空间预测方法及其装置
CN1285216C (zh) 图像编码方法和装置、图像译码方法和装置
CN1214647C (zh) 图像编码方法和图像编码器
CN1242620C (zh) 用于数字视频记录的基于代码转换器的自适应量化
CN1347620A (zh) 转换mpeg－2 4:2:2－轮廓位流为主轮廓位流的方法及架构
CN1926875A (zh) 运动补偿方法
CN1910933A (zh) 图像信息编码装置和图像信息编码方法
CN1615645A (zh) 编码动态滤波器
CN1829328A (zh) 预测图像产生方法及设备和图像视频编/解码方法及设备
CN1742488A (zh) 用于编码和解码立体视频的方法和装置
CN1627830A (zh) 色彩空间编码框架
CN101057506A (zh) 使用色度分量间相关性的彩色图像编码和解码方法和设备
CN1960495A (zh) 图像编码装置、方法及程序
CN1578477A (zh) 用于色彩图像的视频编码/解码装置和方法
CN101080014A (zh) 视频解码方法和装置
CN1751521A (zh) 图像解码装置、图像解码方法和图像解码程序
CN1108462A (zh) 图像信号编码和解码的方法与装置
CN1162004C (zh) 译码设备和方法、编码设备和方法、图像处理系统和方法
CN1302419A (zh) 缩放压缩的图象
CN1543220A (zh) 视频解码装置和方法
CN1256849C (zh) 1/4像素精度插值的方法和装置
CN1620821A (zh) 图像信息编码装置和图像信息编码方法、图像信息解码装置和图像信息解码方法
CN1346217A (zh) 能够进行简易的多窗口显示的活动图象解码装置以及活动图象解码方法
CN101043621A (zh) 一种自适应插值处理方法及编解码模块

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CI01 Publication of corrected invention patent application

Correction item: Inventor

Correct: Vector Qi Yang

False: Yagasaki Yoichi

Number: 44

Page: 847

Volume: 21

CI03 Correction of invention patent

Correction item: Inventor

Correct: Vector Qi Yang

False: Yagasaki Yoichi

Number: 44

Page: The title page

Volume: 21

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20040414

Assignee: Sony (China) Ltd.

Assignor: Sony Corp.

Contract record no.: 2012990000533

Denomination of invention: Image information encoding method and encoder, and image information decoding method decoder

Granted publication date: 20051102

License type: Common License

Record date: 20120725

CX01 Expiry of patent term

Granted publication date: 20051102

CX01 Expiry of patent term