CN1149233A - 采用运动相关预测压缩视频信息的方法和装置 - Google Patents

采用运动相关预测压缩视频信息的方法和装置 Download PDF

Info

Publication number
CN1149233A
CN1149233A CN96111493A CN96111493A CN1149233A CN 1149233 A CN1149233 A CN 1149233A CN 96111493 A CN96111493 A CN 96111493A CN 96111493 A CN96111493 A CN 96111493A CN 1149233 A CN1149233 A CN 1149233A
Authority
CN
China
Prior art keywords
piece
motion vector
candidate
pixels
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN96111493A
Other languages
English (en)
Other versions
CN1227911C (zh
Inventor
W·M·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor USA Inc
Original Assignee
Thomson Consumer Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Consumer Electronics Inc filed Critical Thomson Consumer Electronics Inc
Publication of CN1149233A publication Critical patent/CN1149233A/zh
Application granted granted Critical
Publication of CN1227911C publication Critical patent/CN1227911C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的方法和装置减少了计算量，简化了提供压缩视频输出数据所需要的硬件。视频输入数据被转换成(57)输入象素块。确定(91，93，97)位于图像指定区域内输入象素块的最佳预测块和对应的运动矢量，和其它输入象素块的候选预测块。比较(65)这些候选预测块，选择符合压缩数据速率要求的一个块。压缩(70)所选块以提供一数据包格式的输出块。输出数据包进行块匹配搜索(85，95)其它运动矢量由上述运动矢量外推得到，并用于识别另外的预测块。

Description

采用运动相关预测 压缩视频信息的方法和装置
本发明涉及数字图像信号处理领域，特别是用于压缩选自一组运动相关预测的视频信息的方法和装置。
视频信息传输系统使用视频压缩来降低所传送的视频数据量。这就允许使用更少的传输带宽、传输时间和存贮容量。压缩视频信息，例如包含在电视信号中的视频信息的一种常用技术是减少在一个图像序列的连续帧中出现的冗余瞬时图像信息。冗余瞬时图像信息是与静态图像部分或在连续帧之间只是经过平移的图像部分有关的信息。识别出这些图像部分并对其编码就从所发送的视频数据中去除了大量冗余瞬时图像信息。对发送的视频数据适当进行编码，使得在接收机中通过其它发送的图像和插入这些经过编码的图像部分来重建图像。这种瞬时信息压缩技术要求预测值由一幅图像的各子块相对于其它之前或之后图像所发生的运动程度构成。这些被称作运动矢量的运动预测值用于对视频数据编码。从而使得可以从过去或未来的图像中预测出一幅图像。这个过程被称作运动补偿预测，并广为人知。
使用运动补偿预测的一种常用视频压缩标准是MPEG(活动图像专家组)图像编码标准(ISO/IEC 13818-2，1994年5月10日)。这种格式编码的视频数据由编码后数据的连续图像或帧的周期序列组成。有些图像(I图)是帧内编码的，也就是只使用本图像内部的信息进行编码。另一些图像(P图)进行的是前向预测编码，也就是使用来自过去的I图或P图的运动补偿预测进行编码。剩下的图像(B图)同时进行前向和后向预测编码，也就是说，它们使用来自过去或未来的I图或P图的运动补偿预测进行编码。因此P图和B图进行的是预测编码，从而使得从P或B图得到的图像再现要求有来自先前经译码的I或P图的信息。与此相反，I图进行的不是预测编码，图像可以从单个的I图或帧中重现。
为了形成经压缩和预测编码的MPEGP和B图必须计算许多运动矢量。这就产生了一个问题，因为运动矢量计算是一项费时、计算量繁重的工作。结果就要求有昂贵、复杂的硬件去完成产生发送的压缩视频数据所需要的运动矢量计算。
根据本发明的理论所公开的视频信号压缩系统使用简化的运动矢量计算完成基于运动矢量的预测。所公开的视频信号压缩系统计算一个或多个运动矢量，并根据这些初始计算值外推所要求的其它运动矢量值。外推的运动矢量通过对初始计算的运动矢量值进行瞬时比例换算(scale)来计算。
样本图像，MPEG兼容型视频输入数据被转换成输入像素块。为处于图像指定区域内的输入像素块确定最佳预测块和相关运动矢量。另外，为其它输入像素块确定候选预测块。这是通过由前面确定的相关运动矢量外推运动矢量，并使用这些外推运动矢量识别候选预测块来进行的。相互比较这些候选预测块并选择符合压缩数据速率要求的一个块。压缩所选块得到一个数据包格式的输出块，以提供压缩视频输出数据。
作为本发明的一个特点，通过使用块匹配搜索识别候选场预测块和相关运动矢量来确定候选MPEG场预测块。其它运动矢量由相关运动矢量外推并用于识别其它场预测块。
作为本发明的另一特点，给出了使用运动矢量外推在输出端提供压缩视频输出块的装置。
附图简述在附图中：
图1说明了场奇偶性相同(SFP)和场奇偶性相反(OFP)的运动矢量所涉及的场特性关系。
图2说明了将要编码的图像的左边缘和上边缘宏块，对于该图像计算了所需要的所有运动矢量。
图3说明了要编码的图像中当前宏块(CM)上方的块(TB)和当前宏块左方的块(LB)场奇偶性相同的情况。
图4说明了要编码的图像中当前宏块上方的块(TB)和当前宏块左方的块(LB)具有混合场奇偶性的情况。
图5-6表示的是流程图，它们根据本发明详细描述了使用简化的运动矢量计算确定用于压缩的最佳预测宏块的方法。
图7说明了图5-6流程图中所用的运动矢量比例换算。
图8说明了图5-6流程图中用来改善运动矢量估值的微扰搜索过程。
图9表示一个流程图，它用于根据本发明确定最佳帧预测宏块和相关运动矢量MVI。
图10表示基于本发明理论的MPEG兼容型编码器装置。
MPEG标准允许用不同的方法对P图和B图预测编码。每种方法都要求计算运动矢量。要进行预测编码的图像被分成块(当前块)，使用计算出的运动矢量在逐块的基础上对这些块进行预测。在MPEG标准中，这些块被称作宏块，并将其大小定义为16×16个图像元素(像素)。对于每个当前预测的宏块，可以使用诸如基于帧的、基于场的和“双质数”编码产生几个候选预测宏块。从这些候选预测宏块中选择出某个当前宏块(CM)的最佳预测以进行压缩和传输。
MPEG标准的7.633节和表7-9、7-10定义了为产生候选P图宏块预测可以被计算的5个不同运动矢量和用于候选B图宏块预测的10个不同运动矢量(MPEG图像编码标准，ISO/IEC 13818-2，1994年5月10日)。在B图预测中，5个P图预测运动矢量不仅用于前向预测，也用于后向预测。将要描述的本发明理论适用于10个B图运动矢量，但为简单起见，只描述了P图预测。
5个P图运动矢量定义如下。场运动矢量MV2-MV5的场特性关系如图1所示。运动矢量MV2和MV3场奇偶性相同(SFP)，因为它们是不同图像帧的同一场之间的矢量，每个矢量被称作一个相同场奇偶性运动矢量(SFPMV)。运动矢量MV4和MV5场奇偶性相反(OFP)，因为它们是如图1所示不同图像帧的不同场之间的矢量，每个矢量被称作一个相反场奇偶性运动矢量(OFPMV)。MV1—从当前被编码的图像到被存贮图像的帧运动矢量。MV2—从当前被编码图像的场1(f1)到所存图像场1(f1)的运动矢量(一个SFPMV)。MV3—从当前被编码图像的场2(f2)到所存图像场2(f2)的运动矢量(一个SFPMV)。MV4—从当前被编码图像的场2(f2)到所存图像场1(f1)的运动矢量(一个DFPMV)。MV5—从当前被编码图像的场1(f1)到所存图像场2(f2)的运动矢量(一个OFPMV)。
图5-6公开了一种根据本发明为一帧的每个当前宏块产生一个最佳预测宏块的方法。这是通过使用简化计算以得到所要求的运动矢量来进行的，因此允许使用更简单、成本更低的硬件装置。所获得的优点是在成本和大小受限的视频编码应用，例如摄像机中特别具有价值。具体地说，图5-6的方法在识别候选预测宏块和得到其相关MV1-MV5运动矢量及均方误差(MSE)值时简化了计算。候选预测块MSE值是所计算的候选预测块像素值和它所预测的当前宏块对应像素值之间的均方误差。尽管图5-6的方法是在一个MPEG编码系统的环境中描述的，本发明的理论也适用于其它视频压缩系统。
概括说来，在图5跟随在开始步骤10之后的步骤15中，为上边缘和左边缘的图像宏块确定最佳预测块和相关运动矢量MV1-MV5。然后在步骤23-70中，为其它当前宏块确定要编码帧的场1和场2的两个最佳场预测块和相关场运动矢量。这是通过使用本发明的方法由简化计算来完成的。在步骤80中，其它图像当前宏块的帧预测宏块和相关帧运动矢量MV1也被确定了。这是通过使用本发明的方法由简化计算来完成的。最后在步骤85中，互相比较帧和场预测宏块，根据MSE为剩下的每个图像宏块选择符合传输系统数据速率要求的最佳预测块。既可能为场预测宏块，也可能为帧预测宏块的所选最佳预测宏块是最终被压缩和传输的宏块。
仔细研究图5-6，被预测帧的当前宏块是图5中跟随步骤10开始之后的步骤15的输入。在步骤15中，为帧中指定“参考区”内的每个当前宏块确定最佳预测宏块。在最佳实施例中，由如图2所示帧的上边缘和左边缘组成的参考区域内的当前宏块被确定。每个最佳预测宏块是通过执行完“块匹配搜索”得到的。这种完全“块匹配搜索”是一种在所存图像中识别与当前宏块“最匹配”的搜索宏块的已知方法。选择这个“最匹配”搜索宏块作为对应当前宏块的预测宏块。
在进行块匹配搜索时，比较当前宏块与被预测图像区域内的所有搜索宏块。宏块比较是通过计算每个搜索宏块和当前宏块的MSE，该值作为两个宏块之间相关度的一标志。选择MSE值最低的“最匹配块”作为预测宏块。作为MSE的替代值，其它比较标准，例如平均绝对误差(MAE)也可以作为相关量度用于块匹配搜索或其它类型的选择过程。
在步骤15中，使用块匹配搜索过程确定上边缘和左边缘当前宏块的运动矢量MV1-MV5。每个当前宏块的运动矢量MV1-MV5由当前宏块和搜索过程识别出的对应预测宏块之间的矢量位移给出。所述块匹配搜索过程是已知的，可以使用市场上可获取的运动预测集成电路，例如SG5ThomsonSTI3220器件实现。
然后确定图像其它每个当前宏块的最佳预测宏块和相关运动矢量。步骤15规定按顺序提取当前宏块，从被预测帧场1的左下方到右下方，接着是该帧的场2。这就确保当前宏块上方的块(TB)和左边的块(LB)的最佳预测已经确定。当前宏块也可以按满足该要求的其它次序提取。
使用本发明的简化计算确定场预测宏块开始于步骤20。步骤20完成块匹配搜索并通过执行步骤23和70之间相应的路径流程计算运动矢量MV2-MV5。首先为当前宏块的场1，然后为场2执行步骤23及其后相应的路径流程。
在图5的步骤23中，检查当前场中当前宏块TB和LB最佳预测宏块的运动矢量场奇偶性．例如，如果TB和TB的最佳预测宏块都在各自图像的场1(f1)或场2(f2)中，则TB是具有相同场奇偶性运动矢量(SFPMV)的相同场奇偶性(SFP)宏块。同样，如果LB和LB的最佳预测宏块在各自图像的不同场内，则LB是具有相反场奇偶性运动矢量(OFPMV)的相反场奇偶性(OFP)宏块。图3说明了TB和LB都是SFB，也就是都有与当前宏块相同的场奇偶性的情况。图4说明了TB是SFP宏块，LB是OFP宏块，也就是说TB和LB是混合场奇偶性的，具有混合场奇偶性运动矢量(MFPMV)的情况。因此，取决于步骤23中TB和LB奇偶性的确定，TB和LB将或是都具有相同场奇偶性运动矢量(SFPMV)，或是都具有相反场奇偶性运动矢量(OFPMV)，或是具有混合场奇偶性运动矢量(MFPMV)。如果TB和LB是SFPMV型的，执行步骤25、30、32、35和37。同样，如果TB和LB是OFPMV型的，执行步骤45、50、52、55和57。如果TB和LB是MFPMV型的，执行步骤65和70。在步骤70中，取决于具有最低MSE值的TB和LB宏块运动矢量场奇偶性，执行SFPMV(步骤25-37)或OFPMV(步骤45-57)的路径流程。
图5-6的流程图在步骤23之后将步骤25-70分成3条路径。如果TB和LB最佳预测宏块都是SFPMV型的，执行第一条路径(步骤25-37)。这样步骤25的条件满足，进程继续到步骤30。在步骤30中，执行前面所述的已知块匹配搜索。根据均方误差(MSE)在当前场中为当前宏块识别所存图像中的一个最佳匹配宏块。这种搜索是在与所预测帧中当前宏块场相同的所存图像相关场(f1或f2)中进行的。然后由当前宏块与所存图像中最佳匹配宏块之间的矢量位移计算相同场奇偶性运动矢量(SFPMV)。
在步骤32中选择比例换算系数K的优化在步骤35中执行的运动矢量估值。在步骤32中，选择对步骤30所得相同场奇偶性运动矢量(SFPMV)线性比例换算的比例换算系数K，以给出对相反场奇偶性运动矢量(OFPMV)的估值，根据当前宏块与对应SFPMV的预测宏块之间的过渡时间以及当前宏块与对应OFPMV估值的预测宏块之间的过渡时间的不同对SFPMV进行线性比例换算。例如，图7说明了两种情况下确定用于估计OFPMV的K值，在例1中，对于宏块中心点A(帧2，场1)和B(帧1，场1)之间算出的SFPMV1，求得K值为0.5，宏块中心点A和B1(帧1，场2)之间的OFPMV1被估计为0.5*SFPMV1。这是因为在一级近似上，A和B1之间的时间(T)是A和B之间的时间(2T)的0.5。同样在例2中，对于宏块中心点C(帧2，场2)和D(帧1，场2)之间的SFPMV2，求得K值是1.5，宏块中心点C和D1(帧1，场1)之间的OFPMV2被估计为1.5*FPMV2，这是因为在一级近似上，C和D1之间的时间(3T)是C和D之间的时间(2T)的1.5倍。这些例子中T是连续场之间的时间间隔，类似的瞬时比例换算运动矢量估值用于“双质数”型预测(MPEG图像编码标准7.6、3.6节，ISO/IEC 13818-2，1994年5月10日)中。
尽管在最佳实施例中采用的是一级线性比例换算，也可以使用其它比例换算方法。前面讨论的比例换算方法也可以很容易地扩展到诸如非连续图像，和相隔时间可变的图像之间的运动矢量估值中去。这种比例换算还可以象MPEG“双质数”型预测中使用的那样补偿场奇偶性不同的行之间的垂直位移。尽管本发明是在由两个隔行扫描场组成的图像环境中描述的，但本发明及运动矢量估值过程的理论也可用于由非隔行扫描(逐行扫描型)的帧序列构成的图像序列中。在这种序列中，序列中的每个图像可以认为是一帧。
在步骤35(图5-6)中，如上述例1和例2所示步骤32所确定的K值与步骤30得到的SFPMV相乘以给出一个OFPMV估值。使用这个初始OFPMV估值在所存图像中识别一个场预测宏块。在步骤35中通过在围绕所识别的宏块中心的一个区域内对(OFPMV)运动矢量微扰以找到其它局部预测宏块来进一步优化初始OFPMV估值。然后就可以通过计算这些局部预测块对应的MSE值识别最佳OFPMV估值。选择MSE最低的局部宏块作为最佳局部宏块，选择它所对应的OFPMV作为最佳OFPMV值。
图8描述了围绕与初始识别宏块对应的中心像素(W)对初始OFPMV估值进行的微扰。对以标为“Z”的八个像素为中心点的八个宏块进行OFPMV微扰搜索。因此W的搜索区域可以扩大或缩小以满足系统对计算量的要求。可以根据估计质量标准，例如OFPMVMSE值的幅度对微扰搜索进行判决。微扰搜索区的大小同样可以根据这一质量标准变化。在流程图(图6)的步骤37中，选择所识别的MSE值最低的SFPMV或OFPMV宏块作为当前场中当前宏块的最佳预测宏块。
如果TB和LB最佳预测宏块都是OFPMV型的，执行图5-6流程图中跟随在步骤23之后，包括步骤45-57的第二条路径。如果步骤45的条件满足执行步骤50-57。步骤45-57与步骤25-37等效，只是在步骤50中计算OFPMV。这是通过执行一次块匹配搜索以在所存图像与当前宏块所在场相反的场中识别一个最佳匹配宏块来进行的。然后，在步骤52确定比例换算系数K，以优化步骤55执行的从OFPMV估计SFPMV。使用步骤32所述方法，根据基于OFPMV和SFPMV当前及预测宏块之间过渡时间之间之差的线性比例换算确定比例换算系数K。在步骤55中，使用结合步骤35所描述的微扰搜索方法确定所存图像中的最佳场预测宏块、对应的最佳SFPMV估值以及MSE值。在步骤57中，选择所识别的MSE值最低的SFPMV或OFPMV宏块作为当前场中当前宏块的最佳预测宏块。
如果TB和LB最佳预测宏块是MFPMV型的，执行图5-6流程图中跟随在步骤23之后，包括步骤65和70的第三条路径。如果步骤65的条件满足，执行步骤70。在步骤70中，比较TB和LB最佳预测宏块的MSE值。MSE值最低的TB或LB最佳预测宏块的场奇偶性类型(SFPMV或OFPMV)就被确定了。如果MSE值最低的TB或LB宏块是SFPMV型的，执行SFPMV路径(步骤30-37)。如果MSE值最低的TB或LB宏块是OFPMV型的，执行OFPMV路径(步骤50-57)。例如，如果在比较TB和LB最佳预测块的MSE值时，LB预测宏块有更低的MSE值而且是OFPMV型的，就执行OFPMV路径。
对当前被预测帧的下一场重复步骤23-70所述的场预测过程。通过这种方法为当前被预测帧每个宏块的场1和场2都产生一个最佳预测宏块及相关运动矢量。
在步骤80中，为其余当前宏块确定帧预测宏块及相关帧运动矢量MV1。这是通过使用图9流程图中详细描述的方法来进行的。这种方法根据本发明简化了计算。
在图9跟随步骤100开始之后的步骤105中，步骤37或57(图6)中确定的当前被编码帧场1的SFPMV(SFPMV-f1)用于帧预测。在步骤105中，使用这个SFPMV-f1运动矢量作为帧运动矢量MV1为被预测的当前宏块在所存图像中识别帧预测宏块．在步骤110中，在围绕由矢量SFPMV-f1识别的帧预测宏块的所存图像场1中执行局部搜索。这样做是为了优化初始SFPMV-f1预测。进行局部搜索的方法与前面所述用于步骤35和55(图5)微扰搜索的方法相同。也就是说，计算其中心像素围绕所识别的SFPMV-f1宏块中心像素的八个宏块的MSE值(图9、步骤110)。在步骤115中，比较八个宏块的MSE值，选择MSE值最低的宏块作为第一帧预测宏块。同样在步骤120中，计算在所存图像场2内其中心像素围绕所识别的SFPMV-f1宏块中心像素的八个宏块的MSE值。在步骤125中，比较这八个宏块的MSE值，选择MSE值最低的宏块作为第二帧预测宏块。选择MSE最低的第一或第二帧预测宏块作为帧预测宏块(MV1-f1)，选择其对应的运动矢量作为MV1-f1运动矢量(步骤125)。
在步骤130-150中基本是重复步骤105-125以确定场2帧预测宏块(MV1-f2)和对应的运动矢量(MV1-f2)。在步骤130中，前面确定的(图6步骤37或57)SFPMV-f2运动矢量用作帧运动矢量MV1为预测的当前宏块在所存图像中识别帧预测宏块。在步骤135中，在围绕由矢量SFPMV-f2识别的帧预测宏块的所存图像场1中执行局部搜索。在步骤135中计算其中心像素围绕所识别的SFPMV-f2宏块中心像素的八个宏块的MSE值。在步骤140中比较这八个宏块的MSE值，选择MSE值最低的宏块作为第三帧预测宏块。在步骤145中，还要计算在所存图像场2内其中心像素围绕所识别的SFPMV-f2宏块中心像素的八个宏块的MSE值。在步骤150中比较这八个宏块的MSE值，选择MSE值最低的宏块作为第四帧预测宏块。另外，选择MSE值最低的第三或第四帧预测宏块作为帧预测宏块(MV1-f2)，选择其对应的运动矢量作为MV1-f2运动矢量(步骤150)。然后在步骤155中，选择场1和场2组合MSE值最低的MV1-f1或MV1-f2宏块作为最佳帧预测宏块。对应的MV1-f1或MV1-f2矢量是对应的MV1帧预测运动矢量。这样图9的帧预测流程就完成和结束了(步骤160)。
完成图9流程(图6步骤80)之后，继续执行图6的步骤85。在步骤85中，根据MSE比较当前宏块的最佳帧和最佳场预测宏块。如果选择判决不受数据速率控制要求限制，就选择场1和场2组合MSE值最低的最佳帧或最佳场预测宏块用于传输。但是如果数据速率控制要求表明还需要进一步的数据压缩，就选择符合允许数据速率要求的最佳预测宏块用于传输。例如，可以传输压缩度更高的帧预测宏块而不是仍要求更高压缩的场预测宏块。一旦在步骤85选定用于传输的宏块，确定用于压缩的最佳预测宏块的过程就完成和结束了(步骤95)。
尽管图5-6给出了从候选场或帧预测宏块中选择最佳预测宏块的一种方法，还可以使用其它类型的预测提供更多候选块。例如，可以在步骤80(图6)帧预测之前或之后使用“双质数”预测提供其它候选宏块。然后在步骤85中就不是从前面描述的场和帧候选宏块中而是从帧、场和双质数预测候选宏块中选择最佳预测块。另外，本发明并不限于图5-6中描述的步骤执行次序。可以采用能够为每个当前宏块产生一个最佳预测宏块的任意次序。
图10表示适合使用本发明原理的MPEG兼容型压缩器装置。图5-6的方法由移动估值器85与预测单元95联合实现。简单地说，我们知道变换器57把像素亮度值形式的数字视频信号转换成将被编码的当前宏块。当前宏块是数据压缩器60的输入。图10系统工作在这样一种已知环境中，由单元57提供当前宏块是受控的，例如受单元57中控制缓冲器控制。这样做是为了能完成一次宏块预测操作并产生每个当前宏块的输出被压缩块。压缩器60对每个当前宏块进行场和帧宏块预测，并以解压缩形式在预测单元95的存储器91中存储所得宏块预测结果。这些预测是可以从中为当前宏块选择最佳宏块预测的“候选”预测。预测单元95中的选择器97从存储器91存储的场和帧候选预测中选择用于传输的最佳预测宏块。然后通过减法器65从预测的对应当前宏块中减去最佳预测宏块。单元70对减法器所得剩余值进行压缩，以提供用于传输进一步处理的输出数据。对每个当前宏块重复这一过程。
在更详细地描述图10编码器装置的操作时，只讨论压缩器60对I图和P图宏块的操作。图10装置的工作原理很容易适应B图宏块的操作。首先，假定I图预测是基于帧的预测，I帧宏块不经改变地通过减法器65到达编码单元70。我们已知单元70要对8×8像素块进行离散余弦变换(DCT)以产生DCT系数。然后这些系数在单元70中量化。DCT和单元70中量化的组合使得许多DCT频率系数为零。然后单元70对系数进行游程统计编码，产生很长的连零以使所产生的输出数据最少。因此，单元70通过去除输入宏块数据空间冗余压缩I帧宏块。对每个当前宏块重复这一过程。所得压缩I帧宏块系列由格式器100处理，它将来自单元70的压缩宏块编排成包括含有识别代码的信息头及其它信息的数据包。
来自单元70的压缩I帧宏块还被提供给解压缩器75，它完成DCT和单元70执行的量化过程的反向变换。单元75的输出是对压缩器60输入I帧宏块的重建。然后解压缩的I帧宏块不经改变地通过加法器80并在存储器90中存储用于其后P帧宏块的预测压缩。重复上述I帧宏块压缩过程直到一个完整的I帧宏块存储在存储器90中。
对于P帧预测，被预测的输入P帧当前宏块被加到运动估值器85上。单元85使用图5-6的方法确定当前宏块的场和帧运动矢量。为此，TB和LB宏块的场奇偶性，也就是SFPMV或OFPMV型，与TB和LB宏块MSE值被存储在图10单元85内的存储区(未详细标出)中。被编码帧左边缘和上边缘宏块的同样信息也被存储下来。所要求的附加存储区极小，因为对每个宏块用四个(或更少)八比特字节存储MSE值和场奇偶性就足够了。通过优化当前宏块被预测的次序可以使所要求的存储区最小。
单元85(图10)执行图5-6流程图中到步骤80的进程，以为当前宏块提供两个场预测和一个帧预测宏块的运动矢量。为了执行图5-6的流程，单元85使用所存储的TB和LB信息。另外，单元85对存储器90中所存帧的宏块访问以进行所要求的块匹配搜索。单元85根据当前宏块与图10存储器90中所存宏块的已知瞬时关系确定K值(图5步骤32和52)。然后单元85使用所求得的K值进行如前所述图5步骤35和55所要求的运动估值。根据图5-6使用这些技术如上所述地执行其它流程步骤，以产生两个场预测和一个帧预测宏块的运动矢量。
一旦执行完流程图步骤80(图5-6)，由单元85产生的两个场预测宏块和一个帧预测宏块的运动矢量就由预测单元95中的提取器93所使用。提取器93使用这些运动矢量从存储器90所存的帧中提取两个场预测宏块和一个帧预测宏块。这些场和帧预测宏块与当前宏块最相似，由提取器93作为候选预测宏块存储在存储器91中，该实施例可以很容易地扩展，包括其它预测，例如如前所述的“双质数”预测。这种情况下存储器91还将包括“双质数”预测候选宏块。
选择器97(图10)执行图5-6流程图的步骤85，选择一个候选预测作为最佳宏块预测。选择器97根据MSE值选择符合允许传输数据速率要求的最佳场或帧预测宏块用于压缩。减法器65逐个像素地从要压缩的输入当前P帧宏块中减去选择器97输出的最佳预测宏块，然后减法器65的差值或剩余输出由单元70进行压缩并经过与I帧宏块数据相似的处理。所得压缩P帧宏块由格式器100处理，它将来自单元70的压缩宏块序列编排成包括识别代码头的数据包。
和I帧宏块一样，来自单元70的被压缩P帧宏块剩余值在被送到加法器80之前由单元75解压缩。同时，由减法器65从被预测宏块中减去的最佳预测宏块被加回到解压缩后的宏块剩余中。这是通过选择器97把最佳预测宏块值加到加法器第二输入端来进行的，加法器逐个像素地相加数据以恢复宏块。这个被恢复的P帧宏块形成重建图像的一个部分，存储在存储器90中以用于其后P帧宏块的预测压缩。对每个当前宏块重复这一过程。
图10装置也可用其它方法实现。例如，图5-6确定用于压缩的最佳预测宏块的方法可以在一个单独的判决控制单元内实现，例如一个带有与压缩器60接口的微处理器，而不是象最佳实施例所示那样分散在功能单元85和95之间。另外，我们知道还有其它已知的压缩器60结构和实现压缩器60的方法。例如，作为对串行预测方法的一种替代，可以使用复合并行预测方法实现对当前宏块的预测。

Claims (19)

1.在一个MPEG信号处理系统中，提供压缩图像样本视频数据的方法，其特征在于以下步骤：
(a)提供视频输入数据；
(b)将所述视频输入数据转换成输入像素块；
(c)为所述图像指定参考区域内的第一输入像素块确定最佳预测块和对应的第一运动矢量；
(d)为第二输入像素块确定一组候选预测块，这一确定步骤包括：
(1)进行一次块匹配搜索，以确定所述第二输入像素块的第一候选预测块；
(2)求出与所述第一候选预测块对应的第二运动矢量；
(3)从这个第二运动矢量外推一个运动矢量。
(e)相互比较这些候选预测块；
(f)根据上述的相互比较选择符合压缩数据速率要求的一个候选预测块；
(g)压缩这个所选预测块以提供一个输出块；且
(h)对该输出块进行格式化，产生一个数据包。
2.权利要求1定义的方法，其特征在于，步骤(d3)中的外推是瞬时外推。
3.权利要求1定义的方法，其特征还在于，
识别候选预测块的步骤(d4)使用上述外推运动矢量。
4.权利要求3定义的方法，其特征在于，
步骤(d4)还包括在以上述识别的候选预测块为中心的周围区域内识别其它所述多个候选预测块的步骤。
5.权利要求4定义的方法，其特征在于，
步骤(d4)中识别其它候选预测块涉及对该外推运动矢量的微扰。
6.权利要求5定义的方法，其特征在于，
步骤(d3)包括从所述第二运动矢量瞬时外推上述运动矢量。
7.权利要求1定义的方法，其特征在于，
步骤(d3)包括下一步骤：根据与所述第二输入像素块有关的相邻输入像素块预测块的运动矢量类型选择外推运动矢量的类型。
8.权利要求1定义的方法，其特征在于，
上述第二输入像素块位于除所述参考区之外的图像区域内。
9.在一个MPEG信号处理系统中，提供压缩图像样本视频数据的方法，其特征在于以下步骤：
(a)提供视频输入数据；
(b)将所述视频输入数据转换成输入像素块；
(c)为第一输入像素块确定一组候选预测块，这一确定步骤包括：
(1)进行一次性匹配搜索，确定上述第一输入像素块的第一候选MPEG场预测块；
(2)求出与第一候选场预测块对应的第一运动矢量；
(3)从上述第一运动矢量外推一个运动矢量；
(4)使用上述外推运动矢量识别一个MPEG场预测块作为第二候选预测块；
(d)相互比较上述候选预测块；
(e)根据上述的相互比较选择一个所述候选预测块；
(f)压缩这个所选预测块以提供一个输出块；并
(g)对该输出块进行格式化，产生一个数据包。
10.权利要求9定义的方法，其特征在于，
步骤(c)包括使用外推运动矢量识别一个MPEG帧预测块作为第三候选预测块的步骤。
11.权利要求9定义的方法，其特征在于，
步骤(c)包括使用上述外推运动矢量识别一个MPEG双质数预测块作为第三候选预测块的步骤。
12.权利要求9定义的方法，其特征在于，
步骤(c3)包括根据与第一输入像素块有关的相邻输入像素块预测块的运动矢量类型选择外推运动矢量类型的步骤。
13.权利要求9定义的方法，其特征在于，
步骤(c4)还包括在以识别的MPEG场预测块为中心的周围区域内识别这一组的其它候选预测块的步骤。
14.权利要求9定义的方法，其特征在于，
步骤(c3)包括从上述第一运动矢量瞬时外推上述运动矢量。
15.权利要求1或9定义的方法，其特征在于，
上述输入像素块和预测块是宏块。
16.用于压缩输入像素块形式的图像样本输入数字视频数据和在输出端提供压缩视频输出块的装置，其特征在于：
提供代表该输入像素块的输出压缩像素块的压缩网络(70)；
对该压缩像素块解压缩以提供解压缩像素块的解压缩网络(75)；
提供与该输入像素块候选预测块对应的运动矢量的运动估值器(85)，其中
(a)对位于该图像第一区域内的输入像素块，运动估值器使用块匹配搜索得到运动矢量；以及
(b)对位于该图像第二区域内的输入像素块，所述运动估值器使用块匹配搜索得到第一运动矢量，并从所述第一运动矢量瞬时外推第二运动矢量；以及
使用上述运动矢量从所述解压缩块中识别所述候选预测块以及从上述候选预测像素块中选择最佳预测块的预测网络(95)，
其中上述压缩网络(70)压缩所选预测块，以在输出端产生一个输出压缩块。
17.权利要求16定义的装置，其特征在于，
所述第一图像区域在所述第二图像区域之外。
18.权利要求16定义的装置，其特征在于，
上述运动估值器提供与候选MPEG场预测块对应的运动矢量。
19.权利要求16定义的装置，其特征在于，
上述运动估值器提供与候选MPEG帧预测块对应的运动矢量。
CNB961114932A 1995-08-25 1996-08-23 在运动估值系统中处理视频图像数据的方法和装置 Expired - Fee Related CN1227911C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US519438 1995-08-25
US08/519,438 US5745183A (en) 1995-08-25 1995-08-25 Image motion estimation system which derives candidate block from interpolated motion vectors
US519,438 1995-08-25

Publications (2)

Publication Number Publication Date
CN1149233A true CN1149233A (zh) 1997-05-07
CN1227911C CN1227911C (zh) 2005-11-16

Family

ID=24068306

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB961114932A Expired - Fee Related CN1227911C (zh) 1995-08-25 1996-08-23 在运动估值系统中处理视频图像数据的方法和装置

Country Status (7)

Country Link
US (1) US5745183A (zh)
EP (1) EP0762776B1 (zh)
JP (1) JP4198206B2 (zh)
KR (1) KR100464995B1 (zh)
CN (1) CN1227911C (zh)
DE (1) DE69632232T2 (zh)
ES (1) ES2216028T3 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315876C (zh) * 2001-11-15 2007-05-16 尤尼威蒂恩技术有限责任公司 利用先行指标的聚合监测和控制
CN101119490B (zh) * 2006-08-02 2010-12-08 索尼株式会社 图像信号处理装置和图像信号处理方法
CN101589622B (zh) * 2006-11-14 2011-10-26 索尼德国有限责任公司 使用两种匹配判据的运动估计和场景变换检测
WO2012122783A1 (en) * 2011-03-14 2012-09-20 Mediatek Inc. Method and apparatus for deriving temporal motion vector prediction
CN103297784A (zh) * 2008-10-31 2013-09-11 Sk电信有限公司 对图像进行编码的装置
CN104602021B (zh) * 2010-08-17 2016-09-21 M&K控股株式会社 用于对活动图片进行解码的装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905542A (en) * 1996-12-04 1999-05-18 C-Cube Microsystems, Inc. Simplified dual prime video motion estimation
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6018368A (en) * 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
JP2001507908A (ja) * 1997-11-07 2001-06-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化
US6339656B1 (en) * 1997-12-25 2002-01-15 Matsushita Electric Industrial Co., Ltd. Moving picture encoding decoding processing apparatus
US6317460B1 (en) * 1998-05-12 2001-11-13 Sarnoff Corporation Motion vector generation by temporal interpolation
GB2340362B (en) * 1998-07-31 2002-11-06 Sony Uk Ltd Digital video processing
KR20010072186A (ko) * 1998-08-03 2001-07-31 벤자민 에프 커틀러 비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6532264B1 (en) 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
EP1152621A1 (en) * 2000-05-05 2001-11-07 STMicroelectronics S.r.l. Motion estimation process and system.
US7663695B2 (en) * 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7321626B2 (en) * 2002-03-08 2008-01-22 Sharp Laboratories Of America, Inc. System and method for predictive motion estimation using a global motion predictor
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
KR100508975B1 (ko) * 2003-05-20 2005-08-17 주식회사 팬택 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP4303745B2 (ja) * 2006-11-07 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
WO2009011657A1 (en) * 2007-07-18 2009-01-22 Nanyang Technological University Methods of providing graphics data and displaying graphics data
TWI475890B (zh) * 2008-10-14 2015-03-01 Univ Nat Taiwan 用於需要善用電量之多媒體裝置的高效率區塊比對的大型積體電路架構及方法
CN101819625B (zh) * 2009-02-27 2014-11-12 富士通株式会社 识别设备和识别方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
US5418617A (en) * 1991-08-08 1995-05-23 Matsushita Electric Corporation Of America Motion compensation using minimum bits per motion block as criterion for block matching
CA2079434A1 (en) * 1991-09-30 1993-03-31 Derek Andrew Motion vector estimation, motion picture encoding and storage
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
US5398068A (en) * 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315876C (zh) * 2001-11-15 2007-05-16 尤尼威蒂恩技术有限责任公司 利用先行指标的聚合监测和控制
CN101119490B (zh) * 2006-08-02 2010-12-08 索尼株式会社 图像信号处理装置和图像信号处理方法
CN101589622B (zh) * 2006-11-14 2011-10-26 索尼德国有限责任公司 使用两种匹配判据的运动估计和场景变换检测
CN103297784A (zh) * 2008-10-31 2013-09-11 Sk电信有限公司 对图像进行编码的装置
CN104602021B (zh) * 2010-08-17 2016-09-21 M&K控股株式会社 用于对活动图片进行解码的装置
WO2012122783A1 (en) * 2011-03-14 2012-09-20 Mediatek Inc. Method and apparatus for deriving temporal motion vector prediction
US9602833B2 (en) 2011-03-14 2017-03-21 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9609346B2 (en) 2011-03-14 2017-03-28 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9807415B2 (en) 2011-03-14 2017-10-31 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction

Also Published As

Publication number Publication date
DE69632232D1 (de) 2004-05-27
EP0762776B1 (en) 2004-04-21
EP0762776A3 (en) 1999-09-08
EP0762776A2 (en) 1997-03-12
US5745183A (en) 1998-04-28
JP4198206B2 (ja) 2008-12-17
DE69632232T2 (de) 2004-08-19
KR100464995B1 (ko) 2005-05-19
KR970014361A (ko) 1997-03-29
JPH09154137A (ja) 1997-06-10
ES2216028T3 (es) 2004-10-16
CN1227911C (zh) 2005-11-16

Similar Documents

Publication Publication Date Title
CN1227911C (zh) 在运动估值系统中处理视频图像数据的方法和装置
CN1130921C (zh) 对视频信息预测编码的方法和装置
CN102835106B (zh) 用于视频的数据压缩
US6771826B2 (en) Digital image encoding and decoding method and digital image encoding and decoding device using the same
CN1197385C (zh) 数字视频的运动估值
US7801215B2 (en) Motion estimation technique for digital video encoding applications
CN101335896B (zh) 用于前向预测的隔行扫描视频帧的场的预测运动矢量
US5587741A (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
CN102187668B (zh) 编码图像或图像序列的方法和装置及其解码方法和装置
CN1134090A (zh) 编码/解码视频信号的方法与装置
CN1130846A (zh) 用于对视频信号特征点估算运动矢量的装置
CN1293872A (zh) 视频序列代码转换的运动矢量外推法
CN101112103A (zh) 有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备
JP2001525639A (ja) 画像信号符号化システムおよびプロセスのための適応量子化フレームワークにおける適応エントロピー符号化
KR100878536B1 (ko) 영상 보간 방법 및 장치
CN1152844A (zh) 使用基于特征点的运动估算编码及解码视频信号的方法和装置
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
EP1158806A1 (en) Motion vector coding
CN1136728C (zh) 用于检测最优运动矢量的方法和设备
CN1134084A (zh) 用在图象编码系统中的改进的运动补偿装置
AU2001293994B2 (en) Compression of motion vectors
Jiang et al. Lossless compression for medical imaging systems using linear/nonlinear prediction and arithmetic coding
CN102804775B (zh) 用于视频的数据压缩
CN1127969A (zh) 用于在帧削减视频编码器中检测运动矢量的方法及装置
KR100196827B1 (ko) 영상부호기의 움직임 벡터 압축방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051116

Termination date: 20140823

EXPY Termination of patent right or utility model