CN102256134B - 改进的视频压缩帧插值 - Google Patents

改进的视频压缩帧插值 Download PDF

Info

Publication number
CN102256134B
CN102256134B CN201110166810.0A CN201110166810A CN102256134B CN 102256134 B CN102256134 B CN 102256134B CN 201110166810 A CN201110166810 A CN 201110166810A CN 102256134 B CN102256134 B CN 102256134B
Authority
CN
China
Prior art keywords
frame
interpolation
frames
motion vector
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN201110166810.0A
Other languages
English (en)
Other versions
CN102256134A (zh
Inventor
G·A·迪莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29999364&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102256134(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102256134A publication Critical patent/CN102256134A/zh
Application granted granted Critical
Publication of CN102256134B publication Critical patent/CN102256134B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

改进的视频压缩帧插值。一种用于在视频图像压缩系统中改进一个或多个预测帧的图像质量的方法、系统和计算机程序，其中每个帧包括多个像素。某些类型的帧的宏块图像区域在某些情况下可以参考一个或多个可参考帧来编码，而在其他情况下可以参考两个或多个可参考帧来编码。这种编码可能包括插值，例如不相等加权的插值。图像区域的DC值或AC像素值也可以在加权或未加权的情况下进行插值。具有可变数量的双向预测帧的这类帧的编码模式可以动态地确定。可以以不同于显示顺序的传送顺序把帧从编码器传送到解码器。在运动向量补偿预测的过程中，可以把锐化和/或柔化滤波器应用于某些帧的图像区域。

Description

改进的视频压缩帧插值
本申请是2003年6月27日提交的名称为“视频图像压缩方法”的中国专利申请03814629.0的分案申请。 
相关申请的交叉参考 
本申请是2001年7月11日提交的美国申请序列号09/904203的部分延续申请，并要求2002年6月28日提交的美国C.I.P.申请序列号10/187395的优先权。 
技术领域
本发明涉及视频压缩，更特别地是涉及在MPEG类的编码和解码系统中改进的视频压缩帧插值。 
背景技术
MPEG视频压缩 
MPEG-2和MPEG-4是国际视频压缩标准，它们定义的各自的视频语法，提供了高效的方法来以更紧凑的编码数据表示图像序列。编码比特的语言就是所谓的“语法”。例如，几个标记可以表示整个样本块(例如对于MPEG-2是64个样本)。两种MPEG标准都描述了解码(重构)过程，即把编码的比特从紧凑的表示变换成图像序列的原始格式的一个近似。例如，在编码比特流中的一个标志可以表示在利用离散余弦变换(DCT)算法对随后的比特解码之前，是否使用预测算法先处理这些比特。包括解码过程的算法由这些MPEG标准所定义的语义来规定。这个语法可以被用于开发普通的视频特征，例如空间冗余、时间冗余、匀速运动、空间屏蔽等等。MPEG解码器必须能够解析和解码输入的数据流，但是只要数据流符合相应的MPEG语法，就可以使用各种各样的可能的数据结构和压缩技术(虽然在技术上这背离了标准，因为语义不一致)。在某种替换语法内携带所需的语义也是 可能的。 
这些MPEG标准使用各种压缩方法，包括帧内方法和帧间方法。在大多数视频场景中，背景保持相对稳定而动作在前景中发生。背景可能移动，但是通常许多场景是冗余的。这些MPEG标准通过创建称为“内”帧或“I帧”的参考帧开始压缩。在不参考其他帧的情况下来压缩I帧，因此I帧包含了视频信息的一个完整的帧。I帧提供用于随机访问的数据比特流的入口点，但只能被适度地压缩。典型地，表示I帧的数据在比特流中每隔12到15帧放置(虽然在某些情况下在I帧之间使用更宽的间隔也是有用的)。据此，由于落入参考I帧之间的帧中只有一小部分不同于包围的(bracketing)I帧，所以只有图像差别被捕获、压缩和存储。两种类型的帧被用于这种差别——预测帧(P帧)和双向预测的(或插值的)帧(B帧)。 
P帧一般根据过去的帧(I帧或者前面P帧)来编码，而且通常被用作后续P帧的参考。P帧受到相当大的压缩量。B帧提供最高的压缩量，但是为了被编码既需要过去的参考帧也需要未来的参考帧。P帧和I帧是“可参考帧”，因为它们可以被P帧或B帧参考。 
宏块(macroblock)是图像像素区域。对于MPEG-2，宏块是4个8x8DCT块的16x16像素组，对于P帧加上一个运动向量，对于B帧加上一个或两个运动向量。可以使用帧内或帧间(预测的)编码对P帧内的宏块单独编码。可以使用帧内编码、前向预测编码、后向预测编码或同时使用前向和后向(即双向插值)预测编码对B帧内的宏块单独编码。在MPEG-4视频编码中所用的结构与此稍有不同，但是是类似的。 
在编码之后，MPEG数据比特流包括I帧、P帧和B帧的序列。序列可以由I帧、P帧和B帧的几乎任何模式组成(关于它们的位置有几个次要的语义限制)。但是，在业界实践中常见的是具有固定的帧模式(例如，IBBPBBPBBPBBPBB)。 
运动向量预测 
在MPEG-2和MPEG-4中(以及类似的标准，例如H.263)，B型(双向预测的)帧的使用被证明是有益于压缩效率的。这种帧的每个 宏块的运动向量可以由以下三种方法中的任何一种来预测： 
模式1：根据前面的I帧或P帧进行的前向预测(即非双向预测的帧)。 
模式2：根据后续的I帧或P帧进行的后向预测。 
模式3：根据后续和前面的I帧或P帧进行的双向预测。 
模式1和用于P帧的前向预测方法相同。模式2除了向后根据后续帧来工作外，是相同的概念。模式3是插值模式，其结合了来自前面的和后续的帧的信息。 
除了这三种模式，MPEG-4还支持用于B帧的另一种插值运动向量预测模式：直接模式预测，其使用来自后续P帧的运动向量，加上一个增量(δ)值(如果来自共处的P宏块的运动向量被分成8x8的模式——对于16x16宏块产生4个运动向量——那么该增量被应用于B帧中的所有4个独立的运动向量)。后续P帧的运动向量指向前面P帧或I帧。一个比例被用于对后续P帧的运动向量进行加权。该比例是当前的B帧相对于后续的P帧和前面的P(或I)帧的相对时间位置。 
图1是根据现有技术的帧的时间线和MPEG-4直接模式运动向量。MPEG-4直接模式(模式4)的概念是指在每个居间的B帧中的宏块的运动可能接近被用于编码在随后P帧中的相同位置的运动。增量被用于对从后续P帧的相应运动向量(MV)103导出的比例运动向量进行小的校正。图1显示的是给予每个中间B帧104a、104b的运动向量101和102的比例加权，其作为前面P帧或I帧105和下一个P帧106之间的“时间距离”的函数。分配给相应的中间B帧104a、104b的运动向量101和102等于分配的权重值(分别是1/3和2/3)乘以下一个P帧的运动向量103，加上增量值。 
关于MPEG-2，B帧的所有预测模式在编码中被测试，并且被比较以找到每个宏块的最佳预测。如果没有好的预测，那么宏块被单独编码成“I”(“内部”)宏块。编码模式被选为前向(模式1)、后向(模式2)和双向(模式3)编码中的最佳模式，或者选为内部编码。关于MPEG-4，不允许选择内部编码。相反，直接模式成为第四种选择。同样，基于某种最佳匹配准则选择最优的编码模式。在基于MPEG-2和MPEG-4的软件编码器中，使用DC匹配(绝对差值的和，或“SAD”) 来确定最佳匹配。 
在编码的数据比特流中连续B帧的数量是由MPEG中的参数值“M”确定的。M减1是每个P帧和下一个P帧(或I帧)之间的B帧的数量。因此，如果M＝3，则每个P帧(或I帧)之间就有2个B帧，如图1所示。在M值的限定方面(因而也限定了连续B帧的数量)，主要的限制在于P帧(或I帧)之间的运动变化量变大。更多的B帧意味着P帧(或I帧)之间的时间更长。因此，运动向量的效率和编码范围限制构成了中间B帧数量的极限。 
还很重要的是要注意到P帧携带“变化能量”和移动的图像流一起前进，因为每个解码P帧被用作预测下一个后续P帧的起始点。但是，B帧在使用之后被丢弃。因此，任何用于创建B帧的比特仅被用于那个帧，而且与P帧不同，它们不提供帮助后续帧解码的校正。 
发明内容
本发明涉及一种用于在视频图像压缩系统中提高一个或多个预测帧图像质量的方法、系统和计算机程序，其中每个帧包括多个像素。 
一个方面，本发明包括确定双向预测帧的每个像素的值作为一个将一双向预测帧序列包围起来的非双向预测帧中的对应像素值的加权比例。在一个实施例中，该加权比例是进行包围的非双向预测帧之间的距离的函数。在另一个实施例中，加权比例是进行包围的非双向预测帧之间的距离和进行包围的非双向预测帧的等平均值的混合函数。 
本发明的另一个方面，像素值的插值表示表示在线性空间中，或者在其他不同于原始非线性表示的优化的非线性空间中。 
本发明的其他方面包括系统、计算机程序和方法，其包含： 
●具有包括图像区域的可参考帧序列的视频图像压缩系统，其中至少一个预测帧的至少一个图像区域参考两个或多个可参考帧被编码。 
●具有包括图像区域的可参考帧序列的视频图像压缩系统，其中至少一个预测帧的至少一个图像区域以显示顺序参考一个或多个可参考帧被编码，其中至少一个这样的可参考帧不是在显示顺序中最靠近至少一个预测帧的前面的可参考帧。 
●具有包括宏块的可参考帧序列的视频图像压缩系统，其中在至少一个预测帧内的至少一个宏块通过来自两个或多个可参考帧的插值而被编码。 
●具有包括图像区域的可参考帧和双向预测帧序列的视频图像压缩系统，其中至少一个双向预测帧的至少一个图像区域被编码以包括至少两个以上的运动向量，每个这样的运动向量参考在至少一个可参考帧中的对应的图像区域。 
●具有包括图像区域的可参考帧序列的视频图像压缩系统，其中至少一个预测帧的至少一个图像区域被编码以包括至少两个运动向量，每个这样的运动向量参考在可参考帧中的对应的图像区域，其中这样的至少一个预测帧的每个这样的图像区域通过来自两个或多个可参考帧的插值而被编码。 
●具有包括图像区域的可参考帧和双向预测帧序列的视频图像压缩系统，其中至少一个双向预测帧的至少一个图像区域被编码作为来自两个或多个可参考帧的选定图像区域的不相等加权。 
●具有包括图像区域的可参考帧和双向预测帧序列的视频图像压缩系统，其中至少一个双向预测帧的至少一个图像区域通过来自两个或多个可参考帧的插值而被编码，其中两个或多个可参考帧中的至少一个在显示顺序中被至少一个居间的可参考帧与双向预测帧隔开，且其中这样的至少一个图像区域被编码作为这样的至少两个或多个可参考帧的选定图像区域的不相等加权。 
●具有包括图像区域的可参考帧和双向预测帧序列的视频图像压缩系统，其中至少一个双向预测帧的至少一个图像区域通过来自两个或多个可参考帧的插值而被编码，其中两个或多个可参考帧中的至少一个在显示顺序中被至少一个居间的后续可参考帧与双向预测帧隔开。 
●具有包括图像区域的可参考帧和双向预测帧序列的视频图像压缩系统，其中至少一个双向预测帧的至少一个图像区域被编码作为来自两个或多个可参考帧的选定图像区域的不相等加 权。 
●具有预测帧和双向预测帧序列的视频图像压缩系统，每个帧包括排列在宏块中的像素值，其中双向预测帧中的至少一个宏块是使用基于来自两个或多个预测帧的运动向量的直接模式预测确定的。 
●具有可参考帧和双向预测帧序列的视频图像压缩系统，每个帧包括排列在宏块中的像素值，其中双向预测帧中的至少一个宏块是使用基于来自显示顺序中的一个或多个预测帧的运动向量的直接模式预测确定的，其中这样的一个或多个预测帧中的至少一个在显示顺序中是在双向预测帧前面。 
●具有可参考帧和双向预测帧序列的视频图像压缩系统，每个帧包括排列在宏块中的像素值，其中双向预测帧中的至少一个宏块是使用基于来自一个或多个预测帧的运动向量的直接模式预测确定的，其中这样的一个或多个预测帧的至少一个在显示顺序中是在双向预测帧之后而且被至少一个居间的可参考帧与双向预测帧隔开。 
●具有帧序列的视频图像压缩系统，每个帧包括具有DC值的多个图像区域，每个这样的图像区域包括的每个像素具有AC像素值，其中至少一个帧的至少一个图像区域的DC值和AC像素值中的至少一个被确定为来自至少一个其他帧的对应的各自的DC值和AC像素值的加权插值。 
●具有可参考帧序列的视频图像压缩系统，每个帧包括具有DC值的多个图像区域，每个这样的图像区域包括的每个像素具有AC像素值，其中至少一个预测帧的至少一个图像区域的DC值和AC像素值中的至少一个是从两个或多个可参考帧的对应的各自的DC值和AC像素值插值得到的。 
●改进视频图像压缩系统中的两个或多个双向预测中间帧的序列的图像质量，每个帧包括具有DC值的多个图像区域，每个这样的图像区域包括的每个像素具有AC像素值，包括下列中的至少一个：确定双向预测中间帧的每个图像区域的AC像素值为包围双向预测中间帧序列的可参考帧中的对应AC像素值 的第一加权比例；和确定这种双向预测中间帧的每个图像区域的DC值为包围双向预测中间帧序列的可参考帧中的对应DC值的第二加权比例。具有帧序列的视频图像压缩系统，所述帧包括具有初始表示的多个像素，其中至少一个帧的像素是从至少两个其他帧的对应像素插值得到的，其中该至少两个其他帧的这种对应的像素在变换到不同的表示时被插值，并导致插值的像素变换回初始的表示。 
●在具有可参考帧和双向预测帧序列的视频图像压缩系统中，动态地确定具有可变数量的双向预测帧的这种帧的编码模式，包括：选择一个初始序列，其始于可参考帧，具有至少一个紧跟的后续双向预测帧，并以可参考帧结束；把可参考帧加到该初始序列的结尾以创建一个测试序列；对照选定的评估标准评估该测试序列；对于评估该测试序列的每个满足步骤，在加入的可参考帧前面插入双向帧并且重复评估步骤；且如果评估该测试序列不满足，那么接受前面的测试序列作为当前的编码模式。 
●具有可参考帧序列的视频图像压缩系统，可参考帧被至少一个双向预测帧隔开，其中这种双向预测帧的数量在这种序列中是变化的，且其中至少一个这种双向预测帧的至少一个图像区域是使用对应于至少两个可参考帧的像素值的不相等加权确定的。 
●具有帧序列的视频图像压缩系统，所述帧由编码器编码且由解码器解码，其中至少一个帧的至少一个图像区域是基于两个或多个其他帧的加权插值，这种加权插值基于编码器和解码器可用的至少一组权值，其中对选定的这种至少一组权值之一的指定从编码器传送到解码器以选择一个或多个当前有效的权值。 
●具有帧序列的视频图像压缩系统，所述帧由编码器编码且由解码器解码，其中至少一个帧的至少一个图像区域是基于两个或多个其他帧的加权插值，这种加权插值基于至少一组权值，其中至少一组权值被下载到解码器，且此后对选定的这种至少一组权值之一的指定从编码器传送到解码器以选择一个或多个 当前有效的权值。 
●具有可参考帧序列的视频图像压缩系统，可参考帧由编码器编码且由解码器解码，其中在可参考帧序列中的预测帧从编码器传送到解码器，其传送顺序不同于这种预测帧在解码之后的显示顺序。 
●具有可参考帧序列的视频图像压缩系统，可参考帧包括排列在图像区域中的像素，其中至少一个预测帧的至少一个图像区域是参考两个或多个可参考帧被编码的，其中每个这样的图像区域是使用对应于这样的两个或多个可参考帧的像素值的不相等加权确定的。 
●具有预测帧、双向预测帧和内部帧序列的视频图像压缩系统，每个帧包括图像区域，其中从锐化和柔化滤波器组中选择的至少一个滤波器在预测帧或双向预测帧的运动向量补偿预测的过程中被用于这种预测帧或双向预测帧的至少一个图像区域。 
附图和下面的描述阐明了本发明的一个或多个实施例的细节。根据说明书、附图和权利要求，本发明的其他特征、目标和优点是明显的。 
附图说明
图1描述比例运动向量加权(现有技术)，是根据现有技术的帧的时间线和MPEG-4直接模式运动向量。 
图2描述像素值比例加权，是根据本发明的这个方面的帧的时间线和比例像素加权值。 
图3描述混合像素值加权，是根据本发明的这个方面的帧的时间线和混合的、比例的和相等的像素加权值。 
图4是一个流程图，显示了作为可以被计算机实现的方法的本发明的一个说明性实施例。 
图5显示当前P帧参考前两个P帧和一个前面I帧的多个先前参考的例子的图。 
图6A是典型的现有技术MPEG-2编码模式图，显示了进行包围的I帧和/或P帧之间的恒定数量的B帧。 
图6B是理论上可能的现有技术MPEG-4视频编码模式图，显示了进行包围的I帧和/或P帧之间的变化数量的B帧，以及I帧之间的变 化的距离。 
图7是一个编码模式图。 
图8是一个流程图，显示了插值方法的一个实施例，DC插值不同于AC插值。 
图9是一个流程图，显示了使用替换表示的亮度像素的插值方法的一个实施例。 
图10是一个流程图，显示了使用替换表示的色度像素的插值方法的一个实施例。 
图11是显示两个P帧中的每个帧的独特运动向量区域尺寸的图。 
图12是显示P帧和B帧序列的图，带有B帧的插值权重，其被确定为与一个2远离(2-away)后续P帧的距离的函数，该P帧参考一个1远离(1-away)后续P帧。 
图13是显示P帧和B帧序列的图，带有B帧的插值权重，其被确定为与一个1远离后续P帧的距离的函数，该P帧参考一个1远离前面P帧。 
图14是显示P帧和B帧序列的图，其中后续P帧具有参考前面P帧的多个运动向量。 
图15是显示P帧和B帧序列的图，其中最近的后续P帧具有一个参考前面的一个P帧的运动向量，且下一个最近的后续P帧具有多个参考前面P帧的运动向量。 
图16是显示P帧和B帧序列的图，其中最近的前面P帧具有一个参考前面的一个P帧的运动向量。 
图17是显示P帧和B帧序列的图，其中最近的前面P帧具有两个参考前面P帧的运动向量。 
图18是显示P帧和B帧序列的图，其中最近的前面P帧具有一个参考前面P帧的运动向量。 
图19是显示三个P帧P1、P2、P3的帧序列，其中P3使用有两个运动向量的插值参考，P1和P2各一个运动向量。 
图20显示四个P帧P1、P2、P3和P4的帧序列，其中P4使用有三个运动向量的插值参考，P1、P2和P3各一个运动向量。 
图21是显示P帧和B帧序列的图，其中不同的P帧具有参考前面 不同的P帧的一个或多个的运动向量，并显示分配给特定B帧的各个前向和后向参考的不同权重。 
图22是显示P帧和B帧序列的图，其中P帧的比特流顺序不同于显示顺序。 
图23是显示具有分配的权重的P帧和B帧序列的图。 
图24是在帧内的物体的位置时间图。 
在不同附图中的相同参考符号表示相同的元素。 
具体实施方式
概述 
本发明的一个方面是基于这样的认识：常见的做法是使用M值为3，其在每个P(或I)帧之间提供了两个B帧。但是M＝2和M＝4或更高都是有用的。特别重要的是要注意到M的值(B帧的数量加1)也具有和帧速率的自然关系。在每秒24帧(fps)，即电影的播放率，帧之间1/24秒的时间距离可以导致帧到帧的实质图像变化。但是在60fps、72fps或更高的帧速率，相邻帧之间的时间距离相应地减少。结果是随着帧速率的增加，越大的B帧数量(即M值越大)在压缩效率中变得有用和有益。 
本发明的另一个方面是基于这样的认识：MPEG-2和MPEG-4视频压缩都利用过于简单的插值方法。例如，对于模式3，帧的每个宏块的双向预测是后续和前面的帧宏块的等平均，其被两个对应的运动向量取代。这个等平均适合M＝2(即单个的中间B帧)，因为该B帧到前面P(或I)帧和后续P(或I)帧的时间相等。但是，对于更大的M值，使用等加权只能对中央对称的B帧(即如果M＝4，6，8等等的中间帧)进行最佳预测。类似地，在MPEG-4直接模式4，即使运动向量是比例加权的，每个中间B帧的预测像素值是前面P(或I)帧和后续P帧的对应像素的等比例。 
因此，对于M＞2，把合适的比例权重应用于每个B帧的预测像素值是一个进步。当前B帧的每个像素的比例权重对应于当前B帧相对于前面和后续P(或I)帧的相对位置。因此，如果M＝3，第一个B帧就使用前面帧的对应像素值(调整的运动向量)的2/3，和后续帧的对应 像素值(调整的运动向量)的1/3。 
图2是根据本发明的这个方面的帧的时间线和比例像素加权值。每个中间B帧201a、201b的每个宏块内的像素值被加权成前面的P或I帧A和下一个P或I帧B之间的“距离”的函数，离P或I帧越近，加权值越大。也就是，双向预测B帧的每个像素值是进行包围的非双向预测帧A和B的对应像素值的加权组合。在这个例子中，对于M＝3，第一个B帧201a的加权等于2/3A+1/3B，第二个B帧201b的加权等于1/3A+2/3B。还显示的是，在常规的MPEG系统下被分配的等平均加权；每个B帧201a、201b的的MPEG-1、2和MPEG-4加权等于(A+B)/2。 
扩展动态范围和对比范围的应用 
如果M大于2，中间B帧中的像素值的比例加权将在许多情况下将会改进双向(模式3)和直接(MPEG-4模式4的有效性)编码。示例包括常见的电影和视频编辑效果，例如渐弱和交叉渐隐。这些类型的视频效果是MPEG-2和MPEG-4的有问题的编码示例，这是由于使用简单DC匹配算法，且通常使用的M＝3(即两个中间B帧)，导致B帧的相等比例。这些情况下的编码通过根据本发明使用比例B帧插值得以改进。 
比例B帧插值对于扩展动态和对比范围的编码效率的提高也有直接的应用。在图像编码中的常见事件是亮度的变化，这在当物体逐渐移进(或移出)阴影(软阴影边界)时发生。如果对数的编码表示被用于亮度(例如，由对数亮度Y具体表示的亮度)，那么采光亮度变化将是DC偏移量变化。如果采光亮度减半，那么像素值将减少相等的量。因此，为了编码这个变化，应该发现一个AC匹配，且编码的DC差值应该应用于该区域。这种被编码进P帧的DC差值也应该在每个居间的B帧中成比例地应用(参见共同待决的美国专利申请09/905039号，标题为“Method and System for Improving Compressed Image Chroma Information”，其被转让给本发明的受让人，因而在在此通过引用将其并入，用于关于对数编码表示的额外信息)。 
除了亮度中的变化，比例B帧插值也有益于对比度的变化。例如， 随着飞机移向观众，移出云或薄雾，其对比度逐渐增加。这个对比度增加将被表示成在对应P帧编码宏块中的DCT的AC系数中的增加的幅度。同样，在居间的B帧中的对比度变化将由比例插值最接近地近似，因此提高了编码效率。 
随着帧速率变大和随着M值的增加，使用比例B帧插值提高动态范围和对比度编码效率变得日渐重要。 
把高M值应用于时间分层 
利用本发明的实施例允许增加M的值，从而增加了在进行包围的P帧和/或I帧之间的B帧的数量，同时保持或增加了编码效率。这种用法有益于许多应用，包括时间分层。例如，在题为“Temporal and Resolution Layering for Advanced Television”的美国专利5988863号中(其被转让给本发明的受让人，在此通过引用并入)，注意到B帧是用于分层的时间(帧)速率的合适机制。这种速率的灵活性与可用的连续B帧的数量有关。例如，单个B帧(M＝2)可以支持72fps的流内的36fps解码的时间层或60fps的流内的30fps解码的时间层。三个B帧(M＝4)可以支持72fps流内的36fps和18fps解码的时间层，以及60fps流内的30fps和15fps解码的时间层。在120fps流内使用M＝10可以支持12fps、24fps和60fps解码的时间层。M＝4也可以用于144fps流，以提供在72fps和36fps解码的时间层。 
作为对每个第N帧的改进，120fps或72fps的多个帧可以被解码和按比例地混合，如在共同待决的美国专利申请09/545233号中描述的，该专利标题为“Enhancements to Temporal and Resolution Layering”(其被转让给本发明的受让人，在此通过引用并入)，以改进24fps结果的运动模糊特征。 
即使更高的帧速率可以使用在共同待决的美国专利申请09/435277号中所描述的方法合成，该专利申请题为“System and Method for Motion Compensaion and Frame Rate Conversion”(其被转让给本发明的受让人，在此通过引用并入)。例如，通过运动补偿帧速率转换可以利用72fps摄像底片(original)来创建288帧每秒的有效帧速率。使用M＝12，可以得到48fps和24fps的帧速率以及其他有用 的速率，例如144fps、96fps和32fps(当然，底片为72fps)。使用这种方法的帧速率转换不需要是整倍数的。例如，120fps的有效速率可以根据72fps的源创建，然后作为60fps和24fps速率的源(使用M＝10)。 
因此，时间分层有益于优化B帧插值的性能。上面所述的比例B帧插值使更多数量的连续B帧功能更高效，因此能够实现这些好处。 
混合的B帧插值比例 
在传统的系统中使用等平均加权作为B帧像素值的运动补偿模式预测器的一个原因是特定B帧前面或者后面的P(或I)帧可能是有噪声的，因此表示不理想的匹配。等混合在插值运动补偿块中会优化噪声的减少。存在使用量化的DCT函数来编码的差分残差(difference residual)。当然，来自运动补偿比例的匹配越好，所需的差分残差比特越少，最后所得到的图像质量越高。 
在有物体移近和移出阴影或者薄雾的情况下，M＞2时的真正的比例提供更好的预测。但是，当光和对比度未发生变化时，等加权可被证明是更好的预测值，因为沿着运动向量向前移动宏块的误差将和来自后向位移块的误差平均，因此把每个误差减半。即使如此，更可能的是，较近的P(或I)帧的B帧宏块与较远的P(或I)帧相比与那个帧更相关。 
因此，在某些情况下，例如区域的对比度或者亮度改变，理想做法是利用B帧宏块像素加权的真正比例(对于亮度和颜色)，如上所述。在其他情况下，可能更优的做法是利用等比例，如在MPEG-2和MPEG-4中。 
本发明的另一方面利用这两个比例技术的混合(等平均和帧-距离比例)用于B帧像素插值。例如，对于M＝3的情况，1/3和2/3比例的3/4可以与等平均的1/4混合，导致两个比例是3/8和5/8。这个技术可以使用“混合因子”F来概括。 
加权＝F·(帧距离比例权重)+(1-F)·等平均权重 
混合因子F的有用范围是从1到0，1表示完全比例插值，0表示完全等平均(也可能使用相反的赋值)。 
图3是根据本发明的这个方面的帧的时间线和混合的、比例的和相等的像素加权值。每个中间B帧301a和301b的每个宏块的像素值被加权为前面的P或者I帧A和下一个P或者I帧B之间的“时间距离”的函数，以及A和B的等平均的函数。在这个例子中，对于M＝3和混合因子F＝3/4，第一个B帧301a的混合加权等于5/8A+3/8B(也就是比例加权2/3A+1/3B的3/4加上等平均加权(A+B)/2的1/4)。类似地，第二个B帧301b的加权等于3/8A+5/8B。 
混合因子F的值可以为全部的编码整体设定，或者为每个图像组(GOP)、一个范围的B帧、每个B帧或者B帧内的每个区域设定(包括，例如细化到每个宏块，或者对于以8x8模式使用P向量的MPEG-4直接模式，甚至是单个的8x8运动块)。 
为了节省比特并反映这样的事实即混合比例通常没有重要到要和每个宏块一起传送，混合的优化使用应该与要压缩的图像类型有关。例如，对于正在淡出、渐隐的图像或者整体采光或对比度正在逐渐改变的图像，混合因子F接近或等于1(即选择比例插值)一般是最优的。对于没有这种采光或对比度变化的连续图像，那么较低的混合因子值例如2/3、1/2或1/3可能形成最优的选择，从而保留比例插值的某些好处以及等平均插值的某些好处。所有在0到1范围内的混合因子值一般是有用的，因为对于任何给定的B帧，在这个范围内有一个特定值证明是优化的。 
对于宽动态范围和宽对比度范围图像，混合因子可以依赖局部区域特征区域地确定。但是，通常宽范围的采光和对比度建议混合因子值支持完全比例插值，而不是等平均插值。 
优化的混合因子通常是由经验确定的，虽然对于特定类型场景的经验可以被用于创建按场景类型的混合因子表格。例如，图像变化特征的确定可以被用于为帧或者区域选择混合比例。替换地，可以使用许多的候选混合因子(用于整个帧或者区域)编码B帧，评估每个混合因子以优化图像质量(例如，由最高的信噪比即SNR确定的)和最低的比特数。这些候选的评估然后可以被用于为混合比例选择最佳值。也可以使用图像变化特征和编码的质量/效率的组合。 
靠近B帧序列中间的B帧或者来自低值M的B帧不会被比例插 值过多影响，因为计算的比例已经接近等平均。但是，对于较高的M值，B帧位置的极值可以被混合因子的选择显著影响。注意对于这些极限位置混合因子可以不同，这些极限位置比更中央的位置(其从偏离平均获得很少好处或者没有获得好处)更多地利用该平均，因为它们已经具有邻近P(或者I)帧的高比例。例如，如果M＝5，第一个和第四个B帧可能使用的混合因子F混合了更多的等平均，但第二个和第三个B帧可能使用严格的2/5和3/5的等平均比例。如果比例到平均混合因子(propotion-to-average blend factor)作为序列中B帧位置的函数变化，那么混合因子的变化值可以在压缩的比特流中传送或者作为辅助信息传给解码器。 
如果要求静态的一般混合因子(由于缺少传送值的方法)，那么值2/3通常接近最优的，且可以在编码器和解码器中被选择作为B帧插值的静态值。例如，使用F＝2/3的混合因子，对于M＝3的连续帧，比例将是7/18(7/18＝2/3*1/3+1/3*1/2)和11/18(11/18＝2/3*2/3+1/3*1/2)。 
线性插值 
视频帧像素值一般存储在特定表示中，特定表示把原始的图像信息映射到数字值。这种映射可能导致线性的或者非线性的表示。例如，在压缩中使用的亮度值是非线性的。各种形式的非线性表示的使用包括对数、指数(各种幂)以及黑色校正的指数(通常用于视频信号)。 
在狭窄的动态范围上或者对于邻近区域的插值，非线性表示是可接受的，因为这些邻近的插值表示分段的线性插值。因此，亮度的小变化可以由线性插值合理地近似。但是，对于亮度的广泛变化，例如发生在宽动态范围和宽对比度范围图像中的，把非线性信号处理为线性的将是不准确的。即使对于正常的对比度范围图像，线性淡出和交叉渐隐可以被线性插值降低效果。有些淡出和交叉渐隐利用非线性的淡出和渐隐率，增加了进一步的复杂性。 
对于使用比例混合，或者甚至是简单的比例或等平均插值的额外改进是在线性空间里表示的像素值上进行这种插值，或者在不同于原始非线性亮度表示的其他优化的非线性空间中进行这种插值。 
这可以被完成，例如通过首先把两个非线性亮度信号(来自前面 和后续P(或者I)帧)转换成线性表示，或者不同的非线性表示。然后应用比例混合，在应用逆变换之后，在图像的原始非线性亮度表示中产生混合的结果。但是，比例函数已经在亮度信号的更优表示上执行。 
当颜色正在褪色或者变得更加饱和时，如与在薄雾和阴天中的变化关联的对比度变化中发生的，除了亮度之外，把这个线性或非线性变换有利地应用于颜色(色度)值也是有用的。 
示例性实施例 
图4是一个流程图，显示了本发明的一个示例性实施例，其作为可以被计算机实现的一个方法： 
步骤400：在视频图像压缩系统中，对于计算B帧的直接和插值模式，使用(1)帧距离比例，或者(2)等权重和帧距离比例的混合来确定插值值以应用于两个或多个双向预测中间帧的输入序列的每个像素，插值值来源于括起这种从源(例如视频图像流)输入的序列的至少两个非双向预测的帧。 
步骤401：相对于图像单元(例如图像组(GOP)、帧序列、场景、帧、帧内的区域、宏块、DCT块或者类似有用的分组或像素的选择)优化插值值。插值值可以为整个编码期间静态地设定，或者为每个图像单元动态地设定。 
步骤402：进一步相对于场景类型或编码简单性优化插值值。例如，插值值可以被设定：静态地(例如2/3比例和1/3等平均)；比例地，为接近等平均的帧，但在邻近P(或I)帧附近要混合等平均；动态地，基于整体场景特征，例如淡出和交叉渐隐；动态地(和局部地)，基于局部图像区域特征，例如局部的对比度和局部的动态范围；或者动态地(和局部地)，基于编码性能(例如最高编码SNR)和生成的最少编码比特。 
步骤403：传送合适的比例量给解码器，如果不是静态确定的。 
步骤404：可选地，为每个帧转换亮度信息为线性的或者替换的非线性表示，并把这个替换传送给解码器，如果不是静态确定的。 
步骤405：使用确定的插值值确定比例像素值。 
步骤406：如果有必要(由于步骤404)，再转换成原始的表示。 
扩展的P帧参考 
如上所述，在现有技术MPEG-1、2和4压缩方法中，P帧参考前面的P或者I帧，且B帧参考最近的前面或后续的P和/或I帧。同样的技术被用于H.261和H.263运动补偿的DCT压缩标准，其包含了低比特率压缩技术。 
正在开发的H.263++和H.26L标准中，B帧参考被扩展到指向没有直接包围当前帧的P或者I帧。也就是说，B帧内的宏块可以指向前面P帧之前的一个P或者I帧，或者指向后续P帧之后的一个P或者I帧。由于每个宏块有一个或多个比特，跳过前面或后续P帧可以简单地表示。概念上，使用前面P帧用于B中的参考只要求存储空间。对于H.263++或H.26L的低比特率编码使用，这是少量的额外存储。对于后续的P帧参考，必须相对于B帧编码修改该P帧编码顺序，以致于必须在居间的B帧之前解码未来的P帧(或者可能是I帧)。因此，编码顺序对于后续的P帧参考也是个问题。 
P帧和B帧类型之间的主要差别是：(1)B帧可以被双向参考(最多每个宏块两个运动向量)；(2)在使用之后B帧被丢弃(这也意味着在解码过程中可以跳过它们以提供时间分层);和(3)P帧被用作“跳板”，一个到下一个，因为每个P帧必须被解码以用作每个后续P帧的参考。 
作为本发明的另一个方面，根据一个或多个的前面的P或者I帧(不包括每个P帧只参考最近的前面P帧或者I帧的情况)解码P帧(与B帧相对)。因此，例如，每个宏块的两个或者多个运动向量可以被用于当前的P帧，所有运动向量在时间上指向后面(也就是指向一个或多个先前解码的帧)。这样的P帧仍然保持“跳板”特点。图5是一个显示多个先前参考的例子，由当前P帧500参考两个前面P帧502、504和前面I帧506。 
此外，在这样的P帧参考中可以应用宏块插值的概念，如上所述。因此，除了表示对一个以上的前面P或I帧的单个参考之外，也可以为每个这样的帧参考使用一个运动向量，以混合多个前面P或I帧的 比例。例如，可以应用上面所述的使用具有两个帧参考的B帧插值模式的技术以允许P帧中的任何宏块利用两个运动向量来参考前面两个P帧或者一个前面的P帧和一个前面的I帧。这个技术在两个运动向量之间插值，但在时间上不是双向的(和B帧插值情况一样)，因为两个运动向量时间上都指向后面。存储开销减少到一个点，在这点，为这种并发参考在存储器中保存前面的多个P或I帧是相当实用的。 
在应用这种P帧插值时，肯定需要选择前面两个或多个P帧(以及可选地，一个前面的I帧)的各种有用比例并通知解码器。特别是帧的等混合是有用的混合比例之一。例如，有前两个P帧作为参考，可以混合每个P帧的相等的1/2。对于前三个P帧，可以使用1/3的相等混合。 
两个P帧的另一个有用混合是2/3的最近的前面帧和1/3的最远的前面帧。对于前3个P帧，另一个有用混合是1/2的最近的前面帧，1/3中间的前面帧和1/6的最远的前面帧。 
在任何情况下，可以利用多个前面P帧(和可选地，一个I帧)的一组简单的有用混合，并将它们简单地从编码器通知到解码器。每当对优化图像单元的编码效率有用时，可以选择使用的特定混合比例。可以使用少量的比特选择许多的混合比例，只要适合想要的图像单元，这些比特可以被传送给解码器。 
作为本发明的另一个方面，转变选择单个P帧参考从最近的前面P(或I)帧到更“远”的前面P(或I)帧也是有用的。在这个方式中，P帧会利用每个宏块(或者可选地，在MPEG4模式编码中的每个8x8块)的单个运动向量，但是会利用一个或多个的比特表示该参考参考单个特定的前面帧。在这个模式中的P帧宏块不是插值的，但是会参考选定的前面帧，该帧从可能的两个、三个或者更多的前面P(或I)帧中选择用于参考。例如，2比特编码可指定多至4个的前面帧中的一个作为单个选择帧。这个2比特编码可以在任何方便的图像单元被改变。 
自适应的B帧数量 
在MPEG编码中典型地使用I、P、B帧类型的固定模式。在P帧 之间的B帧数量典型地是常数。例如，在MPEG编码中在P(或I)帧之间使用两个B帧是典型的。图6A是典型的现有技术MPEG-2编码模式图，显示了在进行包围的I帧600和/或P帧602之间的固定数量的B帧(即两个)。 
MPEG-4视频编码标准概念地允许在进行包围的I帧和/或P帧之间是变数量的B帧，以及I帧之间变化的距离。图6B是理论上可能的现有技术MPEG-4视频编码模式图，显示了在进行包围的I帧600和/或P帧602之间的变数量的B帧，以及I帧600之间的变距离。 
这个灵活的编码结构理论上可被用于通过将最有效的B帧和P帧编码类型匹配到运动图像帧来提高编码效率。虽然这个灵活性已经被特别地允许，但是人们很少研究它，而且在这种灵活的结构中实际确定B帧和P帧位置的机制也是未知的。 
本发明的另一个方面在普通使用中把这里描述的概念应用于这个灵活的编码结构以及简单的固定编码模式。因此能够使用上面所述的方法来插值B帧，而P帧可以参考一个以上的前面P帧或I帧并根据本说明书被插值。 
特别地，B帧内的宏块可以利用与固定结构一样有效的适于灵活编码结构的比例混合。当B帧参考与最靠近的进行包围的P帧或I帧相比更远的P帧或I帧时，也可以利用比例混合。 
类似地，在这个灵活编码结构中，P帧可以参考一个以上的前面的P帧或I帧，与固定模式结构一样有效。此外，当这些P帧参考一个以上的前面的P帧(可选地，加上一个I帧)时，混合比例可以被应用于这种P帧中的宏块。 
(A)在灵活的编码模式中确定位置 
以下方法允许编码器优化帧编码模式以及利用混合比例的效率。对于选定范围的帧，可以尝试许多候选的编码模式以确定最优的或者接近最优的(相对于指定标准)模式。图7是一个可以被检验的编码模式图。以P或者I帧结束的初始序列700是任意选定的，并被用作增加的附加P帧和/或B帧的基础，然后评估附加P帧和/或B帧(如下所述)。在一个实施例中，一个P帧被加到初始序列700以创建用于 评估的第一个测试序列702。如果评估满足，那么插入一个居间的B帧以创建第二个测试序列704。对于每个满足的评估，插入附加B帧以创建逐渐变长的测试序列706～712，直到评估标准变得不满足。到那一点，前面的编码序列被接受。然后重复这个过程，使用先前接受的编码序列的结尾P帧作为增加新P帧的起始点，然后插入新的B帧。 
最优的或者接近最优的编码模式可以基于各种评估标准选择，通常涉及各种编码特征的权衡，例如编码的图像质量和所需的编码比特数量。常用的评估标准包括被使用的最少比特数量(在固定的量化参数测试中)，或者最好的信噪比(在固定的比特率测试中)，或者两者的组合。 
最小化一个绝对差值和(SAD)也是常见的，SAD形成DC匹配的测量。如在共同待决的题为“Motion Estimation for Video Compression System”的美国专利申请09/904192号(其被转让给本发明的受让人，因而通过引用并入)中描述的，AC匹配标准也是特定候选匹配的质量的有用测量(本专利申请也描述其他有用的优化)。因此可以检验在所有宏块的最佳匹配上累积的AC和DC匹配标准，以确定每个候选编码模式的整体匹配质量。当这个AC/DC匹配技术和每个帧模式类型的编码比特数量的估计一起使用时，它可以增进或者取代信噪比(SNR)和使用最少比特的测试。典型的是，编码B帧宏块所使用的量化参数值(QP)比用于P帧的更高，其影响在各种候选编码模式内使用的比特数和质量(通常作为信噪比测量)。 
(B)在灵活编码模式中的混合比例优化 
可选地，对于根据上述方法确定的每个候选模式，可以测试混合比例相对一个或多个标准的适合性(例如最优的或者接近最优的混合比例)。这可以被完成，例如通过测试最好质量(最低SNR)和/或效率(使用的最少比特)。为P帧中的每个宏块使用一个或多个前面的参考也可以用同样的方式确定，测试每个候选的参考模式和混合比例以确定一组或多组合适的参考。 
一旦为下一步骤(图7中的步骤700)选择了编码模式，就可以为各种候选编码模式测试后续步骤(步骤702-712)。在这个方法中，可以确定运动图像序列的更高效的编码。因此，可以如上面的子节(A) 描述的那样优化/提高效率；可以在每个测试的编码步骤应用混合优化。 
DC对AC插值 
在图像编码的许多情况中，例如当使用图像帧的对数表示时，帧像素值的上述插值将最优地编码亮度中的变化。但是，在替换的视频“γ曲线”、线性和其他表示中，把不同的插值混合因子应用于像素的DC值而不是AC值，这通常被证明是有用的。图8是一个流程图，显示了一种与AC插值明显不同的具有DC插值的插值方法的一个实施例。对于来自第一和第二输入帧的选定图像区域(通常是DCT块或者宏块)802、802′，减去每个这种区域的平均像素值804、804′，因此在选定的区域中把DC值(即整个选定区域的平均值)806、806′和AC值(即保留的有符号像素值)808、808′分开。然后各自的DC值806、806′可以乘以插值权重810、810′，其不同于乘以AC(有符号的)像素值808、808′使用的814、814′。然后，最新插值的DC值812和最新插值的AC值816可以被合并成818，产生选定区域的新预测820。 
和本发明中的其他插值值一样，可以将合适的权重通知每个图像单元的解码器。可以在许多编码值之间选择少量的比特，以及选择像素值的AC对DC方面的独立插值。 
线性&非线性插值 
插值是线性的加权平均。由于插值运算是线性的，且由于每个图像帧中的像素值通常是以非线性形式(例如视频伽马表示或者对数表示)表示的，插值过程的进一步优化成为可能的。例如，特定帧序列的像素的插值，以及从AC值分离的DC值的插值，有时用线性的像素表示将是最优的或者接近最优的。但是，对于其他的帧序列，如果像素是被表示成对数值或者其他的像素表示，那么这种插值将是最优的或者接近最优的。此外，用于插值U和V(色度)信号分量的最优表示或接近最优的表示可不同于Y(亮度)信号分量的最优表示或接近最优的表示。因此，本发明的一个有用方面是作为插值程序的一部分，把像素表示转换成替换的表示。 
图9是一个流程图，显示了使用替换表示的亮度像素插值的方法的一个实施例。开始于初始表示(例如视频伽马或者对数)中的亮度 (Y)像素的一个区域或者块(步骤900)，像素数据被变换成不同于初始表示的替换表示(例如线性的、对数的、视频伽马)(步骤902)。然后如上所述，变换的像素区域或者块被插值(步骤906)，并变换回初始表示(步骤906)。结果得到插值的像素亮度值(步骤908)。 
图10是一个流程图，显示了使用替换表示的色度像素插值的方法的一个实施例。开始于初始表示(例如视频伽马或者对数)中的色度(U，V)像素的一个区域或者块(步骤1000)，像素数据被变换成不同于初始表示的替换表示(例如线性的、对数的、视频伽马)(步骤1002)。然后如上所述，变换的像素区域或者块被插值(步骤1006)，并变换回初始表示(步骤1006)。结果得到插值的像素色度值(步骤1008)。 
各种表示之间的变换可以根据题为“Method and System for Improving Compressed Image Chroma Information”的美国专利申请09/905039号的讲解进行，其被转让给本发明的受让人，因此通过引用并入。注意，通常使用简单的查找表进行替换的表示变换及其逆变换。 
作为本发明的这个方面的一个变化，用于AC插值的替换(线性或非线性)表示空间可不同于用于DC插值的替换表示空间。 
和插值权重一样，选择哪种替换插值表示用于每个亮度(Y)和色度(U和V)像素表示，可以使用每个选定图像单元的少量比特通知解码器。 
每个宏块的运动向量的数量 
在MPEG-2中，P帧中的每个16x16宏块允许一个运动向量。在B帧中，MPEG-2允许每个16x16宏块最多两个运动向量，对应于双向的插值模式。在MPEG-4视频编码中，P帧中的每个16x16宏块允许多至4个运动向量，对应于每个8x8 DCT块一个运动向量。在MPEG-4B帧中，当使用插值模式时，每个16x16宏块允许最多两个运动向量。如果后续的对应P帧宏块被设置为具有4个运动向量的8x8模式，在MPEG-4直接模式中的单个运动向量增量可以导致4个独立的“隐式”运动向量。这是在换算时间距离(该B帧在时间上更靠近该P帧的前面P帧或I帧参考)之后，通过将16x16B帧宏块中所携带的一个运动向量增量增加到来自随后P帧宏块中的对应的4个独立运动向量中的 每一个来实现的。 
本发明的一个方面包括增加每个图像区域(例如宏块)的运动向量数量的选择。例如，有时证明每个B帧宏块具有两个以上的运动向量是有益的。这些可以通过参考附加的P帧或者I帧和在加权和中具有3个或更多的插值项被应用。也可以应用附加的运动向量以允许B帧宏块的8x8DCT块的独立向量。而且，可以使用4个独立增量以通过把独立增量应用于后续P帧的4个8x8区域运动向量中的每一个来扩展直接模式的概念。 
此外，可以使用B帧插值技术修改P帧以在插值模式中参考多于一个的前面帧，使用上面描述的B帧的两个插值项技术。这个技术可以容易地扩展到两个以上的前面P帧或者I帧，所得到的插值在加权和中具有3个或更多的项。 
和本发明的其他方面(例如像素表示和DC对AC插值方法)一样， 
可以使用每个图像单元的少量比特把特定的加权和传递给解码器。 
在应用本发明的这个方面时，8x8像素DCT块和运动向量域之间的对应不需要像MPEG-2和MPEG-4中那样严格。例如，使用除了16x16、16x8(只在MPEG-4中的隔行扫描中使用)、8x8以外的替换区域尺寸用于运动向量可能是有用的。这种替换可能包括任何数量的有用区域尺寸，例如4x8、8x12、8x16、6x12、2x8、4x8、24x8、32x32、24x24、24x16、8x24、32x8、32x4等等。使用少量这种有用的尺寸，几个比特可以把运动向量区域尺寸和DCT块尺寸之间的对应通知解码器。在使用传统的8x8DCT块的系统中，一组到运动向量域的简单对应对简化运动补偿中的处理是有用的。在DCT块尺寸不是8x8的系统中，那么可以在指定的运动向量域中实现更大的灵活性，如在题为“Enhanced Temporal and Resolution Layering in Advanced Television”的共同待决的美国专利申请09/545233号中所描述的，其被转让给本发明的受让人，因此通过引用将其并入。注意，运动向量区域边界不需要对应于DCT区域边界。实际上，以运动向量区域界限落入DCT块内(且不在其界限上)的方式定义运动向量区域经常是有用的。 
扩展运动向量域的灵活性的概念也适用于本发明的插值方面。只要指定了每个像素和指向一个或多个参考帧的一个或多个运动向量之 间的对应，就可以使用本发明的所有通用性把上述插值方法应用于有用运动向量的全部灵活性。甚至当使用P帧时，对于每个前面帧参考，对应于每个运动向量的区域的尺寸可以不同，而且当使用B帧时，对于每个前面和未来的帧参考，对应于每个运动向量的区域尺寸可以不同。如果在应用本发明的改进插值方法时运动向量的区域尺寸不同，那么插值反映重叠的共同区域。运动向量参考的重叠共同区域可以被用作当分别插值DC和AC像素值时，在其上确定DC项的区域。 
图11显示了两个P帧1104、1106各自的独特运动向量区域尺寸1100和1102。在根据这个发明计算插值时，确定运动向量区域尺寸的联合1108。联合1108定义了所有的被认为是具有分配的运动向量的区域。 
因此，例如在将B帧1112的4x4DCT区域向后插值到前面P帧1104时，联合1108内的4x4区域1110会使用对应于前面P帧中的8x16区域1114的运动向量。如果前向预测，那么联合1108内的1110区域会使用对应于下一P帧中的4x16区域1115的运动向量。类似地，联合1108内的区域116的向后插值会使用对应于8x16区域1114的运动向量，而前向预测相同的区域会使用对应于12x16区域1117的运动向量。 
在本发明的一个实施例中，利用两个步骤来实现普遍(即非统一尺寸)运动向量的插值。第一步是确定运动向量共同区域，如关于图11所描述的。这为每个前面帧或者后续帧参考建立了像素和运动向量之间的对应(即每个指定像素区域尺寸的运动向量的数量)。第二步是利用合适的插值方法和对于像素的每个区域有效的插值因子。编码器的任务是确保最优的或接近最优的运动向量区域和插值方法被指定，且所有像素使它们的向量和插值方法完全被指定。对于运动向量的固定模式(例如为整个帧指定每个32x8块一个运动向量)，具有单个指定的插值方法(例如为整个帧指定的到被参考帧的每个距离的固定比例混合)的情况，这非常简单。如果对运动向量区域尺寸做区域性的改变，且区域尺寸的不同依赖于参考的是哪个前面帧或者后续帧(例如对于最近的前面帧是8x8块，对于下一个最近的前面帧是32x8块)，这个方法也能变得相当复杂。此外，可以在帧内区域性地指定插值方 法。 
编码时，编码器的工作是确定比特的最优或接近最优的用法以在运动向量区域形状和尺寸之间选择，和选择最优或接近最优的插值方法。还需要一个决定以指定被参考帧的数量和距离。通过详尽地测试大量候选运动向量区域尺寸、要参考的候选帧和每个这样的运动向量区域的插值方法来确定这些指定，直到找到最优或接近最优的编码。最优(相对于选定的标准)可以通过在编码块之后找到最小的SNR或者在编码块之后找到固定量化参数(QP)的最少比特数，或者通过应用其他合适的测量来确定。 
直接模式扩展 
在MPEG-4中的B帧宏块中使用的传统直接模式，在运动向量编码中是高效的，利用简单共同增量提供了8x8块模式的好处。直接模式基于时间距离在对应的宏块位置处对后续P帧的每个对应的运动向量进行加权，该P帧参考前面P帧。例如，如果M＝3(即两个居间的B帧)，用简单线性插值，第一个B帧使用-2/3倍的后续P帧运动向量以确定相对于这种P帧的像素偏移，和1/3倍的后续P帧运动向量以确定相对于前面P帧的像素偏移。类似地，第二个B帧使用-1/3倍的相同P帧运动向量以确定相对于这种P帧的像素偏移，和2/3倍的后续P帧运动向量以确定相对于前面P帧的像素偏移。在直接模式中，小的增量被加到每个对应的运动向量。作为这个发明的另一个方面，这个概念可以扩展至指向一个或多个n远离P帧的B帧参考，这些P帧又参考一个或多个前面或后续P帧或I帧，通过考虑帧距离来确定帧比例分数(frame scale fraction)。 
图12是显示P帧和B帧序列的图，其中B帧的插值权重被确定为到2远离后续P帧的距离的函数，该P帧参考1远离后续P帧。在这个说明性的例子中，M＝3，表示在进行包围的P帧1204、1206之间有两个连续B帧1200、1202。在这个例子中，在下一个最近的后续P帧1208中的每个共存的宏块可指向该居间的(即最近的)P帧1204，且最初的两个B帧1200、1202可参考下一个最近的后续P帧1208而不是最近的后续P帧1204，如在传统MPEG中的。因而，对于第一个 B帧1200，帧比例分数5/3乘以来自下一个最近的后续P帧1208的运动向量mv会被用作相对于P帧1208的像素偏移，且第二个B帧1202会使用4/3乘以那个相同的运动向量的偏移。 
如果被B帧参考的最近的后续P帧指向下一个最近的前面P帧，那么再次使用简单的帧距离以获得应用于运动向量的合适的帧比例分数。图13是显示P帧和B帧序列的图，其中B帧的插值权重被确定为到1远离后续P帧的距离的函数，该P帧参考2远离前面P帧。在这个说明性的例子中，M＝3，B帧1300、1302参考最近的后续P帧1304，该P帧1304又参考2远离P帧1306。因而，对于第一个B帧1300，像素偏移分数是帧比例分数2/6乘以来自最近后续P帧1304的运动向量mv，且第二个B帧1302会具有1/6乘以那个相同的运动向量的像素偏移，因为最近的后续P帧1304的运动向量指向2远离前面P帧1306，该帧相距6个帧。 
通常，在直接模式中B帧参考单个P帧的情况下，帧距离方法设定帧比例分数的分子等于该B帧到其参考的或者“目标”P帧的帧距离，并设定分母等于从目标P帧到另一个被目标P帧参考的P帧的距离。对于从B帧到后续P帧进行的测量，帧比例分数的符号是负号，而对于从B帧到前面P帧进行的测量，帧比例分数的符号是正号。这种把帧距离或者帧比例分数应用于P帧运动向量的简单方法能够实现有效的直接模式编码。 
此外，这个发明的另一个方面是允许直接模式应用于一个P帧的多个插值的运动向量参考。例如，如果从最近的和下一个最近的前面P帧插值一个P帧，那么根据本发明的这个方面的直接模式参考允许插值混合用于每个多参考直接模式B帧宏块。通常，一个P帧的两个或多个运动向量可以应用一个合适的帧比例分数。然后，两个或多个帧距离修正的运动向量可以和参考或指向那个P帧的每个B帧的对应插值权重一起使用(如下所述)，以生成插值B帧宏块运动补偿。 
图14是显示P帧和B帧序列的图，其中一个后续P帧具有多个参考前面P帧的运动向量。在这个例子中，B帧1400参考后续P帧P3。这个P3帧又具有两个运动向量mv1和mv2，其参考对应的前面P帧P2和P1。在这个例子中，可以使用两个加权项中的任一个或者这种加 权项的组合在直接模式中对B帧1400的每个宏块进行插值。 
B帧1400的每个宏块可根据下列项构造成混合形式： 
●由mv1的帧比例分数1/3取代的帧P2的对应像素(这些像素然后可能乘以某个比例权值i)加上由mv1的帧比例分数-2/3取代的帧P3的对应像素(这些像素然后可能乘以某个比例权值j)；以及 
●由mv2的帧比例分数2/3(4/6)取代的帧P1的对应像素(这些像素然后可能乘以某个比例权值k)加上由mv2的帧比例分数-1/3(-2/6)取代的帧P3的对应像素(这些像素然后可能乘以某个比例权值l)。 
和所有的直接模式一样，运动向量增量可以与mv1和mv2中的每一个一起使用。 
根据本发明的这个方面，如同多个前面P帧的情况一样，使用相同的插值方法和运动向量帧比例分数应用，B帧中的直接模式预测宏块也能够参考多个后续的P帧。图15是显示P帧和B帧序列的图，其中最近的后续P帧具有参考一个前面P帧的运动向量，且下一个最近的后续P帧具有参考前面多个P帧的多个运动向量。在这个例子中，B帧1500参考两个后续P帧P2和P3。帧P3具有两个运动向量mv1和mv2，它们参考对应的前面P帧P2和P1。帧P2有一个运动向量mv3，其参考前面P帧P1。在这个例子中，使用3个加权项在直接模式中对B帧1500的每个宏块进行插值。假如这样的话，运动向量帧比例分数可以大于1或小于-1。 
这种形式的直接模式B帧宏块插值的加权可以利用这里描述的插值的全部通用性。特别是，为了获得各种图像单元的最佳性能(例如质量对比特数)，可对每个权值或者权值的组合进行测试。用于这种改进直接模式的插值分数组可以每个图像单元用少量比特指定给解码器。 
B帧1500的每个宏块可根据下列项构造成混合形式： 
●由mv1的帧比例分数-5/3取代的帧P3的对应像素(这些像素然后可能乘以某个比例权值i)加上由mv1的帧比例分数-2/3取代的帧P2的对应像素(这些像素然后可能乘以某个比例权 值j)； 
●由mv2的帧比例分数-5/6取代的帧P3的对应像素(这些像素然后可能乘以某个比例权值k)加上由mv2的帧比例分数1/6取代的帧P1的对应像素(这些像素然后可能乘以某个比例权值l)；以及 
●由mv3的帧比例分数-2/3取代的帧P2的对应像素(这些像素然后可能乘以某个比例权值m)加上由mv3的帧比例分数1/3取代的帧P1的对应像素(这些像素然后可能乘以某个比例权值n)。 
和所有的直接模式一样，运动向量增量可以与mv1、mv2和mv3中的每一个一起使用。 
注意，当下一个最近的后续P帧参考了包围一候选B帧的最近的P帧时，经常出现特别有益的直接编码模式。 
在MPEG-4中B帧的直接模式编码总是使用后续P帧的运动向量作为参考。根据本发明的另一个方面，B帧参考前面P帧的共存宏块的运动向量也是可能的，这些运动向量有时将证明直接模式编码参考的有益选择。假如这样的话，当下一个最近的前面P帧被最近的前面P帧的运动向量参考时，运动向量帧比例分数将大于1。图16显示了P帧和B帧序列，其中最近的前面P帧具有参考前面P帧的运动向量。在这个例子中，B帧1600参考了1远离的前面P帧P2。帧P2的运动向量mv参考下一个前面P帧P1(相对于B帧1600，2远离)。图中显示了合适的帧比例分数。 
如果根据多个向量和帧对最近的前面P帧进行插值，那么应用类似于结合图14所描述的那些方法以获得运动向量帧比例分数和插值权值。图17是显示P帧和B帧序列的图，其中最近的前面P帧具有两个参考前面P帧的运动向量。在这个例子中，B帧1700参考前面P帧P3。前面的帧P3的一个运动向量mv1参考下一个前面P帧P2，而第二个运动向量mv2参考2远离的前面P帧P1。图中显示了合适的帧比例分数。 
B帧1700的每个宏块可以根据下列项构造成混合形式： 
●由mv1的帧比例分数1/3取代的帧P3的对应像素(这些像素 然后可能乘以某个比例权值i)加上由mv1的帧比例分数4/3取代的帧P2的对应像素(这些像素然后可能乘以某个比例权值j)；以及 
●由mv2的帧比例分数1/6取代的帧P3的对应像素(这些像素然后可能乘以某个比例权值k)加上由mv2的帧比例分数7/6取代的帧P1的对应像素(这些像素然后可能乘以某个比例权值l)。 
当前面P帧(相对于B帧)的运动向量指向下一个最近的前面P帧时，没有必要只利用下一个最近的前面帧作为插值参考，如在图16中的。最近的前面P帧可以为运动补偿证明更好的选择。假如这样的话，最近的前面P帧的运动向量被缩短到从B帧到那个P帧的帧距离分数。图18是显示P帧和B帧序列的图，其中最近的前面P帧具有一个参考前面P帧的运动向量。在这个例子中，对于M＝3，第一个B帧1800会使用1/3和-2/3帧距离分数乘以最近的前面P帧P2的运动向量mv。第二个B帧1802会使用2/3和-1/3帧距离分数(未示出)。将这种选择通知解码器以区分这个例子和图16中所示的例子。 
和所有其他的编码模式一样，直接模式的使用最好包括根据其他可用的插值和单向量编码模式和参考帧对候选模式进行测试。对于直接模式测试，最近的后续P帧(可选地，和下一个最近的后续P帧或甚至更远的后续P帧，和/或一个或多个前面P帧)可被作为候选帧测试，并且少量的比特(典型地是一个或两个)可被用于指定由解码器使用的直接模式P参考帧距离。 
扩展的插值值 
在MPEG-1、2、4及H.261和H.263标准中指定了，B帧使用前向参考帧和后向参考帧的像素值的等加权，如由运动向量所取代的。本发明的另一个方面包括各种有用的不相等加权的应用，这些不相等加权显著提高B帧编码效率，以及这种不相等加权到多于两个参考的扩展，这些参考包括两个或多个时间上向前或者向后的参考。本发明的这个方面还包括用于为P帧而被参考和插值的一个以上的帧的方法。此外，当两个或多个参考在时间上指向前，或者当两个或多个参考在 时间上指向后时，那么有时使用负权重和超过1.0的权重是有用的。 
例如，图19是显示三个P帧P1、P2和P3的帧序列，其中P3用两个运动向量使用插值参考，而P1和P2各一个。例如，如果连续的变化正在P1和P3之间的帧范围发生，那么P2-P1(即帧P2的像素值(被P2的运动向量所取代)减去帧P1的像素值(被P1的运动向量所取代))将等于P3-P2。类似地，P3-P1将是P2-P1和P3-P2大小的两倍。在这种情况下，可以通过公式从P2和P1差别地预测帧P3的像素值： 
P3＝P1+2x(P2-P1)＝(2xP2)-P1 
既然这样，P3的插值权重对于P2是2.0，对于P1是-1.0。 
作为另一个例子，图20显示了四个P帧P1、P2、P3和P4的帧序列，其中P4使用具有三个运动向量的插值参考，而P1、P2和P3各一个。因此，由于P4是从P3、P2和P1预测的，所以应用三个运动向量和插值权重。在这种情况下，如果连续的变化正在这个帧范围上发生，那么P2-P1将等于P3-P2和P4-P3，而P4-P1将等于3x(P2-P1)和3x(P3-P2)。 
因此，在这个例子中，基于P2和P1的P4预测为： 
P4＝P1+3x(P2-P1)＝(3xP2)-(2xP1)(权重为3.0和-2.0) 
基于P3和P1的P4预测为： 
P4＝P1+3/2x(P3-P1)＝(3/2xP3)-(1/2xP1)(权重为1.5和-0.5) 
基于P3和P2的P4预测为： 
P4＝P2+2x(P3-P2)＝(2xP3)-P2(权重为2.0和-1.0) 
然而可能的是，最靠近P4(包括P3和P2)的变化，比包括P1的预测是更可靠的P4的预测值。因此，通过给上面包括P1的两个项各1/4权重，并给仅包括P3和P2的项1/2权重，将导致： 
1/2(2P3-P2)+1/4(3/2P3-1/2P1)+1/4(3P2-2P1)＝ 
13/8P3+1/4P2-5/8P1(权重为1.375，0.25和-0.625) 
据此，有时既使用大于1.0的权重又使用小于0的权重是有用的。在其它时候，如果从一个帧到下一个帧存在类似噪音的变化，具有0.0和1.0之间的适度的系数的正加权平均可产生P4的宏块(或者其他的像素区域)的最佳预测。例如，图20中P1、P2和P3各1/3的等加权在某些情况下可能形成P4的最佳预测。 
注意最佳匹配的运动向量被用来确定P1、P2、P3等的区域，在这个例子中，计算时使用了P1、P2、P3。在某些情况下，这个匹配可能最好是AC匹配，其允许变化的DC项通过AC系数预测。或者，如果使用DC匹配(例如绝对差的和)，那么经常能够预测AC系数的变化。在其他情况下，各种形式的运动向量匹配将形成具有各种权重混合的最佳预测。通常，特定情况的最佳预测是使用这里所描述的方法经验地确定的。 
这些技术也适用于具有两个或多个在时间上指向后或指向前的运动向量的B帧。当在时间上指向前时，以上描述的用于P帧的系数模式被颠倒过来以准确地向后预测当前的P帧。使用本发明的这个方面，在向前和向后两个方向上均具有两个或多个运动向量是可能的，因此同时在两个方向预测。这些各种预测的合适的加权混合可以通过选择混合的加权来优化，混合加权最佳地预测了当前B帧的宏块(或其他像素区域)。 
图21是显示P帧和B帧序列的图，其中不同P帧具有一个或多个参考前面不同P帧的运动向量，图中也显示了分配给被特定B帧参考的各自向前和向后参考的不同权重a-e。在这个例子中，B帧2100参考三个前面P帧和两个后续P帧。 
在图21所示的例子中，帧P5必须被解码以使这个例子工作。有时以解码所需的顺序(“发送顺序”)在比特流中给帧排序是有用的，发送顺序没有必要是显示的顺序(“显示顺序”)。例如，在显示循环运动(例如物体的旋转)的帧序列中，特定的P帧可能更类似远处的P帧而不是最近的后续P帧。图22是显示P帧和B帧序列的图，其中P帧的比特流发送顺序不同于显示顺序。在这个例子中，帧P3更类似于帧P5而不是帧P4。因此在P4之前发送和解码P5，但在P5之前显示P4是有用的。优选地，当这种P帧可以被丢弃时(例如在比特流顺序中n个帧的终止时间或者在显示顺序中的帧X之后)，每个P帧应该通知解码器。 
如果从一个小的选择集中选择权重，那么少量比特就能够通知解码器要使用哪个权重。和这里所描述的所有其他权重一样，这可以每一个图像单元通知解码器一次，或者在解码过程中权重变化是有用的 任何其他点上。 
下载新的权重集也是可能的。在这种方式中，少量的权重集可以在给定时间上有效。这允许少量的比特通知解码器在解码过程中在任何给定点将使用哪个有效的权重集。为了确定合适的权重集，可以在编码过程中测试大量的权重。如果发现小的子集提供高效率，那么可以通知解码器使用那个子集。因此能够只用几个比特把该子集的特定元素通知解码器。例如10个比特可以选择1024个子集元素中的一个。此外，当改变特定的小子集以维持效率时，可以把新的子集通知解码器。因此，编码器可以对比更新权重集所需的比特数，动态地优化在权重集元素中选择所需的比特数。此外，少量的短编码能被用于表示常见的有用权重，例如1/2、1/3、1/4等等。在这种方式中，少量的比特能被用于表示权重集，例如用于P帧中的K-前向-向量预测(其中K＝1，2，3…)，或者B帧中的K-前向-向量和L-后向-向量预测(其中K和L从0，1，2，3…中选择)，或者P帧中的K-前向-向量和L-后向-向量预测(其中K和L从0，1，2，3…中选择)，作为当前M值的函数(即B帧相对于邻近P(或I)帧的相对位置)。 
图23是显示具有分配权重的P帧和B帧序列的图。B帧2300具有权重a-e，其值是从B帧权重集2302的表格分配的。P帧2304具有权重m和n，其值是从P帧权重集2306的表格分配的。某些权重可以是静态的(即不变地下载到解码器)，并由编码器通知。其他权重可以被动态地下载然后通知。 
这个相同的技术可被用于动态地更新权重集以对比于AC插值选择DC插值。此外，可以表示编码值，其对比于变换值(在替换的线性或非线性表示中)的线性插值选择一般的(线性)插值(通常以非线性表示表示的像素值的插值)。类似地，这种编码值可以表示哪些这样的插值应用于AC值或DC值或者是否分开预测的AC和DC部分。 
有效的子集也可被用于最少化在目前使用的权重系数集之间选择所必需的比特数。例如，如果1024个下载的权重集被保存在解码器中，那么可能在帧的一个特定部分期间需要大概16个是有效的。因此，通过选择(从1024个中选出)16个权重集的哪些子集是有效的，只需要使用4个比特选择这16个中的哪个权重集是有效的。可以为这些最常 见子集使用短编码来表示这些子集，因而允许少量的比特在常用的子集中选择。 
柔化和锐化 
和通过减去平均值从AC信号中简单地分开DC分量一样，在运动向量补偿预测的过程中，其他的滤波运算也是可能的。例如，各种高通、带通和低通滤波器可被应用于像素区域(例如宏块)以提取各种频率带。然后，当进行运动补偿时，可以修改这些频率带。例如，在有噪音的移动图像上滤出最高的频率以柔化(使之不太清晰或者稍微地模糊)该图像通常可能是有用的。更加柔化的图像像素，与用于量化的更陡的斜矩阵(tilt matrix)结合(更陡的斜矩阵忽略当前块中的更高频率的噪音)，通常形成更高效的编码方法。已经有可能在每个图像单元的量化斜矩阵中表示变化。还可能下载亮度和色度的定制斜矩阵。注意不管斜矩阵是否改变，都可以提高运动补偿的效率。然而，通常最有效的是既改变斜矩阵又改变在运动补偿过程中应用的滤波器参数。 
常见做法是使用降低的色度编码分辨率和色度特定的斜矩阵。但是，在这个例子中，色度编码分辨率是静态的(例如4:2:0水平和垂直地编码半分辨率或者4:2:2只是水平地编码半分辨率)。可以根据本发明的这个方面通过在运动补偿过程中把一个动态滤波器处理应用于色度和亮度(独立地或合作地)来提高编码效率，每个图像单元选择一个。 
题为“Enhanced Temporal and Resolution Layering in Advanced Television”的美国专利申请09/545233号(前文引用过)描述了改进的负半周(截断的正弦函数)位移滤波器的使用。这些滤波器具有的优点是当进行运动向量位移的碎片像素(fractionai-pixel)部分时，它们保持清晰度。在整像素(integer pixel)位移点和碎片像素位移点，使用降低或提高其清晰度的滤波器可更优地移动某些宏块(或其他有用的图像区域)。例如，对于“变焦”(其中，帧中的某些物体随着时间移出焦点和帧的其他部分进入焦点)来说，转变是清晰度和柔度的变化之一。因此，能够在图像的某些区域提高清晰度而在其他区域降 低清晰度的运动补偿滤波器能够提高编码效率。特别地，如果图像的区域正移出焦点，那么降低清晰度可能是有益的，这将柔化图像(因而可能产生更好的匹配)和减少颗粒和/或噪音(因而可能提高编码效率)。如果图像的区域正进入焦点，那么保持最好的清晰度或者甚至使用更大的负半周正弦滤波器值提高清晰度可能是有益的。 
在编码过程中，色度滤波也能够从提高和降低清晰度中受益。例如，4:2:0编码(水平和垂直地编码半分辨率色度)的许多编码效率优点可以通过为色度使用更柔的运动补偿滤波器而在U和/或V通道中保持全分辨率来实现。仅仅当在U和V通道中的色彩细节是高时，才有必要选择最清晰的位移滤波器；在有高色彩噪音或者颗粒的地方较柔的滤波器将更有益。 
除了焦点的变化之外，从一个帧到下一个帧的方向和运动模糊变化量也是普遍的。当运动图像胶片帧的速率为24fps时，即使一个简单的对话场景从一个帧到下一个帧在运动模糊方面也有显著的变化。例如，在一个帧中上嘴唇可能是模糊的，且在下一个帧中清晰化，这完全是由于在照相机中打开快门期间的嘴唇运动。对于这样的运动模糊，不仅在运动补偿过程中具有锐化和柔化(模糊化)滤波器而且具有锐化和柔化的方向方面将是有益的。例如，如果可以确定运动的方向，那么沿那个方向的柔化或锐化可被用于对应图像特写的移动或停止。用于运动补偿的运动向量本身可以相对于任何周围的帧(或对应区域)为特定帧(或帧内的区域)提供关于运动量、运动量的变化(即运动模糊)的一些有用信息。特别是，运动向量是P帧之间的最佳运动匹配，而运动模糊来自帧中的在打开快门时间期间的运动。 
图24是一个帧内的物体位置对时间的图。照相机的快门只在部分帧时间期间打开。当快门打开时，物体的任何运动导致模糊。运动模糊量是由在快门打开期间的位置变化量表示的。因此，当快门打开时位置曲线2400的斜率是运动模糊的度量。 
运动模糊量和运动方向也可以从清晰度量度、周围的运动向量(图像区域匹配的地方)、特征拖影检测和帧区域的人为辅助指定的组合中确定。可以基于确定的运动模糊量和运动方向选择滤波器。例如，对比所确定的运动模糊量和运动方向，各种滤波器的映射可以经验地确 定。 
当结合本发明的其他方面时，这种智能应用的滤波器可以显著地提高压缩编码效率。可以选择少量的这种滤波器，用少量的比特通知解码器。同样，这能够是以每个图像单元一次或者在解码过程中的其他有用点上实现。与权重集一样，可以使用一组动态装入的滤波器，以及有效的子集机制以最少化在最有益的滤波器参数集合之间选择所需的比特数。 
实现 
本发明可以在硬件或软件，或者两者的组合(例如可编程的逻辑阵列)中实现。除非另外指定，作为本发明的一部分而包括的算法本质上不与任何特定的计算机或者其他装置相关。特别地，各种通用目的的设备可以与根据本文所述编写的程序一起使用，或者可能更方便的是构造更特殊的装置(例如集成电路)以执行特定功能。因此，本发明可以在一个或多个可编程计算机系统上执行的一个或多个计算机程序中实现，每个可编程计算机系统包括至少一个处理器、至少一个数据存储系统(包括永久的和易失的存储器和/或存储单元)，至少一个输入设备或端口，和至少一个输出设备或端口。程序代码被应用于输入数据以执行这里描述的功能并生成输出信息。输出信息以公知的方式被应用于一个或多个输出设备。 
每个这样的程序可以用任何希望的计算机语言(包括机器的、汇编的、或高级过程化的、逻辑的、面向对像的编程语言)实现以与计算机系统通信。在任何情况下，语言可以是编译语言或解释语言。 
每个这样的计算机程序优选存储在或者下载到存储介质或设备上(例如固态存储器或介质，或者磁介质或光介质)，这些存储介质或设备是通用或专门目的的可编程计算机可读的，当存储介质或设备被计算机系统读取以执行这里描述的程序时，这样的计算机程序用于配置和操作计算机。也可以考虑将本发明系统实现成计算机可读存储介质，其被配置为具有一计算机程序，如此配置的存储介质使计算机系统以特定的和预定的方式运行以执行本文所描述的功能。 
已经描述了本发明的多个实施例。但是，应该理解的是，在不脱 离本发明的精神和范围的情况下可以进行各种修改。例如，上文所述的某些步骤可能是顺序无关的，因此可以以一种与所述不同的顺序执行。因此，其他的实施例均在所附权利要求的范围内。 

Claims (7)

1.一种具有解码器的视频图像压缩系统，所述解码器用于解码帧序列，所述帧由编码器编码，其中所述帧序列包括可参考帧和双向预测帧的序列，其中至少一个双向预测帧的至少一个图像区域是基于两个或多个其他可参考帧的加权插值，这种加权插值是基于至少一组不相等权重，其中所述至少一组不相等权重是基于所述帧序列中所述至少一个双向预测帧相对于一个或更多个所述可参考帧的相对位置而导出的。
2.根据权利要求1所述的系统，其中所述解码器还被配置为以传送顺序接收所述可参考帧序列中的预测帧，所述传送顺序不同于这些预测帧在解码后的显示顺序。
3.根据权利要求2所述的系统，其中所述解码器被配置为接收用于最大数量的预测帧的信号，以便所述解码器存储。
4.根据权利要求3所述的系统，其中所述解码器被配置为接收用于最大数量的内部帧的信号，以便所述解码器存储。
5.根据权利要求1所述的系统，其中所述解码器被配置为处理所述帧序列，其中所述帧序列包括预测帧和双向预测帧的序列，每个帧包括排列在宏块中的像素值，其中至少一个宏块是基于与所述预测帧中的至少一个对应的像素值的不相等加权，其中所述像素值的不相等加权包括等于+2.0的权重。
6.根据权利要求1所述的系统，其中所述解码器被配置为处理所述帧序列，其中所述帧序列包括预测帧和双向预测帧的序列，每个帧包括排列在宏块中的像素值，其中每个宏块是基于与所述预测帧中的至少一个对应的像素值的不相等加权，其中所述像素值的不相等加权包括等于+3.0的权重。
7.根据权利要求1所述的系统，其中所述解码器被配置为处理所述帧序列，其中所述帧序列包括预测帧和双向预测帧的序列，每个帧包括排列在宏块中的像素值，其中每个宏块是基于与所述预测帧中的至少一个对应的像素值的不相等加权，其中所述像素值的不相等加权包括当第二权重大于+1.0时第一权重小于0的要求。
CN201110166810.0A 2002-06-28 2003-06-27 改进的视频压缩帧插值 Expired - Lifetime CN102256134B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/187,395 2002-06-28
US10/187,395 US7266150B2 (en) 2001-07-11 2002-06-28 Interpolation of video compression frames

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN038146290A Division CN1663258B (zh) 2002-06-28 2003-06-27 视频图像压缩方法

Publications (2)

Publication Number Publication Date
CN102256134A CN102256134A (zh) 2011-11-23
CN102256134B true CN102256134B (zh) 2014-09-10

Family

ID=29999364

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201110166828.0A Expired - Lifetime CN102227134B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN038146290A Expired - Lifetime CN1663258B (zh) 2002-06-28 2003-06-27 视频图像压缩方法
CN201110166809.8A Ceased CN102256122B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166839.9A Expired - Lifetime CN102256123B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN2011101668261A Expired - Lifetime CN102176752B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166810.0A Expired - Lifetime CN102256134B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN2011101668308A Expired - Lifetime CN102176753B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166837.XA Expired - Lifetime CN102256135B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN2010105512794A Expired - Lifetime CN101969569B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166847.3A Expired - Lifetime CN102256136B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201110166828.0A Expired - Lifetime CN102227134B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN038146290A Expired - Lifetime CN1663258B (zh) 2002-06-28 2003-06-27 视频图像压缩方法
CN201110166809.8A Ceased CN102256122B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166839.9A Expired - Lifetime CN102256123B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN2011101668261A Expired - Lifetime CN102176752B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN2011101668308A Expired - Lifetime CN102176753B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166837.XA Expired - Lifetime CN102256135B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN2010105512794A Expired - Lifetime CN101969569B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值
CN201110166847.3A Expired - Lifetime CN102256136B (zh) 2002-06-28 2003-06-27 改进的视频压缩帧插值

Country Status (17)

Country Link
US (45) US7266150B2 (zh)
EP (6) EP1530879A4 (zh)
JP (1) JP2006513592A (zh)
KR (1) KR100748194B1 (zh)
CN (10) CN102227134B (zh)
AU (3) AU2003247759B2 (zh)
CA (1) CA2490378C (zh)
DK (2) DK2262268T3 (zh)
ES (2) ES2775070T3 (zh)
HK (8) HK1148888A1 (zh)
HU (2) HUE048314T2 (zh)
MX (1) MXPA05000065A (zh)
MY (9) MY162999A (zh)
PT (2) PT2254339T (zh)
SI (2) SI2254339T1 (zh)
TW (1) TWI231711B (zh)
WO (1) WO2004004310A2 (zh)

Families Citing this family (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US11109114B2 (en) * 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
US9123380B2 (en) 1998-12-18 2015-09-01 Gvbb Holdings S.A.R.L. Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution, and multiple aspect ratio automated simulcast production
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US8111754B1 (en) 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
ES2665693T3 (es) 2001-11-06 2018-04-26 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2003054795A2 (en) * 2001-12-21 2003-07-03 Koninklijke Philips Electronics N.V. Image coding with block dropping
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US20030202590A1 (en) * 2002-04-30 2003-10-30 Qunshan Gu Video encoding using direct mode predicted frames
AU2015218514B2 (en) * 2002-06-28 2015-10-22 Dolby Laboratories Licensing Corporation Region sizing for macroblocks
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
EP2770694A1 (en) 2004-02-12 2014-08-27 Core Wireless Licensing S.a.r.l. Classified media quality of experience
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
AU2005202715B2 (en) * 2004-06-22 2008-04-24 Canon Kabushiki Kaisha A Method for Detecting and Selecting Good Quality Image Frames from Video
US7916173B2 (en) 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
JP4366277B2 (ja) * 2004-09-21 2009-11-18 キヤノン株式会社 撮像装置及びその制御方法
JP4483501B2 (ja) 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
TW200623897A (en) * 2004-12-02 2006-07-01 Seiko Epson Corp Image display method, image display device, and projector
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
DE102004061906A1 (de) * 2004-12-22 2006-07-13 Siemens Ag Bildencodierverfahren, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
US7496140B2 (en) * 2005-01-24 2009-02-24 Winningstad C Norman Wireless event authentication system
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
JP2006279573A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 符号化装置と方法、ならびに復号装置と方法
US7751436B2 (en) * 2005-05-24 2010-07-06 Sony Corporation System and method for dynamically establishing PLL speed based on receive buffer data accumulation for streaming video
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
US8774272B1 (en) * 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
FR2889382A1 (fr) * 2005-07-29 2007-02-02 Canon Res Ct France Soc Par Ac Procede et dispositif de filtrage d'un signal numerique multidimensionnel et procedes et dispositifs de codage et decodage associes
US7701487B2 (en) * 2005-08-26 2010-04-20 Sony Corporation Multicast control of motion capture sequences
US8780119B2 (en) * 2005-08-26 2014-07-15 Sony Corporation Reconstruction render farm used in motion capture
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
US8014565B2 (en) * 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
US8054312B2 (en) * 2005-08-26 2011-11-08 Sony Corporation Material for motion capture costumes and props
CA2620140C (en) * 2005-09-02 2015-04-28 Thomson Licensing Improved video effect recall technique
KR100750128B1 (ko) 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
CN100386797C (zh) * 2005-11-03 2008-05-07 西安交通大学 一种利于实现数字视频图像缩放插值的行场信号产生方法
BRPI0600823B1 (pt) * 2006-03-14 2018-02-14 Whirlpool S.A. Sistema de programação de equipamentos eletrodomésticos e método de programação de equipamentos eletrodomésticos programáveis em linha de montagem
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
US9418450B2 (en) 2006-08-31 2016-08-16 Ati Technologies Ulc Texture compression techniques
KR20080022614A (ko) * 2006-09-07 2008-03-12 삼성전자주식회사 글로벌 영상 검출 방법과, 표시 장치 및 이의 구동 방법
KR100842557B1 (ko) * 2006-10-20 2008-07-01 삼성전자주식회사 동영상 처리 장치에서 메모리 액세스 방법
EP4224853A1 (en) * 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
DE102006057983A1 (de) * 2006-12-08 2008-06-12 Siemens Ag Verfahren zur Vidoecodierung einer Folge digitalisierter Bilder
GB2445008B (en) * 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
JPWO2008108372A1 (ja) * 2007-03-05 2010-06-17 日本電気株式会社 重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラム
JP4853337B2 (ja) * 2007-03-09 2012-01-11 ソニー株式会社 信号変換装置
US7813564B2 (en) * 2007-03-30 2010-10-12 Eastman Kodak Company Method for controlling the amount of compressed data
JP5125294B2 (ja) 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
JP5322956B2 (ja) * 2008-01-29 2013-10-23 パナソニック株式会社 画像符号化装置および画像符号化方法
WO2009148412A1 (en) * 2008-06-06 2009-12-10 Agency For Science, Technology And Research Methods and devices for estimating motion in a plurality of frames
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
JP5200788B2 (ja) * 2008-09-09 2013-06-05 富士通株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
KR101441903B1 (ko) * 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8317325B2 (en) 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
JP4692614B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP2010130510A (ja) * 2008-11-28 2010-06-10 Brother Ind Ltd 印刷装置及びプログラム
JP4692615B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
KR20240091280A (ko) 2008-12-19 2024-06-21 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 액정 표시장치
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
CN102292790B (zh) * 2009-01-22 2014-05-28 株式会社日立高新技术 电子显微镜
EP2392142B1 (fr) * 2009-01-28 2018-10-24 Orange Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US8363722B2 (en) * 2009-03-31 2013-01-29 Sony Corporation Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder
JP5343739B2 (ja) 2009-07-02 2013-11-13 ブラザー工業株式会社 出力装置及びプログラム
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
JP2011024017A (ja) * 2009-07-16 2011-02-03 Sony Corp 動画抽出装置、プログラム、および動画抽出方法
US8633968B2 (en) * 2009-12-11 2014-01-21 Dish Network L.L.C. Three-dimensional recording and display system using near- and distal-focused images
US8885714B2 (en) * 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP5212437B2 (ja) * 2010-08-30 2013-06-19 株式会社Ｊｖｃケンウッド 画像データ送信装置、画像データ受信装置、画像データ伝送システム、画像データ送信方法および画像データ受信方法
US9319880B2 (en) 2010-09-15 2016-04-19 Intel Corporation Reformatting data to decrease bandwidth between a video encoder and a buffer
PL3637778T3 (pl) 2010-10-06 2024-09-23 Ntt Docomo, Inc. Sposób dwupredykcyjnego dekodowania obrazu
US9161056B2 (en) * 2010-11-24 2015-10-13 Texas Instruments Incorporated Method for low memory footprint compressed video decoding
CN102035997B (zh) * 2010-12-14 2012-08-08 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法
US9420294B2 (en) 2011-02-23 2016-08-16 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
KR101668575B1 (ko) * 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP2014523708A (ja) 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
US8811756B2 (en) 2011-07-11 2014-08-19 International Business Machines Corporation Image compression
CN103931193B (zh) * 2011-09-21 2017-11-21 Lg电子株式会社 编码/解码图像的方法和装置
US9693064B2 (en) * 2011-09-30 2017-06-27 Avago Technologies General Ip (Singapore) Pte. Ltd Video coding infrastructure using adaptive prediction complexity reduction
WO2013067440A1 (en) * 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
WO2013106482A1 (en) * 2012-01-09 2013-07-18 Huawei Technologies Co., Ltd. Quantization matrix (qm) coding based on weighted prediction
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
KR101626522B1 (ko) * 2012-06-12 2016-06-01 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
GB2518061B (en) * 2012-07-27 2019-11-27 Hewlett Packard Development Co Techniques for video compression
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9351011B2 (en) * 2012-11-28 2016-05-24 Intel Corporation Video pipeline with direct linkage between decoding and post processing
US9536294B2 (en) 2012-12-03 2017-01-03 Home Box Office, Inc. Package essence analysis kit
US9538180B2 (en) 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9596481B2 (en) * 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9053366B2 (en) 2013-02-20 2015-06-09 Honeywell International Inc. System and method for detecting motion in compressed video
CN105009567B (zh) 2013-02-21 2018-06-08 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CN104717512B (zh) * 2013-12-16 2019-07-23 浙江大学 一种前向双假设编码图像块的编解码方法和装置
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
WO2015195463A1 (en) * 2014-06-18 2015-12-23 Arris Enterprises, Inc. Trick-play streams for adaptive bitrate streaming
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
MX2017014914A (es) 2015-05-21 2018-06-13 Huawei Tech Co Ltd Aparato y metodo de compensacion de movimiento de video.
CN116760977A (zh) * 2015-08-20 2023-09-15 日本放送协会 图像编码装置、图像解码装置、和其程序
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
EP3348058B1 (en) 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
MY197611A (en) 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
CN108141603B (zh) * 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
MX2018003688A (es) 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
WO2017052409A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
CA3039466A1 (en) * 2015-10-08 2017-04-13 Sharp Laboratories Of America, Inc. Systems and methods for reducing artifacts in temporal scalable layers of video
US10805627B2 (en) 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
MY201069A (en) * 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
JP6714078B2 (ja) * 2016-05-10 2020-06-24 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
CN106358041B (zh) * 2016-08-30 2019-05-10 北京奇艺世纪科技有限公司 一种帧间预测编码方法及装置
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
US10182248B2 (en) * 2016-11-21 2019-01-15 Cisco Technology, Inc. Keyframe mitigation for video streams with multiple receivers
TWI670964B (zh) * 2016-12-13 2019-09-01 日商夏普股份有限公司 用於減少於視訊之時間可適性層之假影之系統及方法
CN110169059B (zh) 2017-01-13 2023-08-22 谷歌有限责任公司 视频代码化的复合预测
US10126877B1 (en) * 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US20180289510A1 (en) * 2017-04-07 2018-10-11 Worcester Polytechnic Institute Gyroscopically controlled balance prosthetic
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
KR102351029B1 (ko) * 2017-05-16 2022-01-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10218992B2 (en) * 2017-07-24 2019-02-26 Cisco Technology, Inc. Encoding, transmission and decoding of combined high motion and high fidelity content
US10412410B2 (en) 2017-08-14 2019-09-10 Google Llc Compound motion-compensated prediction
US10412383B2 (en) * 2017-08-15 2019-09-10 Google Llc Compressing groups of video frames using reversed ordering
US10880573B2 (en) 2017-08-15 2020-12-29 Google Llc Dynamic motion vector referencing for video coding
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
US10798321B2 (en) * 2017-08-15 2020-10-06 Dolby Laboratories Licensing Corporation Bit-depth efficient image processing
US10555004B1 (en) * 2017-09-22 2020-02-04 Pixelworks, Inc. Low frequency compensated encoding
EP3815361A1 (en) * 2018-06-26 2021-05-05 InterDigital VC Holdings, Inc. Multiple reference intra prediction using variable weights
CN112438048A (zh) * 2018-07-16 2021-03-02 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
WO2020019354A1 (zh) * 2018-07-27 2020-01-30 深圳市大疆创新科技有限公司 视频编码方法及装置、计算机可读存储介质
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression
EP3700210A1 (en) 2019-02-21 2020-08-26 Ateme Method and apparatus for image encoding
JP6797247B2 (ja) * 2019-07-10 2020-12-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ動き補償用の装置および方法
TW202147850A (zh) 2020-05-01 2021-12-16 美商Ｏｐ解決方案公司 用於組合無損和有損寫碼之方法和系統
WO2021242873A1 (en) 2020-05-26 2021-12-02 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
CN113808510B (zh) * 2020-06-15 2024-04-09 明基智能科技（上海）有限公司 影像调整方法
CN111885336B (zh) * 2020-06-19 2022-03-29 成都东方盛行电子有限责任公司 一种帧模式下的非编帧率转换方法
WO2022047129A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems for combined lossless and lossy coding
CN113114934B (zh) * 2021-03-31 2022-08-05 太原理工大学 尿红细胞多焦距视频采集方法与系统
US11936992B2 (en) * 2022-01-18 2024-03-19 Apple Inc. Multi-mode demosaicing for raw image data
KR102405045B1 (ko) * 2022-02-22 2022-06-07 주식회사 전자사탕사 쇼핑몰 형태의 비대면 영상 제작 서비스를 제공하는 플랫폼을 위한 서버 및 그 동작 방법
CN115184016A (zh) * 2022-09-06 2022-10-14 江苏东控自动化科技有限公司 一种升降机轴承故障检测方法
CN115397056A (zh) * 2022-09-23 2022-11-25 深圳市明微电子股份有限公司 灰度处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1072554A (zh) * 1991-11-08 1993-05-26 国际商业机器公司 采用自适应信号位分配和量化的运动视频信号压缩系统
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
CN1220065A (zh) * 1996-04-25 1999-06-16 太阳微系统公司 从经压缩的正常播放图像比特流中建立特技播放图像流的系统和方法

Family Cites Families (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3408061A1 (de) * 1984-03-05 1985-09-05 ANT Nachrichtentechnik GmbH, 7150 Backnang Verfahren zur bewegungsadaptiven interpolation von fernsehbildsequenzen und anwendungen dieses verfahrens
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4654696A (en) * 1985-04-09 1987-03-31 Grass Valley Group, Inc. Video signal format
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
JPH01140883A (ja) 1987-11-27 1989-06-02 Dainippon Printing Co Ltd データ符号化方法
JPH0537915Y2 (zh) 1988-03-25 1993-09-24
JP2530217B2 (ja) 1989-01-20 1996-09-04 日本ビクター株式会社 フレ―ム間予測符号化装置及び復号装置
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
US5227972A (en) * 1989-09-18 1993-07-13 Halliburton Logging Services, Inc. Matched filter data smoothing system
EP0424026B1 (en) * 1989-10-14 1997-07-23 Sony Corporation Video signal transmitting system and method
GB9102220D0 (en) 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US5465119A (en) 1991-02-22 1995-11-07 Demografx Pixel interlacing apparatus and method
CA2060407C (en) 1991-03-22 1998-10-27 Jack M. Sacks Minimum difference processor
US5151784A (en) 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
JPH05236456A (ja) 1992-02-18 1993-09-10 Toshiba Corp 動画像符号化方法および装置
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5986713A (en) 1991-05-31 1999-11-16 Kabushiki Kaisha Toshiba Video coding apparatus using inter-field prediction
JP2699703B2 (ja) 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
JP2507204B2 (ja) 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
US5198901A (en) 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
JP3263960B2 (ja) * 1991-10-22 2002-03-11 ソニー株式会社 動きベクトル符号器および復号器
US5414469A (en) 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
KR950001563B1 (ko) 1991-12-28 1995-02-25 주식회사금성사 3차원 가중 메디안 필터를 이용한 tv영상신호의 주사선수 증가 방법 및 장치
GB9204115D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
US5253058A (en) 1992-04-01 1993-10-12 Bell Communications Research, Inc. Efficient coding scheme for multilevel video transmission
JP3245977B2 (ja) * 1992-06-30 2002-01-15 ソニー株式会社 ディジタル画像信号の伝送装置
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
US5301019A (en) * 1992-09-17 1994-04-05 Zenith Electronics Corp. Data compression system having perceptually weighted motion vectors
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
JPH06165150A (ja) 1992-11-18 1994-06-10 Matsushita Electric Ind Co Ltd 動画像符号化／復号化装置
US5717816A (en) * 1993-01-13 1998-02-10 Hitachi America Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using intra-coded video frames
JP2962083B2 (ja) * 1993-01-22 1999-10-12 松下電器産業株式会社 解像度変換方法、解像度変換装置、画像符号化装置、画像復号化装置
US5426463A (en) * 1993-02-22 1995-06-20 Rca Thomson Licensing Corporation Apparatus for controlling quantizing in a video signal compressor
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
JPH06350995A (ja) 1993-06-10 1994-12-22 Casio Comput Co Ltd 動画像処理方法
US5877754A (en) * 1993-06-16 1999-03-02 Intel Corporation Process, apparatus, and system for color conversion of image signals
US5408270A (en) * 1993-06-24 1995-04-18 Massachusetts Institute Of Technology Advanced television system
US5387940A (en) 1993-07-07 1995-02-07 Rca Thomson Licensing Corporation Method and apparatus for providing scaleable compressed video signal
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
WO1995004433A1 (en) 1993-07-30 1995-02-09 British Telecommunications Public Limited Company Processing image data
DE4326390C2 (de) 1993-08-06 1999-05-12 Philips Patentverwaltung Verfahren zur Störsignalbefreiung von Videosignalen
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5438374A (en) 1993-12-10 1995-08-01 At&T Corp. System and method for filtering video signals
JPH07203426A (ja) 1993-12-28 1995-08-04 Toshiba Corp 階層符号化復号化装置
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JPH07336192A (ja) 1994-06-07 1995-12-22 Hitachi Micro Comput Eng Ltd 中央値演算方法および演算回路
DE69535800D1 (de) 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
JPH0830781A (ja) 1994-07-14 1996-02-02 Mitsubishi Electric Corp 空間フィルタ
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
JP2970417B2 (ja) * 1994-08-22 1999-11-02 日本電気株式会社 動画像符号化方式
KR0151210B1 (ko) * 1994-09-23 1998-10-15 구자홍 엠펙2를 수용하는 반화소 움직임 보상조절장치
JP3258840B2 (ja) 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
JPH08186714A (ja) 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
GB2301970B (en) * 1995-06-06 2000-03-01 Sony Uk Ltd Motion compensated video processing
GB2301971B (en) * 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
US5828788A (en) 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US5748903A (en) * 1995-07-21 1998-05-05 Intel Corporation Encoding images using decode rate control
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
US5737032A (en) * 1995-09-05 1998-04-07 Videotek, Inc. Serial digital video processing with concurrent adjustment in RGB and luminance/color difference
JPH0984024A (ja) 1995-09-20 1997-03-28 Matsushita Electric Ind Co Ltd 動画像信号の符号化装置
US5835498A (en) * 1995-10-05 1998-11-10 Silicon Image, Inc. System and method for sending multiple data signals over a serial link
US5896176A (en) * 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6026183A (en) * 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
KR100209793B1 (ko) * 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
JPH09163376A (ja) 1995-12-05 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 動画像のフレーム間符号化・復号方法および装置
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5784527A (en) 1996-03-22 1998-07-21 Cirrus Logic, Inc. System and method for error handling during playback of an audio/video data stream
US5974159A (en) 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
CN1116768C (zh) * 1996-04-12 2003-07-30 索尼公司 图像编码装置和方法
US6115421A (en) * 1996-04-25 2000-09-05 Matsushita Electric Industrial Co., Ltd. Moving picture encoding apparatus and method
KR100204478B1 (ko) 1996-05-09 1999-06-15 배순훈 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치
US5825680A (en) 1996-06-21 1998-10-20 Digital Equipment Corporation Method and apparatus for performing fast division
JPH10154781A (ja) 1996-07-19 1998-06-09 Denso Corp 沸騰冷却装置
US6069914A (en) * 1996-09-19 2000-05-30 Nec Research Institute, Inc. Watermarking of image data using MPEG/JPEG coefficients
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US5920353A (en) * 1996-12-03 1999-07-06 St Microelectronics, Inc. Multi-standard decompression and/or compression device
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
CN1297147C (zh) * 1997-03-07 2007-01-24 通用仪器公司 对交错数字视频的双向预测的视频目标平面的预测和编码
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6118817A (en) 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US5903673A (en) 1997-03-14 1999-05-11 Microsoft Corporation Digital video signal encoder and encoding method
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
ES2431802T3 (es) * 1997-06-09 2013-11-28 Hitachi, Ltd. Procedimiento de decodificación de imágenes y decodificador de imágenes
US6275533B1 (en) * 1997-06-20 2001-08-14 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data recording medium
US6236727B1 (en) * 1997-06-24 2001-05-22 International Business Machines Corporation Apparatus, method and computer program product for protecting copyright data within a computer system
JP3191922B2 (ja) * 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
KR100226722B1 (ko) 1997-07-30 1999-10-15 구자홍 동영상 움직임 벡터 추정 방법
US5987179A (en) * 1997-09-05 1999-11-16 Eastman Kodak Company Method and apparatus for encoding high-fidelity still images in MPEG bitstreams
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6088047A (en) * 1997-12-30 2000-07-11 Sony Corporation Motion compensated digital video decoding with buffered picture storage memory map
US5987180A (en) * 1997-09-26 1999-11-16 Sarnoff Corporation Multiple component compression encoder motion search method and apparatus
DE69813131T2 (de) * 1997-10-07 2003-10-23 Canon K.K., Tokio/Tokyo Bilderzeugungsverfahren
US6014182A (en) 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
GB9721662D0 (en) 1997-10-14 1997-12-10 Philips Electronics Nv Encoded video signal formatting
KR100235988B1 (ko) * 1997-11-12 1999-12-15 구자홍 디티브이 영상 포맷 변환장치 및 그 방법
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP3716328B2 (ja) 1998-01-19 2005-11-16 ソニー株式会社 編集装置および方法、再符号化装置および方法
EP1051853B1 (en) * 1998-01-26 2003-06-18 STMicroelectronics Asia Pacific Pte Ltd. One-pass variable bit rate moving pictures encoding
US6172768B1 (en) 1998-02-05 2001-01-09 Canon Kabushiki Kaisha Halftoning with changeable error diffusion weights
US6489956B1 (en) 1998-02-17 2002-12-03 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer with generation of output pixels using selective adjustment of filtering for implementation of display effects
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
JPH11239351A (ja) 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体
US6723290B1 (en) 1998-03-07 2004-04-20 Levine Robert A Container for holding biologic fluid for analysis
US6020934A (en) * 1998-03-23 2000-02-01 International Business Machines Corporation Motion estimation architecture for area and power reduction
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
US6215824B1 (en) 1998-05-01 2001-04-10 Boom Corporation Transcoding method for digital video networking
US6332194B1 (en) * 1998-06-05 2001-12-18 Signafy, Inc. Method for data preparation and watermark insertion
US6301304B1 (en) * 1998-06-17 2001-10-09 Lsi Logic Corporation Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
KR100275933B1 (ko) * 1998-07-14 2000-12-15 구자홍 엠펙디코더의 역이산여현변환장치
JP4026238B2 (ja) * 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
US6252906B1 (en) 1998-07-31 2001-06-26 Thomson Licensing S.A. Decimation of a high definition video signal
JP2002523987A (ja) * 1998-08-18 2002-07-30 シーメンス アクチエンゲゼルシヤフト ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
JP3576402B2 (ja) * 1998-10-23 2004-10-13 三菱電機株式会社 画像復号化装置
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
CN1166213C (zh) * 1999-04-30 2004-09-08 皇家菲利浦电子有限公司 选择b帧编码模式的视频编码方法和系统
US6519005B2 (en) * 1999-04-30 2003-02-11 Koninklijke Philips Electronics N.V. Method of concurrent multiple-mode motion estimation for digital video
EP1061750A3 (en) * 1999-06-18 2010-05-05 THOMSON multimedia Picture compression process, especially of the MPEG2 type
EP1201088B1 (en) 1999-07-30 2005-11-16 Indinell Sociedad Anonima Method and apparatus for processing digital images and audio data
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
DE69929660T2 (de) * 1999-08-31 2006-08-17 Lucent Technologies Inc. Verfahren und Vorrichtung für Makroblock DC- und AC-Koefficienten-Prädiktion in Videocodierung
WO2001017787A1 (en) 1999-09-02 2001-03-15 Array Ab Direct printing device and method
US6418405B1 (en) * 1999-09-30 2002-07-09 Motorola, Inc. Method and apparatus for dynamic segmentation of a low bit rate digital voice message
JP2001112000A (ja) * 1999-10-07 2001-04-20 Matsushita Electric Ind Co Ltd 映像信号符号化装置
CN1182726C (zh) 1999-10-29 2004-12-29 皇家菲利浦电子有限公司 视频编码方法
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
CN1342370A (zh) * 1999-12-29 2002-03-27 皇家菲利浦电子有限公司 用于图象编码和解码的设备
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
US7106322B2 (en) 2000-01-11 2006-09-12 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter to compensate for the effects of negative lobes
CN1315225A (zh) * 2000-03-27 2001-10-03 北京化工大学 烷氧基化反应中镁铝复合金属氧化物催化剂及制备方法
EP1279111A4 (en) 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US6629104B1 (en) 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
EP1649697B1 (en) * 2000-12-06 2008-09-17 RealNetworks, Inc. Intra coding video data apparatuses
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
KR100875743B1 (ko) * 2001-01-16 2008-12-26 엔엑스피 비 브이 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법
CN1179063C (zh) 2001-02-28 2004-12-08 陈晴祺 一种具有制震效果的合金
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
EP1374429A4 (en) * 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
JP3962553B2 (ja) 2001-03-30 2007-08-22 フジノン株式会社 電子内視鏡装置
US6925126B2 (en) * 2001-04-18 2005-08-02 Koninklijke Philips Electronics N.V. Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
US6823087B1 (en) * 2001-05-15 2004-11-23 Advanced Micro Devices, Inc. Parallel edge filters in video codec
JP2004530943A (ja) * 2001-06-21 2004-10-07 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画素を処理する画像処理装置および方法並びに画像処理装置を有する画像表示装置
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030112873A1 (en) * 2001-07-11 2003-06-19 Demos Gary A. Motion estimation for video compression systems
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US8111754B1 (en) * 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
WO2003041041A2 (en) 2001-11-06 2003-05-15 Pioneer Corporation Displ ay panel driving apparatus with reduced power loss
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US6909748B2 (en) * 2001-12-20 2005-06-21 Sorenson Media, Inc. Method and system for image compression using block size heuristics
US7681013B1 (en) 2001-12-31 2010-03-16 Apple Inc. Method for variable length decoding using multiple configurable look-up tables
ES2745058T3 (es) * 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
CN1220065C (zh) 2002-10-23 2005-09-21 中国科学院电子学研究所 振动式微型电场传感器
US6931061B2 (en) * 2002-11-13 2005-08-16 Sony Corporation Method of real time MPEG-4 texture decoding for a multiprocessor environment
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
DE10334842B4 (de) 2003-07-30 2005-06-02 Infineon Technologies Ag Gewichtungsschaltung für einen Mehrträger-Signalempfänger
US7295612B2 (en) * 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
JP4127244B2 (ja) 2004-05-27 2008-07-30 株式会社Ｎｈｖコーポレーション 電子線照射装置用の電子源
US20130070581A1 (en) 2011-09-20 2013-03-21 Cambridge Silicon Radio Limited Controlling Data Transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1072554A (zh) * 1991-11-08 1993-05-26 国际商业机器公司 采用自适应信号位分配和量化的运动视频信号压缩系统
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
CN1220065A (zh) * 1996-04-25 1999-06-16 太阳微系统公司 从经压缩的正常播放图像比特流中建立特技播放图像流的系统和方法

Also Published As

Publication number Publication date
KR20050019809A (ko) 2005-03-03
AU2010212510B2 (en) 2011-07-07
US20120051428A1 (en) 2012-03-01
US20150092852A1 (en) 2015-04-02
US8290043B2 (en) 2012-10-16
US20110103478A1 (en) 2011-05-05
HK1159915A1 (zh) 2012-08-03
US20110096837A1 (en) 2011-04-28
HK1159918A1 (zh) 2012-08-03
CN101969569B (zh) 2012-10-24
US8139639B2 (en) 2012-03-20
ES2780055T3 (es) 2020-08-21
HK1163989A1 (zh) 2012-09-14
US8503529B2 (en) 2013-08-06
US7266150B2 (en) 2007-09-04
US20120170665A1 (en) 2012-07-05
US9571855B2 (en) 2017-02-14
US8761257B2 (en) 2014-06-24
MY154424A (en) 2015-06-15
DK2262268T3 (da) 2020-03-09
AU2008200457C1 (en) 2011-01-06
MY162999A (en) 2017-07-31
US20130301729A1 (en) 2013-11-14
US8526496B2 (en) 2013-09-03
US20100118957A1 (en) 2010-05-13
US8379720B2 (en) 2013-02-19
US8213507B2 (en) 2012-07-03
EP2262268A3 (en) 2011-06-15
EP2458863A2 (en) 2012-05-30
US20100014587A1 (en) 2010-01-21
US20160007041A1 (en) 2016-01-07
PT2262268T (pt) 2020-04-01
EP2254339A2 (en) 2010-11-24
US20130279584A1 (en) 2013-10-24
US20170111656A1 (en) 2017-04-20
EP2782345A1 (en) 2014-09-24
US20150092853A1 (en) 2015-04-02
US10869057B2 (en) 2020-12-15
US20120027090A1 (en) 2012-02-02
US8737472B2 (en) 2014-05-27
US20120134414A1 (en) 2012-05-31
US7894524B2 (en) 2011-02-22
EP2262268B1 (en) 2019-12-04
US20110103476A1 (en) 2011-05-05
US20120033734A1 (en) 2012-02-09
CN1663258A (zh) 2005-08-31
US20130322534A1 (en) 2013-12-05
US8699572B2 (en) 2014-04-15
US20160301948A1 (en) 2016-10-13
EP2458864A2 (en) 2012-05-30
EP2254339A3 (en) 2011-06-15
AU2003247759A1 (en) 2004-01-19
AU2008200457B2 (en) 2010-06-03
US20110103477A1 (en) 2011-05-05
EP1530879A2 (en) 2005-05-18
US20150271521A1 (en) 2015-09-24
US20120307900A1 (en) 2012-12-06
CN101969569A (zh) 2011-02-09
EP2254339B1 (en) 2019-12-04
US8139641B2 (en) 2012-03-20
HK1157548A1 (en) 2012-06-29
US9247269B2 (en) 2016-01-26
JP2006513592A (ja) 2006-04-20
HUE048316T2 (hu) 2020-07-28
US20130070858A1 (en) 2013-03-21
US20190158874A1 (en) 2019-05-23
CN102256136A (zh) 2011-11-23
MY170517A (en) 2019-08-08
US8144774B2 (en) 2012-03-27
CN102256122A (zh) 2011-11-23
CN102256136B (zh) 2017-06-27
US8488674B2 (en) 2013-07-16
US8873632B2 (en) 2014-10-28
HK1157549A1 (en) 2012-06-29
US8139638B2 (en) 2012-03-20
CN102176752A (zh) 2011-09-07
CN102256122B (zh) 2016-02-10
CN102256123B (zh) 2014-09-10
WO2004004310A2 (en) 2004-01-08
CN102176752B (zh) 2013-02-13
DK2254339T3 (da) 2020-03-09
EP2458863A3 (en) 2014-08-13
HK1159919A1 (zh) 2012-08-03
US20120033735A1 (en) 2012-02-09
HUE048314T2 (hu) 2020-07-28
US20070268967A1 (en) 2007-11-22
AU2010212510A1 (en) 2010-09-16
AU2008200457A1 (en) 2008-02-21
US20140010301A1 (en) 2014-01-09
KR100748194B1 (ko) 2007-08-10
US9788012B2 (en) 2017-10-10
US20110103479A1 (en) 2011-05-05
SI2262268T1 (sl) 2020-07-31
US20140211852A1 (en) 2014-07-31
US8149912B2 (en) 2012-04-03
US20160301949A1 (en) 2016-10-13
US9232232B2 (en) 2016-01-05
US20150271520A1 (en) 2015-09-24
MY152630A (en) 2014-10-31
MY154525A (en) 2015-06-30
US20130077693A1 (en) 2013-03-28
US8942285B2 (en) 2015-01-27
EP2262268A2 (en) 2010-12-15
US8477851B2 (en) 2013-07-02
US20140098864A1 (en) 2014-04-10
CN102256123A (zh) 2011-11-23
HK1148888A1 (en) 2011-09-16
US8559513B2 (en) 2013-10-15
US9549201B2 (en) 2017-01-17
US8767829B2 (en) 2014-07-01
US20120044995A1 (en) 2012-02-23
MXPA05000065A (es) 2005-04-08
US8542738B2 (en) 2013-09-24
US20130077688A1 (en) 2013-03-28
MY171283A (en) 2019-10-07
US8249158B2 (en) 2012-08-21
US9473791B2 (en) 2016-10-18
US20170374383A1 (en) 2017-12-28
US9078002B2 (en) 2015-07-07
EP2458864A3 (en) 2014-08-06
MY142934A (en) 2011-01-31
PT2254339T (pt) 2020-04-01
US20160007040A1 (en) 2016-01-07
US9083979B2 (en) 2015-07-14
US8139640B2 (en) 2012-03-20
MY184819A (en) 2021-04-23
CN102176753B (zh) 2013-02-13
CN102227134B (zh) 2015-11-25
AU2003247759B2 (en) 2008-02-07
SI2254339T1 (sl) 2020-07-31
US8873629B2 (en) 2014-10-28
US20130070851A1 (en) 2013-03-21
WO2004004310A3 (en) 2005-03-17
US8279929B2 (en) 2012-10-02
EP1530879A4 (en) 2009-03-18
US20040005004A1 (en) 2004-01-08
US8050323B2 (en) 2011-11-01
CA2490378C (en) 2010-06-08
US20170374382A1 (en) 2017-12-28
CN102256135A (zh) 2011-11-23
US8995528B2 (en) 2015-03-31
TW200420131A (en) 2004-10-01
US10225574B2 (en) 2019-03-05
US20130223527A1 (en) 2013-08-29
US8401078B2 (en) 2013-03-19
US20120033732A1 (en) 2012-02-09
US8488675B2 (en) 2013-07-16
US8325809B2 (en) 2012-12-04
US9386321B2 (en) 2016-07-05
US20110096838A1 (en) 2011-04-28
CN1663258B (zh) 2011-07-06
HK1159917A1 (zh) 2012-08-03
CN102176753A (zh) 2011-09-07
US8160142B2 (en) 2012-04-17
CN102256135B (zh) 2014-08-20
CA2490378A1 (en) 2004-01-08
US10080035B2 (en) 2018-09-18
CN102256134A (zh) 2011-11-23
US20130223530A1 (en) 2013-08-29
TWI231711B (en) 2005-04-21
ES2775070T3 (es) 2020-07-23
CN102227134A (zh) 2011-10-26
MY182370A (en) 2021-01-21
US20130077692A1 (en) 2013-03-28
US20210021864A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
CN102256134B (zh) 改进的视频压缩帧插值
CN102835106B (zh) 用于视频的数据压缩
CN102845060B (zh) 用于视频的数据压缩
CN102474623B (zh) 在视频编码中的非零舍入及预测模式选择方法
AU2015203602B2 (en) Region sizing for macroblocks
AU2015200723B2 (en) Region sizing for macroblocks
AU2012244113B2 (en) Interpolation of video compression frames
AU2015218509B2 (en) Region sizing for macroblocks
AU2012202740B2 (en) Improved interpolation of video compression frames
AU2014204511B2 (en) Region sizing for macroblocks
AU2011218757B2 (en) Improved interpolation of video compression frames
AU2014268171A1 (en) Region sizing for macroblocks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1159915

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1159915

Country of ref document: HK

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20140910