CN101189882B - 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置 - Google Patents

用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置 Download PDF

Info

Publication number
CN101189882B
CN101189882B CN2005800310755A CN200580031075A CN101189882B CN 101189882 B CN101189882 B CN 101189882B CN 2005800310755 A CN2005800310755 A CN 2005800310755A CN 200580031075 A CN200580031075 A CN 200580031075A CN 101189882 B CN101189882 B CN 101189882B
Authority
CN
China
Prior art keywords
frame
fruc
video
coding
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800310755A
Other languages
English (en)
Other versions
CN101189882A (zh
Inventor
维贾亚拉克施密·R.·拉维德朗
史方
戈登·肯特·沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101189882A publication Critical patent/CN101189882A/zh
Application granted granted Critical
Publication of CN101189882B publication Critical patent/CN101189882B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

公开了一种编码器辅助帧率上变换(EA-FRUC)系统，其在视频编码器处利用视频编码和预处理操作来开发将出现在解码器中的FRUC处理，以改善压缩效率以及重建视频质量。EA-FRUC系统的一个操作包括：通过确定帧序列的一帧中的空间活动性，确定该帧中的时间活动性，基于所确定的空间活动性和所确定的时间活动性确定该帧中的空间-时间活动性，基于所确定的空间活动性、所确定的时间活动性、以及所确定的空间-时间活动性中的至少一个确定原始帧中的冗余度级别，来确定是否编码视频内容的帧序列中的该帧，并且，如果所确定的冗余度落在预定门限中，则编码该帧中的非冗余信息。

Description

用于视频压缩的编码器辅助帧率上变换(EA-FRUC)的方法和装置
根据35U.S.C.§119的优先权要求
本专利申请要求2004年7月20日提交的题目为“EncoderAssisted Frame Rate Up Conversion”的临时申请No.60/589,901的优先权，该临时申请已转让给其受让人，从而清楚地将其合并于此作为参考。
技术领域
这里说明的各实施例通常涉及数字视频压缩，并且更具体地，涉及用于视频压缩的编码器辅助帧率上变换(EA-FRUC：EncoderAssisted-Frame Rate Up Conversion)的方法和装置。
背景技术
如今存在支持各种帧率的视频格式。当前如下格式最为普遍，以其支持的帧每秒(fps)依次列出：24(电影属性)、25(PAL)、30(通常为隔行视频)、以及60(高清晰(HD)，例如，720p)。虽然这些帧率适于大多数应用，但是为了达到移动手机视频通信的低带宽要求，有时候帧率会降低到15、10、7.5或3fps那样低。虽然这些低帧率允许具有较低计算能力的低端设备显示某些视频，但所产生的图像质量遭受“颠簸”(即，有幻灯片显示的效果)，而不是平滑运动。同时，丢弃的各帧常不能正确地跟踪该视频中的运动量。例如，在诸如体育运动事件中出现的“高运动”视频内容部分期间应该丢弃比较少的帧，而在诸如谈话秀中出现的“低运动”视频内容片段期间应该丢弃更多帧。视频压缩要取决于内容，并希望能够分析运动和纹理特征并将其合并在要编码的序列中，以便提高视频压缩效率。
帧率上变换(FRUC)是一种在视频解码器端使用视频内插来提高重建视频帧率的处理过程。在FRUC中，将接收的帧作为参考来生成内插的帧。目前，实现FRUC帧内插的系统包括基于运动补偿内插和对所传输运动矢量进行处理的各种方法。FRUC也用于各种视频格式之间的转换。例如，在电影电视化处理(Telecine)和电视电影化处理(Inverse Telecine)应用中，将逐行视频(24帧/秒)转换为NTSC隔行视频(29.97帧/秒)，所述应用是一种电影到视频磁带的转换技术，该技术矫正了电影和视频之间的各色彩帧率差。
另一种FRUC方法使用了加权自适应的运动补偿内插(WAMCI)，以减少由于运动补偿和基于块处理的缺陷引起的块失真。该方法基于通过多个运动补偿内插(MCI)图像的加权求和的内插过程。在所提出方法中，通过使用与重叠块运动补偿(OBMC)相似的技术来减少块边界上的块失真。具体地说，为在处理重叠区域期间减少模糊，该方法使用运动分析来确定块运动的类型并且自适应地使用OBMC。实验结果表明，所提出的方法以显著减少的块失真达到了改善的结果。
而另一种FRUC方法使用了矢量可靠性分析来减少因使用从编码器错误传输的任何运动矢量而引起的失真。在该方法中，使用运动估计来构建运动矢量，将这些构建的运动矢量与所传输的运动矢量相比较，以便确定最希望用于帧内插的方法。在使用运动估计的传统上变换算法中，使用两个相邻解码帧来进行该估计处理，以便构建出允许内插一帧的运动矢量。然而，这些算法没有考虑运动估计操作所需的计算量，来试图改善对传输带宽的使用。相比较而言，在使用传输的运动矢量的上变换算法中，内插帧的质量很大程度上取决于由编码器导出的运动矢量。使用这两种方法的组合，首先对传输的运动矢量进行分析，以决定是否能将它们用于构建内插帧。然后自适应地从下面三种方法中选出用于内插的方法：局部运动补偿内插、全局运动补偿内插以及帧重复内插。
虽然通常将FRUC技术实现为视频解码器中的后处理功能，这样视频编码器通常不涉及该操作。然而，在称为编码器辅助FRUC(EA-FRUC)的方法中，该编码器可以确定是否可以排除对与运动矢量或参考帧(例如，残差数据)相关的特定信息的传输，同时在没有所排除的矢量和残差数据的情况下仍使解码器自己重新产生大部分帧。例如，在MPEG-2中引入了双向预测视频编码方法来改进B帧编码。在该方法中，建议使用一种误差准则，以便能将真正的运动矢量应用在运动补偿预测编码中。该失真测量基于绝对误差和(SAD)，但是已知该失真测量不足以提供真实的误差测量，尤其是在需要确定序列中两帧之间运动量的情况下不足以提供真实的误差测量。另外，当由于对门限的分类优选地取决于内容从而这些门限应该可变的时候，用固定门限来对门限的变化进行分类。
EA-FRUC的研究领域是个成长中的领域。对视频压缩中该领域的兴趣增加—尤其是在诸如流视频和视频电话的低比特率应用中，特别是在发送端为能支持高复杂度应用的网络节点、以及接收端是具有功率和复杂度限制的手持设备的情况下。EA-FRUC还能找到其中的解码器与任何标准或流行的视频编码技术相一致的开放系统中的应用，也能找到采用专有解码技术的封闭系统中的应用。
所期望的是这样一种方法：其在解码器端提供高质量内插帧，同时降低传输进行内插所需的信息而所需的带宽量，并且还降低产生这些帧所需的计算量，以便使其很好地适应依赖于低功率处理的多媒体移动设备。
因此，有必要克服上面提到的问题。
发明内容
这些实施例提供了一种编码器辅助帧率上变换(EA-FRUC)系统，为了改善压缩效率和重建的视频质量，该系统在视频编码器处利用视频编码和预处理操作来开发将在解码器中出现的FRUC处理。
在一个实施例中，该处理包括：通过确定帧序列的一帧内的空间活动性，确定该帧中的时间活动性，确定所确定的空间活动性、所确定的时间活动性以及所确定的空间-时间活动性中至少一个的冗余度，来确定是否编码视频内容的帧序列中的一帧；并且，如果所确定的冗余度低于预定门限则对该帧进行编码。
在另一个实施例中，该处理包括：通过确定帧序列中的包括一个或多个帧的一组帧中的空间活动性，确定该组帧中的时间活动性，确定所确定的空间活动性、所确定的时间活动性以及所确定的空间-时间活动性中的至少一个的冗余度，来确定是否编码视频内容的帧序列中该组帧；并且，如果所确定的冗余度落在一组预定门限内，则对该组帧的一帧或多帧进行编码。
在另一个实施例中，公开了上面存储有使计算机执行用于构建包括帧序列的视频序列的方法的指令的计算机可读介质。该方法包括：确定帧序列的一帧中的空间活动性；确定该帧中的时间活动性；确定所确定的空间活动性和所确定的时间活动性中的至少一个的冗余度；以及，如果所确定的冗余度低于预定门限则编码该帧。
在另一实施例中，还公开了一种用于构建包括帧序列的视频序列的装置。该装置包括：用于确定帧序列的一帧中的空间活动性的模块；用于确定该帧中的时间活动性的模块；用于确定所确定的空间活动性和所确定的时间活动性中的至少一个的冗余度的模块；以及，用于如果所确定的冗余度低于预定门限则编码该帧的装置。
在另一个实施例中，公开了配置为实现用于构建包括帧序列的视频序列的方法的至少一个处理器。该方法包括：确定帧序列的一帧中的空间活动性；确定该帧中的时间活动性；确定所确定的空间活动性和所确定的时间活动性中的至少一个中的冗余度；以及，如果所确定的冗余度低于预定门限则编码该帧。
从下面详细说明中，对于本领域内技术人员来说其它目标、特征和优势将变得显而易见。然而，在说明示例性实施例的时候，要认识到该详细说明和这些特定例子是以示例的方式给出而并非以限制的方式给出。可以不偏离其实质而在下面说明中做出很多改变和修改，要认识到该说明包括了所有的这些修改。
附图说明
通过参考所附各图可以更容易理解本发明，其中：
图1是与一个实施例相一致的、实现了编码器辅助帧率上变换(EA-FRUC)系统的视频编码系统的方框图；
图2是说明了图1的EA-FRUC系统的操作的流程图；
图3是说明了与图1的EA-FRUC系统的一个实施例相一致的一次(one-pass)编码的图；
图4是说明了与图1的EA-FRUC系统的一个实施例相一致的两次(two-pass)编码的图；以及
图5是说明了将EA-FRUC系统100应用于无线系统的方框图；
相同编号是指贯穿这几个附图的相同部分。
详细说明
帧率上变换(FRUC)是一种用于在低比特率视频传输中在解码器端提高帧率的技术。通常，该技术是解码器操作。然而，通过预测解码器端对FRUC算法的需求，视频编码器可以智能的判断丢弃视频序列中的哪一帧或哪些帧(即，不发送给解码器)，以便提高总体压缩比特率--从而改善了压缩效率。正如这里说明的，在编码器辅助-FRUC(EA-FRUC)系统的一个实施例中，编码器可以获得原始帧以及解码器上使用的FRUC算法的先验知识，并且使用了利用该先验知识产生的内插帧，发送额外的信息，以便辅助解码器进行FRUC和改进内插期间所做出的判断。利用将在解码器中进行FRUC的知识，EA-FRUC系统在编码器端使用视频编码和预处理操作来改善压缩效率(从而改善传输带宽的利用率)和重建视频质量。具体地说，将来自解码器的信息，即可以是通常由编码器传输的补充信息或代替信息，提供给解码器，以便用于常规的或编码器辅助的FRUC。
在一个实施例中，由编码器提供的信息包括这样的参量：要在解码器端内插的图像的空间(例如，细化、模式判决、邻域特征)和时间(例如，运动矢量判决)特征，以及相对于普通预测(B或P)帧编码和由FRUC处理产生的内插帧的差别信息。由FRUC处理内插得到的帧在这里称为“F帧”。
编码器辅助FRUC概述
图1说明了与一个实施例相一致进行配置的视频编码/解码(“编码”)系统100。该编码系统100包括视频编码器104，该视频编码器104进行数字视频数据的处理，以便对用于传输并由一个或多个解码器解码的数据进行优化。具体地说，在一个实施例中，该视频编码器104使用了一种视频编码算法对输入原始视频102进行编码和压缩，从而减少将该视频102传输给解码器154所需的带宽。可以通过各种方法来改善该视频编码器104的压缩效率，其中一个方法是通过减少传输帧的帧率(即，减少要发送帧的数目)。然后，在解码器154处使用FRUC机制来提高解码视频流的帧率，并改善运动再现(rendition)。具体地说，解码器154使用从编码器104接收的编码视频流中的参考帧来产生内插帧。正如这里进一步说明的，在编码操作期间该视频编码器104“知道”视频解码器154进行FRUC的能力，并利用这种潜力来减少所传输帧的数目和尺寸。
F帧分析
在一个实施例中，编码系统100的编码器104包括了内容分类模块106，其确定在下面情况中的空间和时间复杂性：(i)在该视频序列中的每一帧中；以及(ii)在该视频序列中的多帧之间。编码器104使用该操作的结果来确定：(i)可以丢弃帧序列(也称为图像组(GOP))中的哪些帧；以及(ii)在两个编码帧之间可以丢弃多少个连续的帧。由定义可知，每个GOP由一个I图像(帧)、P图像(帧)以及一个或多个B图像(帧)的排列组成。GOP可以作为一个基本接入单元，以I帧作为接入点以便于随机接入。应注意的是，GOP可以由可变数目的帧组成。假定可以在解码器154中使用已知的FRUC技术来对任何丢弃的帧按照需要进行适当重建。在一个实施例中，可以采用下列方法之一进行分析：
1.根据在该序列中的活动性(例如，缓慢运动相对高速运动、平坦区域相对繁杂纹理)对该序列中每帧的重要性进行排序，然后丢弃(抛弃)该序列中所有高度相关的帧。
2.在编码器104处使用在解码器154处可用的FRUC算法来构建预期的FRUC帧。如果原始帧与其内插版本之间的相关性很高，则丢弃该原始帧。可替换地，如果将该原始帧编码为B帧并且重建的B帧与其内插版本高度相关，则丢弃该高度相关的B帧。如果并非高度相关，则对该原始帧进行编码并传输。如果原始帧及其内插帧之间或B帧及其内插帧之间的相关性为中等程度时，将该帧的非冗余部分编码为辅助信息，该辅助信息用于改善内插帧相对其对应的原始帧的质量。
图2说明了编码系统100用于对原始内容进行分类的处理过程的一个实施例。在一个实施例中，在步骤208中确定对于该原始内容的编码性能是否存在任何延迟约束。例如，受延迟要求约束的实时流应用或编码器(例如，携带诸如视频电话的会话视频的流)通常必须一次完成所有编码操作。在这种情况下，操作继续步骤208，其中进行了一次编码处理。相反，如步骤216中所示，对于诸如视频点播(VOD)、数字摄影机和可携式摄影机应用这样的其中存储了编码视频、并且从而就时间资源而言对编码操作无约束的非会话视频，可以使用两次编码来进行处理。正如这里所述，由于这些差别，编码系统100为这两种模式进行内容分类的质量和程度均不同。
空间活动性
继续参考图2并且回到图1，在步骤210中由内容分类模块106来确定空间活动性。具体地说，内容分类模块106确定了视频源102中空间活动性的量。在一个实施例中，空间活动性指的是视频序列的图像帧中诸如边缘、饱和色以及高对比度对象的纹理信息的量。通常，该视频序列中纹理信息的量越大，空间活动性就越大。在一个实施例中，可以使用下面度量来量化纹理信息：
a.均值：在基于块的编码中，每个块的均值与(i)该帧的均值或(ii)不同尺寸块的邻域的均值进行比较。
b.方差：可以将每个宏块中的像素方差量与预定的数据相关门限相比较来确定空间活动性。可替换地，可以基于方差和均值度量来对块进行分类，在这种情况下，可以针对不同的均值范围使用不同的门限。
c.可变块尺寸/形状均值和方差：可以将均值和方差度量扩展到可变块尺寸以及扩展到在一幅图像或一帧中占有任意尺寸(以及形状)区域的对象。
d.对比度比率：(i)块、区域或对象的标准差与(ii)一个区域或块邻域(例如，3×3块)的均值之间的比率，可以用于在元素邻域中提供对比度度量。另外，可以基于均值对对比度比率进行加权。具体地说，将给定块或宏块的对比度比率表述为，由邻域中所有块的均值进行归一化的当前块的均值与各个相邻块(在9个块的3×3邻域中的8个相邻块)的均值之差的和。该度量把有效的颗粒度提供到空间纹理信息中，该信息转化为空间活动性，并成功地用于针对可变块尺寸DCT(也称为ABSDCT)的块分割算法。
e.运动矢量场：在预测帧中(例如，P或B帧中)，可以对预测帧的宏块的运动矢量(以及子块的运动矢量)进行映射以形成运动矢量场。这些场用于进行运动矢量处理以便平滑离群的(outlier)运动矢量，并且通常指示(i)该序列中的总体运动；(ii)这些帧中各种对象的运动活动性(例如，基于该运动矢量场的强度、密度和/或幅度)；以及(iii)该帧中运动对象的数目。运动活动性的级别还提供了特定序列的空间活动性的指示，这是由于在该序列中需要通过运动活动性处理来检测对象(需要检测边界)和可变性(需要检测区域之间的差异)。
f.边缘检测：在图像处理中的边缘检测算法通常将诸如Sobel滤波器的高通滤波器在特定窗口(例如，3×3或5×5区域)上应用于图像中的像素，然后将滤波后的输出与门限相比较以便确定边缘的存在。所检测边缘的映射和边缘的数量提供了空间活动性的指示。
g.正如熟悉图像处理领域的技术人员所知，还有其它各种空间活动性的指示，可以将任何这种度量应用于图2中所示的处理。时间活动性
在步骤212中，通过内容分类模块106确定时间活动性。视频序列中的运动量确定了该视频序列的各帧中可用于压缩该视频序列的时间相关和冗余的量。在一个实施例中，通过下列方法之一量化时间活动性：
a.运动矢量场：该度量使用了如上面在空间活动性模块210的说明中所说明的相同手段，以便为内插帧构建运动矢量场，然后分析该运动矢量场。
b.预测帧尺寸：预测帧的尺寸是其熵的指示，因为对于预测帧来说，预测帧尺寸取决于对预测得来的运动矢量和残差进行编码所需的比特数。通常，运动量(或时间活动性)越大，在预测帧中要编码的熵越大。
c.MPEG-7描述子：MPEG-7运动活动性描述子(MAD)试图“捕获”人类对视频序列的“活动强度”或“步调”的感知。例如，足球比赛中的进球得分时刻会被大多数人类观看者感知为“高活动”的序列。相比较而言，说话人的“头肩”序列当然会被相同的观看者认为是‘低活动“的序列。已经发现MPEG-7MAD能准确地捕获自然视频中活动强度的整个范围。它使用了运动矢量的量化标准差来将视频片段分为范围从很低到很高强度的五类。
d.运动活动性：运动活动性描述子针对有效内容分析、索引、浏览、以及询问视频数据运动活动性的问题，将其定义为视频序列中的运动量，并将其作为描述子包括在MPEG-7标准中。所提出的技术尝试使用给定视频片段各帧之间的量化像素差异的累加来自动测量运动活动性。结果是，将每个场景所累加的运动表示为一个二维矩阵。也提供了比较这些矩阵并产生有效表示每个场景各种运动的MAD的可分级技术。计算并表示了运动的程度(量)和位置。
所有上述空间和时间活动性度量都仅仅是示例。在其它实施例中，可以将任何以及所有这些算法和简单的门限设定一起用来为一帧内以及多帧之间的空间和时间活动性的级别进行评估和打分。空间-时间活动性
在步骤214中，通过使用简单的帧差和/或诸如方差和峰度的更高阶统计来量化相邻帧之间或诸如GOP的一组帧之间的绝对空间活动性，以及绝对空间活动性在各帧上的变化差异(方差)，以确定帧间相关性。
可替换地，可以将对比度比率原则扩展到时间域来提供空间-时间活动性度量。
确定冗余度
将步骤210确定的空间活动性度量与步骤212中确定的时间或运动活动性度量相结合用于确定给定序列的总体空间时间活动性。例如，在混合视频压缩中，通常将序列中的第一帧(例如，任意接入点或场景切换之后的第一帧)独立于任何时间预测进行编码。将该第一帧称为I帧。该序列中的后续帧主要从该I帧或其它先前帧进行预测，正如前面所提到的，其它先前帧指的是P或B帧。在一个实施例中，可以使用如下手段来确定视频原始序列中的参考帧和预测帧之间的冗余度：
a.相关性：可以执行(1)(i)一个或多个宏块；(ii)一帧的其它基本单元；或(iii)整个预测帧的像素相对于(2)参考帧中同等位置单元的二元素相关性来确定冗余度。该处理手段是一种耗费计算量的操作，但也是对冗余度的准确估计。
b.运动矢量：在参考帧和预测帧之间比较宏块邻域中的和整个帧中的运动矢量的大小及相关性。然后可以应用运动矢量平滑或其它运动矢量处理以便确定运动矢量方差，或基于活动性对运动场进行分类。
c.重要性：然后基于低、中或高的冗余度级别对每个宏块或多个宏块构成的窗口进行评定。用双向预测将低冗余度块编码为B帧，中冗余度块为解码器提供了下列一个或多个信息：提供运动矢量以细化解码器FRUC中的运动矢量处理结果、提供残差信息以细化纹理中的差异、以DC偏移量的形式提供亮度平移信息、等等。高冗余度块是与FRUC内插帧中的对应块十分相关的那些块，它们被跳过。
所有上述各条信息均关于宏块或者3×3的宏块窗口，并将这些信息参考为辅助信息。
选择用于FRUC的帧
上述已确定了原始视频中的冗余量以后，然后基于内容进行分类。在一个实施例中，利用多种采样原始数据来为特定应用建立分类参数，并且这样可以对编码系统100进行调节以使其适于期望由该实现支持的特定内容。该分类机制在普通混合编码中使用预测帧尺寸。在一个实施例中，预测帧的尺寸越小以及冗余度因素越大，在编码处理期间跳过内插帧的可能性也就越大。从而不将这些帧包括进传输视频序列中，但随后在解码/FRUC处理期间上变换出这些帧。
如图3所示，将上述机制应用于一次或低复杂度的两次编码，这对于诸如移动摄像机应用的应用是有用的；其中延迟和处理器能力限制了该设备完全地或部分地进行第一次编码之后完成第二次编码。然而，当并不关注编码器复杂度的时候，正如在互联网或无线多媒体服务器实现中时，如图4所示，可以在第一次中进行普通混合编码，然后在第二次中确定空间活动性、时间活动性、空间-时间活动性。在一个实施例中，基于视频序列的预测帧尺寸(例如，视频序列中的P和B帧尺寸)和帧特征(例如，用于运动矢量的比特相对用于系数数据的比特的比例)，可以在编码器104处丢弃低花费帧(例如，低传输花费帧)，并在解码器154处使用解码的参考帧对其进行重建。在另一个实施例中，编码器104可以编码较小的信息熵并将其传输到解码器154，以便如下所述来“辅助”解码器154的上变换处理。虽然该辅助的目的主要是增强重建视频的质量，但也可以通过帮助解码器154的FRUC引擎158在模式判决处理过程中进行正确判决，将其用于减少解码器154的计算负荷。
原始帧和FRUC内插帧之间的信息熵编码
正如这里所提到的，EA-FRUC的主要优点之一是在编码器处可获得对应于内插帧的原始帧。因此，可以引导FRUC判决以使原始帧和重建帧之间的误差最小化。例如，这里说明的所提出的FRUC处理手段依赖于运动矢量处理、内容识别和分配。在这些处理中，对遮挡(occlusion)和重叠区域的内插是一个挑战。然而，使用由图1中的熵确定模块108进行的熵编码，可以识别这些区域并将适当的边界信息传输给解码器154以便辅助FRUC处理。这种熵编码的其它应用是FRUC处理的可分级视频编码应用，正如共同待决的专利申请No.11/173,121题目为“Method and Apparatus for Using Frame Rate upConversion Techniques in Scalable Video Coding”中所说明的。在一个实施例中，熵确定模块108可以使用下列熵编码度量：
1.像素差数据：为了进行传输，对重建FRUC帧和原始帧之间的像素残差进行变换、量化以及熵编码。该方法比较简单。然而，从编码处理过程而来的任何剩余残差包含了较高的能量，而未能很好地压缩。
2.门限：门限是基于活动性(空间和时间)度量、或基于人类视觉系统掩蔽以及敏感性，而不是基于SAD。人类视觉系统(HVS)是个经验模型，其说明了人眼对于诸如颜色、亮度、对比度等等的各种视觉效果的敏感度，已知SAD是以均方差的角度来最小化误差而不是从视觉质量的角度减少误差。
3.运动矢量：对用于与原始帧具有较大差异的区域的校正运动矢量数据进行编码和传输。使用原始帧和重建的参考帧以因果和非因果方式来估计此运动矢量。因果编码是利用了编码/解码时刻可用的信息(例如，根据解码次序而来自先前宏块的信息)的预测编码，而非因果编码是利用内插信息(例如，来自下一个宏块的信息)的内插编码。
4.B帧编码：在共同待决的专利申请no._____[040442]，题目为“Method and Apparatus for Using Frame Rate up Conversion Techniquein Scalable Video Coding”中，说明了在B-帧预测期间将FRUC-内插帧作为参考帧之一使用。该方法平均可以提供30％的传输纹理数据的降低。
5.基于模式：上面的B-帧编码方法说明了在对B-帧编码中将内插帧作为参考帧的使用。使用内插帧的判决可以基于速率(即，对于给定失真使比特率最小化)、失真(即，对于给定目标比特率使失真最小化)、和/或质量(即，基于HVS或均方误差，对于给定的比特率，使用于测量基于感知质量的质量度量的量最大化)。
一旦已经确定了要编码的信息熵，在一个实施例中可以应用常用的、类似Huffman的可变长度编码或算术编码来对该数据进行编码。此外，对于诸如残差的拉普拉斯分布的数据来说，可以应用Golomb-Rice或者Exp-Golomb编码。
比特流生成
视频编码标准定义了由兼容任何标准的视频解码器解码的比特流。然而，只要编码的比特流在重建处理中与兼容标准的解码器相容就可以使用任何编码技术，就此而言编码器的操作是“开放的”。在可扩展应用中，解码器性能未知，需要通过编码器来产生标准兼容的比特流，把性能作为目标并且为适合解码而对其进行优化。在一个实施例中，编码系统100中的比特流生成模块112控制兼容标准的比特流生成器114、不兼容标准的比特流生成器116以及专有比特流生成器118的操作，这些生成器中每个的操作说明如下。
在视频编码标准中定义了类(Profile)和级(level)，因为它们提供了用于对音视对象进行编码的工具的庞大集合，为了能有效地实现标准，确定出工具集合的子集合用于特定应用。这些子集称为“类”，其限制了解码器必需实现的工具集合中的工具数目。此外，对于这些类中的每一个，还设定了一个或多个限定计算复杂度的复杂度级。
标准和类兼容
为使接收器中兼容标准的解码器能解码传输的流，如在无线多媒体通信中传输的流，这些视频解码器符合特定的类和级别。虽然在各种标准中将FRUC算法作为附录提出，但它们通常不是标准类的一部分。因此，希望不必非得修改比特流语法和/或语义来实现EA-FRUC。
为了遵从现存的标准，编码系统100使用了可用于传输“辅助”信息的兼容标准的语法(兼容类)。在一个实施例中，在下列实现EA-FRUC处理的手段中，兼容标准的生成器114可以使用标准语法：
a.B-帧语法：当没有接收到B帧时，或者因为B帧是增强层的一部分并且仅接收到了基本层，或者因为大多数冗余宏块是跳过模式宏块而未发送整个B帧，只通过一般的B帧编码发送了辅助信息。
b.冗余条带(slice)或图像：H.264提供了这种语法。在某帧为冗余的这种情况下不需要发送整个条带或帧。使用该语法来发送条带的部分(少数重要宏块)或帧的部分(少数确定为重要的条带)。该特点是H.264中定义的所有类的一部分。
c.补充增强信息(SEI)：SEI的特定字段是H.264的类中的一部分，其可以用于传输“辅助”信息。
标准兼容、类不兼容
很多视频编码标准的工具集合包括了用于携带与该标准中定义的类不兼容的私有数据的语法和语义(即，这些工具提供了与标准化参考相对的信息)。对解析的私有数据的解释可以具体到目的设备，在封闭的通信系统中可以利用该特定特点来改善性能。在本发明的一个实施例中，在该特征的一个应用中，不兼容标准的比特流生成器116利用这些不兼容标准的私有数据为FRUC提供“辅助”信息。在闭环系统中，因为利用私有数据所需的解码器修改是最小的，并且能通过简单的“插入”或“添加”来实现解码器修改，所以私有信息的使用提供了“辅助”信息传输上的更多灵活性：
a.专用的SEI字段：这些字段并非H.264中类的一部分，可以将其用于传输“辅助”信息。
b.用户数据：MPEG-2和MPEG-4提供了用于携带私有数据的语法，可以将其用于传输“辅助”信息。
专有性
在专有比特流生成器118中提供的不兼容标准的专有编解码器提高了这里提供的EA-FRUC手段的灵活性。具体地说，任何或所有视频压缩技术(例如，基于诸如DCT、整数、哈达玛、小波、对象、光流或渐变(morphing)的变换)可以采用视频内插的一般算法来实现如上关于EA-FRUC所述的比特率减小和压缩效率提高。使用专有编解码器的优点包括：比特流生成器118的专有属性提供了极其灵活的平台，以便利用所有FRUC和EA-FRUC算法。可以减轻和/或消除由各标准引入的比特流开销的大幅减少(例如，H.264中的宏块头占总比特率的25％)。现在信源-信道联合编码也是有可能的，其对于易出错信道上的多媒体通信具有很大优势。例如，利用了联合的信源和传输信道概率、分布以及特征的专有方法为编码系统100提供了能对特定流排列优先次序，并且添加所需的参数和数据以便从错误中适度恢复的能力。
用于错误隐藏的FRUC和EA-FRUC
无线多媒体的日益流行要求传输的视频对错误具有一定的恢复能力，并且要求智能视频解码器可以隐藏比特、分组和突发错误。在压缩流中视频压缩去除了冗余并增加了信息熵。然而具有讽刺意味的是，对冗余信息的去除以及信息熵的增加是如此显著—几乎达到损失数据的单个比特、字节或分组都会影响重建视频的质量；从损失一个块到损失很多宏块或者条带，蔓延到当前的整个GOP，直到正确接受下一个I帧或瞬时解码刷新(IDR)帧为止。IDR是一个H.264术语，其代表瞬时解码刷新。IDR图像是比特流中的绝对刷新点(接入单元)，这使得对于解码IDR图像来说在该接入单元之前不需要有预测信息。在诸如视频电话、视频会议以及视频邮件的应用中，出错的概率具有严重的后果，并且错误隐藏是至关重要的。错误还会影响会话应用中的延迟。幸运地是，可以将如各种形式FRUC中所提供的帧、条带、宏块以及块内插和内插辅助算法(例如，运动矢量分配和运动矢量处理)用于错误隐藏。
图5示出了一个接入终端502x和一个接入点504x的方框图，其中解码器154和编码器104可以分别位于无线系统中EA-FRUC系统100的应用中。对于反向链路，在接入终端502x处，发送(TX)数据处理器514从数据缓存器512接收业务数据，基于选定的编码和调制方案来处理(例如，编码、交织以及符号映射)每个数据分组，并且提供数据符号。数据符号是数据的调制符号，导频符号是导频的调制符号(其事先已知)。调制器516接收了该数据符号、导频符号和可能的用于反向链路的信令，进行(例如，OFDM)调制和/或系统指定的其它处理，并且提供了输出码片流。发送器单元(TMTR)518处理(例如，转换为模拟、滤波、放大以及频率上变换)该输出码片流，并产生调制信号，将其由天线520发送出去。
在接入点504x处，天线552接收了由接入终端502x以及与接入点504x进行通信的其它终端发送的调制信号。接收器单元(RCVR)554处理(例如，调节和数字化)从天线552接收到的信号，并且提供了接收到的采样。解调器(Demod)556处理(例如，解调和检波)接收到的采样，并且提供检波后的数据符号，它们是由终端发送给接入点504x的数据符号的有噪声估计。接收(RX)数据处理器558处理(例如，符号去映射、解交织、以及解码)对应每个终端的检波后的数据符号，并且为该终端提供解码的数据。
对于前向链路，在接入点504x处，由TX数据处理器560处理业务数据以便产生数据符号。调制器562接收了数据符号、导频符号和用于前向链路的信令，进行(例如，OFDM)调制和/或其它有关的处理，并且提供了输出码片流，该码片流由发送器单元564进一步调节并且从天线552发送出去。前向链路信令可以包括由控制器570为所有终端在反向链路上向接入点504x进行发送所产生的功率控制命令。在接入点502x处，天线520接收了由接入点504x发送的调制信号，接收器单元522对其进行调节和数字化，解调器524对其进行处理以获得检波后的数据符号。RX数据处理器1026处理了检波后的数据符号，为该终端提供了解码的数据和前向链路信令。控制器530接收了功率控制命令，并控制在反向链路上向接入点504x的数据传输以及发送功率。控制器530和570分别指导接入终端502x和接入点504x的操作。存储器单元532和572分别存储了控制器530和570使用的程序代码和数据。
正如这里所讨论的，“接入终端”指的是为用户提供声音和/或数据连接的设备。可以将接入终端连接到诸如膝上计算机或台式计算机的计算设备，或者它可以是诸如个人数字助理的独立完备的设备。接入终端也可以称为用户单元、移动站、移动、远程站、远程终端、用户终端、用户代理、或者用户装备。接入终端可以是用户站、无线设备、蜂窝电话、PCS电话、无绳电话、会话启动协议(SIP)电话、无线本地环路(WLL)站、个人数字助理(PDA)、具有无线连接能力的手持设备、或连接到无线调制解调器的其它处理设备。
正如这里所讨论的，“接入点”指的是通过空中接口、通过一个或多个扇区与接入终端相通信的接入网络中的设备。该接入点作为接入终端和接入网剩余部分之间的路由器，该接入网可以包括IP网络，该接入点将接收到的空中接口帧转换为IP分组。该接入点还对该空中接口属性的管理进行协调。
可以将所公开的实施例应用到下列技术中的任何一个及其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统以及正交频分多址(OFDMA)系统。
应该注意到这里所描述的方法可以在本领域一般技术人员已知的各种通信硬件、处理器以及系统上实现。例如，客户机进行这里所述操作的一般要求是：该客户机要有显示内容和信息的显示器、控制客户机操作的处理器以及存储与该客户机操作相关的数据和程序的存储器。在一个实施例中，该客户机是蜂窝电话。在另一个实施例中，该客户机是具有通信能力的手持计算机。而在另一个实施例中，该客户机是具有通信能力的个人计算机。
可以使用一般目的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程的逻辑器件、分立的门或晶体管逻辑、分立的硬件元件、或设计用于执行这里所说明的各项功能的任何组合，来实现或执行结合这里公开的实施例来说明的各种示例性逻辑、逻辑块、模块以及电路。一般目的处理器可以是微处理器，但是可替换地是，该处理器可以是任何常规的处理器、控制器、微控制器或状态机。也可以将处理器实现为计算设备的组合，例如DSP和微处理器、多个微处理器、与DSP核相联合的一个或多个微处理器或任何其它这种配置的组合。
结合这里所公开的实施例说明的方法或算法的步骤可以直接具体化为硬件、由处理器执行的软件模块，或者二者的组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动盘、CD-ROM、或本领域已知的其它任何形式的存储介质中。将示例性存储介质连接到处理器，这使得该处理器可以从存储介质中读取信息或写入信息。可替换地，可以将该存储介质集成到处理器内。该处理器和存储介质可以位于ASIC内。该ASIC可以位于用户终端。可替换地，该处理器和存储介质可以处于用户终端中的分立元件中。
提供所公开实施例的说明以便使本领域任何技术人员能够制作或使用各种实施例。对于这些实施例的各种修改对于本领域内技术人员是显而易见的，并且可以不偏离本发明的精神和范围将这里定义的一般原则应用于其它实施例，例如，应用在即时讯息服务或任何一般无线数据通信应用中。这样，无意将本说明限制于这里所示的实施例，而是要与这里公开的原则和新特点相一致的最广泛的范围相符。这里将词语“示例性”专门用于表示“作为示例、例子或举例说明”的意思。没有必要将这里描述为“示例性”的任何实施例解释为比其它实施例优选或有利。

Claims (14)

1.一种用于构建包含帧序列的视频序列的方法，包括：
确定所述帧序列中的原始帧和使用解码器处可用的帧率上变换(FRUC)算法构建的预期的FRUC帧之间的相关性，其中所述预期的FRUC帧包括所述原始帧的内插版本；
如果所确定的相关性低于预定门限，则对所述原始帧进行编码，并将所编码的原始帧发送到所述解码器；以及
如果所确定的相关性不低于预定门限，则跳过对所述原始帧的编码。
2.如权利要求1所述的方法，还包括：
根据所述预期的FRUC帧，发送额外信息来帮助所述解码器执行FRUC。
3.如权利要求2所述的方法，还包括：
确定要发送的所述额外信息，
其中，确定所述额外信息包括：确定在所述原始帧和所述预期的FRUC帧之间的差别信息，
其中，确定所述差别信息包括：确定从包括像素差别度量、运动信息差别度量、模式判决门限度量和内插帧细化度量的组中选择的一个差别度量，其中使用帧率上变换处理进行所述差别度量的所述确定。
4.如权利要求3所述的方法，还包括：使用从包括运动补偿处理、运动矢量变换处理、运动矢量量化处理和熵编码处理的组中选择的至少一种技术来编码所述差别信息，在视频编码标准中规定了所述至少一种技术，其中兼容标准的处理器能够结合帧率上变换处理来处理所述差别信息，以产生视频帧。
5.如权利要求3所述的方法，还包括：：
使用从包括可变长度编码技术、Huffman编码技术和算术编码技术的组中选择的一种熵编码技术编码视频比特流中的所述差别信息；以及
在视频编码标准中规定的用户数据语法中运送所述编码的差别信息。
6.如权利要求5所述的方法，还包括：产生兼容标准的视频比特流。
7.如权利要求3所述的方法，还包括：
接收其中具有编码的所述差别信息的视频比特流，所述编码的差别信息存储在用户数据语法中；
从所述用户数据语法中提取所述编码的差别信息；
解码所述差别信息；以及
在帧率上变换处理中使用所述解码的差别信息来产生视频帧。
8.一种用于构建包括帧序列的视频序列的装置，包括：
用于确定所述帧序列中的原始帧和使用解码器处可用的帧率上变换(FRUC)算法构建的预期的FRUC帧之间的相关性的模块，其中所述预期的FRUC帧包括所述原始帧的内插版本；
用于如果所确定的相关性低于预定门限则编码所述原始帧，并将所编码的原始帧发送到所述解码器的模块；以及
用于如果所确定的相关性不低于预定门限，则跳过对所述原始帧的编码的模块。
9.如权利要求8所述的装置，还包括：
用于根据所述预期的FRUC帧，发送额外信息来帮助所述解码器执行FRUC的模块。
10.如权利要求9所述的装置，还包括：
用于确定要发送的所述额外信息的模块，
其中，所述用于确定所述额外信息的模块包括：用于确定所述原始帧和所述预期的FRUC帧之间的差别信息的模块，
其中，所述用于确定所述差别信息的模块包括：用于确定从包括像素差别度量、运动信息差别度量、模式判决门限度量和内插帧细化度量的组中选择的差别度量的模块，其中使用帧率上变换处理执行对所述差别度量的所述确定。
11.如权利要求10所述的装置，还包括：用于编码差别信息的模块，其包括：用于使用从包括运动补偿处理、运动矢量变换处理、运动矢量量化处理和熵编码处理的组中选择的至少一种技术的模块，在视频编码标准中规定了所述至少一种技术，其中兼容标准的处理器能够结合帧率上变换处理来处理所述差别信息以产生视频帧。
12.如权利要求10所述的装置，还包括：
用于使用从包括可变长度编码技术、Huffman编码技术和算术编码技术的组中选择的一种熵编码技术来编码视频比特流中的所述差别信息的模块；以及
用于在视频编码标准中规定的用户数据语法中运送所述编码的差别信息的模块。
13.如权利要求12所述的装置，还包括：用于产生兼容标准的视频比特流的模块。
14.如权利要求10所述的装置，还包括：
用于接收其中具有编码的所述差别信息的视频比特流的模块，所述编码的差别信息存储在用户数据语法中；
用于从所述用户数据语法中提取所述编码的差别信息的模块；
用于解码所述差别信息的模块；以及
用于在帧率上变换处理中使用所述解码的差别信息来产生视频帧的模块。
CN2005800310755A 2004-07-20 2005-07-20 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置 Expired - Fee Related CN101189882B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US58990104P 2004-07-20 2004-07-20
US60/589,901 2004-07-20
PCT/US2005/025813 WO2006012384A2 (en) 2004-07-20 2005-07-20 Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression

Publications (2)

Publication Number Publication Date
CN101189882A CN101189882A (zh) 2008-05-28
CN101189882B true CN101189882B (zh) 2012-08-01

Family

ID=35044777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800310755A Expired - Fee Related CN101189882B (zh) 2004-07-20 2005-07-20 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置

Country Status (13)

Country Link
US (2) US8374246B2 (zh)
EP (3) EP2096873A3 (zh)
JP (1) JP2008507915A (zh)
KR (2) KR101016168B1 (zh)
CN (1) CN101189882B (zh)
AU (1) AU2005267171A1 (zh)
BR (1) BRPI0513527A (zh)
CA (1) CA2574297A1 (zh)
IL (1) IL180767A0 (zh)
MX (1) MX2007000810A (zh)
RU (1) RU2377737C2 (zh)
TW (1) TW200625964A (zh)
WO (1) WO2006012384A2 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145794A1 (en) * 1999-10-21 2010-06-10 Sean Barnes Barger Media Processing Engine and Ad-Per-View
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) * 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
EP1832116A1 (en) * 2004-12-22 2007-09-12 Koninklijke Philips Electronics N.V. Video stream modifier
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US8340179B2 (en) * 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8358704B2 (en) 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
TW200743386A (en) * 2006-04-27 2007-11-16 Koninkl Philips Electronics Nv Method and apparatus for encoding/transcoding and decoding
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
KR100856223B1 (ko) * 2006-10-19 2008-09-03 삼성전자주식회사 Ｈ．２６４ 인코더의 적응적 인코딩 모드 결정 장치 및결정 방법
US20100027622A1 (en) 2006-10-25 2010-02-04 Gokce Dane Methods and apparatus for efficient first-pass encoding in a multi-pass encoder
US8929448B2 (en) * 2006-12-22 2015-01-06 Sony Corporation Inter sub-mode decision process in a transcoding operation
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
JP4930409B2 (ja) * 2008-02-21 2012-05-16 富士通株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
US8170107B2 (en) * 2008-03-06 2012-05-01 Lsi Corporation Flexible reduced bandwidth compressed video decoder
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
KR101463038B1 (ko) * 2008-05-29 2014-11-19 삼성디스플레이 주식회사 표시 장치와 그 구동 방법
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
WO2010007590A2 (en) * 2008-07-17 2010-01-21 Amimon Ltd. Methods circuits and systems for transmission and reconstruction of a video block
US20100046623A1 (en) * 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8179460B2 (en) * 2008-09-22 2012-05-15 Aptina Imaging Corporation System, method, and apparatus for variable rate pixel data transfer and storage
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
CN105872541B (zh) * 2009-06-19 2019-05-14 三菱电机株式会社 图像编码装置、图像编码方法及图像解码装置
US8711769B2 (en) * 2009-07-16 2014-04-29 Telefonaktiebolaget L M Ericsson (Publ) Interferer region identification using image processing
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
US9420250B2 (en) 2009-10-07 2016-08-16 Robert Laganiere Video analytics method and system
US9788017B2 (en) 2009-10-07 2017-10-10 Robert Laganiere Video analytics with pre-processing at the source end
TWI413096B (zh) * 2009-10-08 2013-10-21 Chunghwa Picture Tubes Ltd 適應性畫面更新率調變系統及其方法
US20110216829A1 (en) * 2010-03-02 2011-09-08 Qualcomm Incorporated Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US9143739B2 (en) 2010-05-07 2015-09-22 Iwatchlife, Inc. Video analytics with burst-like transmission of video data
US8860771B2 (en) 2010-08-04 2014-10-14 Iwatchlife, Inc. Method and system for making video calls
US8780162B2 (en) 2010-08-04 2014-07-15 Iwatchlife Inc. Method and system for locating an individual
CA2748059A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for initiating communication via a communication network
US8982960B2 (en) * 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
JP5552078B2 (ja) * 2011-02-28 2014-07-16 株式会社メガチップス 符号化装置
CN102082896B (zh) * 2011-03-04 2014-04-16 中山大学 液晶显示设备的视频处理方法
CA2842271C (en) * 2011-07-20 2016-09-20 Lg Electronics Inc. Method for receiving media and device thereof
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
EP2805523B1 (en) * 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
JP5843631B2 (ja) 2012-01-26 2016-01-13 日本電信電話株式会社 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
BR112014032108B1 (pt) 2012-06-28 2022-12-27 Sony Corporation Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção
US8811735B2 (en) * 2012-07-14 2014-08-19 Sigma Designs, Inc. System and method for scalar quantization error reduction
CA2822217A1 (en) 2012-08-02 2014-02-02 Iwatchlife Inc. Method and system for anonymous video analytics processing
KR101980579B1 (ko) * 2012-08-27 2019-05-21 엘지전자 주식회사 동영상 프레임의 움직임 보상 프레임 레이트 업 변환 방법 및 그 장치
RU2533852C2 (ru) * 2012-12-26 2014-11-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе адаптивной компенсации локальных различий яркости при межкадровом предсказании (варианты)
US9578333B2 (en) 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
KR20160024975A (ko) * 2013-06-25 2016-03-07 뉴메리 엘티디. 비디오의 멀티-레벨 공간적-시간적 레졸루션 증가
US20150063469A1 (en) * 2013-08-30 2015-03-05 Arris Enterprises, Inc. Multipass encoder with heterogeneous codecs
US20150071343A1 (en) * 2013-09-12 2015-03-12 Magnum Semiconductor, Inc. Methods and apparatuses including an encoding system with temporally adaptive quantization
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US20160182853A1 (en) * 2015-03-20 2016-06-23 Mediatek Inc. Dynamic Content Adaptive Frame Rate Conversion
FR3035729B1 (fr) 2015-04-28 2020-11-27 Ateme Procede d'analyse d'une sequence video et equipement pour la mise en oeuvre du procede
JP6558071B2 (ja) * 2015-05-20 2019-08-14 富士通コネクテッドテクノロジーズ株式会社 無線通信装置、無線通信プログラム、及び無線通信方法
EP3313065A4 (en) * 2015-06-16 2018-11-14 LG Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
KR102126511B1 (ko) * 2015-09-02 2020-07-08 삼성전자주식회사 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
CN105657434B (zh) * 2016-01-20 2019-03-01 同济大学 基于数模混合的大数据辅助视频传输方法
US10368074B2 (en) 2016-03-18 2019-07-30 Microsoft Technology Licensing, Llc Opportunistic frame dropping for variable-frame-rate encoding
US10419777B2 (en) 2016-12-22 2019-09-17 Google Llc Non-causal overlapped block prediction in variable block size video coding
CN106851303B (zh) * 2016-12-30 2020-06-16 中国科学院自动化研究所 一种视频图像中小物体块检测方法及系统
EP3451669A1 (en) * 2017-08-29 2019-03-06 Thomson Licensing Methods and apparatus for improved compression/decompression using frame rate up conversion tools
TWI673958B (zh) * 2018-08-30 2019-10-01 英屬開曼群島商捷鼎創新股份有限公司 基於抽樣猜測之資料壓縮方法
CN109151467B (zh) * 2018-09-10 2021-07-13 重庆邮电大学 基于图像块活动性的屏幕内容编码帧间模式快速选择方法
KR20200060589A (ko) 2018-11-21 2020-06-01 삼성전자주식회사 병합된 프레임율 컨버터와 비디오 코덱을 갖는 시스템 온 칩 및 그것의 프레임율 변환 방법
CN111277863B (zh) * 2018-12-05 2022-06-14 阿里巴巴集团控股有限公司 一种光流插帧方法和装置
CN111277895B (zh) * 2018-12-05 2022-09-27 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
CN110446107B (zh) * 2019-08-15 2020-06-23 电子科技大学 一种适用于缩放运动和明暗变化的视频帧率上变换方法
CN111327926B (zh) * 2020-02-12 2022-06-28 北京百度网讯科技有限公司 视频插帧方法、装置、电子设备及存储介质
US11521291B1 (en) 2020-04-08 2022-12-06 Apple Inc. Method and device for latency reduction of an image processing pipeline
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood
CN112995677B (zh) * 2021-02-08 2022-05-31 信阳师范学院 一种基于像素语义匹配的视频帧率上转换方法
CN113315967B (zh) * 2021-07-28 2021-11-09 腾讯科技（深圳）有限公司 视频编码方法、装置、介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
US6229925B1 (en) * 1997-05-27 2001-05-08 Thomas Broadcast Systems Pre-processing device for MPEG 2 coding
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
CN1396769A (zh) * 2001-07-17 2003-02-12 时代新技术产业有限公司 运动图像信息的压缩方法及其系统
CN1444397A (zh) * 2002-03-09 2003-09-24 三星电子株式会社 基于时间和空间复杂性自适应编码运动图像的方法及装置

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US58990A (en) 1866-10-23 culver
EP0018856B1 (en) 1979-05-08 1990-08-16 British Broadcasting Corporation Television display system
JPH0317883A (ja) 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
CA2087440C (en) 1990-07-19 2001-09-11 William Boyd Reynolds Interlocking pallet
GB2247587B (en) 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH08510880A (ja) 1993-06-01 1996-11-12 トムソン マルチメディア ソシエテ アノニム 動き補償された補間の方法及び装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP2000512091A (ja) 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
WO1997046022A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
EP0883107B9 (en) 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6438275B1 (en) * 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
CA2279797C (en) 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
JP2003513565A (ja) 1999-10-29 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1287492A2 (en) 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensated picture rate up-conversion
EP1296525A4 (en) * 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
CN100452883C (zh) * 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
AU2003202777A1 (en) 2002-02-28 2003-09-09 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003103288A1 (en) 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US20050243925A1 (en) 2002-09-11 2005-11-03 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
TW200607355A (en) 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
US6229925B1 (en) * 1997-05-27 2001-05-08 Thomas Broadcast Systems Pre-processing device for MPEG 2 coding
CN1396769A (zh) * 2001-07-17 2003-02-12 时代新技术产业有限公司 运动图像信息的压缩方法及其系统
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
CN1444397A (zh) * 2002-03-09 2003-09-24 三星电子株式会社 基于时间和空间复杂性自适应编码运动图像的方法及装置

Also Published As

Publication number Publication date
MX2007000810A (es) 2007-04-02
KR101016168B1 (ko) 2011-02-17
CA2574297A1 (en) 2006-02-02
EP2194720A1 (en) 2010-06-09
IL180767A0 (en) 2007-06-03
EP1772017A2 (en) 2007-04-11
WO2006012384A2 (en) 2006-02-02
KR20070044455A (ko) 2007-04-27
US8374246B2 (en) 2013-02-12
US20130188742A1 (en) 2013-07-25
US9521411B2 (en) 2016-12-13
TW200625964A (en) 2006-07-16
EP2096873A3 (en) 2009-10-14
WO2006012384A3 (en) 2006-05-04
AU2005267171A1 (en) 2006-02-02
EP2096873A2 (en) 2009-09-02
RU2377737C2 (ru) 2009-12-27
US20060165176A1 (en) 2006-07-27
KR20080104071A (ko) 2008-11-28
CN101189882A (zh) 2008-05-28
JP2008507915A (ja) 2008-03-13
RU2007106081A (ru) 2008-08-27
BRPI0513527A (pt) 2008-05-06

Similar Documents

Publication Publication Date Title
CN101189882B (zh) 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US6650705B1 (en) Method for encoding and transcoding multiple video objects with variable temporal resolution
CN101982977B (zh) 用于与时域边界进行数据对准的方法和装置
US6490320B1 (en) Adaptable bitstream video delivery system
CN105721880B (zh) 用于降低视频编码和解码中的延迟的方法和系统
US6574279B1 (en) Video transcoding using syntactic and semantic clues
CN101919255B (zh) 用于视频内插或外推的参考选择
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
CN103493481A (zh) 基于场景的适应性比特率控制
KR100878809B1 (ko) 비디오 신호의 디코딩 방법 및 이의 장치
CN100440975C (zh) 提高压缩视频比特流中的平均图像刷新速率的方法和设备
CN111277826A (zh) 一种视频数据处理方法、装置及存储介质
CN1774931A (zh) 对编码视频数据的内容分析
CN1672421A (zh) 采用混合预测码执行多描述运动补偿的方法和装置
US20160182911A1 (en) De-juddering techniques for coded video
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
CN107948648A (zh) 基于编码压缩的图像编解码系统
Kuo et al. Distributed video coding with limited feedback requests
WO2023030070A1 (zh) 编码、封装及显示方法、装置及电子设备
KR20060063604A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100207388B1 (ko) 적응적인 벡터 양자화를 이용한 영상 부호화 시스템
Pilka et al. Prediction Methods for MPEG-4 and H. 264 Video Transmission
Corrales-García et al. Wyner–Ziv to Baseline H. 264 Video Transcoder
US20060072675A1 (en) Method for encoding and decoding video signals
Mulroy Video coding for compression and content-based functionality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1114724

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1114724

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120801

Termination date: 20170720