CN101023662B - 用于运动矢量处理的方法和设备 - Google Patents

用于运动矢量处理的方法和设备 Download PDF

Info

Publication number
CN101023662B
CN101023662B CN2005800313895A CN200580031389A CN101023662B CN 101023662 B CN101023662 B CN 101023662B CN 2005800313895 A CN2005800313895 A CN 2005800313895A CN 200580031389 A CN200580031389 A CN 200580031389A CN 101023662 B CN101023662 B CN 101023662B
Authority
CN
China
Prior art keywords
motion vector
motion
frame
motion vectors
programmable circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800313895A
Other languages
English (en)
Other versions
CN101023662A (zh
Inventor
史方
维贾亚拉克施密·R·拉维德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101023662A publication Critical patent/CN101023662A/zh
Application granted granted Critical
Publication of CN101023662B publication Critical patent/CN101023662B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

公开了一种用于处理多个运动矢量的方法。该方法包括，确定在视频帧中的多个不同的块大小；以及，如果在视频帧中的不同的块大小的数量大于1，则执行可变块大小运动矢量过程，所述可变块大小运动矢量过程包括从所述多个运动矢量中构建运动矢量金字塔，所述金字塔至少具有第一层运动矢量和第二层运动矢量，第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量。还公开了用于执行本发明的方法的设备。

Description

用于运动矢量处理的方法和设备
在35U.S.C§119下的优先权要求
本专利申请要求分配给同一代理人的于2004年7月20日提交的临时专利申请No.60/589,900的优先权，因此在此明确地将其引入作为参考。
技术领域
在此所述的实施例通常涉及运动矢量处理，更具体而言，涉及用于固定块大小和可变块大小的运动矢量处理、内容自适应运动矢量平滑、运动矢量定标(scaling)、运动矢量标记、运动矢量分类和视频处理的方法和设备。
背景技术
低比特率视频压缩由于有限的带宽资源和可变带宽的可变性，而在很多多媒体应用中是非常重要的，例如在无线视频流和视频电话中。低比特率的视频编码的带宽自适应能够通过降低时间分辨率来实现。换而言之，不是压缩并发送30帧每秒(fps)的比特流，而是将时间分辨率减半为15fps，以降低传输比特率。然而，降低时间分辨率的结果是引入时域伪像，例如运动抖动，其明显降低了所解码视频的视觉质量。
为了在接收端显示完全帧速率，需要称为帧速率上变换(FRUC)的机制来重新生成所跳过的帧，并减少时间伪像。通常，FRUC过程是视频插值过程，用于在视频解码器上生成额外的帧来增加(所重建)视频的感知帧速率。通常，将每个帧分割为图形元素，例如单个像素或者称为“宏块”的像素块。运动矢量描述这些元素从一个参考帧到下一参考帧的移动，其用于预测每个元素在这两个参考帧之间的插值帧上的位置。特定帧的运动矢量称为运动矢量场或者运动场，运动矢量组的创建和处理是用于实现在特定处理边界中的具有期望质量的被重建视频流的重要部分。然而，没有运动场的正确处理，被重建视频的质量将会显著降低，其中，运动场的正确处理包括消除离群值运动矢量-即，不能准确描述图形元素移动的运动矢量。
发明内容
在此所述的实施例提供了一种运动矢量处理系统，用于帮助在帧速率上变换(FRUC)过程中创建具有较高质量的插值帧，其在此称为“F帧”。
在一个实施例中，描述了一种用于处理视频帧的多个运动矢量的方法。所述方法包括：确定在所述视频帧中的不同的块大小的数量；以及，如果在所述视频帧中的不同的块大小的数量大于1，则执行可变块大小运动矢量过程。此外，所述可变块大小运动矢量过程包括：从所述多个运动矢量中构建运动矢量金字塔，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量。
在另一实施例中，提供了其上存储有指令的一种计算机可读介质，用于使得计算机一种执行用于处理视频帧的多个运动矢量的方法。所述运动矢量处理包括：确定在所述视频帧中的不同的块大小的数量。此外，所述处理包括：如果在所述视频帧中的不同的块大小的数量大于1，则执行可变块大小运动矢量过程，其中，所述可变块大小运动矢量过程包括：从所述多个运动矢量中构建运动矢量金字塔，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量。
在再一实施例中，描述了一种用于处理视频帧的多个运动矢量的设备。所述设备包括：配置为确定在所述视频帧中的不同的块大小的数量的可编程电路；以及配置为如果在所述视频帧中的不同的块大小的数量大于1则执行可变块大小运动矢量过程的可编程电路。所述可变块大小运动矢量过程包括：配置为从所述多个运动矢量中构建运动矢量金字塔的可编程电路，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量。
在又再一实施例中，提供了一种用于处理视频帧的多个运动矢量的运动矢量处理器。所述运动矢量处理器包括：用于确定在所述视频帧中的不同的块大小的数量的装置；以及用于如果在所述视频帧中的不同的块大小的数量大于1则执行可变块大小运动矢量过程的装置。用于执行可变块大小运动矢量过程的装置包括：用于从所述多个运动矢量中构建运动矢量金字塔的装置，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量。
从以下详细描述中，其他目的、特征和优点对于本领域技术人员将变得清晰。然而，要理解的是，详细的描述和特定实施例虽然指示了示例性的实施例，但是是以说明性的方式给出的并且不具有局限性。在不脱离本发明的精神的情况下，可以在以下描述的范围内进行各种改变和修改，并且本描述应该被理解为包括所有的这些修改。
附图说明
通过参考附图，本发明将更加容易理解，其中：
图1是运动矢量处理系统的操作流程图；
图2是运动矢量处理系统的运动矢量提取子系统的方框图；
图3是在所述运动矢量处理系统中的运动矢量处理器的方框图；
图4是用于描述F帧的运动矢量定标的图；
图5是用于描述P帧的运动矢量定标的图；
图6是示出分配给视频帧中的像素的各种分类的图；以及
图7是无线系统的接入终端和接入点的方框图。
在附图中的几个视图中，类似的数字表示类似的元件。
具体实施方式
在此所述的实施提供了用于运动矢量处理方法和设备，所述运动矢量处理帮助在帧速率上变换(FRUC)过程中创建具有较高质量的插值帧，其也称为“F帧”。所述方法和设备还将固定块大小的运动矢量平滑功能扩展到应用于可变块大小。还提供了一种用于建立基于不同的运动块大小和分层运动矢量平滑技术的分等级的运动矢量金字塔。此外，将在被解码视频数据中包含的辅助信息用作运动矢量处理器的输入。所述补充信息可以包括，例如对组成每个帧的图形元素的类型描述，其称为“内容映射”，以及对元素的复杂性和移动的描述，其分别称为“复杂性映射”和“活动性映射”。
图1示出了如图3所示的运动矢量处理系统300的示例性操作过程100，系统300中所使用的输入在图2中详细示出。应该注意的是，在此所示的功能块与可以使用一种或多种软件算法实现的特定模块相对应。所述算法的操作是在较高级别上描述的，并具有足够的细节以使得本领域技术人员能够使用计算机软件方法和硬件方法的组合来将其实现。例如，在此所述的组件可以实现为在通用计算机处理器上执行的软件；实现为在特定用途集成电路(ASIC)中的“硬布线”电路；或者实现为其任意组合。应该注意的是，用于实现在此所述的模块的各种其他方法都可以采用，并且其应该在工作在图像与视频处理的广大领域中的本领域技术人员的领域之内。
此外，在此所述的发明性的概念可以用于符合以下标准的解码器/编码器系统中：国际电信联盟的电信标准化部门(ITU-T)发布的H.26x标准；或者移动图像专家组发布的MPEGx标准，移动图像专家组是国际标准化组织/国际电工委员会的联合技术委员会(ISO/IECJTC1)的一个工作组。ITU-T视频编码标准是要推荐的，它们称为H.26x(例如，H.261、H.262、H.263和H.264)。ISO/IEC标准称为MPEG-x(例如，MPEG-1、MPEG-2和MPEG-4)。例如，多参考帧和可变块大小是H.264标准所要求的特定特征。在其他实施例中，实现本发明的原理的解码器/编码器系统是有专利权的。
在一个实施例中，系统100根据不同的复杂度需求来进行有差别的工作。例如，高复杂度配置可以包括多个参考帧；可变块大小；采用运动加速度的先前参考帧运动矢量外插值；金字塔分层平滑；以及，运动估计帮助下的运动场平滑。相反地，操作的低复杂度模式可能仅仅使用单个参考帧和固定块大小。对于不同的应用，其他配置也是有效的。
系统300从在数据子系统200中的多个数据存储单元中接收输入，其中，数据子系统200用于存储和提取与在处理中使用的视频帧有关的信息。如图2所示，这些存储单元包括：多个先前帧内容映射存储单元(MULTIPLE F_PREV CONTENT MAP)202；多个先前帧外插值运动场存储单元(EXTRAPOLATED MULTIPLE F_PREVMOTION FIELDS)204；单个先前帧内容存储单元(F_PREVCONTENT MAP)206；以及单个先前帧外插值运动场存储单元(EXTRAPOLATED F_PREV MOTION FIELDS)208。多参考帧模式控制器模块214根据系统300是否工作在使用多个参考帧的模式中，来将适当的存储单元耦合到输入的下一级上。尤其是，当系统300使用多个先前参考帧时，从多个先前帧内容映射存储单元202和多个先前帧外插值运动场存储单元204中获得所述输入。对于操作的单个先前参考帧模式，从单个先前帧内容映射存储单元206和单个先前帧外插值运动场存储单元208中获得所述输入。
尽管该图示出了用于存储内容映射和运动场的两个不同存储单元组的使用-一个组用于使用多个参考帧的情况(即，多个先前帧内容映射存储单元202和多个先前帧外插值运动场存储单元204)，另一个组用于使用单个参考帧的情况(即，单个先前帧内容映射存储单元206和单个先前帧外插值运动场存储单元208)，应该注意的是，也可以使用其他配置。例如可以将这两个不同的内容映射存储单元的功能合并，从而可以使用一个存储单元存储多个帧的内容映射或者单个帧的内容映射。此外，存储单元还可以存储当前帧的数据。
来自多参考帧模式控制器模块214以及当前帧运动场存储单元(F_CURR MOTION FIELD)210和当前帧内容映射存储单元(F_CURR CONTENT MAP)212的输出输入到运动矢量外插值单元126中。运动矢量外插值单元126提取运动矢量以及在系统300的运动矢量处理所使用的辅助信息，如在此所述。因此，在系统300中所使用的输入运动矢量可以来自当前帧，或者可以来自当前帧以及一个或多个先前被解码帧。另外，系统300的其他输入是来自被解码的帧数据的边带信息，其可以包括但不局限于感兴趣区域、纹理信息中的各种变化以及在亮度背景值中的变化。该信息可以为运动矢量分类和自适应平滑算法提供指导，如以下将要进一步论述的。
在一个实施例中，系统300能够采用要被插值的帧(即F帧)的宏块是固定大小的操作模式来执行运动矢量处理(称为“固定块大小运动矢量处理”)，以及对可变块大小执行运动矢量处理(称为“可变块大小运动矢量处理”)。以下将要描述这些操作模式中的每一种，从固定块大小运动矢量处理开始。如图1所示，在块118中确定是否使用了可变块大小。
固定块大小运动矢量处理
在系统300中，固定块大小运动矢量处理包含运动矢量定标级120、运动矢量标记级122、内容自适应运动矢量分类级124和内容自适应滤波级126；每个级都由图1所示的相应模块执行。
运动矢量定标
在一个实施例中，运动矢量定标单元302根据F帧(即，要被插值的帧)相对于将要在其之间插入该F帧的两个已接收参考帧的位置，来定标运动矢量。例如，如图4所示，插值F帧402将要插入到先前参考帧406和当前参考帧404之间。在一个实施例中，用于创建所定标运动矢量的公式为：
MV_f_x＝MV_x*n/M；以及
MV_f_y＝MV_y*n/M
其中MV_x和MV_y是测量得到的从先前参考帧到当前参考帧的运动矢量的x轴分量和y轴分量；n是在选定插入点处的F帧距离先前参考帧的时间距离；M是先前参考帧到当前参考帧之间的时间总距离；以及MV_f_x和MV_f_y分别是所计算的所定标运动矢量的x轴分量和y轴分量。
继续参考图4，对于线性宏块运动模式(其中宏块以恒定速度移动)，所定标运动矢量的大小与当前运动矢量大小关于以下两个距离的比率成比例：(1)要被插值的帧与先前参考帧之间的距离(示为距离410)，和(2)当前参考帧与先前参考帧之间的距离(示为距离420)，而其方向与当前帧的运动矢量方向相同。对于非线性运动(即运动加速度)模式，所定标运动矢量的方向和大小取决于以下两者：(1)在当前参考帧与先前参考帧之间的要被插值的帧的距离，和(2)所计算的运动加速度。
在采用了多个先前参考帧的情况下，所述先前参考帧是在参考帧列表中当前运动矢量所指向的参考帧。尤其是，在参考帧列表中的参考帧包括当前视频帧的运动矢量能够参考的所有参考帧。例如，在H.264标准提供的一种协议子集中，参考帧列表包括5个参考帧。不是在参考帧列表中的所有参考帧都可以被当前视频帧的运动矢量所参考。称为“参考帧设定”或者“运动矢量参考帧索引”的数据结构标识在当前视频帧中的每个运动矢量所指向的参考帧。例如，如果当前视频帧包括3个运动矢量，并且符号(v，f)标识每个运动矢量(v)所指向的参考帧(f)，则示例参考帧设定可以是：
             [(1，4)，(2，5)，(3，2)]
在此，运动矢量1指向参考帧4，运动矢量2指向参考帧5，运动矢量3指向参考帧2(参考帧1是在时间上最接近当前视频帧的参考帧)
在此所述的概念可以应用到实际视频帧的运动矢量处理中，例如P帧和B帧。在本实施例中，所采用的参考帧是在参考帧列表中在时间上最接近的参考帧和运动矢量所指向的参考帧。例如，如图5所示，所定标的运动矢量的大小与当前运动矢量相对于以下两个距离的比率成比例：(1)实际视频帧504与第一参考帧502之间的距离(示为距离510)，以及(2)实际视频帧504与第二参考帧605之间的距离(示为距离520)。
运动矢量标记
一旦运动矢量已经被定标，则操作继续到运动矢量标记级122，在此，运动矢量标记模块304接收并处理来自运动矢量定标单元302的所定标的输入运动矢量，以标记所定标的输入运动矢量。在一个实施例中，根据运动矢量的内容、大小、方向以及在采用多个参考帧时该运动矢量所指向的参考帧，将输入运动矢量标记为特定类型的运动矢量。因此，运动矢量标记模块304用于根据运动矢量的特征来对其进行标记，从而可以将特定操作应用于满足特定标准的运动矢量，如以下所述。在一个实施例中，运动矢量标记模块304的输入包括运动矢量、运动矢量参考帧索引(在采用多个参考帧的情况下)、内容映射以及活动性/复杂性映射。给定这些输入，运动矢量标记模块304将采用在以下4个区域中的一个或者多个中的属性来标记每个运动矢量：a)方向；b)大小；c)内容；d)参考帧。
方向标记
对于确定每个运动矢量的方向标记而言，在一个实施例中，所有的输入运动矢量都确定为指向N+1个方向分类中的一个，其中N是覆盖360度平面的区域的均匀分布数量。在一个实施例中，N的数值为4，每个标记相隔90度(即360度/4)。因此，在该情况下，所有输入运动矢量可以标记为方向分类中的水平向右、垂直向上、水平向左或者垂直向下或者零运动中的一个。应该注意的是，可以使用其他标记来指示矢量的方向。例如，方向标记可以基于时钟表面的标识，12点为上，6点为下，3点为右，9点为左，0是零运动。在另一示例中，如果运动矢量是指向北的运动矢量，则将该运动矢量标记为向北运动矢量。在一个实施例中，所述分类包括对于方向的向北、向南、向西和向东(或者其组合)，和无(表示大小为零的运动矢量)。在其他实施例中，可以使用其他合适的标记。
大小标记
根据输入帧的复杂性映射和活动性映射，所有输入运动矢量都能够根据其运动矢量大小而采用以下标记之一来自适应地进行标记：小运动、中等运动或者大运动。在一个实施例中，大小标记的阈值是根据输入帧的复杂性映射和活动性映射而自适应地确定的。例如，小运动内容可以设定为4像素，中等运动内容设定为8像素，高运动内容设定为16像素。在另一实施例中，可以指定数值来表示运动矢量的大小，例如1-10(10指定给大小为最大的运动矢量，1指定为大小为最小的运动矢量)。也可以使用其他适合的分类。
内容标记
根据当前帧和参考帧的内容映射来为运动矢量指定内容标记。在一个实施例中，每个内容映射可以包含5种类型的内容：
1.静态背景(SB)；
2.运动对象(MO)；
3.呈现对象(AO)；
4.消失对象(DO)；以及
5.边缘(EDGE)。
因此，对当前运动矢量所指向的帧的区域类型进行分析，并且所述区域类型将影响要被插值的帧的处理。将EDGE标记引入到内容标记中为内容识别增加了附加标记，并提供了对其他处理的改进，如在此所述。
图6示出了对于将以上所列出的区域类型指定给特定帧中的各种区域的描述，所述指定是基于对从一个帧到另一个帧中区域状态变化的分析的。该图示出了运动对象(MO)608、呈现对象(AO)604、消失对象(DB)610、静态背景(SB)602以及边缘606，在此，一组箭头612指示了在三个所示帧F(t-1)、F(t)和F(t+1)中的像素运动轨迹。尤其是，在每个视频帧中的每个像素或者区域能够被分类到以上所列出的5种类型之一中，并且相关运动矢量能够根据对类型指定的变化(如果有变化)的比较而采用特定方式来进行处理。例如，如下所述，如果运动矢量所指向的区域在先前参考帧中是静态背景但是在当前帧中改变为运动对象，则该运动矢量可以被标识为离群值运动矢量。另外，当SB、AO和DO分类之间的差异较小时，上述5种内容类型可以分组为限制更小的3种类型：
1.SB 602、AO 604、DO 610；
2.MO 608；以及
3.EDGE 606。
在一个实施例中，采用两种不同的方法来确定DO、SB、AO和MO内容，每种都基于不同的计算复杂度。例如，在低复杂度方法中，可以使用以下公式来确定内容类型：
Qc＝abs(Fc[yn][xn]-Fp[yn][xn])；
Qp＝abs(Fp[yn][xn]-Fpp[yn][xn])；
Qc＝(Qc＞threshold)；以及
Qp＝(Qp＞threshold)；
其中：
yn和xn是像素的y和x坐标位置。
Fc是当前帧的像素值；
Fp是先前帧的像素值；
Fpp是先前的先前帧的像素值；
Qc是在当前帧与先前帧中的所配置像素(位于[yn][xn]处)之间的像素值绝对值之差；以及
Qp是在先前帧与先前的先前帧中的所配置像素(位于[yn][xn]处)之间的像素值绝对值之差；
并且：
if(Qc&&Qp)then指定类型为运动对象；
else if(！Qc&&！Qp)then指定类型为静态背景；
else if(Qc&&！Qp)then指定类型为消失对象；
else if(！Qc&&Qp)指向类型为呈现对象。
在高复杂度方法中，在一个实施例中，所述确定是基于对象分割和形态学运算的，通过跟踪所分割对象的运动来进行内容类型确定。因此：
1.对运动场进行对象分割；
2.跟踪所分割对象的运动(例如，通过形态学运算)；以及
3.将该对象分别标识为SB、AO、DO和MO。
应该注意的是，边缘表示边界特征，因此其在图像处理中是最为重要的，尤其是运动对象的边缘。图像中的边缘是具有强烈的亮度对比的区域(即，从一个像素到下一个像素有巨大的亮度变化)。存在很多执行边缘检测的方法。然而，这些不同方法中的大部分可以分为两类：梯度法和拉普拉斯算子。梯度法通过寻找图像的一阶导数中的最大值和最小值来检测边缘。拉普拉斯算子方法搜索图像的二阶导数中的过零点来找到边缘。梯度法或者拉普拉斯算子方法的技术是一维的，其可以通过Sobel方法应用到二维上。
通过为各种宏块指定MO、SB、AO、DO和EDGE分类中的一类，则能够根据运动矢量起始点和终点所接触的内容的类型，将所有输入运动矢量标记为MO运动矢量(MV)、SB MV、AO MV、DO MV或者EDGE MV。另外，在一个实施例中，可以将附加标记“可疑MV”添加到MO MV、SB MV、AO MV、DO MV和EDGE MV中，如果运动矢量的起始点和终点属于不同的内容分类，则将该运动矢量标记为“可疑MV”。
参考帧索引标记
在采用多个参考帧的情况下，每个运动矢量可能指向参考帧列表中的不同参考帧。如上所述，每个运动矢量所指向的参考帧是采用运动矢量参考帧索引进行追踪的。在一个实施例中，将每个没有参考在时间上最接近的参考帧的运动矢量标记为“可疑”运动矢量。在另一实施例中，将每个所指向的参考帧和其相邻运动矢量所指向的参考帧不同的运动矢量标记为“可疑”运动矢量。在一些而不是所有的相邻运动矢量一致的情况下，如果大多数运动矢量指向同一参考帧，则任何与大多数不一致的运动矢量-即任何不指向所述同一参考帧的运动矢量，将被标记为“可疑”运动矢量。在其他实施例中，可以使用诸如“多数表决”的表决系统，其中，对于最大数量的相邻运动矢量所指向的参考帧，认为如果不将该运动矢量标记为“可疑”则该参考帧就是相邻运动矢量必须要指向的参考帧，或者也可以采用其他表决类型的机制。如下所述，在一个实施例中，任何具有“可疑”参考帧索引标记的运动矢量都将被分类为离群值运动矢量。在其他实施例中，不是将运动矢量标记为“可疑”，而是将其直接标记为离群值运动矢量。
一旦将运动矢量标记为上述标记中的一个或多个，则操作继续到由运动矢量分类模块306所执行的运动矢量分类级124。
运动矢量分类
在运动矢量标记模块304已经标记了每个运动矢量之后，运动矢量分类模块306将通过确定运动矢量是否是离群值运动矢量来对该运动矢量进行分类。在一个实施例中，运动矢量分类模块306根据输入运动矢量的标记信息(由运动矢量标记模块304所指定)来确定其是否是离群值运动矢量，所述标记信息包括来自被解码数据存储单元222的内容信息，如上所述。尤其是，能够通过基于运动矢量的方向标记、大小标记、内容标记和/或者参考帧索引(当采用多个参考帧时)标记的阈值运算，来进行分类。在一个实施例中，可以将当前运动矢量的大小和方向与当前运动矢量周围的其他运动矢量的大小和方向进行比较。例如，如果当前运动矢量被标记为小的垂直向下运动矢量(即，大小为小的指向下方的运动矢量)，而其相邻运动矢量标记为大的垂直向上运动矢量(即，大小为大的指向上方的运动矢量)，则将当前运动矢量标识为离群值运动矢量。
在一个实施例中，采用多数表决机制来确定运动矢量是否是离群值运动矢量。如果存在3种大小(例如，低、中等和高)，和4种方向(例如，向南、向东、向西和向北)，则总共有12种可能的运动矢量分类组合(3种大小乘以4种方向)。此外，给定3×3大小的平滑窗口，如果大多数运动矢量是特定的分类组合(例如，5个运动矢量具有大小为高并且指向南)，并且当前运动矢量的分类组合与所述大多数运动矢量的分类组合不同，则将当前运动矢量标记为离群值。可以采用很多方法来确定是否是离群值矢量。例如，可以使用简单的排序方法来对3×3大小的窗口中的九个(9)运动矢量进行排序。
在另一实施例中，可以单独使用单一属性来确定运动矢量是否是离群值。例如，如果运动矢量的内容属性(即标记)指示该运动矢量是“可疑MV”，而其相邻运动矢量的内容标记是另一种单一类型，则能够将该特定运动矢量分类为离群值，因为其内容属性与其相邻运动矢量的内容属性不同。在另一实施例中，如果由于运动矢量所指向的参考帧不是时间上最接近的参考帧(即，在以上参考帧索引标记部分所述的第一实施例)，或者由于该运动矢量所指向的参考帧不同于其相邻运动矢量中的大多数所指向的参考帧(即，在以上参考帧索引标记部分所述的第二实施例)，而已经将其标记为“可疑”，则会将该运动矢量分类为离群值运动矢量。
一旦根据运动矢量的一个或者多个标记而将其分类，操作就继续到由内容自适应滤波器(平滑)模块308所执行的内容自适应滤波级126。
内容自适应滤波
来自被解码数据和对运动矢量的标记的内容信息提供了用于在内容自适应滤波模块308中自适应窗口大小选择算法的必要输入。根据所选择的处理窗口来将来自先前处理的离群值运动矢量移去。在一个实施例中，内容自适应滤波模块308采用3个级来处理运动矢量：
1.选择内容自适应滤波器窗口大小：根据内容或者块大小，选择针对帧的感兴趣部分的3×3或者5×5大小的操作窗。在一个实施例中，在块大小为16×16的情况下选择3×3的窗口大小，而在块大小为8×8的情况下选择5×5的窗口大小。该选择所隐含的理念是基于对来自最普通的视频内容的运动对象的统计分析，和对恰好能够覆盖运动对象的窗口大小的统计分析。在一个实施例中，窗口大小应该足够大，以至于能够完全覆盖运动对象。因此，如果窗口大小对于小的块大小而言太小，则其仅仅能够覆盖运动对象的一部分，对于块大小大的情况也是相同的逻辑。在根据视频内容来选择窗口大小的情况下，在细节内容处选择3×3窗口大小，而对平滑(较为不细节)区域采用5×5的窗口大小。因此，通常，更加希望对较为细节的区域采用较小的窗口大小。
2.替代离群值运动矢量：对在操作窗口中的运动矢量执行中值运算。
3.平滑运动矢量场：在操作窗口中执行低通滤波运算。在一个实施例中，合适的低通滤波器是均值滤波器[1/N，1/N，…1/N]，其中N是窗口大小。
在一个实施例中，在内容自适应滤波器308中所实现的平滑方法是中值运算。在其他实施例中，可以用均值(平均)或者高斯类型的滤波运算来替代中值运算。此外，可以使用其他线性/非线性类型的滤波器。
可变块大小运动矢量处理
在固定块大小系统中，必须将帧划分为一种固定大小的块。然而，在支持可变块大小的系统中，可以将帧划分为具有不同大小和形状的块。对于支持可变块大小的视频编解码器而言，系统300还能够对与这些块相关联的运动矢量执行运动矢量处理。一种这样的标准是如上所述的H.264标准，其支持16×16、16×8、8×16、8×8、8×4、4×8和4×4的块大小。
在一个实施例中，用于在可变块大小模式中的运动矢量处理的方法与固定块大小模式类似。因此，再次参考图1，可变块大小运动矢量处理模式的过程包括运动矢量定标级120；运动矢量标记级122、内容自适应运动矢量分类级124和内容自适应滤波级126，每个级都采用针对固定块大小模式所述的图3中的相应模块来实现。然而，可变块大小运动矢量处理过程中存在与固定块大小运动矢量的处理过程不同的方面。例如，一个区别特征是不同块大小的运动矢量的“金字塔”的构建，对在金字塔中比当前层高的层执行运动矢量平滑操作。另一区别特征在于，对内容自适应滤波器模块308进行了修改，以使其能够处理每个层的运动矢量，如下所述。
由运动矢量金字塔构建模块310提供了采用内容自适应方法的金字塔创建，并且通过使用离群值运动矢量替代模块312进行修改，提供了对滤波器的修改，以使用来自金字塔上层的经过平滑的运动矢量来替代当前层的离群值运动矢量。
金字塔构建
实现每个金字塔的构建的一种可能方法为如下：
1.将输入运动矢量(即，可变块大小运动矢量)第一过采样到特定粒度(例如4×4)，以创建金字塔的级别1。所述过采样确保了金字塔的第一层由所采用的块大小中最小的块大小组成。
2.通过将级别1中相应的4×4运动矢量进行合并来创建金字塔的级别2。例如，如果级别2中的运动矢量粒度为8×8，则在级别2中的一个8×8运动矢量对应于级别1中的4个4×4运动矢量。在一个实施例中，合并运算可以是均值运算或者中值运算，中值运算更多一些。
3.为了从级别2中创建金字塔的级别3，重复步骤1和2的方法，并对级别2和3中的较大的大小进行适当修改。
例如，在H.264标准中，块大小可以是7种形状之一，并且由此可以创建多达9个的3个级别的金字塔，每个级别由不同粒度的块大小的运动矢量组成，特别是，可以使用上述7种块大小将每个帧中的宏块再划分为更小的块，导致在每个帧中块大小的可变性。在一个实施例中，如H.264所采用的，金字塔的级别1始终由4×4的块的运动矢量创建；金字塔的级别2由来自以下3种类型的块之一的运动矢量创建：8×8、8×4或者4×8；以及，金字塔的级别3从由来自以下3种类型的块之一的运动矢量创建：16×16、16×8或者8×16。因此，有九种可变大小的可能组合。
内容自适应金字塔
也可以根据帧的内容来创建每个帧的金字塔。在一个实施例中，采用两个级来构建内容自适应金字塔：
1.根据内容分类或者复杂度映射或者两者的组合，自适应地确定用于金字塔最低级别的块大小/形状。例如，具有非常高的复杂度的帧可以采用较小的块大小。
2.如果来自步骤1的金字塔的级别不包含最大的可用块大小(例如16×16或者8×8的块)，则在从步骤1得到的级别之上创建附加级别。运动矢量的块的形状是缺省形状。例如，用于级别3的缺省形状是16×16，而用于级别2的缺省形状是8×8。
采用来自金字塔较高级别的运动矢量替代离群值
在离群值运动矢量替代级136中，离群值运动矢量替代模块312实现了对拥有具有用于可变块大小的运动矢量的层的金字塔模型的支持。在一个实施例中，采用该方法的离群值运动矢量替代如下：
1.对金字塔的当前级别的运动矢量执行运动矢量定标、运动矢量标记和运动示例分类(由内容映射确定)；
2.如果金字塔的较高级别可用，则对该较高级别的运动矢量执行完整的一组运动矢量处理(平滑)操作(例如，运动矢量定标、运动矢量标记、运动示例分类和运动矢量滤波)；以及
3.用相应的较高等级的经过滤波的运动矢量来替代离群值运动矢量。
因此，当确定出离群值并且如果金字塔的较高级别可用时，则用在该较高层中相应配置的运动矢量来替代该离群值。否则，在操作窗口中对运动矢量执行中值运算。
应该注意的是，运动矢量输入可以来自几个源。在一个实施例中，输入运动矢量来自当前被解码帧的运动矢量。在另一实施例中，输入运动矢量来自当前帧和一个或多个先前被解码帧两者中。例如，通过将当前帧的运动矢量和先前帧的运动矢量合并，可以将恒定运动模型扩展为包括运动加速度，其可以为F帧提供更加准确的运动轨迹创建。当先前帧的运动矢量倒转(即是所谓的外插值运动矢量)时，所倒转的运动矢量将从先前帧指向当前帧，其将被用作反向运动矢量。如果运动恒定，则反向运动矢量和前向运动矢量(当前帧的运动矢量)应该被相互对齐，并指向相反的方向。如果前向运动矢量和反向运动矢量没有对齐，则就假设差异是由运动加速度造成的。
如上所述，运动矢量定标模块302根据在当前帧与先前帧之间的要被插值的帧的距离以及所计算的运动加速度模型来执行输入运动矢量的定标。除了定标功能之外，在另一实施例中，运动矢量定标模块302可以包含用于将几个较小块大小的运动矢量合并为较大块大小的运动矢量的合并功能。尽管在合并功能之后实现的形状的大小是基于内容的，在一个实施例中，可以对合并功能使用8×8的块大小。在一个实施例中，合并功能实现为平均功能。在另一实施例中，合并功能实现为中值功能。在又另一实施例中，合并功能实现为加权求和功能。在再另一实施例中，可以将不同的功能组合来实现合并功能。
在此所述的发明性的概念也可以用于对FRUC辅助编码器(EA-FRUC)，在此，将编码器配置为发送额外信息来辅助在客户端上的解码器FRUC模块。例如，编码器能够发送“困难的”宏块(对于FRUC操作)的运动矢量、系数残余或者FRUC指令到解码器FRUC模块。
图7示出了在无线系统中接入终端702x和接入点704x的方框图。在此所述的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算设备，或者其可以是独立设备，例如个人数字助理。接入终端还可以指用户单元、移动站点、移动设备(mobile)、远程站点、远程终端、用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线连接功能的手持设备、或者连接到无线调制解调器上的其他处理设备。在此所述的“接入点”指的是在空中接口上通过一个或多个扇区与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空中接口帧转换为IP分组，来充当在接入终端与包括IP网络在内的接入网络的其他部分之间的路由器。接入点还协调空中接口的属性管理。
对于反向链路而言，在接入终端702x，发射(TX)数据处理器714接收来自数据缓冲器712的通信量数据，根据所选择的编码和调制方案来处理(例如，编码、交错、以及符号映射)每个数据分组，并提供数据符号。数据符号是数据的调制符号，导频符号(pilotsymbol)是导频(其已知为先验的)的调制符号。调制器716接收数据符号、导频符号，并且可能还有反向链路的信令，执行系统所指定的(例如OFDM)调制和/或者其他处理，并提供输出芯片的流。发射器单元(TMTR)718处理(例如转换为模拟、滤波、放大、和频率上转换)输出芯片流并生成经过调制的信号，该信号是从天线720发射的。
在接入点704x，由与接入点704x通信的接入终端702x和其他终端所发射的经过调制的信号被天线752接收。接收器单元(RCVR)754处理(例如，调节和数字化)来自天线752的所接收信号，并提供所接收采样。解调器(Demod)756处理(例如，解调和检测)所接收采样，并提供所检测的数据符号，其是由终端发射到接入点704x的数据符号的噪声估计。接收(RX)数据处理器758处理(例如，符号解映射、解交错和解码)每个终端的所检测的数据符号，并提供该终端的被解码数据。
对于前向链路，在接入点704x，由TX数据处理器760处理通信量数据以生成数据符号。调制器762接收数据符号、导频符号、和前向链路的信令，执行(例如OFDM)调制和/或者其他相关处理，并提供输出芯片流，所述芯片流由发射器单元764进行进一步调节，并从天线752发射。前向链路信令可以包括由控制器770对所有终端所产生的功率控制命令，其在反向链路上发射到接入点704x。在接入终端702x，由接入点704x所发射的被调制信号由天线720所接收，由接收器单元722进行调节和数字化，并由解调器724进行处理，以获得所检测的数据符号。RX数据处理器726处理所检测的数据信号，并为终端提供被解码数据并提供前向链路信令。控制器730接收功率控制命令，并控制在反向链路上到接入点704x的数据传输和发射功率。控制器730和770分别控制接入终端702x和接入点704x的操作。存储器单元732和772分别存储控制器730和770所使用的程序代码和数据。
所公开的实施例可以应用到以下技术中的任意一种或者其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
应该注意的是，在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施例中，客户机是具有通信能力的手持计算机。在再一实施例中，客户机是具有通信能力的个人计算机。另外，诸如GPS接收器之类的硬件可以按照需要结合到客户机中，来实现各种实施例。与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，该处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
与在此所公开的实施例有关的所述方法和算法的步骤可以直接用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储介质耦合到处理器，从而使得存储器能够从存储介质中读出信息，并将信息写入存储介质中。可替换的，存储介质可以集成到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。可替换的，处理器和存储介质可以作为分立部件而位于用户终端中。
上述实施例是示例性的实施例。在不脱离在此所公开的发明性概念的情况下，本领域技术人员可以实现上述实施例的许多用途和改变。对于这些实施例的各种修改对于本领域技术人员是显而易见的，并且在此所定义的一般原理可以应用到其他实施例中而不会脱离所述实施例的精神和范围，例如，应用在即时消息服务中或者任何普通无线数据通信应用中。因此，本描述的范围不是要局限于在此所示的实施例，而是要对其给予与在此所公开的原理和新颖特征相一致的最大范围。单词“示例性”在此专用于“用作示例、实例或者举例说明”的意思。在此作为“示例性”所述的任何实施例不是必须要构建为优于其他实施例的。因此，在此所公开的实施例的新颖性方面仅仅由附带的权利要求的范围来定义。

Claims (43)

1.一种用于处理视频帧的多个运动矢量的方法，所述方法包括：
确定在所述视频帧中的不同的块大小的数量；以及
如果在所述视频帧中的不同的块大小的数量大于1，则执行可变块大小运动矢量过程，所述可变块大小运动矢量过程包括从所述多个运动矢量中构建运动矢量金字塔，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量；
如果在所述视频帧中的不同的块大小的数量小于2，则执行固定块大小运动矢量过程，所述固定块大小运动矢量过程包括：
对所述多个运动矢量定标；
为所述多个运动矢量中的每个运动矢量附加标记；
确定每个运动矢量的分类；以及
根据所述每个运动矢量的分类对所述多个运动矢量进行滤波。
2.如权利要求1所述的方法，其中，从所述多个运动矢量中构建所述运动矢量金字塔的步骤，包括：
对所述多个运动矢量进行过采样，以创建在第一预定块大小粒度上的所述第一层运动矢量。
3.如权利要求2所述的方法，其中，从所述多个运动矢量中构建所述运动矢量金字塔的步骤，包括：
将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并，以创建在第二预定粒度上的所述第二层运动矢量，所述第二预定块大小粒度大于所述第一预定块大小粒度。
4.如权利要求3所述的方法，其中，将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并的步骤，包括：
对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量执行平均运算。
5.如权利要求3所述的方法，其中，将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并的步骤包括：
对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量执行中值运算。
6.如权利要求1所述的方法，其中，在所述多个运动矢量中的每个运动矢量具有大小，并且对所述多个运动矢量定标的步骤包括：
计算以下两者的比率：(i)在所述视频帧与第一参考帧之间的第一距离；和(ii)在所述第一参考帧与第二参考帧之间的第二距离；以及
通过根据所述第一距离和所述第二距离的比率调节所述运动矢量的大小，来定标每个运动矢量。
7.如权利要求6所述的方法，其中，所述视频帧是要被插值的帧，所述第一参考帧是所述运动矢量所指向的参考帧，所述第二参考帧是当前帧。
8.如权利要求6所述的方法，其中，所述视频帧是实际视频帧，所述第一参考帧是时间上最接近的帧，所述第二参考帧是所述运动矢量所指向的参考帧。
9.如权利要求1所述的方法，其中，为所述多个运动矢量中的每个运动矢量附加标记的步骤包括：
确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征、方向特征和参考帧索引特征中的至少一种；以及
根据所确定的特征中的一个或者多个，将为每个运动矢量分配标记。
10.如权利要求9所述的方法，其中，确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征、方向特征和参考帧索引特征中的至少一种的步骤包括：
为每个运动矢量确定所述运动矢量的起始点的起始内容类型和所述运动矢量的终点的终止内容类型。
11.如权利要求10所述的方法，其中，根据所确定的特征中的一个或者多个而为每个运动矢量分配所述标记的步骤包括：
如果所述运动矢量的起始内容类型与所述运动矢量的终止内容类型不同，则将所述运动矢量标记为可疑运动矢量。
12.如权利要求1所述的方法，其中，每个运动矢量与一组相邻运动矢量相关联，并且确定每个运动矢量的分类的步骤包括：
检查每个运动矢量的至少一个特征；
将所述至少一个特征与所述相邻运动矢量组的综合特征进行比较；以及
如果所述至少一个特征与所述相邻运动矢量组的综合特征之间的差异大于预定阈值，则将所述运动矢量分类为离群值运动矢量。
13.如权利要求1所述的方法，其中，根据每个运动矢量的分类而对所述多个运动矢量进行滤波的步骤包括：
选择操作窗口，所述操作窗口所具有的大小取决于内容类型和块大小中所选择的一个；
在所述操作窗口中替换被分类为离群值运动矢量的每个运动矢量；以及
在所述操作窗口中执行平滑操作。
14.如权利要求13所述的方法，其中，在所述操作窗口中替换被分类为离群值运动矢量的每个运动矢量的步骤包括：
在所述操作窗口中，执行中值运算、均值运算和高斯类型滤波器运算中的一种运算。
15.如权利要求13所述的方法，其中，在所述操作窗口中执行平滑操作的步骤包括：
在所述操作窗口中执行低通滤波器运算。
16.一种用于处理视频帧的多个运动矢量的设备，所述设备包括：
配置为确定在所述视频帧中的不同的块大小的数量的可编程电路；以及
配置为如果在所述视频帧中的不同的块大小的数量大于1则执行可变块大小运动矢量过程的可编程电路，所述配置为执行所述可变块大小运动矢量过程的可编程电路包括配置为从所述多个运动矢量中构建运动矢量金字塔的可编程电路，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量；
配置为如果在所述视频帧中的不同的块大小的数量小于2则执行固定块大小运动矢量过程的可编程电路，所述配置为执行所述固定块大小运动矢量过程的可编程电路包括：
配置为对所述多个运动矢量定标的可编程电路；
配置为对所述多个运动矢量中的每个运动矢量附加标记的可编程电路；
配置为确定每个运动矢量的分类的可编程电路；以及
配置为根据所述每个运动矢量的分类而对所述多个运动矢量进行滤波的可编程电路。
17.如权利要求16所述的设备，其中，所述配置为从所述多个运动矢量中构建所述运动矢量金字塔的可编程电路包括：
配置为对所述多个运动矢量进行过采样以创建在第一预定块大小粒度上的所述第一层运动矢量的可编程电路。
18.如权利要求16所述的设备，其中，所述配置为从所述多个运动矢量中构建所述运动矢量金字塔的可编程电路包括：
配置为将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并以创建在第二预定块大小粒度上的所述第二层运动矢量的可编程电路，所述第二预定块大小粒度大于所述第一预定块大小粒度。
19.如权利要求18所述的设备，其中，所述配置为从所述多个运动矢量中构建所述运动矢量金字塔的可编程电路包括：
配置为对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行平均的可编程电路。
20.如权利要求18所述的设备，其中，所述配置为从所述多个运动矢量中构建所述运动矢量金字塔的可编程电路包括：
配置为对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量执行中值运算的可编程电路。
21.如权利要求16所述的设备，其中，在所述多个运动矢量中的每个运动矢量具有大小，并且配置为对所述多个运动矢量定标的可编程电路包括：
配置为计算以下两者的比率的可编程电路：(i)在所述视频帧与第一参考帧之间的第一距离；和(ii)在所述第一参考帧与第二参考帧之间的第二距离；以及
配置为通过根据所述第一距离和所述第二距离的比率调节所述运动矢量的大小，来定标每个运动矢量的可编程电路。
22.如权利要求21所述的设备，其中，所述视频帧是要被插值的帧，所述第一参考帧是所述运动矢量所指向的参考帧，所述第二参考帧是当前帧。
23.如权利要求21所述的设备，其中，所述视频帧是实际视频帧，所述第一参考帧是时间上最接近的帧，所述第二参考帧是所述运动矢量所指向的参考帧。
24.如权利要求16所述的设备，其中，所述配置为对所述多个运动矢量中的每个运动矢量附加标记的可编程电路包括：
配置为确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征、方向特征和参考帧索引特征中的至少一种的可编程电路；以及
配置为根据所确定的特征中的一个或者多个而为每个运动矢量分配标记的可编程电路。
25.如权利要求24所述的设备，其中，所述配置为确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征、方向特征和参考帧索引特征中的至少一种的可编程电路包括：
配置为对每个运动矢量确定所述运动矢量的起始点的起始内容类型和所述运动矢量的终点的终止内容类型的可编程电路。
26.如权利要求25所述的设备，其中，所述配置为根据所确定的特征中的一个或者多个而为每个运动矢量分配所述标记的可编程电路包括：
配置为如果所述运动矢量的起始内容类型与所述运动矢量的终止内容类型不同则将所述运动矢量标记为可疑运动矢量的可编程电路。
27.如权利要求16所述的设备，其中，每个运动矢量与一组相邻运动矢量相关联，并且所述配置为确定每个运动矢量的分类的处理电路包括：
配置为检查每个运动矢量的至少一个特征的可编程电路；
配置为将所述至少一个特征与所述相邻运动矢量组的综合特征进行比较的可编程电路；以及
配置为如果所述至少一个特征与所述相邻运动矢量组的综合特征之间的差异大于预定阈值则将所述运动矢量分类为离群值运动矢量的可编程电路。
28.如权利要求16所述的设备，其中，所述配置为根据每个运动矢量的分类而对所述多个运动矢量进行滤波的可编程电路包括：
配置为选择操作窗口的可编程电路，所述操作窗口所具有的大小取决于内容类型和块大小中所选择的一个；
配置为在所述操作窗口中替换被分类为离群值运动矢量的每个运动矢量的可编程电路；以及
配置为在所述操作窗口中执行平滑操作的可编程电路。
29.如权利要求28所述的设备，其中，所述配置为替换在所述操作窗口中被分类为离群值运动矢量的每个运动矢量的可编程电路包括：
配置为在所述操作窗口中执行中值运算、均值运算和高斯类型滤波器运算中的一种运算的可编程电路。
30.如权利要求28所述的设备，其中，所述配置为在所述操作窗口中执行平滑操作的可编程电路包括：
配置为在所述操作窗口中执行低通滤波器运算的可编程电路。
31.一种用于处理视频帧的多个运动矢量的运动矢量处理器，所述运动矢量处理器包括：
用于确定在所述视频帧中的不同的块大小的数量的装置；以及
用于如果在所述视频帧中的不同的块大小的数量大于1则执行可变块大小运动矢量过程的装置，所述用于执行所述可变块大小运动矢量过程的装置包括用于从所述多个运动矢量中构建运动矢量金字塔的装置，所述金字塔至少具有第一层运动矢量和第二层运动矢量，所述第一层和第二层中的每一个都具有基于特定块大小的一组运动矢量；
用于如果在所述视频帧中的不同的块大小的数量小于2则执行固定块大小运动矢量过程的装置，所述用于执行所述固定块大小运动矢量过程的装置包括：
用于对所述多个运动矢量定标的装置；
用于为所述多个运动矢量中的每个运动矢量附加标记的装置；
用于确定每个运动矢量的分类的装置；以及
用于根据所述每个运动矢量的分类而对所述多个运动矢量进行滤波的装置。
32.如权利要求31所述的运动矢量处理器，其中，所述用于从所述多个运动矢量中构建所述运动矢量金字塔的装置包括：
用于对所述多个运动矢量进行过采样以创建在第一预定块大小粒度上的所述第一层运动矢量的装置。
33.如权利要求31所述的运动矢量处理器，其中，所述用于从所述多个运动矢量中构建所述运动矢量金字塔的装置包括：
用于将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并以创建在第二预定块大小粒度上的所述第二层运动矢量的装置，所述第二预定块大小粒度大于所述第一预定块大小粒度。
34.如权利要求33所述的运动矢量处理器，其中，所述用于将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并的装置包括：
用于对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量执行平均运算的装置。
35.如权利要求33所述的运动矢量处理器，其中，所述用于将来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量进行合并的装置包括：
用于对来自所述第一层运动矢量中所述运动矢量组的至少两个运动矢量执行中值运算的装置。
36.如权利要求31所述的运动矢量处理器，其中，在所述多个运动矢量中的每个运动矢量具有大小，并且所述用于对所述多个运动矢量定标的装置包括：
用于计算以下两者的比率的装置：(i)在所述视频帧与第一参考帧之间的第一距离；和(ii)在所述参考帧与第二参考帧之间的第二距离；以及
用于通过根据所述第一距离和所述第二距离的比率调节所述运动矢量的大小，来定标每个运动矢量的装置。
37.如权利要求31所述的运动矢量处理器，其中，所述用于为所述多个运动矢量中的每个运动矢量附加标记的装置包括：
用于确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征和方向特征中的至少一种的装置；以及
用于根据所确定的特征中的一个或者多个而为每个运动矢量分配标记的装置。
38.如权利要求37所述的运动矢量处理器，其中，所述用于确定在所述多个运动矢量中的每个运动矢量的内容特征、大小特征、方向特征和参考帧索引特征中的至少一种的装置包括：
用于为每个运动矢量确定所述运动矢量的起始点的起始内容类型和所述运动矢量的终点的终止内容类型的装置。
39.如权利要求38所述的运动矢量处理器，其中，所述用于根据所确定的特征中的一个或者多个而为每个运动矢量分配所述标记的装置包括：
用于如果所述运动矢量的起始内容类型与所述运动矢量的终止内容类型不同则将所述运动矢量标记为可疑运动矢量的装置。
40.如权利要求31所述的运动矢量处理器，其中，每个运动矢量与一组相邻运动矢量相关联，并且所述用于确定每个运动矢量的分类的装置包括：
用于检查每个运动矢量的至少一个特征的装置；
用于将所述至少一个特征与所述相邻运动矢量组的综合特征进行比较的装置；以及
用于如果所述至少一个特征与所述相邻运动矢量组的综合特征之间的差异大于预定阈值则将所述运动矢量分类为离群值运动矢量的装置。
41.如权利要求31所述的运动矢量处理器，其中，所述用于根据每个运动矢量的分类而对所述多个运动矢量进行滤波的装置包括：
用于选择操作窗口的装置，所述操作窗口所具有的大小取决于所述内容和块大小中所选择的一个；
用于在所述操作窗口中替换被分类为离群值运动矢量的每个运动矢量的装置；以及
用于在所述操作窗口中执行平滑操作的装置。
42.如权利要求41所述的运动矢量处理器，其中，所述用于在所述操作窗口中替换被分类为离群值运动矢量的每个运动矢量的装置包括：
用于在所述操作窗口中执行中值运算、均值运算和高斯类型滤波器运算中的一种运算的装置。
43.如权利要求41所述的运动矢量处理器，其中，所述用于在所述操作窗口中执行平滑操作的装置包括：
用于在所述操作窗口中执行低通滤波器运算的装置。
CN2005800313895A 2004-07-20 2005-07-20 用于运动矢量处理的方法和设备 Expired - Fee Related CN101023662B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US58990004P 2004-07-20 2004-07-20
US60/589,900 2004-07-20
PCT/US2005/025801 WO2006012375A1 (en) 2004-07-20 2005-07-20 Method and apparatus for motion vector processing

Publications (2)

Publication Number Publication Date
CN101023662A CN101023662A (zh) 2007-08-22
CN101023662B true CN101023662B (zh) 2010-08-04

Family

ID=35229714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800313895A Expired - Fee Related CN101023662B (zh) 2004-07-20 2005-07-20 用于运动矢量处理的方法和设备

Country Status (8)

Country Link
US (2) US7852938B2 (zh)
EP (1) EP1774780A1 (zh)
JP (1) JP4567733B2 (zh)
KR (1) KR100943591B1 (zh)
CN (1) CN101023662B (zh)
CA (1) CA2574556A1 (zh)
TW (1) TW200618610A (zh)
WO (1) WO2006012375A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567733B2 (ja) 2004-07-20 2010-10-20 クゥアルコム・インコーポレイテッド 動きベクトル処理のための方法及び装置
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置
KR101364532B1 (ko) * 2007-01-03 2014-02-18 삼성전자주식회사 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
US8111750B2 (en) * 2007-03-20 2012-02-07 Himax Technologies Limited System and method for 3-D recursive search motion estimation
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
KR101411639B1 (ko) * 2007-09-11 2014-06-24 삼성전기주식회사 영상 정합 방법 및 장치
EP2215844A2 (en) * 2007-10-15 2010-08-11 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8208551B2 (en) * 2007-10-31 2012-06-26 Broadcom Corporation Method and system for hierarchically layered adaptive median motion vector smoothing
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101470003B1 (ko) * 2008-07-18 2014-12-05 엘지전자 주식회사 가변 필터 윈도우를 이용한 영상 스케일링 방법 및 영상스케일링의 필터 윈도우 크기 산출 방법
US8320455B2 (en) * 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
CN101668196B (zh) * 2009-09-25 2012-02-08 西安电子科技大学 基于下采样和插值的低码率图像压缩方法
TW201121335A (en) * 2009-12-02 2011-06-16 Sunplus Core Technology Co Ltd Method and apparatus for adaptively determining compression modes to compress frames
US8594199B2 (en) * 2010-03-08 2013-11-26 Qualcomm Incorporated Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
EP2556669A1 (en) * 2010-04-07 2013-02-13 Linear Algebra Technologies Limited Broadcast video decoder with reduced memory and processing requirements suitable for handheld and mobile applications
EP2469469A1 (en) * 2010-12-23 2012-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding data defining coded orientations representing a reorientation of an object
EP2469496A1 (en) * 2010-12-23 2012-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding data defining coded positions representing a trajectory of an object
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US20130301734A1 (en) * 2011-01-12 2013-11-14 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US20120236936A1 (en) * 2011-03-14 2012-09-20 Segall Christopher A Video coding based on edge determination
JP2012253492A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
WO2013037069A1 (en) * 2011-09-15 2013-03-21 Libre Communications Inc. Method, apparatus and computer program product for video compression
WO2013056129A1 (en) * 2011-10-14 2013-04-18 Advanced Micro Devices, Inc. Region-based image compression
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9609456B2 (en) 2012-05-14 2017-03-28 Qualcomm Incorporated Methods, devices, and systems for communicating behavioral analysis information
US9690635B2 (en) 2012-05-14 2017-06-27 Qualcomm Incorporated Communicating behavior information in a mobile computing device
US9202047B2 (en) 2012-05-14 2015-12-01 Qualcomm Incorporated System, apparatus, and method for adaptive observation of mobile device behavior
US9495537B2 (en) 2012-08-15 2016-11-15 Qualcomm Incorporated Adaptive observation of behavioral features on a mobile device
US9747440B2 (en) 2012-08-15 2017-08-29 Qualcomm Incorporated On-line behavioral analysis engine in mobile device with multiple analyzer model providers
US9319897B2 (en) 2012-08-15 2016-04-19 Qualcomm Incorporated Secure behavior analysis over trusted execution environment
CN110545419B (zh) * 2012-10-12 2022-11-22 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US10095663B2 (en) 2012-11-14 2018-10-09 Amazon Technologies, Inc. Delivery and display of page previews during page retrieval events
US9686023B2 (en) 2013-01-02 2017-06-20 Qualcomm Incorporated Methods and systems of dynamically generating and using device-specific and device-state-specific classifier models for the efficient classification of mobile device behaviors
US9684870B2 (en) 2013-01-02 2017-06-20 Qualcomm Incorporated Methods and systems of using boosted decision stumps and joint feature selection and culling algorithms for the efficient classification of mobile device behaviors
US10089582B2 (en) 2013-01-02 2018-10-02 Qualcomm Incorporated Using normalized confidence values for classifying mobile device behaviors
US9742559B2 (en) 2013-01-22 2017-08-22 Qualcomm Incorporated Inter-module authentication for securing application execution integrity within a computing device
KR101829114B1 (ko) * 2013-01-25 2018-03-29 퀄컴 인코포레이티드 모바일 디바이스에 대한 거동 특징들의 적응적 관찰
US9491187B2 (en) 2013-02-15 2016-11-08 Qualcomm Incorporated APIs for obtaining device-specific behavior classifier models from the cloud
US20160037167A1 (en) * 2013-03-30 2016-02-04 Anhui Guangxing Linked-Video Communication Technology Co. Ltd Method and apparatus for decoding a variable quality bitstream
CN103297657B (zh) * 2013-05-14 2016-08-10 李小林 一种基于gpu的视频稳定方法
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith
CN105095901B (zh) 2014-04-30 2019-04-12 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
US11169666B1 (en) 2014-05-22 2021-11-09 Amazon Technologies, Inc. Distributed content browsing system using transferred hardware-independent graphics commands
US9454515B1 (en) 2014-06-17 2016-09-27 Amazon Technologies, Inc. Content browser system using graphics commands and native text intelligence
US9785332B1 (en) 2014-12-05 2017-10-10 Amazon Technologies, Inc. Conserving processing resources by controlling updates to damaged tiles of a content page
US10546038B2 (en) 2014-12-08 2020-01-28 Amazon Technologies, Inc. Intelligent browser-based display tiling
EP3171595A1 (en) * 2015-11-18 2017-05-24 Thomson Licensing Enhanced search strategies for hierarchical motion estimation
CN108476318A (zh) * 2016-01-14 2018-08-31 三菱电机株式会社 编码性能评价辅助装置、编码性能评价辅助方法以及编码性能评价辅助程序
JP6597912B2 (ja) * 2016-09-21 2019-10-30 株式会社島津製作所 画像処理装置
US10412462B2 (en) * 2016-11-08 2019-09-10 Ati Technologies Ulc Video frame rate conversion using streamed metadata
CN106657713B (zh) * 2016-12-30 2019-03-22 华中科技大学 一种视频运动放大方法
US11308391B2 (en) * 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
CN109756778B (zh) * 2018-12-06 2021-09-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
CN110149532B (zh) * 2019-06-24 2021-08-17 北京奇艺世纪科技有限公司 一种封面选取方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283291A (zh) * 1997-12-31 2001-02-07 萨尔诺夫公司 执行可缩放的分层运动估算的装置与方法
CN1290381A (zh) * 1997-12-31 2001-04-04 萨尔诺夫公司 使用可变块尺寸的分层运动估算装置和方法
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03178266A (ja) * 1989-12-06 1991-08-02 Canon Inc ファクシミリ装置
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5447272A (en) 1994-02-22 1995-09-05 Ask; Bernard J. Automatic deicer spreader
US5844613A (en) * 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
FR2773038B1 (fr) 1997-12-24 2000-02-25 Thomson Multimedia Sa Procede et dispositif d'interpolation d'images a partir de donnees video codees mpeg
US6845130B1 (en) * 2000-10-12 2005-01-18 Lucent Technologies Inc. Motion estimation and compensation for video compression
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US7292634B2 (en) 2002-09-24 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
KR100587562B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 비디오 프레임에 대한 움직임 추정 방법 및 비디오 인코더
JP4567733B2 (ja) 2004-07-20 2010-10-20 クゥアルコム・インコーポレイテッド 動きベクトル処理のための方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283291A (zh) * 1997-12-31 2001-02-07 萨尔诺夫公司 执行可缩放的分层运动估算的装置与方法
CN1290381A (zh) * 1997-12-31 2001-04-04 萨尔诺夫公司 使用可变块尺寸的分层运动估算装置和方法
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Frederic Dufaux and Murat Kunt Signal Processing Laboratory.Multigrid block matching motion estimation with an adaptivelocal mesh refinement.Visual Communications and Image Processing＇921818.1993,181897-109. *

Also Published As

Publication number Publication date
WO2006012375A1 (en) 2006-02-02
TW200618610A (en) 2006-06-01
CN101023662A (zh) 2007-08-22
CA2574556A1 (en) 2006-02-02
US20110080955A1 (en) 2011-04-07
JP2008507909A (ja) 2008-03-13
US8514941B2 (en) 2013-08-20
US20060018382A1 (en) 2006-01-26
KR20070040399A (ko) 2007-04-16
JP4567733B2 (ja) 2010-10-20
KR100943591B1 (ko) 2010-02-24
US7852938B2 (en) 2010-12-14
EP1774780A1 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
CN101023662B (zh) 用于运动矢量处理的方法和设备
CN101023678B (zh) 运动矢量分配的方法和装置
CN101023677A (zh) 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
EP1120968B1 (en) Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
Ries et al. Video Quality Estimation for Mobile H. 264/AVC Video Streaming.
Dou et al. Edge computing-enabled deep learning for real-time video optimization in IIoT
CN106961603A (zh) 帧内编码帧码率分配方法和装置
CN109698957A (zh) 图像编码方法、装置、计算设备及存储介质
CN107801093A (zh) 视频渲染方法、装置、计算机设备和可读存储介质
US11758216B2 (en) Non-occluding video overlays
CN111277827B (zh) 一种视频数据处理方法、装置、设备以及可读存储介质
CN108668129A (zh) 一种编码方法及装置
CN115379291A (zh) 一种码表更新方法、装置、设备及存储介质
Vetro et al. Encoding and transcoding multiple video objects with variable temporal resolution
Nam et al. A hybrid spatial error concealment using human face and image edge over H. 264/AVC video sequences
CN117294683A (zh) 视频处理方法、发送端、接收端、存储介质和程序产品
Pande et al. Meeting real-time requirements for a low bitrate multimedia encoding framework
CN113452996A (zh) 一种视频编码、解码方法及装置
Xie et al. A Global Decoding Strategy with a Reduced-Reference Metric Designed for the Wireless Transmission of JPWL
Bagheri et al. Content-based video coding for distance learning
Chen et al. Rate-distortion analysis for MPEG-4 binary shape coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1105743

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1105743

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100804

Termination date: 20190720

CF01 Termination of patent right due to non-payment of annual fee