CN101023678B - 运动矢量分配的方法和装置 - Google Patents

运动矢量分配的方法和装置 Download PDF

Info

Publication number
CN101023678B
CN101023678B CN2005800317720A CN200580031772A CN101023678B CN 101023678 B CN101023678 B CN 101023678B CN 2005800317720 A CN2005800317720 A CN 2005800317720A CN 200580031772 A CN200580031772 A CN 200580031772A CN 101023678 B CN101023678 B CN 101023678B
Authority
CN
China
Prior art keywords
motion vector
frame
zone
video
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800317720A
Other languages
English (en)
Other versions
CN101023678A (zh
Inventor
史方
维贾亚拉克施密·R·拉维德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101023678A publication Critical patent/CN101023678A/zh
Application granted granted Critical
Publication of CN101023678B publication Critical patent/CN101023678B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

一种对使用第一参考帧和第二参考帧内插的视频帧处理多个运动矢量的方法，每个参考帧具有内容图，该方法包括：将所述要内插的视频帧划分为多个区域；基于所述第一参考帧和第二参考帧的内容图，确定穿过所述多个区域中一个区域的运动矢量的数量；以及基于穿过所述一个区域的运动矢量的数量产生分配给所述一个区域的运动矢量。还描述了执行该方法的一种装置。

Description

运动矢量分配的方法和装置
根据35U.S.C.§119要求的优先权
本专利申请要求临时申请No.60/590,110，并转让给其受让人的申请的优先权，通过在此参考而清楚地结合在其中。
对于共同未决的发明申请的参考
本专利申请与下面的共同未决的美国专利申请相关：
美国专利申请序号No.11/122,678，与此共同提交并转让给其受让人的，题为“Method and Apparatus for Motion Compensated Frame RateUp Conversion for Block-Based Low Bit Rate Video”并通过在此的参考而清楚地结合。
技术领域
这里描述的实施例总体涉及视频图像处理，并且更具体的，涉及一种运动矢量分配的方法和装置。
背景技术
由于有限的带宽资源和可用带宽的变化，低比特率视频压缩在诸如无线视频流和视频电话的很多多媒体应用中非常重要。可以通过降低时域分辨率来实现低比特率的带宽自适应视频编码。换句话说，取代压缩并发送三十(30)帧每秒(fps)的比特流，时域分辨率可以减半为15fps以降低传送的比特率。降低带宽的一种典型方式是通过从编码的信号中提取和去除冗余信息，诸如去除帧的一部分，或是去除整个帧。然而，减少时域分辨率的后果是引入了时域的失真，诸如运动断续(motion jerkiness)，这就显著地降低了解码的视频的可视性质量。
为了在接收器一侧显示完整的帧率，就需要一种称作帧速率上变换(FRUC)的恢复机制，来重生跳过的帧并用来减少时域失真。通常，FRUC是在视频解码器的视频内插处理，以增加重建视频所感知到的帧率。已经提出了很多FRUC算法，并且可以将其分成两种大概的类型。第一类使用接收的视频帧的结合来内插丢失的帧，而不考虑对象运动。帧重复和帧平均方法属于这种类型。这些方法的缺点在于包括产生运动断续，“鬼影”图像和在有运动的时候运动对象的模糊。第二类与第一类相比更加先进，并在称作运动补偿(帧)内插(MCI)的处理中使用编码器传送的运动信息。
在常规运动补偿预测编码中，每个视频帧首先被分割成图像元素的方块(pels)；诸如8pels乘8pels的块。轮流对每个块进行编码，且产生的编码序列通过通信信道传送给解码器。在编码过程中，确定与先前帧的共置块相比该块的pels是否显著改变。如果没有显著改变，将发送一个提示，其提示解码器其需要仅重复先前帧的块的pels，以获得当前块的pels。如果自前一帧以来pels已经改变，就作出尝试以确定在该块中发生的运动的最优运动估计。这是经常通过块匹配运动估计技术进行的，其中，当前块的pels连续地与先前帧中对应块的各种小偏移比较。这种提供最佳匹配的偏移被当作帧之间块图像中位移的“最优估计”，且选择偏移的幅度和方向，其称作“运动矢量”，并发送给解码器。此外，一旦找到最佳匹配，将当前块的pels与先前帧的“最佳”偏移块的pels进行比较，以查看是否有显著的差异。如果没有，取代发送运动矢量，将一个提示发送给解码器，使得来自先前帧的偏移块的pels将对于当前偏移块的pels进行重复。认为这种块已经成功地进行了运动补偿。然而，如果在两个块之间有显著差异，就将该差异编码并发送给解码器，使得当前块的pels可以更准确地恢复。
已经有一些建议来改进重复的帧的质量以使得它们可以更加如实地与原始帧类似。因此，取代如上所述的常规运动补偿预测编码中那样简单地重复来自先前帧中的pels，在显示之前在MCI中运动矢量用于横向地将块偏移适当的量。换句话说，这种方法通过平均对于解码器可用的前面紧邻和后面的pels的块，来创建丢失的pels的块。然而，试验结果表示当连续块的图像不表示平移运动的时候，再现的图像可能比帧重复更差。尽管已经发现，这种恶化是由于不遵从于平移运动假设的相对较少的一些pels造成的，但是将这些pels设置在错误的地方将产生很高的可见失真。
如现有技术的图1所示，在MCI中，丢失的帧108基于重建的当前帧102、存储的先前帧104、以及一组传送的运动矢量106来内插。重建的当前帧102包括一组非重叠块150、152、154和156，其与指向存储的先前帧104中的对应块的一组传送的运动矢量106相关。内插帧108可以以当前和先前帧中对应像素的线性组合构建；或是用诸如中值运算的非线性运算构建。
尽管MCI更加先进，但是基于块的MCI引入了重叠区域，这些区域是具有多个运动轨迹穿过其中的区域；基于块的MCI还引入了孔区域，孔区域是没有运动轨迹穿过其中的区域，两种区域都是在内插帧中不想要的。如图2所示，内插帧202包含重叠区域206和孔区域204。产生这两种类型的不想要的区域的主要原因在于：
1.运动对象不属于刚性平移运动模型。
2.由于在编码器一侧使用的基于块的快速运动搜索算法，MCI中使用的传送的运动矢量可能没有指向真正的运动轨迹。
3.当前帧和先前帧中遮盖的和没有遮盖的背景。
重叠和孔区域的内插是常规基于块的运动补偿方法中的一个主要技术问题。已经提出了中值模糊和空间内插技术来填充这些重叠区域和孔区域。然而，这些方法的缺陷在于引入了模糊和块失真，并且还增加了内插运算的复杂度。
对于运动补偿FRUC中的内插帧，如果需要的话，适当的运动矢量分配对于运动补偿FRUC是很重要的。此外，需要基于运动矢量分配的适当运动补偿的时候，则适当的运动矢量分配在任何应用中都是有用的。因此，就需要克服上面所述的这些问题。
发明内容
这里描述的实施例对于具有孔和重叠区域的、将要内插的帧提供了运动矢量分配处理。
在一个实施例中，描述了对于要使用第一参考帧和第二参考帧进行内插的视频帧处理多个运动矢量的方法，其中每个参考帧都具有内容图。该方法包括将要内插的视频帧划分为多个区域；基于第一参考帧和第二参考帧的内容图确定穿过一个区域的运动矢量的数量；并基于穿过所述一个区域的运动矢量的数量将运动矢量分配给该区域。
在另一个实施例中，公开了一种计算机可读介质，其上存储有指令，所述指令使得计算机执行对使用第一参考帧和第二参考帧进行内插的视频帧处理多个运动矢量的方法，其中每个参考帧都具有内容图。该方法包括划分要内插的视频帧为多个区域；基于第一参考帧和第二参考帧的内容图确定穿过一个区域的运动矢量的数量；并基于穿过该区域的运动矢量的数量将运动矢量分配给该区域。
在另一个实施例中，公开了一种设备，所述设备用于对使用第一参考帧和第二参考帧进行内插的视频帧处理多个运动矢量，其中每个参考帧都具有内容图。该设备包括用于划分要内插的视频帧为多个区域的装置；基于第一参考帧和第二参考帧的内容图确定穿过一个区域的运动矢量的数量的装置；以及基于穿过该区域的运动矢量的数量将运动矢量分配给该区域的装置。
在另一个实施例中，公开了至少一种处理器，所述处理器配置为实现对使用第一参考帧和第二参考帧进行内插的视频帧处理多个运动矢量的方法，其中每个参考帧都具有内容图。该方法包括划分要内插的视频帧为多个区域；基于第一参考帧和第二参考帧的内容图确定穿过一个区域的运动矢量的数量；以及基于穿过该区域的运动矢量的数量将运动矢量分配给该区域。
通过下面详细的描述，对于本领域技术人员来说，其他目的、特征和优点将变得显而易见。然而，应该可以理解，尽管详细的描述和具体的例子表示了示例性实施例，但是它们仅仅是通过示出的形式来表现而不是用于限制的。在不脱离下面说明的精神的情况下，可以在其范围内作出很多改变和修改，并且所述说明应该被理解为包括所有的这种变化。
附图说明
通过参考附图，这里描述的实施例可以更容易地理解，其中：
图1是示出使用运动补偿内插(MCI)的内插帧的构建的图；
图2是示出可以在MCI期间在内插帧中出现的重叠和孔区域的图；
图3是执行运动矢量分配的FRUC系统的框图；
图4是运动矢量系统的运动矢量提取子系统的框图；
图5是示出对重叠和孔块区域进行运动矢量分配的方法的概观的流程图；
图6是示出对重叠和孔块区域进行运动矢量分配的FRUC系统的运算的流程图；
图7是示出分配给视频帧内图形元素的各种内容类的图；以及，
图8是对重叠和孔像素区域进行运动矢量分配的FRUC系统的运算的流程图；以及，
图9是无线系统的接入终端和接入点的框图。
类似的附图标记表示附图的若干示图中的类似部件。
具体实施方式
这里描述的实施例提供了运动矢量分配方法和装置，其支持基于可变块尺寸的、基于块的、以及基于像素的运动矢量分配的变形。这里描述的运动矢量分配方法和装置辅助在例如帧速率上变换(FRUC)处理中，创建具有更高质量的内插帧，该内插帧也称作“F帧”。解码视频数据中包含的辅助信息用作运动矢量分配处理中的输入。辅助信息可以包括例如构成每帧的图形元素类型的描述，其称作“内容图”，以及元素的复杂度和运动的描述，其分别称作“复杂度图”以及“活动图”。这里描述的运动矢量分配解决了在创建内插帧的期间遇见的诸如重叠和孔区域的问题，这两种问题都是在内插帧中不想要的。
图3示出FRUC系统300，其可以执行对F帧的运动矢量分配，其中F帧还称作要内插的帧，其中FRUC系统300接收输入比特流302并使用二进制解码器模块306来提取：(1)运动矢量组308，其位于存储的运动矢量缓存器306中；以及(2)残差310。所述残差310是对反量化/逆变换模块312的输入，其结果与存储先前帧缓存器318中存储的先前帧结合，以产生当前帧。当前帧存储在当前帧缓存器320中。FRUC系统300的一个子部分350，包括存储的运动矢量缓存器316，存储的帧缓存器318，以及当前帧缓存器320，其包含具体功能模块，用于依照如这里描述的一个示例性实施例来执行运动矢量分配。具体的说，子部分350包括运动矢量处理器322、种子双向运动估计模块324、第二运动矢量处理器326、模式确定模块328、帧速率上变换器(FRUC)模块330、以及后处理单元332。结合附图的说明来进一步描述FRUC系统300的操作。此外，可以与这里描述的系统一起使用的一种示例性的运动矢量外插和内容分类系统在共同未决的专利申请No.＿＿＿＿，题为“Method and Apparatus for Frame RateUp Conversion”[Fang Shi，Viji Raveendran，2004年6月15日]中描述。此外，可以与这里描述的系统一起使用的一种示例性的运动矢量平滑处理在共同未决的专利申请No.＿＿＿＿，题为“Method andApparatus for Motion Vector Processing”[Fang Shi，Viji Raveendran]、共同未决的专利申请No.＿＿＿＿，题为“Method and Apparatus for MotionCompensated Frame Rate Up Conversion”[040432]中描述，其中还提供了在这里没有具体说明的FRUC系统300的其他部件的其他示例性实施例。
应该注意到，在一个实施例中，在图3示出的与具体模块对应的功能模块可以使用一个或更多软件算法来实现。在高水平以充足的细节描述算法的运算，以使得本领域普通的技术人员可以使用软件和硬件结合的方式来实现它们。例如，这里描述的部件可以实现为在通用处理器上执行的软件；如专用集成电路(ASIC)中的“硬连线”电路；或其任何结合。应该注意，可以使用这里描述的实现模块的各种其他方法，并且这些都在其实践在图像和视频处理的广阔领域中的本领域普通技术人员的知识领域内。
此外，这里描述的发明构思可以用于与国际电信联盟，电信标准化小组(ITU-T)公布的H.26x标准兼容的解码器/编码器系统；或是用于与作为国际标准化组织/国际电工技术委员会第一联合技术委员会(ISO/IEC JTC1)的一个工作组的运动图像专家组所公布的MPEGx标准兼容的解码器/编码器系统。ITU-T视频编码标准被称作推荐标准，并且用H.26x表示(例如，H.261，H.262，H.263以及H.264)。ISO/IEC标准表示为MPEG-x(例如，MPEG-1，MPEG-2以及MPEG-4)。例如，多参考帧和可变块尺寸是H.264标准需要的特殊特征。在其他的实施例中，其中使用这里描述的发明构思的解码器/编码器系统可以是私有的。
在一个实施例中，FRUC系统300可以基于不同的复杂度要求来配置。例如，高度复杂的配置可能包括多个参考帧；可变块尺寸；运动加速度模型的先前参考帧运动矢量外插；以及运动估计辅助的双运动场平滑。相反的，低复杂度的配置可能仅包括单个参考帧；固定的块尺寸；以及运动场平滑的运动补偿内插。对于不同的应用，其他配置也是可行的。
系统300从用于存储和提取关于处理所用视频帧信息的数据子系统400中的多个数据存储单元接收输入。如图4所示，这些存储单元包括具有多个先前帧的内容图存储单元(MULTIPLE F_PREVCONTENT MAP)402；多个先前帧的外插运动场存储单元(EXTRAPOLATED MULTIPLE F_PREV MOTION FIELDS)404；单个先前帧内容图存储单元(F_PREV CONTENTMAP)406；以及单个先前帧外插运动场存储单元(EXTRAPOLATED F_PREV MOTIONFIELD)408。依赖于系统300是不是在使用多参考帧的模式中工作，多个参考帧模式控制器模块414耦合适当的存储单元到输入的下一级。具体的说，当系统300使用多个先前参考帧的时候，从多个先前帧的内容图存储单元402和多个先前帧的外插运动场存储单元404获得输入。对于单个先前参考帧模式的操作，从单个先前帧内容图存储单元406和单个先前帧外插运动场存储单元408获得输入。
尽管图示出了对存储内容图和运动场使用两种不同的存储单元组，一组用于其中使用了多个参考帧的情况(即，多个先前帧内容图存储单元402和多个先前帧的外插运动场存储单元404)，而另一组用于其中使用单个参考帧的情况(即，单个先前帧内容图存储单元406和单个先前帧外插运动场存储单元408)，应该注意其他配置也是可行的。例如，两种不同内容图存储单元的功能可以结合，使得一个存储单元可以用于存储多帧的内容图或是单帧的单个内容图。此外，存储单元还可以存储当前帧的数据。
从多个参考帧模式控制器模块414和当前帧运动场存储单元(F_CURR MOTION FIELD)410和当前帧内容图存储单元(F_CURRCONTENT MAP)412的输出被供给运动矢量外插单元416。如上所述，运动矢量外插单元416提取在系统300中运动矢量处理中使用的运动矢量以及附加信息。因此，系统300中使用的输入运动矢量可以来自当前帧，或是来自当前帧和一个或多个先前解码帧。此外，系统300的其他输入是来自解码帧数据的边带信息，其可以包括但是不限于所关注的区域、纹理信息中的变化以及亮度背景值中的变化。这种信息可以提供运动矢量分类和适应性平滑算法的引导，如在下面进一步说明的。
图5示出示例性运动矢量分配处理500的概观，其以在步骤502中获得用于内插F帧的参考帧的内容图和运动矢量为开始。在一个实施例中，如上所述，其中在客户机的解码器上执行处理，已经先前从服务器传送内容图和运动矢量。在另一个实施例中，可以在客户机产生内容图或运动矢量。
在步骤504，F帧(即，要内插的帧)的每个块，也称作“F帧块”、“F帧宏块”或是“F_MB”被分为孔区域或重叠区域。如这里进一步说明的，为了确定F帧中的每个块是否包含重叠或是孔区域，首先将F帧分成一系列非重叠块。随后确定其中有F帧的参考帧中开始和结束的任意运动矢量是否穿过F帧中每个非重叠块。如前所述的，重叠的区域是具有多个运动轨迹(即，多个运动矢量)穿过其中的区域，而孔区域是没有运动轨迹穿过其中的区域(即，没有运动矢量)。因此，如果F帧中的块具有多个穿过其中的运动矢量，可以将其分类为包含重叠区域，这里也称作“重叠区域块”或是“重叠区域”。此外，多个运动矢量帧穿过特定的块，这使得该块成为重叠区域块，将被称作块的“重叠运动矢量组”。如下面进一步描述的，这组重叠运动矢量将经过修改，其中将某些运动矢量从重叠运动矢量组中去除，并且修改的运动矢量这里被称作“处理的重叠运动矢量组”。在另一个实施例中，重叠运动矢量组仅包含满足某些标准的运动矢量，并因此将等于处理后的重叠运动矢量组。没有任何运动矢量穿过其中的块就将被分类为孔区域，这里也称作“孔区域块”或是“孔区域”。在一个实施例中，具有单个运动矢量穿过其中的块将不会被分类为具有孔区域。在另一个实施例中，这些类型的块将被分类为重叠区域。一旦已经将这些块分类，该处理继续运动分配处理，其依赖于该块是如何分类的。
在步骤506中，确定块是否已经被分类为孔区域。如果是，则运算继续到步骤514，其中执行对于孔区域的运动矢量分配处理。否则，运算继续至步骤508，其中确定是否仅有单个运动矢量穿过F帧中的块。如果是，运算继续至步骤512，其中基于单个运动矢量发生标准运动补偿处理。如果块已经被分类为重叠区域，则运算继续到步骤510，其中对于执行过的重叠区域执行运动矢量分配处理。
图6示出了示例性的运动矢量分配处理，其中参考图5描述的，通用运动矢量分配处理被用到FRUC系统300的运算中，用于对重叠和孔块执行运动矢量分配，其中在步骤602中，该系统首先以将F帧划分为非重叠宏块(MB)开始，在这种情况下F帧就是要内插的帧，并且将孔区域或是重叠区域分类分配给这些块。在固定块尺寸系统中，需要将帧划分成一种固定尺寸的块。如这里所述的，宏块(MB)指的是16×16尺寸的块。然而，这里的描述也可以用于其他尺寸的块。此外，在支持可变块尺寸的系统中，可以将帧划分为具有不同尺寸和形状的块。对于支持可变块尺寸的视频编解码器，系统300还可以对于这些块相关的运动矢量执行运动矢量分配。一种这样的标准是H.264标准，如上所述，其支持16×16，16×8，8×16，8×8，8×4，4×8以及4×4的块尺寸。
一旦将F帧划分，以上述方式将块分类为孔或重叠区域，其中所有属于重叠区域块的运动矢量被分到各个组中，操作继续到块604，其中FRUC系统300确定对于参考帧是否存在内容图。
对于要分类的帧中内容来说，被分类为这里描述的运动矢量分配处理的一部分是很重要的。基于接收的视频流元数据(即，传送的运动矢量)和解码的数据(即，重建的帧像素值)，帧中的内容可以被分类为下面的类型：
1.静态背景(SB)；
2.运动对象(MO)；
3.出现的对象(AO)；
4.消失的对象(DO)；以及，
5.边缘(EDGE)。
因此，在当前运动矢量所指向的帧的区域，即宏块或块的类型，将被分析并将影响要内插的帧的处理。如这里描述的，将EDGE类引入内容分类就给内容分类添加了额外的一类，并提供了对于FRUC处理的改进。
图7示出了区域或像素的不同类，包括对于MCI的运动对象(MO)708，出现对象(AO)704，消失的对象(DO)710，静态背景(SB)702和EDGE 706，其中一组箭头712表示三个示出的帧中像素的运动轨迹：帧(t-1)，帧(t)(F帧)和帧(t+1)。具体的说，在MCI的上下文中，每个视频帧内的每个像素或区域可以被分类为上述五个类中的一个，并且相关的运动矢量可以基于类型信息改变(如果有这种改变)的比较，以特定的方式处理，如下面进一步描述。此外，在SB，AO和DO类之间的区别比较小的时候，上述五种内容分类可以被分成三种较少限制的类。
1.SB 702，AO 704，DO 710；
2.MO 708；以及，
3.EDGE 706。
在一个实施例中，使用两种不同的方式来执行DO 710，SB702，AO 704以及MO 708内容的分类，其中的每种方法都基于不同的计算复杂度。在低复杂度方法中，例如，下面的公式可以用于对内容分类：
Qc＝abs(Fc[yn][xn]-Fp[yn][xn])；
Qc＝abs(Fp[yn][xn]-Fpp[yn][xn])；
Qc＝(Qc＞阈值)；以及
Qp＝(Qp＞阈值)；
其中：
yn和xn是像素的y和x坐标位置；
Fc是当前帧的像素值；
Fp是先前帧的像素值；
Fpp是先前-先前帧像素值；
Qc是当前和先前帧中共置像素(位于[yn][xn])间像素值差异的绝对值；以及，
Qp是先前和先前-先前帧中共置像素(位于[yn][xn])间像素值差异的绝对值；
以及：
if(Qc&&Qp)，则分类为运动对象；
else if(！Qc&&！Qp)，则分类为静态背景；
else if(Qc&&！Qp)，则分类为消失的对象；
else if(！Qc&&Qp)，则分类为出现的对象。
在高复杂度方法中，例如，基于对象分段和形态学运算来进行分类，并通过跟踪分段对象的运动来执行内容分类。因此：
1.在运动场上执行对象分段；
2.跟踪分段对象的运动(例如，通过形态学运算)；以及，
3.分别将对象标记为SB，AO，DO和MO。
在步骤606中，在对于参考帧确定存在内容图之后，FRUC系统将对F帧中每个重叠区域宏块清除属于重叠区域块的重叠运动矢量组中的任何运动矢量，其中该重叠的运动矢量以不同内容类开始或结束。具体的说，如上所述，通过使用每个参考帧的内容图来确定该参考帧中每个宏块的内容类型，其中将每个宏块分类为MO，SB，AO，DO和EDGE类中的一个(或是其中SB、AO和DO类之间的区别比较小时，分类到三个类中)，可以确定重叠运动矢量组中的任何运动矢量(即，先前已经定义为所有运动矢量穿过重叠区域块)以具有不同内容类的宏块开始和结束。例如，具有其开始点接触分类为MO宏块的帧(T+1)中的宏块、但是其结束点接触分类为SB宏块的帧(T-1)中宏块的运动矢量可以是这样一种运动矢量。在一个实施例中，如果运动矢量的开始和结束点属于不同内容类，则将任何运动矢量从该重叠运动矢量组中清除。如先前定义的，没有清除的运动矢量是处理的运动矢量组。
一旦具有与分为不同类的宏块相关的开始点和结束点的运动矢量已经从重叠运动矢量组中去除，并且创建了处理的运动矢量组，运算继续到确定块608，在该块中确定要被分配运动矢量的宏块是否是重叠区域宏块。
对于重叠MB的运动矢量分配
在步骤608，确定每个宏块中处理过的重叠运动矢量组是否包含多于一个重叠运动矢量。如果是这样，则在一个实施例中操作以步骤616继续，其中穿过中心像素的(多个)运动矢量用于将运动矢量分配给宏块的过程中。在另一个实施例中，如步骤618所述，该分配基于对遮盖最多的区域的确定。在另一个实施例中，如步骤620所述，分配加权的运动矢量，基于重叠区域宏块中的遮盖来创建加权的运动矢量。在另一个实施例中，如步骤622所述，分配中值运动矢量。在下面描述这些实施例中的每个。
基于中央像素的MV来分配MV
在一个实施例中，基于确定穿过宏块中央像素的运动矢量来进行运动矢量分配。该过程包括下面的步骤：
1.以当前帧中当前MB(x/block_size，y/block_size)开始，其中(x，y)是当前宏块的中央像素位置；
2.计算MB(x，y)的当前运动矢量(dx，dy)；
3.按照比例定标运动矢量，对于1∶2 FRUC的情况，其中F帧正好在当前帧和先前参考帧之间，就是(dx/2，dy/2)；
4.F帧中的MB，MB_f((x+dx/2)/block_size)将被分配MV(dx/2，dy/2)；
5.如果对于F帧中同一MB分配了多于一个MV，就将执行平均或是中值运算来获得最终种子MV。
基于遮盖大部分区域的MB来分配MV
在另一个实施例中，基于确定与覆盖F帧宏块的大部分区域的宏块相关的运动矢量进行运动矢量分配。其步骤如下：
1.当前帧中的当前MB(x/block_size，y/block_size)，其中(x，y)是其中央像素位置；
2.MB(x，y)的当前MV(dx，dy)；
3.按照比例定标MV，对于1∶2的FRUC的情况，就是(dx/2，dy/2)；
4.穿过F帧的MV(dx，dy)，F帧中的交叉位置是(x+dx/2，y+dy/2)；
5.寻找覆盖以(x+dx/2，y+dy/2)为中心的MB的F帧中多至四个MB；
a.F_MB_1(x1，y1)；其中
x1＝((int)(x+dx/2)/block_size)*block_size+block_size/2；
y1＝((int)(y+dy/2)/block_size)*block_size+block_size/2；
b.F_MB_2(x2，y2)；其中x2＝x1+block_size；y2＝y1；
c.F_MB_3(x3，y3)；其中x3＝x1+block_size；y3＝y1+block_size；
d.F_MB_4(x4，y4)；其中x4＝x1；y4＝y1+block_size；
6.寻找以(x+dx/2，y+dy/2)为中心的MB覆盖的、并且与所有计算的区域与MV(dx/2，dy/2)相关联的四个F_MB之中多至四个区域；
a.Area_MB_1＝(block_size-(x+dx/2-x1))*(block_size-(y+dy/2-y1))
b.Area_MB_2＝(block_size-(x+dx/2-x2))*(block_size-(y+dy/2-y2))
c.Area_MB_3＝(block_size-(x+dx/2-x3))*(block_size-(y+dy/2-y3))
d.Area_MB_4＝(block_size-(x+dx/2-x4))*(block_size-(y+dy/2-y4))
7.对于F帧中的每个F_MB，选择给出最大区域的MV。
加权的平均MV分配
在另一个实施例中，基于覆盖宏块的宏块加权平均来进行运动矢量分配。其中的步骤如下：
1.当前帧中的当前MB(x/block_size，y/block_size)，其中(x，y)是其中央像素位置
2.MB(x，y)的当前MV(dx，dy)
3.按比例定标MV，对于1∶2的FRUC的情况，其是(dx/2，dy/2)
4.MV(dx，dy)穿过F帧，F帧中的交叉位置是(x+dx/2，y+dy/2)
4.穿过F帧的MV(dx，dy)，F帧中的交叉位置是(x+dx/2，y+dy/2)
5.寻找覆盖b以(x+dx/2，y+dy/2)为中心的MB的F帧中多至四个MB
a.F_MB_1(x1，y1)；
x1＝((int)(x+dx/2)/block_size)*block_size+block_size/2；
y1＝((int)(y+dy/2)/block_size)*block_size+block_size/2；
b.F_MB_2(x2，y2)；x2＝x1+block_size；y2＝y1；
c.F_MB_3(x3，y3)；x3＝x1+block_size；y3＝y1+block_size；
d.F_MB_4(x4，y4)；x4＝x1；y4＝y1+block_size；
6.寻找以(x+dx/2，y+dy/2)为中心的MB覆盖的、并且将所有计算的区域与MV(dx/2，dy/2)相关联的四个F_MB之中多至四个区域；
a.Area_MB_1＝(block_size-(x+dx/2-x1))*(block_size-(y+dy/2-y1))
b.Area_MB_2＝(block_size-(x+dx/2-x2))*(block_size-(y+dy/2-y2))
c.Area_MB_3＝(block_size-(x+dx/2-x3))*(block_size-(y+dy/2-y3))
d.Area_MB_4＝(block_size-(x+dx/2-x4))*(block_size-(y+dy/2-y4))
7.如果N个MV穿过F_MB，则将加权的MV分配给F_MB
MV＝w_1*MV1+w_2*MV_2+...+w_N*MV_N
其中w_i是加权因子：
w_i＝area_i/block_size/block_size；
在步骤628中，其中已经预先在步骤608中确定了F帧宏块没有任何重叠运动矢量的时候，该系统确定F帧宏块是否具有单个穿过其中的运动矢量(即，在处理的运动矢量组中是否仅有一个运动矢量)。如果是这样，则运算继续到步骤630，其中执行普通的运动矢量分配。否则，确定F帧宏块没有任何运动矢量穿过其中，且操作继续到步骤622，其中在一个实施例中，将为零值的运动矢量分配给F帧宏块。在另一个实施例中，如步骤624所述，F帧宏块被分配作为该宏块周围可用运动矢量平均值的运动矢量。在另一个实施例中，如步骤626所述，F帧宏块被分配作为该宏块周围可用运动矢量中值的运动矢量。
应该注意，尽管图6中运动矢量分配处理以检查F帧宏块是否是重叠区域宏块来开始，但是可以理解该处理可以同样地用于其中F帧宏块是孔区域宏块的情况、或是仅有一个运动矢量穿过F帧宏块的情况，并且这种对处理流程的变化也在本领域技术人员进行实施的能力范围内。
图8示出了基于像素的而不是基于块的、对于FRUC系统300的运动矢量分配处理，其中，与图6的步骤604类似，在步骤806中可以确定对于参考帧是否存在内容图。如果存在，则类似于图6的步骤606，任何以不同内容类开始和结束的相邻运动矢量在步骤808中被清除。操作随后继续到步骤816，其中确定像素是重叠的。如果是这样，则操作继续到步骤818，其中将中值运动矢量分配给该像素，其中该中值运动矢量基于没有基于不同内容类结束点清除的重叠运动矢量的中值。在另一个实施例中，如步骤820所述，将均值运动矢量分配给该像素，其中该均值运动矢量基于没有基于不同内容类结束点清除的重叠运动矢量的均值。
其中F帧像素不是重叠区域，则在步骤828中就确定是否有单个运动矢量穿过该像素。如果是这样，则运算继续到步骤830，其中该像素分配有穿过其中的运动矢量。否则，该像素被确定为孔区域并且操作继续至步骤822，其中基于相邻运动矢量中值的中值运动矢量被分配给该像素。在另一个实施例中，如步骤820所述，将基于相邻运动矢量均值的均值运动矢量分配给该像素。应该注意，可以用于中值和均值运动矢量分配的相邻运动矢量可以经受基于不同开始和结束点内容类的清除。
图9示出了在无线系统中接入终端902x和接入点904x的方框图。在此所述的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算设备，或者其可以是独立(self-contained)设备，例如个人数字助理。接入终端还可以指用户单元、移动站点、移动设备、远程站点、远程终端、用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线连接功能的手持设备、或者连接到无线调制解调器上的其他处理设备。在此所述的“接入点”指的是在空中接口上通过一个或多个扇区与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空中接口帧转换为IP分组，来充当在接入终端与包括IP网络在内的接入网络的其他部分之间的路由器。接入点还协调空中接口的属性管理。
对于反向链路而言，在接入终端902x，发射(TX)数据处理器914接收来自数据缓冲器912的通信量数据，根据所选择的编码和调制方案来处理(例如，编码、交错、以及码元映射)每个数据分组，并提供数据码元。数据码元是数据的调制码元，导频码元是导频的调制码元(其已知为先验的(priori))。调制器916接收数据码元、导频码元，并且可能还有反向链路的信令，执行系统所指定的(例如OFDM)调制和/或者其他处理，并提供输出芯片的流。发射器单元(TMTR)918处理(例如转换为模拟、滤波、放大、和频率上转换)输出芯片流并生成经过调制的信号，该信号是从天线920发射的。
在接入点904x，由与接入点904x通信的接入终端902x和其他终端所发射的经过调制的信号被天线952接收。接收器单元(RCVR)954处理(例如，调节和数字化)来自天线952的接收信号，并提供接收的样本。解调器(Demod)956处理(例如，解调和检测)所接收的样本，并提供所检测的数据码元，其是由终端发射到接入点904x的数据码元的噪声估计。接收(RX)数据处理器958处理(例如，码元解映射、解交错和解码)每个终端的所检测的数据码元，并为该终端提供被解码数据。
对于前向链路，在接入点904x，由TX数据处理器960处理通信量数据以生成数据码元。调制器962接收数据码元、导频码元、和前向链路的信令，执行(例如OFDM)调制和/或者其他相关处理，并提供输出芯片流，所述芯片流由发射器单元964进行进一步调节，并从天线952发射。前向链路信令可以包括由控制器970对所有终端所产生的功率控制命令，所述终端在反向链路上对接入点904x发射。在接入终端902x，由接入点904x所发射的被调制信号由天线920所接收，由接收器单元922进行调节和数字化，并由解调器924进行处理，以获得所检测的数据码元。RX数据处理器926处理所检测的数据码元，并为终端提供被解码数据以及前向链路信令。控制器930接收功率控制命令，并控制在反向链路上到接入点904x的数据发射和发射功率。控制器930和970分别控制接入终端902x和接入点904x的操作。存储器单元932和972分别存储控制器930和970所使用的程序代码和数据。
所公开的实施例可以应用到以下技术中的任意一种或者其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
与在此所公开的实施例有关的所述方法和算法的步骤可以直接用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储介质耦合到处理器，从而使得存储器能够从存储介质中读出信息，并将信息写入存储介质中。可替换的，存储介质可以集成到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。可替换的，处理器和存储介质可以作为分立部件而位于用户终端中。
应该注意的是，在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施例中，客户机是具有通信能力的手持计算机。在另一实施例中，客户机是具有通信能力的个人计算机。另外，诸如GPS接收器之类的硬件可以按照需要结合到客户机中，来实现这里描述的各种实施例。与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，该处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。
上述实施例是示例性的实施例。在不脱离在此所公开的发明构思的情况下，本领域技术人员可以实现上述实施例的许多用途和改变。对于这些实施例的各种修改对于本领域技术人员是显而易见的，并且在此所定义的一般原理可以应用到其他实施例中而不会脱离这里所述新颖方案的精神和范围，例如，应用在即时消息服务中或者任何通用无线数据通信应用中。因此，实施例的新颖方案的范围不是要局限于在此所示的实施例，而是依照与在此公开的原理和新颖特征一致的最大范围。单词“示例性”在此专用于“用作示例、实例或者举例说明”的意思。在此作为“示例性”所述的任何实施例不必解释为优选的、或是优于其他实施例。因此，实施例的新颖性方面的范围仅仅由下面权利要求的范围来定义。

Claims (26)

1.一种对使用第一参考帧和第二参考帧来内插的视频帧处理多个运动矢量的方法，每个参考帧具有内容图，其中，该内容图表示构成该参考帧的图形元素类型的描述，该方法包括：
将所述要内插的视频帧划分为多个区域；
基于所述第一参考帧和第二参考帧的内容图，确定穿过所述多个区域中一个区域的运动矢量的数量；以及
基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量。
2.根据权利要求1的方法，其中将所述要内插的视频帧分成所述多个区域的步骤包括将所述要内插的视频帧分成多个不重叠区域。
3.根据权利要求1的方法，其中基于穿过所述一个区域的所述运动矢量数量对所述一个区域产生所述运动矢量的步骤包括选择穿过所述一个区域的所述多个运动矢量中的一个。
4.根据权利要求1的方法，其中将所述要内插的视频帧分成多个区域的步骤包括将所述要内插的视频帧划分为固定尺寸的多个区域。
5.根据权利要求1的方法，其中将所述要内插的视频帧分成多个区域的步骤包括将要内插的视频帧划分为不同尺寸的多个区域。
6.根据权利要求1的方法，其中基于所述第一参考帧和第二参考帧的内容图确定穿过所述多个区域中一个区域的运动矢量数量的步骤包括：
对穿过所述一个区域的每个运动矢量：
确定运动矢量开始点内容类和运动矢量结束点内容类；
比较所述运动矢量开始点内容类和所述运动矢量结束点内容类；以及
如果所述运动矢量开始点内容类和所述运动矢量结束点内容类不同，就从认为是穿过所述一个区域的多个运动矢量中去除所述运动矢量。
7.根据权利要求1的方法，其中基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量的步骤包括：如果穿过所述一个区域的运动矢量的数量是零，则将从下面的组中选出的运动矢量分配给所述一个区域，该组包括：(i)零运动矢量，(ii)任何可用相邻运动矢量的均值，以及(iii)任何可用相邻运动矢量的中值。
8.根据权利要求1的方法，其中基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量的步骤包括：如果穿过所述一个区域的运动矢量的数量大于一，则将从下面的组中选出的运动矢量分配给所述一个区域，该组包括：(i)中央像素运动矢量，(ii)覆盖最多的区域的运动矢量，(iii)加权的运动矢量，以及(iv)中值运动矢量。
9.根据权利要求1的方法，其中所述内容图包括多个内容类。
10.根据权利要求9的方法，其中所述多个内容类包括背景内容类。
11.根据权利要求10的方法，其中所述背景内容类包括出现对象类，消失对象类以及静态背景类。
12.根据权利要求9的方法，其中所述多个内容类包括运动对象内容类。
13.根据权利要求9的方法，其中所述多个内容类包括边缘内容类。
14.一种对使用第一参考帧和第二参考帧内插的视频帧处理多个运动矢量的设备，每个参考帧具有内容图，其中，该内容图表示构成该参考帧的图形元素类型的描述，该设备包括：
将所述要内插的视频帧划分为多个区域的装置；
基于所述第一参考帧和第二参考帧的内容图，确定穿过所述多个区域中一个区域的运动矢量的数量的装置；以及
基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量的装置。
15.根据权利要求14的设备，其中将所述要内插的视频帧分成所述多个区域的装置包括将所述要内插的视频帧分成多个不重叠区域的装置。
16.根据权利要求14的设备，其中基于穿过所述一个区域的运动矢量的数量产生分配给所述一个区域的运动矢量的装置包括选择穿过所述一个区域的多个运动矢量中的一个的装置。
17.根据权利要求14的设备，其中将所述要内插的视频帧分成所述多个区域的装置包括将所述要内插的视频帧划分为多个固定尺寸的区域的装置。
18.根据权利要求14的设备，其中将所述要内插的视频帧分成所述多个区域的装置包括将所述要内插的视频帧划分为多个不同尺寸的区域的装置。
19.根据权利要求14的设备，其中基于所述第一参考帧和第二参考帧的内容图确定穿过所述多个区域中一个区域的运动矢量的数量的装置包括：
确定运动矢量开始点内容类和运动矢量结束点内容类的装置；
比较所述运动矢量开始点内容类和所述运动矢量结束点内容类的装置；以及
如果所述运动矢量开始点内容类和所述运动矢量结束点内容类不同，就从认为是穿过所述一个区域中的多个运动矢量中去除所述运动矢量。
20.根据权利要求14的设备，其中基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量的装置包括：如果穿过所述一个区域的运动矢量的数量是零，则将从下面的组中选出的运动矢量分配给所述一个区域的装置，其中该组包括：(i)零运动矢量，(ii)任何可用相邻运动矢量的均值，以及(iii)任何可用相邻运动矢量的中值。
21.根据权利要求14的设备，其中基于穿过所述一个区域的运动矢量的数量，产生分配给所述一个区域的运动矢量的装置包括：如果穿过所述一个区域的运动矢量的数量大于一，则将从下面的组中选出的运动矢量分配给所述一个区域的装置，其中该组包括：(i)中央像素运动矢量，(ii)覆盖最多区域的运动矢量，(iii)加权运动矢量，以及(iv)中值运动矢量。
22.根据权利要求14的设备，其中所述内容图包括多个内容类。
23.根据权利要求22的设备，其中所述多个内容类包括背景内容类。
24.根据权利要求23的设备，其中所述背景内容类包括出现对象类，消失对象类以及静态背景类。
25.根据权利要求22的设备，其中所述多个内容类包括运动对象内容类。
26.根据权利要求22的设备，其中所述多个内容类包括边缘内容类。
CN2005800317720A 2004-07-21 2005-07-21 运动矢量分配的方法和装置 Expired - Fee Related CN101023678B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US59011004P 2004-07-21 2004-07-21
US60/590,110 2004-07-21
PCT/US2005/025897 WO2006012428A1 (en) 2004-07-21 2005-07-21 Method and apparatus for motion vector assignment

Publications (2)

Publication Number Publication Date
CN101023678A CN101023678A (zh) 2007-08-22
CN101023678B true CN101023678B (zh) 2011-07-27

Family

ID=35058342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800317720A Expired - Fee Related CN101023678B (zh) 2004-07-21 2005-07-21 运动矢量分配的方法和装置

Country Status (17)

Country Link
US (1) US8553776B2 (zh)
EP (1) EP1774795A1 (zh)
JP (1) JP4448173B2 (zh)
KR (1) KR100919075B1 (zh)
CN (1) CN101023678B (zh)
AU (1) AU2005267126C1 (zh)
BR (1) BRPI0513698A (zh)
CA (1) CA2574648A1 (zh)
IL (1) IL180827A (zh)
MX (1) MX2007000867A (zh)
NO (1) NO20070991L (zh)
NZ (1) NZ552781A (zh)
RU (1) RU2335096C1 (zh)
TW (1) TW200627973A (zh)
UA (1) UA88017C2 (zh)
WO (1) WO2006012428A1 (zh)
ZA (1) ZA200700724B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
AU2005262409A1 (en) 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
EP2194720A1 (en) * 2004-07-20 2010-06-09 Qualcom Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
KR20070020994A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 영상신호 변환장치 및 그 방법
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化
WO2008091207A1 (en) * 2007-01-26 2008-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Border region processing in images
WO2008139489A1 (en) * 2007-05-10 2008-11-20 Allgo Embedded Systems Private Limited Dynamic motion vector analysis method
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
JP5029543B2 (ja) * 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
US20100128181A1 (en) * 2008-11-25 2010-05-27 Advanced Micro Devices, Inc. Seam Based Scaling of Video Content
CN101753795B (zh) * 2008-12-16 2012-05-16 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
BR112012000002B1 (pt) * 2009-07-03 2021-11-23 France Telecom Método para predizer um vetor de movimento de uma partição de imagem corrente, método para codificar uma imagem, método para decodificar um fluxo de dados representativo de uma imagem, dispositivo para predizer um vetor de movimento de uma partição de imagem corrente, dispositivo para codificar uma imagem e dispositivo para decodificar um fluxo de dados
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
TR200906020A2 (tr) * 2009-08-04 2011-02-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇@ Hareket alanlarının, kare interpolasyon çerçevelerine,belleğe etkin erişimli şekilde ayarlanması için metot ve aparat
EP2553927B1 (fr) * 2010-03-31 2018-11-28 Orange Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en oeuvre une prediction par compensation de mouvement avant, et programme d'ordinateur correspondant
CN102907094A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性参考影像的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性参考影像决定方法
WO2011145763A1 (ko) * 2010-05-20 2011-11-24 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법
US9509995B2 (en) 2010-12-21 2016-11-29 Intel Corporation System and method for enhanced DMVD processing
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
RU2487489C2 (ru) * 2011-10-18 2013-07-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ поиска векторов перемещений в динамических изображениях
US8856624B1 (en) 2011-10-27 2014-10-07 Google Inc. Method and apparatus for dynamically generating error correction
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
TW201346839A (zh) * 2012-05-04 2013-11-16 Chang Jung Christian University 基於動態補償之去移動模糊之方法
US9277168B2 (en) * 2012-06-29 2016-03-01 Advanced Micro Devices, Inc. Subframe level latency de-interlacing method and apparatus
US10602175B2 (en) * 2012-12-21 2020-03-24 Nvidia Corporation Using an average motion vector for a motion search
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
KR102126511B1 (ko) * 2015-09-02 2020-07-08 삼성전자주식회사 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
US20180367812A1 (en) * 2016-01-14 2018-12-20 Mitsubishi Electric Corporation Encoding performance evaluation support apparatus, encoding performance evaluation support method, and computer readable medium
AU2019296308B9 (en) 2018-06-28 2023-08-03 Huawei Technologies Co., Ltd. Memory access window and padding for motion vector refinement and motion compensation
CN110446107B (zh) * 2019-08-15 2020-06-23 电子科技大学 一种适用于缩放运动和明暗变化的视频帧率上变换方法
CN113099241B (zh) * 2021-03-31 2022-11-01 北京百度网讯科技有限公司 参考帧列表更新方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394196A (en) * 1991-04-05 1995-02-28 Thomson-Csf Method of classifying the pixels of an image belonging to a sequence of moving images and method of temporal interpolation of images using the said classification
CN1166101A (zh) * 1996-05-17 1997-11-26 索尼公司 图像信号处理器和处理方法
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
EP1369820A2 (en) * 2002-06-03 2003-12-10 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
GB2050109B (en) 1979-05-08 1984-01-25 British Broadcasting Corp Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
CN1052840C (zh) * 1993-06-01 2000-05-24 汤姆森多媒体公司 用于对数字视频信号进行插值的方法及装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP2000512091A (ja) 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
JP4159606B2 (ja) 1996-05-24 2008-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
DE69712538T2 (de) * 1996-11-07 2002-08-29 Matsushita Electric Ind Co Ltd Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) * 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
CN1182726C (zh) 1999-10-29 2004-12-29 皇家菲利浦电子有限公司 视频编码方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN100504925C (zh) 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
KR100504641B1 (ko) * 2000-06-28 2005-08-01 미쓰비시덴키 가부시키가이샤 화상 부호화 장치 및 화상 부호화 방법
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
KR100976718B1 (ko) 2002-02-28 2010-08-18 엔엑스피 비 브이 필드 레이트 업변환을 위한 방법 및 장치
KR100850705B1 (ko) 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7386049B2 (en) * 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
WO2004025965A1 (en) 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
AU2005262409A1 (en) * 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
EP2194720A1 (en) * 2004-07-20 2010-06-09 Qualcom Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394196A (en) * 1991-04-05 1995-02-28 Thomson-Csf Method of classifying the pixels of an image belonging to a sequence of moving images and method of temporal interpolation of images using the said classification
CN1166101A (zh) * 1996-05-17 1997-11-26 索尼公司 图像信号处理器和处理方法
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
EP1369820A2 (en) * 2002-06-03 2003-12-10 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation

Also Published As

Publication number Publication date
IL180827A0 (en) 2007-06-03
NZ552781A (en) 2008-12-24
AU2005267126C1 (en) 2009-11-26
CA2574648A1 (en) 2006-02-02
MX2007000867A (es) 2007-04-18
ZA200700724B (en) 2008-07-30
TW200627973A (en) 2006-08-01
WO2006012428A1 (en) 2006-02-02
AU2005267126B2 (en) 2009-05-21
JP2008507920A (ja) 2008-03-13
KR20070040401A (ko) 2007-04-16
EP1774795A1 (en) 2007-04-18
US8553776B2 (en) 2013-10-08
RU2335096C1 (ru) 2008-09-27
UA88017C2 (ru) 2009-09-10
IL180827A (en) 2010-11-30
JP4448173B2 (ja) 2010-04-07
KR100919075B1 (ko) 2009-09-28
US20060018383A1 (en) 2006-01-26
NO20070991L (no) 2007-02-21
CN101023678A (zh) 2007-08-22
BRPI0513698A (pt) 2008-05-13
AU2005267126A1 (en) 2006-02-02

Similar Documents

Publication Publication Date Title
CN101023678B (zh) 运动矢量分配的方法和装置
CN101023677A (zh) 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
CN101023662B (zh) 用于运动矢量处理的方法和设备
CN101023676B (zh) 用于时间视频压缩中运动矢量预测的方法和设备
JP4369090B2 (ja) ビデオ情報を符号化し復号化する方法、動き補償ビデオ符号器及び対応する復号器
CN102625106A (zh) 场景自适应的屏幕编码码率控制方法及其系统
CN106060539B (zh) 一种低传输带宽的视频编码方法
Wang et al. UHD video coding: A light-weight learning-based fast super-block approach
Lee et al. Multiframe error concealment for MPEG-coded video delivery over error-prone networks
JPH10336673A (ja) 映像信号符号化システムにおける縁部検出方法及びその装置
Hung et al. Content-based FGS coding mode determination for video streaming over wireless networks
US8107525B1 (en) Variable bit rate video CODEC using adaptive tracking for video conferencing
Kaware et al. A survey: heterogeneous video transcoder for H. 264/AVC to HEVC
Yu et al. Efficient multiple-reference temporal error concealment algorithm based on H. 264/AVC
Chow A Very Low Bit Rate Video Coding for Ubiquitous Services
Fadlallah et al. Streaming Video Based on Temporal Frame Transcoding.
Grassi et al. Cellular Neural Network-based object-oriented video compression: performance evaluation
Ahmad Semantic-Based Video Transcoding Architectures for Quality of Service Applications in Mobile and Wireless Video Communication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1105742

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1105742

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110727

Termination date: 20150721

EXPY Termination of patent right or utility model