CN102595089A - 用于降减光晕的使用混合双向运动向量的帧率转换 - Google Patents

用于降减光晕的使用混合双向运动向量的帧率转换 Download PDF

Info

Publication number
CN102595089A
CN102595089A CN2012100448911A CN201210044891A CN102595089A CN 102595089 A CN102595089 A CN 102595089A CN 2012100448911 A CN2012100448911 A CN 2012100448911A CN 201210044891 A CN201210044891 A CN 201210044891A CN 102595089 A CN102595089 A CN 102595089A
Authority
CN
China
Prior art keywords
frame
motion vector
vector
overlay area
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100448911A
Other languages
English (en)
Other versions
CN102595089B (zh
Inventor
刘雪娇
赵京雄
罗鹏
黄嘉隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN102595089A publication Critical patent/CN102595089A/zh
Application granted granted Critical
Publication of CN102595089B publication Critical patent/CN102595089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种能降减运动物体边缘光晕问题的帧率转换/插帧器。在视频图像中运动物体边缘的像素，由于物体的运动而被覆盖或被显露(未覆盖)，从而使产生的内插帧在此区域有错误及瑕疵，在内插帧上会出现光晕效应。在三个原始帧上的运动估计产生混合方向运动向量，其中对背景和物体是双向的，对覆盖和未覆盖区域是单向的，因为大匹配误差的运动向量被删除了。内插帧上的覆盖区域被检测确定为只与前向混合运动向量相交，并不与后向混合运动向量相交。未覆盖区域为只与后向混合运动向量相交，并不与前向混合运动向量相交。两个原始帧的混合运动向量通过双向运动估计产生改进的运动向量给内插帧。在覆盖区域的改进运动向量会被替换为原始帧的混合运动向量。将原始帧的混合运动向量分配给内插帧的覆盖区域，而不是使用内插帧上估计的向量，使得光晕问题得到减小。

Description

用于降减光晕的使用混合双向运动向量的帧率转换
【技术领域】
本发明涉及视频处理，特别涉及一种用于解决遮挡问题的运动补偿帧率转换方法。
【背景技术】
平板电视和其他显示屏的图像质量已经有很大的提高，部分是因为较高的刷新率和帧率。虽然视频标准如NTSC和PAL有固定的帧率，但是新式电视和显示屏中的上变频器允许更高的帧率，显示给观看者。更高的帧率意味着在相邻帧之间有更少的时间，显示物体在帧之间可以有更小的运动。而且，每一帧在LCD显示器上显示的时间减少了，因为更高的帧率。结果，后影像和感觉到的运动模糊也减少了。因为更高的帧率，运动看上去更平滑自然，更少跳跃感。最新技术3D电视需要更高的帧率，以致通过使用主动式快门眼镜，稍微不同的图像可以显示给每个眼睛。在具有主动式快门眼镜的3D电视里，左眼视图和右眼视图轮流交替显示。因此观看者接收到的实际帧率是减半的。帧率提升是用于为每个眼睛保持帧率，以便使运动和2D视频一样平滑自然。
虽然通过简单地复制帧可以增加帧率，但是现代图形处理器可以在现有的帧之间产生新帧。新帧可以插入在两个周围的原始帧之中。每个帧可以分成宏块(MB)，然后为每个MB产生运动向量(MV)。每个MB沿着MV平移，就形成在两个原始帧之间的内插帧。
图1显示帧率转换(FRC)的帧内插。帧1、2、3是一原始视频序列中的原始帧，该原始视频具有较低的帧频率。内插帧1.5是从帧1和帧2而产生的，通过从帧1或帧2沿着MV平移MB而产生。类似地，内插帧2.5是从原始的帧2和帧3通过沿着运动向量平移宏块而产生的。帧2.5的平移距离可以是每个运动向量的帧2和帧3之间平移距离的一半。
内插后的帧的最终序列有着双倍数量的帧，每个原始帧后面都插入一个内插帧。
一些前景物体可能比背景移动得更快，如图1显示的序列中蜜蜂朝向花朵移动。相比较背景物体(背景)的运动向量，前景物体(物体)有较大的运动向量。
图2突出显示一个物体相对于背景而移动，遮挡住覆盖的区域。在帧N-1中的物体10相对于格子背景而运动。物体10从帧N-1移动到帧N中物体10’的位置处。物体10是沿着它的运动向量平移，而找到内插帧N-0.5中物体10的位置。
当帧N-1和帧N相互叠在一起，如图2底部显示的，会看到物体10的位置向右下移动，到物体10’处。物体10的视运动(apparent motion)产生一个未覆盖区域U和一覆盖区域C。未覆盖区域U是背景图像的一部分，其被帧N-1中的物体10遮住，但是在帧N中是可见的。类似地，覆盖区域C也是背景图像的一部分，其在帧N-1中是可见的，但在帧N中被物体10’遮住。
这些由物体10产生的覆盖和未覆盖，或遮挡和未遮挡，使得帧内插变得复杂。
图3突出显示覆盖区域和未覆盖区域无法正确估计的运动向量。在图3A-B中帧显示为侧视图。在图3A中，前向运动向量14指向帧FN-1中宏块出现在下一原始帧FN中的位置。物体10的物体运动向量12指向帧FN中物体10’的新位置。物体10在内插帧FN-0.5中的位置可以通过物体10的宏块沿着物体运动向量12平移一半距离而确定，正如背景图像的宏块可以在运动向量14的一半距离处找到位置一样。
但是，物体10是相对于背景而移动的。物体10的视运动使得帧FN中的一些宏块没有有效的运动向量14。例如，帧FN-1中物体10上方的宏块被帧FN中物体10’遮住，因此这些宏块在帧FN中就没有匹配的宏块。
在图3B中，后向运动向量14指向帧FN中宏块出现在前一原始帧FN-1中的位置。物体10’的物体运动向量12指向帧FN-1中物体10的位置。物体10在内插帧FN-0.5中的位置可以通过物体10’的宏块沿着物体运动向量12平移一半距离而确定，正如背景图像的宏块可以在运动向量14的一半距离处找到位置一样。
使用后向运动向量也会使得帧FN中的一些宏块没有有效的运动向量14。例如，帧FN中物体10’下方的宏块被帧FN-1中物体10的视运动而未遮住，因此这些宏块在帧FN-1中就没有匹配的宏块。
遮挡和未遮挡会为帧率转换而带来问题。因为覆盖或未覆盖区域没有有效的运动向量，简单的运动估计和宏块平移会损坏运动物体的边缘区域。物体边缘则会出现跳跃而不是平滑运动。当遮挡处理失败时，帧率转换就可能会产生可见的瑕疵。例如，这种瑕疵可以表现为在一个运动的人头边缘周围的光晕。因此这类可见瑕疵有时称为光晕效应(haloeffect)，尽管它们出现在运动物体边缘处。
现有技术中已经有各种方法去减少此类光晕效应。有时这些方法对一些物体有效，但是一些物体和背景的组合就会导致这些方法失败。例如，当背景本身很复杂并在变化时，这些方法就会产生不正确的运动向量赋值，使得背景物体的宏块放置在前景物体之上。齿状边缘和块效应也会由不正确的确定覆盖和未覆盖区域产生。
当背景毫无特征时，有些方法也会失败。检测会在物体边界处失败，导致不平滑的边缘。在覆盖区域附近的运动向量可能是不准确的，或者没有正确地赋值，导致更多的可见瑕疵。而且这些减少光晕的方法会有过多的计算负担。
期望有一种帧率转换能产生具有更少瑕疵的内插帧。期望能为覆盖区域和未覆盖区域产生内插帧的宏块，即使当两个方向的运动向量都无效时。能减少运动物体边缘的光晕效应也是令人期望的。
【附图说明】
图1显示帧率转换(FRC)的帧内插。
图2突出显示一个物体相对于背景而移动，遮挡住覆盖的区域。
图3突出显示覆盖区域和未覆盖区域无法正确估计的运动向量。
图4显示内插帧覆盖和未覆盖区域内的运动向量。
图5描述混合方向运动向量的产生。
图6显示使用混合方向运动向量而检测覆盖和未覆盖区域。
图7显示基于相邻原始帧的混合方向运动向量而改进内插帧的运动向量。
图8显示覆盖和未覆盖区域的混合方向运动向量的分配。
图9是使用混合方向运动向量用于遮挡检测的方法进行帧内插的流程图。
图10是帧内插的方框图，其使用混合方向运动向量用于遮挡检测并将MV分配给遮挡区域。
图11显示一个使用减少光晕的帧率转换器的应用。
【具体实施方式】
本发明涉及改进的减少光晕的帧率转换。以下描述使本领域技术人员能够依照特定应用及其要求制作和使用在此提供的本发明。所属领域的技术人员将明了对优选实施例的各种修改，且本文所界定的一般原理可应用于其它实施例。因此，本发明不希望限于所展示和描述的特定实施例，而是应被赋予与本文所揭示的原理和新颖特征一致的最广范围。
图4显示一个内插帧内覆盖和未覆盖区域的运动向量。帧FN-1内的宏块沿着运动向量14的轨迹平移，以在内插帧FN-0.5内确定这些宏块的位置。而且，物体10的宏块沿着物体运动向量12的轨迹平移，以在内插帧FN-0.5内确定这些宏块的位置。
将覆盖运动向量20分配给内插帧FN-0.5内那些在帧FN内没有相应宏块的宏块，因为物体10’覆盖住了这些宏块。帧FN-1内的覆盖区域的尺寸大于帧FN-0.5内的覆盖区域，因此覆盖运动向量20向后指向帧FN-1内的最佳匹配的宏块。
未覆盖运动向量22分配给内插帧FN-0.5内那些在帧FN-1内没有相应宏块的宏块，因为物体10覆盖住了这些宏块。帧FN内的未覆盖区域的尺寸大于帧FN-0.5内的未覆盖区域，因此未覆盖运动向量20向后指向帧FN内的最佳匹配的宏块。
光晕减少首先要检测覆盖和未覆盖区域，然后分配正确的运动向量20、22给那些区域。根据分配的运动向量，从前一帧的像素数据建立覆盖区域，而根据分配的运动向量，从下一帧的像素数据建立未覆盖区域。
图5显示建立混合方向的运动向量。对每个连续帧FN都产生运动向量。帧FN被分成宏块。通过寻找帧FN-1内具有最小误差或最匹配帧FN内当前宏块的块，如选择具有最小绝对差值和(SAD)的块，而产生一后向运动向量。后向运动向量34和36是给背景宏块的，而后向运动向量32是给物体10’的。
通过寻找帧FN+1内具有最小误差或最匹配帧FN内当前宏块的块，如选择具有最小绝对差值和(SAD)的块，而产生一前向运动向量。前向运动向量44和46是给背景宏块的，而前向运动向量42是给物体10’的。
通过为背景宏块选择后向运动向量34和前向运动向量44，通过为物体10’内宏块选择后向运动向量32和前向运动向量42，而产生帧FN的混合方向运动向量。因为背景和物体宏块的后向和前向方向都往往会有好的块匹配，所以前向运动向量和后向运动向量往往是共线的和整齐的。
块匹配是基于三个原始帧FN-1、FN、和FN+1的宏块。通常对于背景和物体都会有好的块匹配，因为相邻两帧的运动向量仅仅有很小的变化。
但是，帧FN内靠近物体10’边缘的宏块被稍后的帧FN+1覆盖。帧FN中覆盖区域C内的这些宏块在帧FN+1内没有匹配的块。因此，任何产生的覆盖区域运动向量46往往是杂乱的而且有大的匹配误差，因为任何块匹配都是错误匹配。该宏块在帧FN+1内没有实际的匹配块，因为该宏块被帧FN+1内物体10”覆盖。
对于覆盖区域C，覆盖区域运动向量46有大的块误差和MV不连续性，因为它们是基于错误的块匹配。覆盖区域前向运动向量46被丢弃，所以并不包括在帧FN的混合方向运动向量中。而是，只有后向运动向量34包括在覆盖区域C的混合方向运动向量中。因此，覆盖区域C的混合方向运动向量是单向的，不是双向的。帧FN覆盖区域C内的混合方向运动向量只有后向运动向量34，没有前向运动向量46。覆盖区域运动向量46从混合方向运动向量中删除。
类似地，帧FN内靠近物体10’边缘的宏块被前一帧FN-1覆盖。帧FN中未覆盖区域U内的这些宏块在帧FN-1内没有匹配的块。因此，任何产生的未覆盖区域运动向量36往往有大的匹配误差和MV不连续性，因为任何块匹配都是错误匹配。该宏块在帧FN-1内没有实际的匹配块，因为该宏块被帧FN-1内物体10覆盖。
对于未覆盖区域U，未覆盖区域后向运动向量36被丢弃，所以并不包括在帧FN的混合方向运动向量中。而是，只有前向运动向量44包括在未覆盖区域U的混合方向运动向量中。
因此，未覆盖区域U的混合方向运动向量是单向的，不是双向的。帧FN未覆盖区域U内的混合方向运动向量只有前向运动向量44，没有后向运动向量36。
对于背景和物体的混合方向运动向量是双向的，但是对于覆盖和未覆盖区域的混合方向运动向量是单向的。
图6显示使用混合方向运动向量来检测覆盖和未覆盖区域。使用帧FN-1和FN的混合方向运动向量来检测内插帧FN-0.5的覆盖和未覆盖区域。
存储的帧FN-1的混合方向运动向量中的前向运动向量描述帧FN-1内每个宏块的运动路径或轨迹。这些路径与内插帧FN-0.5相交。内插帧FN-0.5内与这些前向运动路径相交的宏块可以被标记出来，如通过设置一前向相交比特为1，不相交的设0。
类似地，帧FN的混合方向运动向量中的后向运动向量描述帧FN内每个宏块的运动路径或轨迹。这些路径也与内插帧FN-0.5相交。内插帧FN-0.5内与这些后向运动路径相交的宏块可以被标记出来，如通过设置一后向相交比特为1，不相交的设0。
内插帧FN-0.5内许多宏块既与帧FN-1的前向运动路径相交，又与帧FN的后向运动路径相交。这些与前向和后向运动路径都相交的宏块既不是覆盖区域，也不是未覆盖区域。
内插帧FN-0.5内一些宏块只与帧FN-1的前向运动路径相交，并不与帧FN的后向运动路径相交。这些只与前向运动路径相交的宏块是在覆盖区域C内的。这些宏块的前向相交比特为1，后向相交比特为0。
内插帧FN-0.5内其他宏块只与帧FN的后向运动向量34路径相交，并不与帧FN-1的前向运动向量54路径相交。这些只与后向运动路径相交的宏块是在未覆盖区域U内的。这些宏块的后向相交比特为1，前向相交比特为0。
图6显示内插帧FN-0.5内覆盖区域C’只有来自帧FN-1的前向运动向量54指向它，但是没有任何来自帧FN的后向运动向量32、34指向它。内插帧FN-0.5内未覆盖区域U’只有来自帧FN的后向运动向量34指向它，但是没有任何来自帧FN-1的前向运动向量52、54指向它。
对帧FN-0.5的覆盖和未覆盖区域可以生成一映射图。映射图可以使用前向相交比特和后向相交比特。例如，内插帧FN-0.5内检测为覆盖区域的宏块可以有一对标志比特集(flag bits set)10，而检测为未覆盖区域的宏块可以有标志比特集01。那些既不是覆盖也不是未覆盖的区域有标志比特00或11，其中标志比特是宏块的前向相交比特和后向相交比特的组合。
因此遮挡检测是基于原始帧的混合方向运动向量。内插帧内遮挡和未遮挡区域只有一个混合方向运动向量穿过，不是两个。因为大的不匹配误差的运动向量从混合方向运动向量(其构成遮挡检测的基础)中删除了，所以遮挡检测的误差就减小了。
图7显示基于相邻原始帧的混合方向运动向量改进内插帧的运动向量。为帧FN-1和FN产生的混合方向运动向量被用作内插帧FN-0.5运动向量的基础。因为内插帧FN-0.5位于帧FN-1和FN之间，内插帧FN-0.5的运动小于原始帧FN-1和FN之间的运动，如原始运动的一半。因为帧FN-0.5邻近帧FN-1和帧FN，而且运动向量图具有时间和空间连续性，所以帧FN-1、FN-0.5、和FN的运动向量之间的差别很小。那么帧FN-0.5的运动向量可以通过改进帧FN-1和FN的运动向量而产生。
将还不存在的内插帧FN-0.5分成宏块，即使在这些宏块中还不存在像素。将帧FN-1和FN的混合方向运动向量分配给这些宏块作为初始运动向量。将来自帧FN-1和FN的运动向量的长度减半，为帧FN-0.5生成运动向量。因为每个宏块都有多于一个的初始运动向量，而且这些运动向量并不精确适合内插帧FN-0.5，所以需要MV改进。
内插帧FN-0.5中每个宏块将相邻宏块的初始混合方向运动向量作为候选运动向量进行检验。例如，相应块及其相邻8个块的混合运动向量可以作为候选向量被检测，总共有18个来自帧FN-1和FN的候选运动向量。
因为FN-0.5不存在，使用双向块匹配方法来评估这些候选运动向量。来自帧FN-1或FN的候选的混合运动向量，被用于帧FN-0.5内的宏块，将具有最小双向匹配误差的那个运动向量选择作为那个宏块的运动向量。
帧FN-0.5内当前宏块的每个候选运动向量，向后延伸得到帧FN-1的一个块，向前延伸得到帧FN的一个块。计算两个得到的块的匹配误差(如SAD)。注意从帧FN-1、FN得到的块可能偏移任何数目的像素(由运动向量确定)，而且不一定是正好沿着宏块边界相匹配。选择具有最小SAD的候选运动向量作为当前宏块的运动向量。
内插帧FN-0.5的运动向量全是双向的指向前和指向后的运动向量。一些背景运动向量84是从帧FN的候选运动向量34选择的，或从帧FN-1的运动向量74选择的。物体运动向量82是从帧FN的候选运动向量32选择的，或从帧FN-1的候选运动向量72选择的。
因为在覆盖/未覆盖区域(区域C3和U3)没有候选运动向量是正确的，所以全部相邻候选运动向量都可能被选中作为运动向量75和45。物体运动向量(72和32)的选择如图7所示，但是并不是一定如此。在这些区域里选择哪个运动向量并不是问题，因为他们在后面的步骤里会被更换。
在改进后的运动向量图中，覆盖区域C3的双向运动向量75是不正确的，因为在帧FN-1和FN之间没有相应的匹配块。而且，未覆盖区域U3的双向运动向量45是不正确的，因为在帧FN-1和FN之间没有相应的匹配块。所以内插帧FN-0.5的双向运动向量在物体边界附近的覆盖和未覆盖区域是错误的。
图8显示为覆盖和未覆盖区域分配混合方向运动向量。物体运动向量82和背景运动向量84是准确的，因为它们不在遮挡区域。但是覆盖区域C3的双向运动向量75和未覆盖区域U3的双向运动向量45(图7)是不正确的。
使用图6生成的覆盖和未覆盖区域的映射图来确定覆盖区域C3的双向错误运动向量75和未覆盖区域U3的双向错误运动向量45。内插帧FN-0.5在覆盖区域C3的宏块的所有运动向量被删除，更换为帧FN-1内相同位置宏块的一半长度的混合方向运动向量。因此内插帧FN-0.5覆盖区域C3的双向错误运动向量75，被替换为一半长度的前一帧FN-1的覆盖区域混合运动向量70。拷贝这些运动向量到内插帧相同块位置上(和帧FN-1或FN位置相同)。
类似地，内插帧FN-0.5在未覆盖区域U3的宏块的所有运动向量被删除，更换为帧FN内相同位置宏块的混合方向运动向量。因此内插帧FN-0.5未覆盖区域U3的双向错误运动向量45，被替换为帧FN的未覆盖区域混合运动向量40。
因此从前一帧FN-1的混合方向运动向量中分配清楚和准确的运动向量给覆盖区域。将帧FN的混合方向运动向量分配给未覆盖区域并替换双向错误运动向量45。因为混合方向运动向量是使用低匹配误差而精细计算和选择的(图5)，且覆盖和未覆盖区域的错误运动向量被删除了，所以这些混合方向运动向量是非常准确的。达到高的误差容忍度。
图9是为遮挡检测使用混合方向运动向量进行帧内插的流程图。该过程对序列帧逐步执行，帧FN会变成帧FN-1，等等。在步骤302，在帧FN和FN+1之间执行前向运动估计，得到帧FN的前向运动向量。在步骤304，在帧FN和FN+1之间也执行后向运动估计，得到帧FN+1的后向运动向量。步骤302和304可以平行地执行或顺序地执行。在步骤306，存储帧FN+1的后向运动向量，为以后使用。在下一个帧循环，帧FN+1的这些后向运动向量就是帧FN的后向运动向量，因为帧FN+1变成了帧FN。
在步骤310，通过从帧FN的后向运动向量和前向运动向量中选择而产生帧FN的混合方向运动向量。这在先前图5中有显示。在步骤302和304中已经得到块匹配误差信息，所以不需要再进行块匹配。那些不可靠的运动向量被删除，如那些与相邻运动向量不连续的或不是唯一的具有较小的块误差的运动向量。不是唯一的是指有很多MV都会产生非常小的匹配误差；这些运动向量都是不可靠的，因为当前宏块没有特征并且不确定哪个MV是正确的。可以设置或调整阈值用于误差、连续性(与相邻宏块MV的％变化)、和唯一性(最小误差和第二小误差之间的％差异)。混合运动向量是双向的，除了物体边界附近，其在双向运动向量其中之一因为不可靠而被删除之后，变成单向的运动向量。在步骤308，存储帧FN的混合方向运动向量，为以后使用。当帧FN变成了帧FN-1时，这些会用于下一个帧循环。
在步骤314，通过改进帧FN-1、FN的混合方向运动向量，而产生内插帧FN-0.5的内插运动向量。使用双向运动估计从帧FN-1、FN中选择混合方向运动向量用于附近宏块。
在步骤314，帧FN或FN-1中的每个候选混合运动向量被减半，并被移到帧FN-0.5中正在试验的宏块位置，然后该减半的运动向量向前延伸而得到帧FN的一个块，向后延伸得到帧FN-1的一个块。然后估计这两个块之间的匹配误差(SAD)。得到两个具有最低匹配误差的块的候选运动向量被选择作为正在试验的宏块位置的运动向量。
步骤314在图7中有显示。在改进后，内插帧FN-0.5的运动向量在覆盖和未覆盖区域有错误的运动向量。
在步骤312，检测覆盖和未覆盖区域，同样在图6中有显示。内插帧FN-0.5内的那些只与帧FN-1的混合方向运动向量中的前向部分轨迹相交、并不与帧FN的混合方向运动向量中的后向部分轨迹相交的宏块，被确定是在覆盖区域内。
内插帧FN-0.5内的那些只与帧FN的混合方向运动向量中的后向部分轨迹相交、并不与帧FN-1的混合方向运动向量中的前向部分轨迹相交的宏块，被确定是在未覆盖区域内。
在步骤312，一旦确定了覆盖和未覆盖区域，就替换这些区域里的运动向量。将帧FN-1的混合方向运动向量减半，然后分配给覆盖区域并替换覆盖区域的错误运动向量，而将帧FN的混合方向运动向量减半，然后替换未覆盖区域内的错误运动向量。在步骤312确定的覆盖和未覆盖区域内的所有运动向量都被认为是错误的，在分配步骤316内被替换，这在图8中有显示。
然后在步骤318，使用内插帧FN-0.5的运动向量产生内插帧。使用内插帧FN-0.5的运动向量从原始帧FN或FN-1找到原始帧FN、FN-1内正确的宏块，并取回此宏块图形数据用来产生内插帧FN-0.5。
图10是帧内插的方框图，其使用混合方向运动向量用于遮挡检测并将MV分配给遮挡区域。通过前向运动估计器102在帧FN和FN+1之间进行前向运动估计，得到帧FN的前向运动向量FW_MV_FN。通过后向运动估计器104在帧FN和FN+1之间进行后向运动估计，得到帧FN+1的后向运动向量BW_MV_FN+1。
帧FN+1的后向运动向量存储在存储器120中，作为帧FN+1的后向运动向量116，以备后用。在下一个帧循环中，在帧延迟122后，帧FN+1的这些后向运动向量就变成帧FN的后向运动向量BW_MV_FN，因为帧FN+1变成帧FN。帧延迟122、124可以是由帧时钟计时的寄存器。
混合选择器106使用FW_MV_FN和BW_MV_FN产生帧FN的混合运动向量。这在先前图5中已经有描述。删除不可靠的运动向量，如具有大的块误差、与相邻运动向量不连续的运动向量，或者不是唯一产生最小匹配误差的运动向量。帧FN的混合方向运动向量HYB_MV_FN存储在存储器120中，作为帧FN的混合方向运动向量118，以备后用。在下一个帧循环中，在帧延迟124后，这些运动向量就变成帧FN-1的混合方向运动向量HYB_MV_FN-1。
将帧FN和帧FN-1的混合方向运动向量输入覆盖区域检测器108、运动向量改进器110、和运动向量分配器112。
运动向量改进器110为原始帧FN、FN-1改进混合方向运动向量，为内插帧FN-0.5产生内插运动向量。使用双向运动估计，为附近的宏块从帧FN、FN-1中选择混合方向运动向量。这个步骤在图7中有描述。在改进后，内插帧FN-0.5的运动向量MV_FN-0.5在覆盖和未覆盖区域有错误运动向量。
通过覆盖区域检测器108检测覆盖和未覆盖区域。该过程在图6中有描述。内插帧FN-0.5中的那些只与帧FN-1的混合方向运动向量的前向部分轨迹相交、并不与帧FN的混合方向运动向量的后向部分轨迹相交的宏块，被检测确定在覆盖区域内。内插帧FN-0.5中的那些只与帧FN的混合方向运动向量的后向部分轨迹相交、并不与帧FN-1的混合方向运动向量的前向部分轨迹相交的宏块，被检测确定在未覆盖区域内。覆盖区域检测器108产生内插帧FN-0.5的覆盖和未覆盖区域的映射图(C/U图)并传送到运动向量分配器112。
一旦由覆盖区域检测器108检测出覆盖和未覆盖区域，这些区域的运动向量就被运动向量分配器112根据覆盖/未覆盖区域映射图而替换。将帧FN-1的混合运动向量长度减半，分配给覆盖区域并替换覆盖区域的错误运动向量，而将帧FN的混合运动向量长度减半，替换未覆盖区域的错误运动向量。由覆盖区域检测器108检测出的并显示在C/U图中覆盖和未覆盖区域的所有运动向量都被认为是错误的，需要被运动向量改进器110替换，这在图8中有描述。
然后运动补偿器114使用由运动向量分配器112纠正的内插帧FN-0.5的运动向量来产生内插帧。使用内插帧FN-0.5的运动向量找到在原始帧FN、FN-1中正确的宏块位置，并从原始帧FN或FN-1(或两者)中取得每个宏块的图形数据来产生内插帧。正常的宏块是由帧FN和FN-1中的宏块建成的。覆盖的宏块是由帧FN-1中的宏块建成的，而未覆盖的宏块是由帧FN中的宏块建成的。
图11显示一个使用减少光晕的帧率转换器的应用。混合方向帧率转换器160在图10中有显示，但是还包括复用或选择逻辑而将内插帧FN-0.5插入原始帧FN-1、FN之间，以产生一序列帧，比原始序列具有更高的帧率。
视频信号输入到视频接口162，其接收物理信号并产生数字信号，缓存在图形处理器164(GPU)中。在电视卡168上的图形处理器164产生一序列代表视频输入的原始帧FN-1、FN、FN+1。
混合方向帧率转换器160截住该原始帧序列，并插入内插帧，产生一序列具有更高帧率的帧，应用到时间控制器156，其使液晶显示(LCD)面板150显示像素。所以LCD面板150可以有比电视卡168上视频信号更高的刷新率或帧率。
【具体实施方式】
发明人还想到一些其他的实施例。例如所处理的视频帧可以是使用诸如MPEG或其他压缩标准、或合适形式、或各种组合的标准来编码的。该方法也适用于使用诸如H.26L标准的内容检索应用。宏块匹配可以比较所有颜色分量如YUV或RGB，或者可以只比较一个或两个分量如亮度Y。
虽然在实施例中帧率是加倍的，但是也可以是其他转换率，如在两个原始帧中插入三个内插帧、每三帧插入一个内插帧、或每五个原始帧插入两个内插帧，等等。本发明可以应用于慢动作或定格特征，视频序列可以包括任意比例的原始帧和内插帧。本发明还可以应用于视频标准转换、模糊降减、和类似应用。
虽然已经描述了绝对差值和(SAD)的方法去评估块匹配误差，但是也可以使用其他评估方法，如均方差(MSE)、平均绝对差(MAD)、误差平方和等。除了块匹配用于运动估计，也可以使用相位相关或其他频域方法。除了使用宏块，也可以使用更小的块，特别是在物体边界处，或可以使用更大的块用于背景或物体。也可以使用非块状形状的区域。也可以使用不同的误差表达函数。
宏块的尺寸可以是8x8、16x16或其他数量的像素。虽然已经描述了诸如8x8、16x16尺寸的宏块，但是可以使用其他的块尺寸，如更大的32x32块、16x8块，更小的4x4块等等。可以使用非方形的块，可以使用其他形状如三角形、圆形、椭圆形、六边形等等作为区域或“块”。不必限制自适应块为一个预定的几何形状。例如，子块可以相应于物体内基于内容的子物体。可以对非常小的物体使用较小的块尺寸用于运动估计并生成平均运动。
可以改变像素的尺寸、格式和类型，如RGB、YUV、8比特、16比特，或者可以包括其他效果如纹理或闪烁。在运动估计中的搜索范围可以是固定的或可变的，在每个方向上可以有一个像素的增量，或可以增加两个或更多像素，或可以有方向偏差。可以使用自适应的程序。可以在一些区域使用较大的块尺寸，但在物体边界或需要高层次细节的区域使用较小的块尺寸。
当寻找最佳匹配宏块时，可以使用不同的搜索范围和方法。例如，菱形搜索模式或三点模式可能会比穷尽式搜索方形区域要更有效率。可以使用不同的搜索策略来进一步加速计算。
可以使用各种硬件组合、可编程处理器、和固件来实施功能和块。可以使用管线用于平行处理。可以使用各种程序和方法用于运动估计、运动补偿，诸如运动估计搜索范围的因素也可以改变。
可以颠倒视频序列的方向，前向运动估计可以替换为后向运动估计。一些帧可以前向估计，而其他的为后向估计。当执行内插时，或当使用压缩视频序列作为输入时，可以略过那些已经生成的没有运动向量的帧。
没有必要全部处理每个帧的所有宏块。例如，只处理每个帧的子区或有限的区域。可能事先知道物体只出现在帧的某个区域内，如一个运动的车只出现在帧的右边，该帧在右边有条公路而在左边有建筑物。该“帧”可能只是由相机拍摄的或存储的或传输的一组静止图片。
本发明背景技术部分可含有关于本发明的问题或环境的背景信息而非描述其它现有技术。因此，在背景技术部分中包括材料并不是申请人承认现有技术。
本文中所描述的任何方法或工艺为机器实施或计算机实施的，且既定由机器、计算机或其它装置执行且不希望在没有此类机器辅助的情况下单独由人类执行。所产生的有形结果可包括在例如计算机监视器、投影装置、音频产生装置和相关媒体装置等显示装置上的报告或其它机器产生的显示，且可包括也为机器产生的硬拷贝打印输出。对其它机器的计算机控制为另一有形结果。
已出于说明和描述的目的呈现了对本发明实施例的先前描述。其不希望为详尽的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改和变型是可能的。希望本发明的范围不受此详细描述限制，而是由所附权利要求书限制。

Claims (23)

1.一种降减光晕的帧率转换器，包括：
前向运动向量产生器，其接收当前帧的图形数据和下一帧的图形数据，并为当前帧产生前向运动向量，每个前向运动向量都指向下一帧的最佳匹配块；
后向运动向量产生器，其接收当前帧的图形数据并产生后向运动向量，每个后向运动向量都指向一序列帧中前一帧的最佳匹配块；
其中每个前向运动向量都有与下一帧中最佳匹配块的块匹配误差；
其中每个后向运动向量都有与前一帧中最佳匹配块的块匹配误差；
混合方向运动向量产生器，其接收当前帧的前向运动向量，并接收当前帧的后向运动向量，所述混合方向运动向量产生器为包括前向运动向量和后向运动向量的当前帧产生混合方向运动向量，其中块匹配误差大于一阈值的前向运动向量从当前帧的混合方向运动向量中删除，其中块匹配误差大于该阈值的后向运动向量从当前帧的混合方向运动向量中删除；
覆盖区域检测器，其为前一帧混合方向运动向量中的每个前向运动向量投射一前向轨迹，并为当前帧混合方向运动向量中的每个后向运动向量投射一后向轨迹，所述覆盖区域检测器指出前一帧和当前帧之间的内插帧上的覆盖区域，其中所述覆盖区域有至少一个前向轨迹相交但是没有任何后向轨迹与所述覆盖区域相交；
内插运动向量改进器，其使用前一帧和当前帧的混合方向运动向量，通过双向运动估计，为内插帧产生改进的运动向量；
其中所述改进的运动向量包括在覆盖区域里的错误运动向量；
运动向量纠正器，其分配前一帧的混合方向运动向量给由所述覆盖区域检测器检测出的覆盖区域并替换覆盖区域的错误运动向量，为内插帧产生正确的运动向量；
由此，在因为至少一个前向轨迹相交但没有任何后向轨迹相交而检测出覆盖区域后，覆盖区域的错误运动向量被一原始帧的混合方向运动向量替换。
2.如权利要求1所述的降减光晕帧率转换器，其中所述内插运动向量改进器通过将前一帧和当前帧的混合方向运动向量减半，而为内插帧产生改进的运动向量；
其中所述运动向量纠正器将前一帧的长度减半的混合方向运动向量分配给所述覆盖区域并替换所述覆盖区域的错误运动向量；
由此，所述内插运动向量是混合方向运动向量的长度的一半。
3.如权利要求2所述的降减光晕帧率转换器，其中所述混合方向运动向量产生器删除那些块匹配误差大于阈值的运动向量，删除那些与相邻运动向量不连续的运动向量，删除那些块匹配误差不是唯一最小的无特征区域的运动向量。
4.如权利要求3所述的降减光晕帧率转换器，其中所述阈值被调整以删除因为误差、连续性和唯一性问题的运动向量，其中连续性是以与相邻块的变化的百分比来评估的，其中唯一性是以最小误差和第二小误差之间的差别的百分比来评估的。
5.如权利要求2所述的降减光晕帧率转换器，其中所述后向运动向量是在帧时钟的前一循环里由彼时的当前帧和下一帧产生；
其中所述后向运动向量产生器接收当前帧的图形数据和下一帧的图形数据，并为下一帧产生后向运动向量，每个后向运动向量都从下一帧指向当前帧的最佳匹配块；
运动向量存储器，其存储所述在前一循环中产生的后向运动向量，并在帧时钟的当前循环里，输入到所述混合方向运动向量产生器；
由此，后向运动向量的产生是管线式的。
6.如权利要求5所述的降减光晕帧率转换器，其中所述运动向量存储器也存储所述混合方向运动向量产生器在前一循环里产生的混合方向运动向量，并在帧时钟的当前循环里输入到所述覆盖区域检测器和输入到所述内插运动向量改进器，作为前一帧的混合方向运动向量，
由此，存储当前帧的混合方向运动向量是为用于下一帧时钟循环，作为前一帧的混合方向运动向量。
7.如权利要求6所述的降减光晕帧率转换器，其中所述覆盖区域检测器也检测未覆盖区域，其中所述未覆盖区域有至少一个后向轨迹但是没有任何前向轨迹与所述未覆盖区域相交。
8.如权利要求7所述的降减光晕帧率转换器，其中所述覆盖区域检测器为每个有一前向轨迹穿过内插帧中一个块位置的块，设置第一比特；
其中所述覆盖区域检测器为每个有一后向轨迹穿过内插帧中块位置的块，设置第二比特；
其中所述覆盖区域检测器将那些有第一比特设置而没有第二比特设置的块确定为覆盖区域；
其中所述覆盖区域检测器将那些有第二比特设置而没有第一比特设置的块确定为未覆盖区域。
9.如权利要求8所述的降减光晕帧率转换器，其中所述覆盖区域检测器输出一覆盖区域映射图到所述运动向量纠正器。
10.如权利要求9所述的降减光晕帧率转换器，其中所述运动向量纠正器也分配当前帧的混合方向运动向量给由所述覆盖区域检测器检测出的未覆盖区域并替换未覆盖区域的错误运动向量，为内插帧产生正确的运动向量。
11.如权利要求2所述的降减光晕帧率转换器，还包括：
运动补偿器，其接收所述纠正的运动向量，通过使用该纠正的运动向量将宏块从前一帧平移到内插帧，通过使用该纠正的运动向量将宏块从当前帧平移到内插帧，从而产生内插帧。
12.如权利要求1所述的降减光晕帧率转换器，其中所述图形数据编码为运动图像专家组(MPEG)数据。
13.一种降减光晕的内插视频帧的方法，包括：
在一系列编码视频帧中，使用从当前帧到下一帧的运动估计，产生当前帧的前向运动向量；
使用从当前帧回到前一帧的运动估计，产生当前帧的后向运动向量；
通过包括那些误差小于一误差阈值的当前帧的前向运动向量，通过包括那些误差小于该误差阈值的当前帧的后向运动向量，为当前帧产生混合方向运动向量；
其中一内插帧在前一帧和当前帧之间，所述内插帧没有原始视频的视频数据，原始视频包括前一帧、当前帧和下一帧；
通过将前一帧的指向前的混合方向运动向量投射到所述内插帧上并与内插帧相交于第一点，通过将当前帧的指向后的混合方向运动向量投射到所述内插帧上并与内插帧相交于第二点，通过将那些有第一点而没有第二点的块确定为覆盖区域，而检测出覆盖区域；
为前一帧和当前帧改进混合方向运动向量，以产生改进的运动向量给所述内插帧；
将覆盖区域中块的改进运动向量替换为前一帧中相应块的混合方向运动向量，以产生纠正的运动向量给所述内插帧；
使用内插帧的纠正的运动向量，从前一帧和当前帧中取得块，以产生块的视频数据给所述内插帧；
由此，覆盖区域是从原始帧分配的运动向量，而其他区域使用改进的运动向量。
14.如权利要求13所述的方法，其中改进混合方向运动向量还包括：为所述覆盖区域产生错误的改进运动向量，所述错误的改进运动向量在前一帧中没有有效的块匹配；
其中将覆盖区域中块的改进运动向量替换为混合方向运动向量包括：删除错误的改进运动向量并替换为前一帧中相应块的混合方向运动向量，
由此，产生并删除了错误的改进运动向量。
15.如权利要求13所述的方法，其中为前一帧和当前帧改进混合方向运动向量以产生改进的运动向量给所述内插帧还包括：
使用前一帧和当前帧的改进混合方向运动向量，进行双向运动估计，由此，通过双向运动估计而产生改进的运动向量。
16.如权利要求13所述的方法，其中为前一帧和当前帧改进混合方向运动向量以产生改进的运动向量给所述内插帧还包括：
为所述内插帧内每个块位置，确定候选运动向量，所述候选运动向量来自邻近前一帧和当前帧中所述块位置；
通过将候选运动向量平移到内插帧的所述块位置，向前投射该候选运动向量得到当前帧的第一块，向后投射该候选运动向量得到前一帧的第二块，产生第一块和第二块之间的误差值，从而为每个候选运动向量产生块误差；
选择具有最低误差值的候选运动向量作为所述块位置的改进运动向量。
17.如权利要求16所述的方法，其中产生块误差包括：产生第一块和第二块的绝对差值和，由此，内插帧的改进运动向量从邻近块中选出有最小绝对差值和的向量。
18.如权利要求13所述的方法，其中产生混合方向运动向量包括：删除那些块误差大于块匹配阈值的运动向量，并删除那些与相邻运动向量的差值大于向量连续性阈值的运动向量。
19.如权利要求13所述的方法，其中混合方向运动向量包括运动物体和背景区域的双向运动向量，以及运动物体边缘附近的覆盖和未覆盖区域的单向运动向量。
20.如权利要求13所述的方法，其中所述系列编码视频帧是被编码为运动图像专家组(MPEG)数据。
21.一种帧内插器，包括：
前向运动估计装置，用于为当前帧产生前向运动向量，通过在一系列编码视频帧中使用从当前帧到下一帧的运动估计；
后向运动估计装置，用于为当前帧产生后向运动向量，通过使用从当前帧到前一帧的运动估计；
混合方向运动向量产生装置，用于为当前帧产生混合方向运动向量，通过包括那些误差小于误差阈值的当前帧的前向运动向量，和通过包括那些误差小于误差阈值的当前帧的后向运动向量；
其中内插帧位于前一帧和当前帧之间，内插帧没有原始视频的视频数据，原始视频包括前一帧、当前帧和下一帧；
覆盖区域检测装置，用于检测出覆盖区域，通过将前一帧的指向前的混合方向运动向量投射到所述内插帧上并与内插帧相交于第一点，通过将当前帧的指向后的混合方向运动向量投射到所述内插帧上并与内插帧相交于第二点，通过将那些有第一点而没有第二点的块确定为覆盖区域；
改进装置，用于改进前一帧和当前帧的混合方向运动向量，以为内插帧产生改进的运动向量；
分配装置，用于将覆盖区域中块的改进运动向量替换为前一帧中相应块的混合方向运动向量，以产生纠正的运动向量给所述内插帧；
运动补偿装置，用于使用内插帧的纠正的运动向量，从前一帧和当前帧中取得块，以产生块的视频数据给所述内插帧；
由此，覆盖区域是从原始帧分配的运动向量，而其他区域使用改进的运动向量。
22.如权利要求21所述的帧内插器，其中改进装置包括：
双向运动估计装置，通过使用前一帧和当前帧的混合方向运动向量，沿着双向轨迹，找到具有最佳匹配块的改进运动向量，由此，改进运动向量是由双向运动估计产生的。
23.如权利要求21所述的帧内插器，其中使用从当前帧回到前一帧的运动估计而为当前帧产生后向运动向量的后向运动估计装置还包括：
管线式后向运动估计装置，用于产生管线式后向运动向量给下一帧，通过使用从下一帧到当前帧的运动估计；
存储所述管线式后向运动向量一个帧周期，以产生当前帧的后向运动向量，通过使用从当前帧回到前一帧的运动估计；
由此，后向运动向量是管线式产生的。
CN201210044891.1A 2011-12-29 2012-02-22 用于降减光晕的使用混合双向运动向量的帧率转换 Active CN102595089B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/339,690 2011-12-29
US13/339,690 US9148622B2 (en) 2011-12-29 2011-12-29 Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection

Publications (2)

Publication Number Publication Date
CN102595089A true CN102595089A (zh) 2012-07-18
CN102595089B CN102595089B (zh) 2014-01-29

Family

ID=46483249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210044891.1A Active CN102595089B (zh) 2011-12-29 2012-02-22 用于降减光晕的使用混合双向运动向量的帧率转换

Country Status (2)

Country Link
US (1) US9148622B2 (zh)
CN (1) CN102595089B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313059A (zh) * 2013-06-14 2013-09-18 珠海全志科技股份有限公司 一种帧率提升中闭塞区域的判定方法
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN109891891A (zh) * 2016-11-08 2019-06-14 Ati科技无限责任公司 使用流式元数据的视频帧速率转换
CN113726980A (zh) * 2020-05-25 2021-11-30 瑞昱半导体股份有限公司 图像处理方法
TWI800385B (zh) * 2022-03-21 2023-04-21 聯詠科技股份有限公司 螢幕上顯示(osd)影像處理方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
EP3448032B1 (en) * 2013-03-25 2022-10-19 Imax Corporation Enhancing motion pictures with accurate motion information
WO2015147689A1 (en) * 2014-03-28 2015-10-01 Huawei Technologies Co., Ltd. Method and device for generating a motion-compensated video frame
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation
US9977642B2 (en) * 2015-01-27 2018-05-22 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatuses for supporting screen sharing
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
KR102553598B1 (ko) 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
US20190261000A1 (en) * 2017-04-01 2019-08-22 Intel Corporation Video motion processing including static determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US11533451B2 (en) * 2020-08-21 2022-12-20 Beijing Dajia Internet Information Technology Co., Ltd System and method for frame rate up-conversion of video data
US11889227B2 (en) 2020-10-05 2024-01-30 Samsung Electronics Co., Ltd. Occlusion processing for frame rate conversion using deep learning
RU2747965C1 (ru) * 2020-10-05 2021-05-18 Самсунг Электроникс Ко., Лтд. Обработка окклюзий для frc c помощью глубокого обучения

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062306A1 (en) * 2004-09-18 2006-03-23 Samsung Electronics Co., Ltd. Method for motion estimation based on hybrid block matching and apparatus for converting frame rate using the method
CN1981536A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 运动补偿帧速率上调方法和设备
CN101207707A (zh) * 2007-12-18 2008-06-25 上海广电集成电路有限公司 一种基于运动补偿的帧频提升系统和方法
CN101883278A (zh) * 2009-05-08 2010-11-10 联发科技股份有限公司 运动向量校正装置及其方法
CN102123283A (zh) * 2011-03-11 2011-07-13 杭州海康威视软件有限公司 视频帧率转换中的插值帧获取方法及其装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822007A (en) * 1993-09-08 1998-10-13 Thomson Multimedia S.A. Method and apparatus for motion estimation using block matching
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
WO1999022520A2 (en) * 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7536031B2 (en) 2003-09-02 2009-05-19 Nxp B.V. Temporal interpolation of a pixel on basis of occlusion detection
US8259225B2 (en) * 2008-08-20 2012-09-04 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with dual motion estimation
ES2660610T3 (es) * 2010-04-30 2018-03-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y aparato para la detección y clasificación de regiones de oclusión

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981536A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 运动补偿帧速率上调方法和设备
US20060062306A1 (en) * 2004-09-18 2006-03-23 Samsung Electronics Co., Ltd. Method for motion estimation based on hybrid block matching and apparatus for converting frame rate using the method
CN101207707A (zh) * 2007-12-18 2008-06-25 上海广电集成电路有限公司 一种基于运动补偿的帧频提升系统和方法
CN101883278A (zh) * 2009-05-08 2010-11-10 联发科技股份有限公司 运动向量校正装置及其方法
CN102123283A (zh) * 2011-03-11 2011-07-13 杭州海康威视软件有限公司 视频帧率转换中的插值帧获取方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103313059A (zh) * 2013-06-14 2013-09-18 珠海全志科技股份有限公司 一种帧率提升中闭塞区域的判定方法
CN103313059B (zh) * 2013-06-14 2016-04-27 珠海全志科技股份有限公司 一种帧率提升中闭塞区域的判定方法
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN103888767B (zh) * 2014-03-31 2017-07-28 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN109891891A (zh) * 2016-11-08 2019-06-14 Ati科技无限责任公司 使用流式元数据的视频帧速率转换
CN113726980A (zh) * 2020-05-25 2021-11-30 瑞昱半导体股份有限公司 图像处理方法
TWI800385B (zh) * 2022-03-21 2023-04-21 聯詠科技股份有限公司 螢幕上顯示(osd)影像處理方法

Also Published As

Publication number Publication date
CN102595089B (zh) 2014-01-29
US9148622B2 (en) 2015-09-29
US20130170551A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN102595089B (zh) 用于降减光晕的使用混合双向运动向量的帧率转换
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
CN101822067A (zh) 深度相关信息传播方法和设备
US9451233B2 (en) Methods and arrangements for 3D scene representation
CN102572484A (zh) 立体显示控制方法、立体显示控制装置和立体显示系统
US20150365645A1 (en) System for generating intermediate view images
CN102256143A (zh) 视频处理装置及方法
CN102137268B (zh) 立体视频的行交错和棋盘格的渲染方法及装置
WO2011099267A1 (ja) 映像処理装置、映像処理方法
US9210301B2 (en) Generation interpolation frames
US20140204078A1 (en) Multi-view three dimensional display system and control method thereof
EP2954674B1 (en) System for generating an intermediate view image
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
US9615051B2 (en) Performing video processing for frame sequential display for alternately displaying right and left images of stereoscopic video signals
US20120268561A1 (en) Generation interpolation frames
US8405767B2 (en) Image processing device
US20120274742A1 (en) Generation interpolation frames
JP5490252B2 (ja) 立体画像処理装置、立体画像表示装置及び立体画像処理方法
JP2009124261A5 (zh)
TWI446793B (zh) 偵測混合模式影片的裝置與方法
JPH07264631A (ja) ２次元画像を３次元画像に変換する方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant