CN102123235A - 视频插值帧的生成方法及其装置 - Google Patents

视频插值帧的生成方法及其装置 Download PDF

Info

Publication number
CN102123235A
CN102123235A CN2011100714309A CN201110071430A CN102123235A CN 102123235 A CN102123235 A CN 102123235A CN 2011100714309 A CN2011100714309 A CN 2011100714309A CN 201110071430 A CN201110071430 A CN 201110071430A CN 102123235 A CN102123235 A CN 102123235A
Authority
CN
China
Prior art keywords
motion vector
piece
frame
sub
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100714309A
Other languages
English (en)
Other versions
CN102123235B (zh
Inventor
黄崇基
查林
俞海
贾永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Software Co Ltd filed Critical Hangzhou Hikvision Software Co Ltd
Priority to CN 201110071430 priority Critical patent/CN102123235B/zh
Publication of CN102123235A publication Critical patent/CN102123235A/zh
Application granted granted Critical
Publication of CN102123235B publication Critical patent/CN102123235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

本发明涉及视频处理,公开了一种视频插值帧的生成方法及其装置。本发明中,通过计算当前帧和上一帧图像的亮度平均值差异来检测当前帧相对上一帧是否发生了亮度突变,如果是则选择复制当前帧或上一帧作为插值输出帧,否则通过块匹配双边运动搜索出插值帧的每个子块对应的运动矢量,然后对运动矢量进行滤波,并根据运动矢量生成运动补偿插值帧作为插值输出帧。避免了对亮度差异较大的前后两帧进行运动搜索时,因大量误判而导致的巨大运算量,并且避免了错误的搜索结果,从而能有效处理亮度突变的视频。

Description

视频插值帧的生成方法及其装置
技术领域
本发明涉及视频处理,特别涉及视频处理中的插值帧生成技术。
背景技术
视频在现有显示设备,如液晶显示器(Liquid Crystal Display,简称“LCD”)上显示时,由于这些显示设备的工作方式是将上一帧信号一直保持显示直到下一帧视频的刷新,因此显示效果很大程度上取决于视频帧率的高低。
经过现有试验发现,视频帧率越低,显示效果越不好,尤其是存在物体快速运动的视频,人眼在观看这类视频时在运动区域会出现“闪烁”现象,观看一段时间后人眼会感觉疲劳,这种现象在大显示屏上更为明显。另外,由于图像传感器采集频率过低、硬件处理能力有限、网络带宽不足等因素,现有的一些视频的帧率往往偏低。
为了解决上述问题,现有的常用方法是通过在已有帧之间生成一些新的帧来提升帧率,进而改善视觉效果。现有的提升帧率的方法从复杂程度上看大致可以分为两类,一类是比较简单的方法,这类方法不考虑物体的运动,只是简单地重复一些已有帧,或者生成一些全黑、全白,灰帧,或者是对已有帧做一些简单的图像处理(如低通滤波,高通滤波等)生成新的帧,这类方法的优点是简单易于实现,但是缺点是对于存在运动的视频效果不佳。另外一类是比较复杂的方法,典型的方法就是通过运动搜索(ME),运动补偿(MC),最后插值产生一些运动补偿插值帧,这类方法往往实现比较复杂,但是视觉效果比第一类方法好很多,特别是对于存在运动物体的视频。
然而,本发明的发明人发现,现有的基于ME/MC的插值帧生成方法具有两个缺点:第一,对于一些视频,由于视频采集设备的曝光控制有问题,采集后的前后两帧视频亮度上具有很大的差异,这时如果对前后两帧视频进行ME就会导致大量的误判,而为了减小运算量,ME往往采用的是快速搜索算法,误判会导致搜索算法搜索的次数大量增加,大大增加了计算量,并且搜索的最终结果往往是错误的,使运动补偿插值帧的效果变差。第二,对于一些存在全局运动的视频,如果视频中存在大片纹理相似的区域(比如贴有白瓷砖的楼房外表面),现有的方法很容易发生大量误判,最终插值出来的视频在这些区域容易出现闪烁,造成不良视觉效果。
发明内容
本发明的目的在于提供一种视频插值帧的生成方法及其装置,以有效处理亮度突变视频,改善视觉效果。
为解决上述技术问题,本发明的实施方式提供了一种视频插值帧的生成方法,包含以下步骤:
计算当前帧的亮度平均值和上一帧的亮度平均值的差值;
如果差值大于预置门限,则复制当前帧或上一帧,将复制的帧作为待求的插值帧;如果差值小于或等于预置门限,则将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量,其中,N为自然数;
对计算的每个子块对应的运动矢量进行滤波后,根据滤波后的运动矢量生成插值帧。
本发明的实施方式还提供了一种视频插值帧的生成装置,包含:
亮度差值计算模块,用于计算当前帧的亮度平均值和上一帧的亮度平均值的差值;
帧复制模块,用于复制当前帧或上一帧,将复制的帧作为待求的插值帧;
运动矢量计算模块,用于将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量,其中,N为自然数;
决策模块,用于在亮度差值计算模块计算的差值大于预置门限时,触发帧复制模块;在亮度差值计算模块计算的差值小于或等于预置门限时,触发运动矢量计算模块;
滤波模块,用于对运动矢量计算模块计算的每个子块对应的运动矢量进行滤波;
生成模块,用于根据滤波模块滤波后的运动矢量生成插值帧。
本发明实施方式与现有技术相比,主要区别及其效果在于:
通过计算当前帧和上一帧图像的亮度平均值差异来检测当前帧相对上一帧是否发生了亮度突变,如果是则选择复制当前帧或上一帧作为插值输出帧,否则通过块匹配双边运动搜索出插值帧的每个子块对应的运动矢量,然后对运动矢量进行滤波,并根据运动矢量生成运动补偿插值帧作为插值输出帧。由于在通过搜索算法计算运动矢量之前,先检测采集后的前后两帧视频亮度上是否具有较大的差异,在存在较大亮度差异时,将复制的当前帧或上一帧作为插值输出帧,避免了对亮度差异较大的前后两帧进行运动搜索时,因大量误判而导致的巨大运算量,并且避免了错误的搜索结果,从而能有效处理亮度突变的视频。
进一步地,在对运动矢量进行滤波时,先判断当前帧相对上一帧是否产生全局运动,如果产生了全局运动,则采用强滤波器对每个子块对应的运动矢量进行强滤波;如果未产生全局运动,则采用弱滤波器对每个子块对应的运动矢量进行弱滤波。根据是否产生全局运动的判断结果选择相应的滤波器,可以有效解决具有全局运动的视频在大片纹理相似的区域中存在的闪烁问题,从而可以改善视觉效果。
进一步地,通过计算所有子块对应的运动矢量的二维直方图,并根据二维直方图中出现次数最多的运动矢量的出现次数占运动矢量总数的百分比,是否大于预设的第一阈值并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值和大于预设的第二阈值,判断当前帧相对上一帧是否产生全局运动,有效保证了全局运动产生与否的判断准确性。
附图说明
图1是根据本发明第一实施方式的视频插值帧的生成方法流程图;
图2是根据本发明第二实施方式的视频插值帧的生成方法流程图;
图3是根据本发明第二实施方式中的弱滤波示意图;
图4是根据本发明第二实施方式中的左上强滤波示意图;
图5是根据本发明第二实施方式中的右上强滤波示意图;
图6是根据本发明第二实施方式中的左下强滤波示意图;
图7是根据本发明第二实施方式中的右下强滤波示意图。
图8是根据本发明第三实施方式的视频插值帧的生成装置结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种视频插值帧的生成方法,具体流程如图1所示。
在步骤110中,计算当前帧的亮度平均值和上一帧的亮度平均值的差值。具体地说,根据以下公式计算当前帧的亮度平均值和上一帧的亮度平均值的差值avg_lum_d:
avg _ lum _ d = 1 m × n | Σ i = 0 , j = 0 i = m , j = n f t ( i , j ) - Σ i = 0 , j = 0 i = m , j = n f t - 1 ( i , j ) |
其中,m为图像宽,n为图像高,t为当前时刻,ft(i,j)为时刻t图像在坐标(i,j)上的亮度值。
接着,在步骤120中,判断计算的亮度平均值的差值是否大于预置门限,即判断计算的avg_lum_d是否超出预先设定的阈值Th1。如果大于Th1,则进入步骤130;如果小于或等于Th1,则进入步骤140。
在步骤130中,复制当前帧或上一帧,将复制的帧作为待求的插值帧,即复制当前帧或上一帧作为新的插值输出帧,当前帧处理结束。
在步骤140中,将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量(mvx,mvy),其中,N为自然数。
具体地说,将待求的插值帧划分为划分成大小为w×h的若干个子块,以每个子块的左上角顶点作为对称中心,在前后两帧图像上进行中心对称块匹配的双边运动搜索,搜索过程为一个求取匹配误差最小值的过程,搜索计算公式为:
( mv x , mv y ) = arg min ( mv x , mv y ) ∈ S Block _ cos t ( mv x , mv y )
其中,S为运动搜索区域,这样插值帧的每个子块都对应有一个运动矢量(mvx,mvy),Block_cost(mvx,mvy)可以采用常用的绝对差值和(Sum of Absolute Difference,简称“SAD”)或平均绝对差值(Mean Absolute Difference,简称“MAD”)等计算公式,但不限于这两种计算方法,例如采用SAD,则计算公式为:
Block _ cos t ( mv x , mv y )
= Σ i , = 0 , j = 0 i = w , j = h | f t ( u + i + mv x , v + j + mv y ) - f t + 1 ( u + i - mv x , v + j - mv y ) |
其中,(u,v)为当前子块左上角顶点在插值图像中的坐标。
利用SAD或MAD在前后两帧图像上进行中心对称块匹配的双边运动搜索,求得所有子块对应的(mvx,mvy),即所有候选(mvx,mvy),属于本领域的公知技术,在此不再赘述。
接着,在步骤150中,对计算的所有候选(mvx,mvy)进行滤波。本步骤可以采用常规方法实现,在此不再赘述。
接着,在步骤160中,根据滤波后的所有运动矢量生成插值帧。本步骤可以采用常规方法实现,在此不再赘述。
在本实施方式中,由于在通过搜索算法计算运动矢量之前,先检测采集后的前后两帧视频亮度上是否具有较大的差异,在存在较大亮度差异时,将复制的当前帧或上一帧作为插值输出帧,避免了对亮度差异较大的前后两帧进行运动搜索时,因大量误判而导致的巨大运算量,并且避免了错误的搜索结果,从而能有效处理亮度突变的视频。
本发明第二实施方式涉及一种视频插值帧的生成方法。第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:本实施方式中,在对运动矢量进行滤波时,需要先判断当前帧相对上一帧是否产生全局运动,如果产生了全局运动,则采用强滤波器对每个子块对应的运动矢量进行强滤波。如果未产生全局运动,则采用弱滤波器对每个子块对应的运动矢量进行弱滤波。
具体流程如图2所示,步骤201至步骤204分别与步骤110至步骤140相同,在此不再赘述。
在步骤205中,计算所有子块对应的运动矢量的二维直方图。二维直方图的具体计算方法属于本领域的公知常识,在此不再赘述。
接着,在步骤206中,在对插值帧所有子块的候选(mvx,mvy)计算二维直方图后,判断二维直方图中出现次数最多的运动矢量(max_mvx,max_mvy)的出现次数占运动矢量总数的百分比,是否大于阈值Th2并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值和(即|max_mvx|+|max_mvy|)大于阈值Th3。如果判定结果为是,则说明产生了全局运动,进入步骤207;如果判定结果为否,则说明未产生全局运动,进入步骤208。通过计算所有子块对应的运动矢量的二维直方图,并根据二维直方图中出现次数最多的运动矢量的出现次数占运动矢量总数的百分比,是否大于预设的第一阈值并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值和大于预设的第二阈值,判断当前帧相对上一帧是否产生全局运动,有效保证了全局运动产生与否的判断准确性。
在步骤207中,采用弱滤波器对每个子块对应的运动矢量进行弱滤波,其中,根据当前进行滤波处理的运动矢量、当前进行滤波处理的运动矢量所对应子块的正上方块、左边块、右边块、正下方块的运动矢量信息对当前进行滤波处理的运动矢量进行弱滤波。
具体地说,假设当前滤波处理的子块的运动矢量为MV0,如图3所示,选取以MV0为中心的3x3的运动矢量邻域,滤波分别对运动矢量的水平分量和垂直分量进行,在进行水平分量滤波时,当MV2、MV4、MV5、MV7中有至少三个的水平运动方向一致,且MV0的水平分量与这几个方向一致的运动矢量的水平分量的平均值的差异超过一定阈值Th4时,采用方向一致的这几个运动矢量的水平分量的中值或均值作为MV0的水平分量的滤波值MVc0,用MVc0替换MV0,所述运动矢量的差异的计算方法可以是绝对差值,但不限于此方法,例如,MV0=(-2,3),MV2=(12,3),MV4=(13,3),MV5=(10,2),MV7=(14,3),采用绝对差值计算水平运动矢量的差异,差异值为
Figure BSA00000458171100081
MV0的垂直分量的滤波方法与水平分量的滤波方法对应,并且滤波后的MV0不参与后续运动矢量的滤波。依此类推,对插值帧的每个子块对应的运动矢量进行弱滤波。
在步骤208中,采用强滤波器对每个子块对应的运动矢量进行强滤波,其中,根据当前进行滤波处理的运动矢量,当前进行滤波处理的运动矢量所对应子块的左上方块、正上方块、右上方块、左边块,右边块、左下方块、正下方块,右下方块的运动矢量信息对当前滤波运动矢量进行强滤波。
具体地说,假设当前滤波处理的子块的运动矢量为MV0,如图4,选取以MV0为中心的3x3的运动矢量邻域,若MV1、MV2、MV4的水平分量方向一致,垂直分量方向也一致,且MV1、MV2、MV4的水平运动分量的差异小于一定阈值Th5时,垂直运动分量的差异小于一定阈值Th6,计算MV1、MV2、MV4的水平和垂直运动分量的中值或均值,作为MV0的候选滤波值MVc0,然后计算MV0所在子块对于候选滤波值MVc0的Block_cost(mvc0x,mvc0y)值,Block_cost(mvc0x,mvc0y)可采用常用的SAD或MAD计算得到,在此不再赘述,若Block_cost(mvc0x,mvc0y)小于一定阈值Th7,则用候选滤波值MVc0替换MV0,滤波后的MVc0参与后续运动矢量的滤波,进行下一个子块的运动矢量的滤波处理;若Block_cost(mvc0x,mvc0y)不小于阈值Th7,则进入以下步骤:
如图5所示,若MV2、MV3、MV5的水平分量方向一致,垂直分量方向也一致,且MV2、MV3、MV5的水平分量的差异小于一定阈值Th8,垂直运动分量的差异小于一定阈值Th9,计算MV2、MV3、MV5的水平和垂直分量的中值或均值,作为MV0的候选滤波值MVc0,然后计算MV0所在子块对于候选滤波值MVc0的Block_cost(mvc0x,mvc0y)值,Block_cost(mvc0x,mvc0y)的计算方法如上所述,若Block_cost(mvc0x,mvc0y)小于一定阈值Th10,则用候选滤波值MVc0替换MV0,滤波后的MVc0参与后续运动矢量的滤波,进行下一个子块的运动矢量的滤波处理,若Block_cost(mvc0x,mvc0y)不小于一定阈值Th10,则进入以下步骤:
如图6所示,若MV4、MV6、MV7的水平分量方向一致,垂直分量方向也一致,且MV4、MV6、MV7的水平分量的差异小于一定阈值Th11时,垂直分量的差异小于一定阈值Th12,计算MV4、MV6、MV7的水平和垂直分量的中值或均值,作为MV0的候选滤波值MVc0,然后计算MV0所在子块对于候选滤波值MVc0的Block_cost(mvc0x,mvc0y)值,Block_cost(mvc0x,mvc0y)的计算方法如上所述,若Block_cost(mvc0x,mvc0y)小于一定阈值Th13,则用候选滤波值MVc0替换MV0,滤波后的MVc0参与后续运动矢量的滤波,进行下一个子块的运动矢量的滤波处理;若Block_cost(mvc0x,mvc0y)不小于一定阈值Th13,则进入以下步骤:
如图7所示,若MV5、MV7、MV8的水平分量方向一致,垂直分量方向也一致,且MV5、MV7、MV8的水平分量的差异小于一定阈值Th14时,垂直分量的差异小于一定阈值Th15,计算MV5、MV7、MV8的水平和垂直分量的中值或均值,作为MV0的候选滤波值MVc0,然后计算MV0所在子块对于候选滤波值MVc0的Block_cost(mvc0x,mvc0y)值,Block_cost(mvc0x,mvc0y)的计算方法如上所述,若Block_cost(mvc0x,mvc0y)小于一定阈值Th16,则用候选滤波值MVc0替换MV0,滤波后的MVc0参与后续运动矢量的滤波,进行下一个子块的运动矢量的滤波处理。
在处理完所有子块的运动矢量的强滤波后,进入步骤209。需要说明的是,在步骤208中的运动矢量分量的差异值的计算方法可以为方差,但不限于方差,例如采用方差计算矢量分量的差异值,且MV1=(5,3),MV2=(6,3),MV4=(4,2),则这三个运动矢量的水平分量的差异为:
1 3 ( | 5 - 5 + 6 + 4 3 | 2 + | 6 - 5 + 6 + 4 3 | 2 + | 4 - 5 + 6 + 4 3 | 2 )
在步骤209中,根据滤波后的所有运动矢量生成插值帧。本步骤可以采用常规方法实现,在此不再赘述。
不难发现,在本实施方式中,根据是否产生全局运动的判断结果选择相应的滤波器,可以有效解决具有全局运动的视频在大片纹理相似的区域中存在的闪烁问题,从而可以改善视觉效果。另外,本实施方式中的利用二维直方图判断是否产生全局运动,以及对子块的运动矢量的强滤波或弱滤波的滤波处理只是一种具体的实现方式,在实际应用中,也可以采用其他方式实现全局运动产生与否的判断,以及强滤波/弱滤波的处理。
值得一提的是,本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第三实施方式涉及一种视频插值帧的生成装置。如图8所示,该视频插值帧的生成装置包含:
亮度差值计算模块,用于计算当前帧的亮度平均值和上一帧的亮度平均值的差值。
帧复制模块,用于复制当前帧或上一帧,将复制的帧作为待求的插值帧。
运动矢量计算模块,用于将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量,其中,N为自然数。
决策模块,用于在亮度差值计算模块计算的差值大于预置门限时,触发帧复制模块。在亮度差值计算模块计算的差值小于或等于预置门限时,触发运动矢量计算模块。
滤波模块,用于对运动矢量计算模块计算的每个子块对应的运动矢量进行滤波。
生成模块,用于根据滤波模块滤波后的运动矢量生成插值帧。
其中,亮度差值计算模块可根据以下公式计算当前帧的亮度平均值和上一帧的亮度平均值的差值:
avg _ lum _ d = 1 m × n | Σ i = 0 , j = 0 i = m , j = n f t ( i , j ) - Σ i = 0 , j = 0 i = m , j = n f t - 1 ( i , j ) |
其中,m为图像宽,n为图像高,t为当前时刻,ft(i,j)为时刻t图像在坐标(i,j)上的亮度值。
不难发现,第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第四实施方式涉及一种视频插值帧的生成装置。第四实施方式在第三实施方式的基础上进行了改进,主要改进之处在于:滤波模块包含以下子模块:
强滤波器,用于对每个子块对应的运动矢量进行强滤波。
弱滤波器,用于对每个子块对应的运动矢量进行弱滤波。
判断子模块,用于判断当前帧相对上一帧是否产生全局运动,并在判定产生全局运动时,触发强滤波器,在判定未产生全局运动时,触发弱滤波器。
其中,判断子模块包含以下子单元:
二维直方图计算子单元,用于计算所有子块对应的运动矢量的二维直方图。
二维直方图分析子单元,用于判断二维直方图中出现次数最多的运动矢量的出现次数占运动矢量总数的百分比,是否大于预设的第一阈值并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值和大于预设的第二阈值,并在判定结果为是时,认定当前帧相对上一帧产生了全局运动。在判定结果为否时,认定当前帧相对上一帧未产生全局运动。
弱滤波器在对每个子块对应的运动矢量进行弱滤波时,根据当前进行滤波处理的运动矢量、当前进行滤波处理的运动矢量所对应子块的正上方块、左边块、右边块、正下方块的运动矢量信息对当前进行滤波处理的运动矢量进行弱滤波。
强滤波器对每个子块对应的运动矢量进行强滤波时,根据当前进行滤波处理的运动矢量,当前进行滤波处理的运动矢量所对应子块的左上方块、正上方块、右上方块、左边块,右边块、左下方块、正下方块,右下方块的运动矢量信息对当前滤波运动矢量进行强滤波。
不难发现,第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (12)

1.一种视频插值帧的生成方法,其特征在于,包含以下步骤:
计算当前帧的亮度平均值和上一帧的亮度平均值的差值;
如果所述差值大于预置门限,则复制当前帧或上一帧,将复制的帧作为待求的插值帧;如果所述差值小于或等于所述预置门限,则将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量,其中,N为自然数;
对所述计算的每个子块对应的运动矢量进行滤波后,根据所述滤波后的运动矢量生成插值帧。
2.根据权利要求1所述的视频插值帧的生成方法,其特征在于,所述对运动矢量进行滤波的步骤中,包含以下子步骤:
判断所述当前帧相对所述上一帧是否产生全局运动;
如果判定产生全局运动,则采用强滤波器对每个子块对应的运动矢量进行强滤波;如果判定未产生全局运动,则采用弱滤波器对每个子块对应的运动矢量进行弱滤波。
3.根据权利要求2所述的视频插值帧的生成方法,其特征在于,通过以下方式判断所述当前帧相对所述上一帧是否产生全局运动:
计算所有子块对应的运动矢量的二维直方图;
判断是否满足以下条件:所述二维直方图中出现次数最多的运动矢量的出现次数占运动矢量总数的百分比,大于预设的第一阈值,并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值的和大于预设的第二阈值;如果满足所述条件,则当前帧相对上一帧产生了全局运动;如果不满足所述条件,则当前帧相对上一帧未产生全局运动。
4.根据权利要求2所述的视频插值帧的生成方法,其特征在于,所述采用弱滤波器对每个子块对应的运动矢量进行弱滤波的步骤中,包含以下子步骤:
根据当前进行滤波处理的运动矢量、当前进行滤波处理的运动矢量所对应子块的正上方块、左边块、右边块、正下方块的运动矢量信息对当前进行滤波处理的运动矢量进行弱滤波。
5.根据权利要求2所述的视频插值帧的生成方法,其特征在于,所述采用强滤波器对每个子块对应的运动矢量进行强滤波的步骤中,包含以下子步骤:
根据当前进行滤波处理的运动矢量,当前进行滤波处理的运动矢量所对应子块的左上方块、正上方块、右上方块、左边块,右边块、左下方块、正下方块,右下方块的运动矢量信息对当前滤波运动矢量进行强滤波。
6.根据权利要求1至5中任一项所述的视频插值帧的生成方法,其特征在于,根据以下公式计算当前帧的亮度平均值和上一帧的亮度平均值的差值:
avg _ lum _ d = 1 m × n | Σ i = 0 , j = 0 i = m , j = n f t ( i , j ) - Σ i = 0 , j = 0 i = m , j = n f t - 1 ( i , j ) |
其中,m为图像宽,n为图像高,t为当前时刻,ft(i,j)为时刻t图像在坐标(i,j)上的亮度值。
7.一种视频插值帧的生成装置,其特征在于,包含:
亮度差值计算模块,用于计算当前帧的亮度平均值和上一帧的亮度平均值的差值;
帧复制模块,用于复制当前帧或上一帧,将复制的帧作为待求的插值帧;
运动矢量计算模块,用于将待求的插值帧划分为N个子块,通过块匹配双边运动搜索,计算每个子块对应的运动矢量,其中,N为自然数;
决策模块,用于在所述亮度差值计算模块计算的所述差值大于预置门限时,触发所述帧复制模块;在所述亮度差值计算模块计算的所述差值小于或等于所述预置门限时,触发所述运动矢量计算模块;
滤波模块,用于对所述运动矢量计算模块计算的每个子块对应的运动矢量进行滤波;
生成模块,用于根据所述滤波模块滤波后的运动矢量生成插值帧。
8.根据权利要求7所述的视频插值帧的生成装置,其特征在于,所述滤波模块包含以下子模块:
强滤波器,用于对每个子块对应的运动矢量进行强滤波;
弱滤波器,用于对每个子块对应的运动矢量进行弱滤波;
判断子模块,用于判断所述当前帧相对所述上一帧是否产生全局运动,并在判定产生全局运动时,触发所述强滤波器,在判定未产生全局运动时,触发所述弱滤波器。
9.根据权利要求8所述的视频插值帧的生成装置,其特征在于,所述判断子模块包含以下子单元:
二维直方图计算子单元,用于计算所有子块对应的运动矢量的二维直方图;
二维直方图分析子单元,用于判断是否满足以下条件:所述二维直方图中出现次数最多的运动矢量的出现次数占运动矢量总数的百分比,大于预设的第一阈值,并且出现次数最多的运动矢量的水平分量和垂直分量的绝对值的和大于预设的第二阈值,并在判定满足所述条件时,认定当前帧相对上一帧产生了全局运动;在判定不满足所述条件时,认定当前帧相对上一帧未产生全局运动。
10.根据权利要求8所述的视频插值帧的生成装置,其特征在于,所述弱滤波器在对每个子块对应的运动矢量进行弱滤波时,根据当前进行滤波处理的运动矢量、当前进行滤波处理的运动矢量所对应子块的正上方块、左边块、右边块、正下方块的运动矢量信息对当前进行滤波处理的运动矢量进行弱滤波。
11.根据权利要求8所述的视频插值帧的生成装置,其特征在于,所述强滤波器对每个子块对应的运动矢量进行强滤波时,根据当前进行滤波处理的运动矢量,当前进行滤波处理的运动矢量所对应子块的左上方块、正上方块、右上方块、左边块,右边块、左下方块、正下方块,右下方块的运动矢量信息对当前滤波运动矢量进行强滤波。
12.根据权利要求7所述的视频插值帧的生成装置,其特征在于,所述亮度差值计算模块根据以下公式计算当前帧的亮度平均值和上一帧的亮度平均值的差值:
avg _ lum _ d = 1 m × n | Σ i = 0 , j = 0 i = m , j = n f t ( i , j ) - Σ i = 0 , j = 0 i = m , j = n f t - 1 ( i , j ) |
其中,m为图像宽,n为图像高,t为当前时刻,ft(i,j)为时刻t图像在坐标(i,j)上的亮度值。
CN 201110071430 2011-03-24 2011-03-24 视频插值帧的生成方法及其装置 Active CN102123235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110071430 CN102123235B (zh) 2011-03-24 2011-03-24 视频插值帧的生成方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110071430 CN102123235B (zh) 2011-03-24 2011-03-24 视频插值帧的生成方法及其装置

Publications (2)

Publication Number Publication Date
CN102123235A true CN102123235A (zh) 2011-07-13
CN102123235B CN102123235B (zh) 2013-07-17

Family

ID=44251669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110071430 Active CN102123235B (zh) 2011-03-24 2011-03-24 视频插值帧的生成方法及其装置

Country Status (1)

Country Link
CN (1) CN102123235B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570833A (zh) * 2016-10-31 2017-04-19 湖南国科微电子股份有限公司 视频图像自适应对比度增强方法和装置
CN106791279A (zh) * 2016-12-30 2017-05-31 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及系统
CN107633808A (zh) * 2017-09-30 2018-01-26 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调节方法及亮度调节装置
CN108632502A (zh) * 2017-03-17 2018-10-09 深圳开阳电子股份有限公司 一种图像锐化的方法及装置
US10417966B2 (en) 2017-09-30 2019-09-17 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Brightness regulation method of a display panel and brightness regulation device
WO2022093502A1 (en) * 2020-11-02 2022-05-05 Qualcomm Incorporated Motion estimation based on region discontinuity
CN114598876A (zh) * 2022-03-03 2022-06-07 深圳创维-Rgb电子有限公司 动态图像的运动补偿方法、装置、终端设备以及存储介质
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964493A (zh) * 2006-12-01 2007-05-16 清华大学 H.264解码器的运动补偿插值方法
US20090059084A1 (en) * 2007-08-27 2009-03-05 Shintaro Okada Image processing apparatus, method thereof, and program
CN101771818A (zh) * 2009-01-06 2010-07-07 华晶科技股份有限公司 图像检索的方法
CN101867759A (zh) * 2010-05-19 2010-10-20 西安交通大学 基于场景检测的自适应运动补偿帧频提升方法
CN101895674A (zh) * 2010-07-02 2010-11-24 浙江红苹果电子有限公司 一种针对监控视频的去隔行的方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964493A (zh) * 2006-12-01 2007-05-16 清华大学 H.264解码器的运动补偿插值方法
US20090059084A1 (en) * 2007-08-27 2009-03-05 Shintaro Okada Image processing apparatus, method thereof, and program
CN101771818A (zh) * 2009-01-06 2010-07-07 华晶科技股份有限公司 图像检索的方法
CN101867759A (zh) * 2010-05-19 2010-10-20 西安交通大学 基于场景检测的自适应运动补偿帧频提升方法
CN101895674A (zh) * 2010-07-02 2010-11-24 浙江红苹果电子有限公司 一种针对监控视频的去隔行的方法及其装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570833A (zh) * 2016-10-31 2017-04-19 湖南国科微电子股份有限公司 视频图像自适应对比度增强方法和装置
CN106791279A (zh) * 2016-12-30 2017-05-31 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及系统
CN106791279B (zh) * 2016-12-30 2020-01-03 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及系统
CN108632502A (zh) * 2017-03-17 2018-10-09 深圳开阳电子股份有限公司 一种图像锐化的方法及装置
CN107633808A (zh) * 2017-09-30 2018-01-26 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调节方法及亮度调节装置
US10417966B2 (en) 2017-09-30 2019-09-17 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Brightness regulation method of a display panel and brightness regulation device
WO2022093502A1 (en) * 2020-11-02 2022-05-05 Qualcomm Incorporated Motion estimation based on region discontinuity
US11615537B2 (en) 2020-11-02 2023-03-28 Qualcomm Incorporated Methods and apparatus for motion estimation based on region discontinuity
CN114598876A (zh) * 2022-03-03 2022-06-07 深圳创维-Rgb电子有限公司 动态图像的运动补偿方法、装置、终端设备以及存储介质
CN114598876B (zh) * 2022-03-03 2024-05-14 深圳创维-Rgb电子有限公司 动态图像的运动补偿方法、装置、终端设备以及存储介质
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法
CN116260928B (zh) * 2023-05-15 2023-07-11 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法

Also Published As

Publication number Publication date
CN102123235B (zh) 2013-07-17

Similar Documents

Publication Publication Date Title
CN102123235B (zh) 视频插值帧的生成方法及其装置
Maini et al. Study and comparison of various image edge detection techniques
CN101236656B (zh) 基于块划分的图像中运动目标的检测方法
US7945121B2 (en) Method and apparatus for interpolating image information
US8699818B2 (en) Method, system, and program for determining image quality based on pixel changes between image frames
CN103281559A (zh) 视频质量检测的方法及系统
CN111741186B (zh) 一种视频抖动检测方法、装置以及系统
JP2012243161A (ja) 画像処理装置、画像処理方法
CN101647268A (zh) 用于画面增强的噪声检测和估计技术
CN102123283B (zh) 视频帧率转换中的插值帧获取方法及其装置
JP2004157979A (ja) 画像の動き検出装置及びコンピュータプログラム
CN106997459A (zh) 一种基于神经网络和图像叠合分割的人数统计方法及系统
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN107749986A (zh) 教学视频生成方法、装置、存储介质和计算机设备
CN104700405A (zh) 一种前景检测方法和系统
CN106447656B (zh) 基于图像识别的渲染瑕疵图像检测方法
CN104657997B (zh) 一种镜头移位检测方法及装置
CN110363109B (zh) 一种基于计算机视觉的覆盖式漏油检测系统及方法
Lin et al. A new prediction method for edge detection based on human visual feature
CN101436301B (zh) 视频编码中特征运动区域的检测方法
Shi et al. Investigating the performance of corridor and door detection algorithms in different environments
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
KR20230174192A (ko) 눈 깜박임 감지 방법 및 시스템
CN104112266B (zh) 一种图像边缘虚化的检测方法和装置
CN103258318B (zh) 一种图像降噪处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: HANGZHOU HIKVISION DIGITAL TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: HANGZHOU HAIKANG WEISHI SOFTWARE CO., LTD.

Effective date: 20120905

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 310012 HANGZHOU, ZHEJIANG PROVINCE TO: 310051 HANGZHOU, ZHEJIANG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20120905

Address after: Hangzhou City, Zhejiang province 310051 Binjiang District East Road Haikang Science Park No. 700, No. 1

Applicant after: Hangzhou Hikvision Digital Technology Co., Ltd.

Address before: Xihu District Ma Cheng Road Hangzhou City, Zhejiang province 310012 Hikvision Building No. 36

Applicant before: Hangzhou Haikang Weishi Software Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110713

Assignee: Hangzhou Hikvision Technology Co.,Ltd.

Assignor: Hangzhou Hikvision Digital Technology Co.,Ltd.

Contract record no.: X2021330000212

Denomination of invention: Generation method and device of video interpolation frame

Granted publication date: 20130717

License type: Common License

Record date: 20210901

EE01 Entry into force of recordation of patent licensing contract