CN102447870A - 静止物体检测方法和运动补偿装置 - Google Patents
静止物体检测方法和运动补偿装置 Download PDFInfo
- Publication number
- CN102447870A CN102447870A CN2010102980078A CN201010298007A CN102447870A CN 102447870 A CN102447870 A CN 102447870A CN 2010102980078 A CN2010102980078 A CN 2010102980078A CN 201010298007 A CN201010298007 A CN 201010298007A CN 102447870 A CN102447870 A CN 102447870A
- Authority
- CN
- China
- Prior art keywords
- pixel
- frame image
- piece
- value
- processing block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本发明属于视频图像处理中运动检测领域。为了能够在运动补偿过程中消除小的静止物体“破碎”现象，同时硬件实现容易，本发明提供了一种静止物体检测方法，首先对像素进行边缘检测与分类，然后对图像以块为单位结合块的运动矢量、SAD得到块的静止概率，从而检测出静止物体。通过静止物体检测方法，检测出小的静止物体，进而可以排除周围或背景运动等对小的静止物体的干扰，很好地改善了含有静止小物体的视频经过帧率变换后图像的质量。本发明的技术方案复杂度较低、硬件实现成本低。
Description
技术领域
本发明属于一种视频图像处理技术，特别是在视频序列中对图像进行运动检测的技术。
背景技术
为了更清晰地显示视频以及为了适应播放视频序列装置的帧率要求，常常对原始视频序列的帧率进行变换，如帧率上变换技术(FRUC)。
电影是一种重要的视频源，常见电影的帧率通常是每秒24帧。为了适应电视机等装置播放的帧率要求，电影通常会做一些预处理。例如，为了能在NTSC制式的电视上播放24帧的电影，通常采用32-pulldown方法。
以下简单介绍一下32-pulldown的具体实现方法。对于一个电影序列F(0)，F(1)，...，F(n)，....，首先将序列中的每一帧F(i)分成两场，顶场记为TF(i)，底场记为BF(i)。则经过32-pulldown的电影序列(发射端的操作，同时也是接收端接收到的序列)为TF(0)，BF(0)，TF(0)，BF(1)，TF(1)，BF(2)，TF(2)，BF(2)，TF(3)，BF(3)，...相邻两帧，一帧拆成3场，一帧拆成2场，从而实现了24帧到60场的转化(32-pulldown名字的由来)。
常见的电影模式有32-pulldown电影，22-pulldown电影。也存在其他的电影模式，例如2224，2332，55等pulldown电影。他们具体的实现方法和32-pulldown类似，名字表明相邻的帧被拆分的场数。
与非电影视频源不同的，电影是帧数据，同一帧的两个场是同一时刻成像的，而非电影视频源是场数据，相邻两场一定是在两个不同时刻成像的。
在上述视频序列需要进行运动补偿插帧时，存在一个尚未很好解决的问题：
当视频序列图像中存在小的静止的物体影像时(如纸上印制的文字)，如果该物体周围的图像区域或所在背景是运动的，那么该物体运动估计错误的可能性较大，使得插帧后该物体出现“破碎”现象，严重影响视觉效果。由于这类小的静止物体本身细小，以纸上印制的文字为例，为了消除上述“破碎”现象，在进行该类物体的检测时需要考虑笔划、细节、区域特征等，硬件实现非常困难。
发明内容
为了能够在运动补偿过程中消除小的静止物体“破碎”现象，同时硬件实现容易，本发明提供了一种静止物体检测方法。
本发明的另一个目的是提供一种运动补偿装置。
本发明的技术方案如下：
静止物体检测方法，包括如下步骤：
A、当前处理原始帧图像中像素边缘检测及分类，，将像素归类为第一类像素点或第二类像素点，第一类像素点为静止像素，第二类像素点为非静止像素；
B、根据步骤A的结果计算当前处理原始帧图像中块的第一级静止概率；
C、对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的静止概率进行中值滤波；
D、根据步骤A、B和C的结果计算插值帧图像中块的静止概率。
步骤A由以下方法实现：
在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；
在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点；
第二类像素点的边缘强度置为零。
步骤B由以下方法实现：
将当前处理原始帧图像以块为单位进行分割；
条件1：当前处理块的M×N邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率。
步骤C由以下方法实现：
对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的SAD记为当前处理块的中值SAD；
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；
步骤D由以下方法实现：
对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为h1；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率。
所述静止物体检测方法还包括如下插值帧图像中像素运动补偿步骤：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧；
当插值帧图像中像素所处块的静止概率大于阈值j时，该像素运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
运动矢量v＝(vx，vy)由运动估计得到，如果判断出当前处理原始帧图像发生场景切换，则用于生成插值帧图像的运动矢量为零；
所述判断当前处理帧图像发生场景切换的方法：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像的SAD均值，则判断发生场景切换，n为预定的大于1的数。
插值相位由电影模式检测方法得到。
所述静止物体检测方法还包括如下步骤：
对运动补偿步骤得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；
对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
运动补偿装置，包括静止物体检测模块和相连接的运动补偿模块，其中
静止物体检测模块实现：
A、当前处理原始帧图像中像素边缘检测及分类：
在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；
在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点；
第二类像素点的边缘强度置为零；
B、计算当前处理原始帧图像中块的第一级静止概率：
将当前处理原始帧图像以块为单位进行分割；
条件1：当前处理块的M×N邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率；
C、对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的SAD记为当前处理块的中值SAD；
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；
D、对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为h1；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率；
运动补偿模块实现：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧；
当插值帧图像中像素所处块的静止概率大于阈值j时，该像素运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
所述运动补偿装置还包括运动估计模块与场景切换检测模块，场景切换检测模块与运动估计模块连接，运动估计模块与运动补偿模块连接，运动估计模块还与静止物体检测模块连接，运动估计模块输出用于生成插值帧图像的运动矢量，如果场景切换检测模块判断出当前处理原始帧图像发生场景切换，则运动估计模块输出的所述运动矢量为零；
场景切换检测模块实现：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像的SAD均值，则判断发生场景切换，n为预定的大于1的数。
所述运动补偿装置还包括电影模式检测模块，电影模式检测模块与运动补偿模块连接；电影模式检测模块根据电影模式检测结果输出视频图像的插值相位。
所述运动补偿装置还包括后处理模块，后处理模块与运动补偿模块、静止物体检测模块连接；
后处理模块实现：
对运动补偿模块得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；
对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
本发明的技术效果：
采用本发明的方法能够有效判断出视频图像中小的静止物体，从而为消除视频图像中小的静止物体在运动补偿后出现“破碎”的现象打下基础。同时这一方法的复杂度低，硬件实现容易。
本发明的装置在有效改善视频图像中小的静止物体在运动补偿后的图像质量的同时，还具有成本低的效果。
附图说明
图1为本发明静止物体检测方法的一个实施例。
图2为本发明运动补偿装置的一个实施例。
具体实施方式
以下结合附图所示实例对本发明的技术方案进行详细说明。
图1为本发明静止物体检测方法的一个流程图，对图中各步骤进行具体说明：
首先进行的四个步骤可以统称为静止物体检测步骤。本发明中所提到的静止物体实质是视频图像中静止的小物体，文本(或文字)是一个典型代表。
静止物体检测步骤包括：
(1)当前处理原始帧图像中像素边缘检测及分类：
使用sobel算子在当前处理原始帧图像(原始视频序列中的帧图像，以下同)和其前一原始帧图像(视频序列中时间顺序上的前一原始帧图像，以下同)中分别计算每个像素在水平、垂直、对角线和反对角线四个方向上的边缘响应，并记每个像素的四个边缘响应中绝对值最大的边缘响应、与其正交方向的边缘响应之和为该像素的边缘强度。
以上是一种获取像素边缘强度的方法，还可以使用Prewitt、Roberts等检测器进行边缘检测，得到像素的边缘强度。
在当前处理原始帧图像中的像素，如果其边缘强度与其前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像(所述当前处理原始帧图像和前一原始帧图像)中的两个边缘方向的夹角小于阈值b，即该像素在所述两原始帧中所处边缘的两个边缘方向之间的夹角，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点。对判断边缘方向的夹角小于阈值b的方法举例说明：在上述得到的边缘响应中，所述两个像素中一个像素的任意两个方向边缘响应的差值与另一个像素相应两个边缘响应的差值均小于阈值b1的情况大于预定比例。举例来说，当前处理原始帧图像中的像素K的边缘强度为k，对在当前处理原始帧图像的前一帧图像中同样位置的像素L的边缘强度为l，如果k和l均大于a，且像素K的任意两个边缘响应的差值与像素L对应两个边缘响应的差值均小于阈值b1的情况大于预定比例，则像素K为第一类像素，否则属于第二类像素点。
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点。这意味着如果前述得到的第一类像素周围大部分像素都属于第一类像素，则该像素应当属于第一类像素点，利用邻近像素的信息排除对当前处理像素的干扰。邻域的确定可以根据试验选择适合的范围，如3像素×3像素的范围。
第二类像素点的边缘强度置为零。
(2)计算当前处理原始帧图像中块的第一级静止概率：
将当前处理原始帧图像以块为单位进行分割，例如8个像素×8个像素为一个块。
条件1：当前处理块的M×N邻域内(邻域以块为单位划定)所有块的SAD的加权均值小于阈值c，邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；d1可以等于d，e1可以等于e。
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
邻域的确定可以根据试验选择适合的范围，如3块×3块的范围。
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率。
(3)计算当前处理原始帧图像中块的第二级静止概率。
对当前处理原始帧图像中的每个块，取其K×L(K和L为大于1的自然数)邻域内所有块的由步骤(2)得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率，该中值对应的块的SAD记为当前处理块的中值SAD。
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大。如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作。
(4)确定插值帧图像中块的静止概率：
对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应位置的块的第二级静止概率为h1；以运动矢量(运动估计得到)查找块s在前、后两原始帧图像中对应位置的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率。
上述步骤(1)至(4)获得了更为精确的插值帧图像中块的静止概率，步骤(1)至(4)也构成了一个静止物体检测方法。
在完成步骤(1)至(4)后进行运动补偿，运动补偿步骤需要输入插值相位和像素的运动矢量，运动补偿的具体方法是：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素的运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧。
当中插值帧图像中像素所处块的静止概率大于阈值j时，该像素的运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素的运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
像素的亮度和颜色分量均可适用上述方法插值得到。
本发明的方法中，运动矢量v＝(vx，vy)由运动估计得到，运动估计可以采用现有技术。在进行运动估计前需要进行场景切换检测，如果视频序列中发生场景切换，则运动估计失效，即在两帧毫无关联的图像之间进行运动估计没有意义，并且得到的运动矢量场是错误的。这会产生两种后果：一，插帧图像的质量下降；二，由于运动估计是递归搜索的，当前运动矢量场的严重错误会影响接下来的若干运动矢量场。因此进行场景切换检测并在运动估计时采用相应措施是必要的。
本发明采用如下方法进行场景切换判断：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像SAD的均值，则判断发生场景切换，n为预定的大于1的数，在本实施例中n取3。
如果判断出当前处理帧图像发生场景切换，则用于生成插值帧图像的运动矢量为零。
本实施例中插值相位由电影模式检测方法得到，检测出电影模式后就可以得知视频序列的帧率，从而得到插值相位。电影模式检测方法可以采用名称为“检测多种电影模式的方法及装置”，申请号为200810110925.6的中国专利申请中所记载的方案。
为了减轻运动补偿后插值帧图像中的块效应等，对插值帧图像进行优化目的的后处理，具体方法是：对运动补偿得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到。加权系数由当前处理块的邻域内所有块的SAD，运动矢量，当前处理块的静止概率决定。对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
这一后处理的作用在于：对插值帧图像中运动矢量与周围运动矢量差异较大的块，进行局部低通滤波处理，以消除块效应等。
图2给出了本发明运动补偿装置的结构原理图，是实现本发明方法的一种装置，这一装置可以用硬件实现。
以下对图2所示运动补偿装置进行简要说明。
运动补偿装置包括静止物体检测模块和相连接的运动补偿模块，其中
静止物体检测模块实现：
(1)当前处理原始帧图像中像素边缘检测及分类：
使用sobel算子在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素在水平、垂直、对角线和反对角线四个方向上的边缘响应，并记每个像素的四个边缘响应中绝对值最大的边缘响应、与其正交方向的边缘响应之和为该像素的边缘强度；
以上是一种实施方案，还可以使用Prewitt、Roberts等检测器进行边缘检测，得到像素的边缘强度。
在当前处理原始帧图像中的像素，如果其边缘强度与其前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像(所述当前处理原始帧图像和前一原始帧图像)中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；判断边缘方向的夹角小于阈值b的方法可以是但并不限于是，在上述得到的边缘响应中，所述两个像素中一个像素的任意两个方向边缘响应的差值与另一个像素相应两个边缘响应的差值均小于阈值b1的情况大于预定比例。
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点；
第二类像素点的边缘强度置为零；
(2)计算当前处理原始帧图像中块的第一级静止概率：
将当前处理原始帧图像以块为单位进行分割。
条件1：当前处理块的M×N邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率；
(3)计算当前处理原始帧图像中块的第二级静止概率：
对当前处理原始帧图像中的每个块，取其K×L邻域内所有块的由步骤(2)得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率，该中值对应的块的SAD记为当前处理块的中值SAD。
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大。如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该邻域块的中值静止概率进行上述加权操作。
(4)对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为h1；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率。
运动补偿模块实现：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素的运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧；
当插值帧图像中像素所处块的静止概率大于阈值j时，该像素的运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素的运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
像素的亮度、颜色分量均可由上述方法插值得到。
运动补偿模块和静止物体检测模块本身构成了一个简易的运动补偿装置，在输入插值相位参数与运动矢量参数后就可以对视频序列进行处理。
对前述运动补偿装置进一步优化，还包括运动估计模块与场景切换检测模块，场景切换检测模块与运动估计模块连接，运动估计模块与运动补偿模块连接，运动估计模块还与静止物体检测检测模块连接，运动估计模块输出用于生成插值帧图像的运动矢量，如果场景切换检测模块判断出当前处理帧图像发生场景切换，则运动估计模块输出的所述运动矢量为零。
场景切换检测模块实现：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像的SAD均值，则判断发生场景切换，n为预定的大于1的数。
图2所示运动补偿装置还包括电影模式检测模块，电影模式检测模块与运动补偿模块连接；电影模式检测模块根据电影模式检测结果输出视频图像的插值相位。电影模式检测模块可以采用名称为“检测多种电影模式的方法及装置”，申请号为200810110925.6的中国专利申请中所记载的方案。
图2所示运动补偿装置还包括后处理模块，后处理模块与运动补偿模块、静止物体检测模块连接。
后处理模块实现：
对运动补偿模块得到的插值帧图像所有像素进行低通滤波，最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到。加权系数由当前处理块的邻域内所有块的SAD，运动矢量，当前处理块的静止概率决定。对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
本发明提出了一种复杂度较低、硬件可实现的静止物体检测方法，并与运动估计、运动补偿相结合，很好地改善了含有静止小物体的视频经过帧率变换后图像的质量。
Claims (13)
1.静止物体检测方法，其特征在于包括如下步骤：
A、当前处理原始帧图像中像素边缘检测及分类，，将像素归类为第一类像素点或第二类像素点，第一类像素点为静止像素，第二类像素点为非静止像素；
B、根据步骤A的结果计算当前处理原始帧图像中块的第一级静止概率；
C、对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的静止概率进行中值滤波；
D、根据步骤A、B和C的结果计算插值帧图像中块的静止概率。
2.根据权利要求1所述静止物体检测方法，其特征在于步骤A由以下方法实现：
在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；
在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点；
第二类像素点的边缘强度置为零。
3.根据权利要求1或2所述静止物体检测方法，其特征在于步骤B由以下方法实现：
将当前处理原始帧图像以块为单位进行分割；
条件1：当前处理块的M×N邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率。
4.根据权利要求3所述静止物体检测方法，其特征在于步骤C由以下方法实现：
对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的SAD记为当前处理块的中值SAD；
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；
5.根据权利要求4所述静止物体检测方法，其特征在于步骤D由以下方法实现：
对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为h1；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率。
6.根据权利要求5所述静止物体检测方法，其特征在于还包括如下插值帧图像中像素运动补偿步骤：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧；
当插值帧图像中像素所处块的静止概率大于阈值j时，该像素运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
7.根据权利要求6所述静止物体检测方法，其特征在于运动矢量v＝(vx，vy)由运动估计得到，如果判断出当前处理原始帧图像发生场景切换，则用于生成插值帧图像的运动矢量为零；
所述判断当前处理帧图像发生场景切换的方法：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像的SAD均值，则判断发生场景切换，n为预定的大于1的数。
8.根据权利要求7所述静止物体检测方法，其特征在于插值相位由电影模式检测方法得到。
9.根据权利要求8所述静止物体检测方法，其特征在于还包括如下步骤：
对运动补偿步骤得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；
对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
10.运动补偿装置，其特征在于包括静止物体检测模块和相连接的运动补偿模块，其中
静止物体检测模块实现：
A、当前处理原始帧图像中像素边缘检测及分类：
在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；
在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；
当前述得到的第一类像素x符合如下条件：x的邻域内大于预定比例的像素满足：该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素x属于第一类像素点，否则像素x属于第二类像素点；
第二类像素点的边缘强度置为零；
B、计算当前处理原始帧图像中块的第一级静止概率：
将当前处理原始帧图像以块为单位进行分割；
条件1：当前处理块的M×N邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；
条件2：当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e；
条件3：当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值d1，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值e1；
如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；
除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率；
C、对当前处理原始帧图像中的每个块，对其K×L邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的SAD记为当前处理块的中值SAD；
当前处理块的M×N邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；
D、对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为h1；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为i1和i2，h1、i1、i2中最大值为块s的静止概率；
运动补偿模块实现：
运动矢量为v＝(vx，vy)，插值相位在[0，MAX_P]之间，插值相位为phase，归一化插值相位α为：
当插值帧图像中像素所处块的静止概率为零时，该像素运动补偿公式为：
fn+α(x，y)1＝(1-α)fn(x-αvx，y-αvy)+αfn+1(x+(1-α)vx，y+(1-α)vy)
其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+α代表插值相位为α的内插帧；
当插值帧图像中像素所处块的静止概率大于阈值j时，该像素运动补偿公式为：
fn+α(x，y)2＝(1-α)fn(x，y)+αfn+1(x，y)
当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素运动补偿公式为：
fn+α(x，y)＝(1-β)*fn+α(x，y)1+β*fn+α(x，y)2
插值帧图像中像素所处块的静止概率的取值范围为[0，MAX_TXT]，待插值块的静止概率为txt_prob，
11.根据权利要求10所述运动补偿装置，其特征在于还包括运动估计模块与场景切换检测模块，场景切换检测模块与运动估计模块连接，运动估计模块与运动补偿模块连接，运动估计模块还与静止物体检测模块连接，运动估计模块输出用于生成插值帧图像的运动矢量，如果场景切换检测模块判断出当前处理原始帧图像发生场景切换，则运动估计模块输出的所述运动矢量为零；
场景切换检测模块实现：
将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于n倍的邻接的前若干连续原始帧图像的SAD均值，则判断发生场景切换，n为预定的大于1的数。
12.根据权利要求10或11所述运动补偿装置，其特征在于还包括电影模式检测模块，电影模式检测模块与运动补偿模块连接；电影模式检测模块根据电影模式检测结果输出视频图像的插值相位。
13.根据权利要求12所述运动补偿装置，其特征在于还包括后处理模块，后处理模块与运动补偿模块、静止物体检测模块连接；
后处理模块实现：
对运动补偿模块得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；
对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102980078A CN102447870A (zh) | 2010-09-30 | 2010-09-30 | 静止物体检测方法和运动补偿装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102980078A CN102447870A (zh) | 2010-09-30 | 2010-09-30 | 静止物体检测方法和运动补偿装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102447870A true CN102447870A (zh) | 2012-05-09 |
Family
ID=46009908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010102980078A Pending CN102447870A (zh) | 2010-09-30 | 2010-09-30 | 静止物体检测方法和运动补偿装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102447870A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104144345A (zh) * | 2013-09-18 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 在移动终端进行实时图像识别的方法及该移动终端 |
| CN106791279A (zh) * | 2016-12-30 | 2017-05-31 | 中国科学院自动化研究所 | 基于遮挡检测的运动补偿方法及系统 |
| CN106851047A (zh) * | 2016-12-30 | 2017-06-13 | 中国科学院自动化研究所 | 一种视频图像中静止像素点检测方法及系统 |
| CN107124572A (zh) * | 2017-03-08 | 2017-09-01 | 宏祐图像科技(上海)有限公司 | 运动估计运动补偿中局部效果修正的方法及系统 |
| CN107333174A (zh) * | 2017-07-19 | 2017-11-07 | 河海大学 | 一种基于场景切变检测的视频处理方法 |
| CN109188419A (zh) * | 2018-09-07 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 障碍物速度的检测方法、装置、计算机设备及存储介质 |
| CN109729298A (zh) * | 2017-10-27 | 2019-05-07 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050036658A1 (en) * | 2001-11-21 | 2005-02-17 | Daniel Gibbins | Non-motion detection |
| CN2762237Y (zh) * | 2004-12-31 | 2006-03-01 | 北京中星微电子有限公司 | 运动图像检测电路 |
| CN1901620A (zh) * | 2005-07-19 | 2007-01-24 | 中兴通讯股份有限公司 | 一种基于运动检测和自适应滤波的视频图像降噪方法 |
| CN101110903A (zh) * | 2007-08-31 | 2008-01-23 | 湖北科创高新网络视频股份有限公司 | 一种视频数据实时去噪的方法和系统 |
| US20100177199A1 (en) * | 2009-01-13 | 2010-07-15 | Himax Technologies Limited | Method for motion detection of horizontal line |
-
2010
- 2010-09-30 CN CN2010102980078A patent/CN102447870A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050036658A1 (en) * | 2001-11-21 | 2005-02-17 | Daniel Gibbins | Non-motion detection |
| CN2762237Y (zh) * | 2004-12-31 | 2006-03-01 | 北京中星微电子有限公司 | 运动图像检测电路 |
| CN1901620A (zh) * | 2005-07-19 | 2007-01-24 | 中兴通讯股份有限公司 | 一种基于运动检测和自适应滤波的视频图像降噪方法 |
| CN101110903A (zh) * | 2007-08-31 | 2008-01-23 | 湖北科创高新网络视频股份有限公司 | 一种视频数据实时去噪的方法和系统 |
| US20100177199A1 (en) * | 2009-01-13 | 2010-07-15 | Himax Technologies Limited | Method for motion detection of horizontal line |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104144345A (zh) * | 2013-09-18 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 在移动终端进行实时图像识别的方法及该移动终端 |
| CN104144345B (zh) * | 2013-09-18 | 2016-08-17 | 腾讯科技（深圳）有限公司 | 在移动终端进行实时图像识别的方法及该移动终端 |
| CN106851047B (zh) * | 2016-12-30 | 2020-02-07 | 中国科学院自动化研究所 | 一种视频图像中静止像素点检测方法及系统 |
| CN106851047A (zh) * | 2016-12-30 | 2017-06-13 | 中国科学院自动化研究所 | 一种视频图像中静止像素点检测方法及系统 |
| CN106791279B (zh) * | 2016-12-30 | 2020-01-03 | 中国科学院自动化研究所 | 基于遮挡检测的运动补偿方法及系统 |
| CN106791279A (zh) * | 2016-12-30 | 2017-05-31 | 中国科学院自动化研究所 | 基于遮挡检测的运动补偿方法及系统 |
| CN107124572A (zh) * | 2017-03-08 | 2017-09-01 | 宏祐图像科技(上海)有限公司 | 运动估计运动补偿中局部效果修正的方法及系统 |
| CN107333174A (zh) * | 2017-07-19 | 2017-11-07 | 河海大学 | 一种基于场景切变检测的视频处理方法 |
| CN107333174B (zh) * | 2017-07-19 | 2020-05-05 | 河海大学 | 一种基于场景切变检测的视频处理方法 |
| CN109729298A (zh) * | 2017-10-27 | 2019-05-07 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
| CN109729298B (zh) * | 2017-10-27 | 2020-11-06 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
| CN109188419A (zh) * | 2018-09-07 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 障碍物速度的检测方法、装置、计算机设备及存储介质 |
| CN109188419B (zh) * | 2018-09-07 | 2021-06-15 | 百度在线网络技术（北京）有限公司 | 障碍物速度的检测方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102447870A (zh) | 静止物体检测方法和运动补偿装置 | |
| CN105282475B (zh) | 移动字幕检测与补偿方法及系统 | |
| CN101663885A (zh) | 图像处理装置及方法、图像显示装置及方法 | |
| US7796191B1 (en) | Edge-preserving vertical interpolation | |
| EP1742485A2 (en) | Motion estimator and estimating method | |
| US20130170551A1 (en) | Halo Reduction in Frame-Rate-Conversion Using Hybrid Bi-Directional Motion Vectors for Occlusion/Disocclusion Detection | |
| CN101207707A (zh) | 一种基于运动补偿的帧频提升系统和方法 | |
| KR20040098162A (ko) | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 | |
| CN101803362A (zh) | 用于视频图像数据中的运动估计和运动补偿的方法和装置 | |
| US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
| CN101163247A (zh) | 运动补偿图像的内插方法以及用于所述方法的实现的设备 | |
| WO2008152951A1 (en) | Method of and apparatus for frame rate conversion | |
| WO2004039074A1 (en) | Image processing unit with fall-back | |
| CN103369208A (zh) | 自适应去隔行方法及装置 | |
| CN108270945B (zh) | 一种运动补偿去噪方法及装置 | |
| CN101902609B (zh) | 一种处理游飞字幕的运动补偿帧频提升方法 | |
| CN101510985A (zh) | 一种运动补偿辅助运动自适应的去隔行方法 | |
| CN102509311A (zh) | 运动检测方法和装置 | |
| CN104202555A (zh) | 去隔行方法及装置 | |
| WO2016199418A1 (en) | Frame rate conversion system | |
| CN111294545B (zh) | 图像数据插值方法及装置、存储介质、终端 | |
| Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
| JP5197374B2 (ja) | 動き推定 | |
| AU2004200237B2 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
| Kim et al. | Static text region detection in video sequences using color and orientation consistencies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120509 |