CN105872370B - 视频去抖动方法和装置 - Google Patents

Abstract

本发明公开了一种视频去抖动方法和装置，所述方法包括以下步骤：获取已完成角点模型初始化的背景图像；提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。实现了仅通过单帧画面内抖动位移矢量的矫正就达到同时矫正帧间全局抖动和帧内抖动噪声的目的。

Description

视频去抖动方法和装置

技术领域

本发明涉及视频监控技术领域，尤其是涉及一种视频去抖动方法和装置。

背景技术

视频监控项目中常常需要实现对运动目标的检测、分类和跟踪。运动目标称为前景，静止物统一称为背景。对小运动目标的检测通常采用光流(稠密光流和稀疏光流)、背景建模的方式。背景建模方法有多种，如基于颜色的高斯背景建模、基于纹理的LBP背景建模、基于非参数化的Vibe背景建模等。背景建模中常出现漏检和虚检的情形，“漏检”指本该为正常的前景运动目标，但是没有检测到；“虚检”是指不该检测到的静止背景物却被检测为前景运动目标。

背景建模常涉及到背景帧差，即通过比较当前帧和背景图像间的差异来检测运动对象。引起相邻帧之间差异的运动有两种，一种是由前景本身的运动产生，另一种则是由于监控镜头因地质环境、天气状况、安装地路过运动物等因素的影响导致的抖动噪声产生。前者是目标检测需要正确提取的，如铁路上滞留的人员、动物、在铁轨周围移动的车辆等。而后者则是需要尽力消除的，是对运动目标检测产生虚检的主要原因之一，如当火车或高铁经过摄像头时引起的摄像头非规律抖动。实际的铁路监控项目与其他的智能监控项目的不同之处在于，铁路监控项目中存在于镜头帧间的全局抖动是无规律的，无法通过连续的若干帧模拟出全局运动规律。而且存在于单帧图像内不同像素的运动也有多重抖动偏移模式，即不仅仅限于平移和旋转，同时也存在投影或以某一点为中心，向周边线性变化的帧内像素偏移趋势。因此需要在监控过程中对视频进行去抖动操作，消除视频图像中的抖动噪声。

然而，现有的视频去抖动方案，仅对帧间全局运动矢量进行估计和矫正，没有考虑到帧内的像素产生诸如平移、旋转、投影的抖动变化，不能消除如铁路监控中出现的帧间运动无规律可循的抖动，不能达到预期的消除抖动噪声的效果。

发明内容

本发明的主要目的在于提供一种视频去抖动方法和装置，旨在消除视频图像中出现的帧间运动无规律可循的抖动，提高消除抖动噪声的效果。

为达以上目的，发明人经仔细研究发现，视频帧间全局的运动矢量(或称抖动位移矢量)实际上是可以通过对帧内每个像素运动矢量的矫正补偿来有效解决的。意即仅通过单帧画面内运动矢量的矫正就可以达到同时矫正帧间全局抖动和帧内抖动噪声的目的。仅考虑帧内运动矢量的一个好处是可以实现真正意义上的实时去抖动，即不需要连续采集N帧才能建立帧间全局运动模型，而是单独为每一帧进行处理，作为视频处理前的一个独立子模块，能够处理无规律的帧间和帧内抖动噪声。

基于上述发明构思，本发明提出一种视频去抖动方法，包括以下步骤：

获取已完成角点模型初始化的背景图像；

提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；

从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；

根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。

进一步地，所述局部描述信息包括方向描述信息和边缘描述信息，所述根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配包括：

针对当前帧中每一个特征点，从所述背景图像中找出与所述当前帧的特征点的方向描述信息相同的特征点的集合；

根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集合中找出与所述当前帧的特征点相匹配的特征点。

进一步地，所述从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合包括：

计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；

当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点对为有效特征点对；

提取出所有有效特征点对，组成有效特征点对的集合。

进一步地，所述根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵包括：

将所述当前帧分为若干块；

根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移矢量；

对所述块的平均抖动位移矢量进行Gaussian(高斯)滤波；

将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢量，提取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。

进一步地，所述根据所述抖动位移矢量矩阵对所述当前帧进行矫正的步骤之后还包括：

执行背景图像角点模型更新策略。

进一步地，所述计算所述有效特征点对的抖动位移矢量的步骤之后还包括：

根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

本发明同时提出一种视频去抖动装置，包括：

初始化模块，用于获取已完成角点模型初始化的背景图像；

匹配模块，用于提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；

筛选模块，用于从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；

矫正模块，用于根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。

进一步地，所述局部描述信息包括方向描述信息和边缘描述信息，所述匹配模块包括：

第一匹配单元，用于针对当前帧中每一个特征点，从所述背景图像中找出与所述当前帧的特征点的方向描述信息相同的特征点的集合；

第二匹配单元，用于根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集合中找出与所述当前帧的特征点相匹配的特征点。

进一步地，所述筛选模块用于：

计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点对为有效特征点对；提取出所有有效特征点对，组成有效特征点对的集合。

进一步地，所述矫正模块包括：

计算单元，用于将所述当前帧分为若干块，根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移矢量；

滤波单元，用于对所述块的平均抖动位移矢量进行Gaussian滤波；

提取单元，用于将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢量，提取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。

进一步地，所述装置还包括策略模块，所述策略模块用于：执行背景图像角点模型更新策略。

进一步地，所述筛选模块还用于：根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

进一步地，所述初始化模块用于：对背景图像进行角点模型初始化，当提取所述背景图像的预特征点时，通过计算所述背景图像中每一个像素点的加权hessian矩阵行列式值来进行预特征点提取，像素点坐标(x,y)处的加权二维hessian矩阵公式为：

其中，I_xx(x,y)是所述像素点(x,y)的X方向二阶导数，I_xy(x,y)是所述像素点(x,y)的二阶混合偏导数，I_yy(x,y)是所述像素点(x,y)的Y方向二阶导数。

本发明所提供的一种视频去抖动方法，通过计算出帧内仅由抖动噪声引起的有效特征点对的抖动位移矢量来获取全帧每个像素的抖动位移矢量，据此对全帧进行矫正，实现了仅通过单帧画面内抖动位移矢量的矫正就达到同时矫正帧间全局抖动和帧内抖动噪声的目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帧间运动无规律可循的抖动，提高了消除抖动噪声的效果。

从而，能够有效将引起目标检测中虚检的抖动噪声和正常的物体运动区分开来，仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的低频大距离矢量运动，有效解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于消除视频偶发的无规律抖动噪声。

附图说明

图1是本发明的视频去抖动方法第一实施例的流程图；

图2是本发明实施例中进行背景图像的角点模型初始化的流程图；

图3是本发明的视频去抖动方法第二实施例的流程图；

图4是本发明的视频去抖动方法第三实施例的流程图；

图5是本发明的视频去抖动装置第一实施例的模块示意图；

图6是图5中的匹配模块的模块示意图；

图7是图5中的矫正模块的模块示意图；

图8是本发明的视频去抖动装置第二实施例的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，提出本发明的视频去抖动方法，所述方法包括以下步骤：

S11、获取已完成角点模型初始化的背景图像。

S12、提取当前帧的特征点及其局部描述信息。

S13、根据特征点的局部描述信息对当前帧与背景图像的特征点进行匹配，获得匹配的特征点对的集合。

S14、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算有效特征点对的抖动位移矢量。

S15、根据有效特征点对的抖动位移矢量获取当前帧中全帧像素的抖动位移矢量矩阵，根据抖动位移矢量矩阵对当前帧进行矫正。

在步骤S11中，背景图像是视频去抖动的参考图像，正常情况下是将视频去抖动功能开始运行后的初始帧作为背景图像进行角点模型初始化；后续帧去抖动过程中，当场景没有发生异常变化时，则可以直接沿用前一帧去抖动时使用的背景图像；当场景发生异常变化时，后续帧去抖动时就需要重新输入一帧图像作为背景图像进行角点模型初始化。

角点模型初始化即是对视频图像进行信息提取来建立角点模型的过程，初始化操作要一直进行直到初始化成功为止，只有初始化完成后，后面的实时视频帧才能够完成矫正处理。如图2所示，角点模型初始化主要包括以下步骤：

S111、输入一帧视频图像作为背景图像。

S112、提取背景图像的预特征点。

可选地，可以采用现有技术中的harris角点检测算法、surf角点检测算法、sift角点检测算法等二进制特征提取算子来提取背景图像的预特征点。

优选地，本实施例通过计算图像中每一个像素点的加权hessian矩阵行列式值来进行预特征点提取。像素点坐标(x,y)处的加权二维hessian矩阵的定义如下面的公式所示：

其中，I_xx(x,y)是像素点(x,y)的X方向二阶导数，I_xy(x,y)是像素点(x,y)的二阶混合偏导数，I_yy(x,y)是像素点(x,y)的Y方向二阶导数。w₁₁、w₁₂、w₂₁、w₂₂是自定义权重，可选地，分别取值为10、9、9、10。

对计算得到的加权hessian矩阵行列式值WH_value与阈值进行比较，若WH_value大于阈值(如50000)则认为像素点(x,y)可以作为预特征点，否则像素点(x,y)不能作为预特征点。

通过计算像素点的加权hessian矩阵行列式值的方式来进行预特征点提取，相对于现有技术具有计算简单，易于硬件实现，速度快的优点。

S113、对预特征点进行非最大值抑制，获得背景图像的特征点。

本步骤S113中，对预特征点进行非最大值抑制(Non-Maximum Suppression，简称NMS)，NMS即搜索局部最大值，是为了确保某一特征点邻域窗口范围内不存在其他特征点，让窗口邻域内的加权hessian矩阵行列式值最大的像素点作为特征点。对预特征点进行非最大抑制后得到的最终的特征点的坐标、总数以及各特征点的Hessian矩阵的迹(trace)并予以保存。

NMS的具体过程为：判断预特征点的WH_value是否是尺寸为HSWinSize*HSWinSize窗口范围内的最大值，若是则保留该特征点，否则不予保留。本实施例中，HSWinSize优选为17，Hessian矩阵的迹的计算公式为：

trace(x,y)＝I_xx(x,y)+I_yy(x,y)

其中，I_xy(x,y)是像素点(x,y)的二阶混合偏导数，I_yy(x,y)是像素点(x,y)的Y方向二阶导数。

S114、判断特征点的总数是否小于阈值。若特征点的总数小于阈值(如10)，则初始化失败，返回步骤S111，重新输入下一帧视频图像作为背景图像进行初始化；若特征点的总数大于阈值，则初始化成功，表明当前背景图像合格，执行步骤S115。

S115、计算所有特征点的局部描述信息并保存。

特征点的局部描述信息包括边缘描述信息和方向描述信息，用于对背景图像和实时视频帧进行角点匹配。

特征点的方向描述信息用1或-1表示，当Hessian矩阵的迹trace(x,y)>0时，方向信息记为1，否则记做-1。

本实施例优选使用宏像素的边缘特征组合成为多维的特征点的边缘描述向量。宏像素是指将若干相邻的像素组合在一起作为一个广义的像素点，宏像素能够有效降低图像中的噪声对特征点匹配造成的干扰。某一特征点(x,y)的边缘描述信息的具体计算步骤如下：

1)、对背景图像进行大小为Winsize*Winsize的高斯卷积。其中Winsize是滑动窗口大小，优选为20。

2)、以(x,y)为窗口中心，计算Winsize*Winsize窗口邻域内每个像素点X、Y方向的一阶导数边缘信息。

3)、将Winsize*Winsize窗口划分为N*N个子块，每一个子块作为一个宏像素，N优选为4。此时每一个宏像素包含长宽都为Winsize/N的子区域内的所有像素点，计算每一个宏像素以下4个特征信息：子区域内所有像素点的X方向一阶导数，SumX、Y方向一阶导数，SumX的绝对值absSumX，SumY的绝对值absSumY。因此N*N个宏像素的4个特征信息组合成为一个N*N*4的多维特征角点描述向量：Vdescription(x,y)＝<v₁,v₂,v₃,...,v_4*N*N>。

在步骤S12中，当获取背景图像后，输入实时视频图像的当前帧，并提取当前帧的特征点及其局部描述信息。当前帧的特征点及其局部描述信息的提取方法与前述背景图像的特征点及其局部描述信息的提取方法相同，请参考前述角点模型初始化中的步骤S112、S113和S115，在此不再赘述。

在步骤S13中，获得的特征点对的集合，既包括正常运动引起的特征点对，又包括抖动噪声引起的特征点对。本实施例中的局部描述信息包括方向描述信息和边缘描述信息，根据特征点的局部描述信息对当前帧与背景图像的特征点进行匹配包括：针对当前帧中每一个特征点，从背景图像中找出与当前帧的特征点的方向描述信息相同的特征点的集合；根据特征点的边缘描述信息计算欧式距离，根据计算结果从特征点的集合中找出与当前帧的特征点相匹配的特征点。

具体实施过程为：将当前帧中每一个特征点的方向描述信息分别与背景图像中各个特征点的方向描述信息进行比较，从背景图像中找出所有与当前帧的特征点的方向描述信息相同的特征点的集合，其中，当前帧中每一个特征点对应一个背景图像特征点的集合；根据边缘描述信息计算当前帧中的各特征点分别与对应的特征点的集合中的各特征点的欧式距离；针对每一特征点的集合，从计算出的欧式距离中找出最小距离，判断最小距离是否小于阈值，当最小距离小于阈值时，判定当前帧中的特征点与对应的特征点的集合中最小距离对应的特征点相匹配，否则，判定背景图像中没有与当前帧中的某一特征点相匹配的特征点。

举例而言，在背景图像中寻找与当前帧某一特征点(x,y)相匹配的特征点的过程如下：

1)、将当前帧中特征点(x,y)的方向描述信息依次与背景图像中的各个特征点的方向描述信息做比较，在背景图像中找出所有与特征点(x,y)的方向描述信息相同的特征点的集合Pset＝{P₁,P₂,P₃,...,P_N}。

2)、依次计算Pset中的特征点与特征点(x,y)的边缘描述信息(边缘描述向量)的欧式距离，欧式距离的计算方程如下面的公式所示：

EclidDis(P,P′)＝(v₁-v₁′)²+(v₂-v₂′)²+...+(v_4*N*N-v_4*N*N′)²

其中，若计算出的欧式距离中最小距离EMinDis小于阈值e⁵，则表明特征点(x,y)与Pset中最小距离对应的特征点min_p₁相匹配，记录点对信息；若计算出的欧式距离中最小距离EMinDis大于等于阈值e⁵，则表明背景图像中不存在与特征点(x,y)相匹配的特征点。

遍历当前帧中的每一个特征点，根据前述方法找出当前帧与背景图像相匹配的特征点对。

在步骤S14中，可以采用多种统计途径来从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对。

例如：所有的背景像素都可能发生抖动噪声运动，而只有前景运动目标才会发生正常运动，而前景目标像素显然少于背景目标像素。有鉴于此，可以计算特征点对的曼哈顿距离，统计距离直方图，取直方图中比例最高的特征点对作为有效特征点对。

又如：由抖动噪声引起的背景图像像素运动具有位移距离小的特点，正常前景运动目标的运动速度大，运动方向变化频率低，因此随着时间的推移与背景图像相匹配的特征点对的距离会越来越大。有鉴于此，可以采用将特征点对的集合中每一特征点对的X、Y方向坐标距离绝对值与抖动噪声最大偏移阈值进行比较，将小于阈值的特征点对作为有效特征点对。

具体实施过程为：计算每一对特征点对中两个特征点分别在横坐标X和纵坐标Y上的绝对距离，AbsDisX＝|x-x′|，AbsDisY＝|y-y′|；当在横坐标X和纵坐标Y上的绝对距离AbsDisX和AbsDisY均小于抖动噪声最大偏移阈值(如5)时，判定特征点对为有效特征点对，否则判定特征点对为无效特征点对；提取出所有有效特征点对，组成有效特征点对的集合。

计算有效特征点对的抖动位移矢量为DisVec＝<(x-x′),(y-y′)>，其中特征点(x,y)是当前帧中的像素点，特征点(x′,y′)是背景图像中的像素点。

在步骤S15中，根据场景抖动情况可以采取复杂度不同的计算方法来获取当前帧中全帧像素的抖动位移矢量矩阵。

例如：当场景只存在平移、旋转的抖动变化时，则可以通过有效特征点对计算仿射变换矩阵参数来得到全帧像素的抖动位移矢量，如像专利号为CN201210324508.8的专利文件那样采用RANSAC算法思想和最小二乘法来确定参数，这种方法计算开销较大。

又如：当场景整体只存在平移的抖动变化时，则可以通过计算所有有效特征点对的平均抖动位移矢量来确定全局的抖动位移矢量，即全帧像素的抖动位移矢量。

可选地，当场景整体抖动无规律，不仅存在平移和旋转，同时也存在类投影的变化(如在铁轨环境下的视频监控)时，全帧画面的抖动位移矢量存在以某一点为中心，向周边线性变化的趋势。这种复杂的变化如果用几何变换模型来模拟，则至少需要使用9个参数的3*3变换矩阵，全局计算过程复杂，计算时间长，硬件也难以实现。为此，本实施例优选采用分块后双线性插值的方式来模拟这种复杂抖动位移矢量计算，进而得到当前帧中全帧像素的抖动位移矢量，具体包括以下步骤：

1)、将当前帧分为若干块。例如划分成N行M列(如N＝20，M＝30)的块，当分块越多时，越能精确拟合实际的抖动位移矢量，精确度越高。

2)、根据落入块内的有效特征点对的抖动位移矢量计算块的平均抖动位移矢量。

具体的，判断落入块内的有效匹配点对的数量是否小于阈值；当落入块内的有效匹配点对的数量大于或等于阈值时，计算落入块内的所有有效匹配点对的抖动位移矢量的平均值，将平均值作为块的平均抖动位移矢量；当落入块内的有效匹配点对的数量小于阈值时，标记块为特定块(如标记块的平均抖动位移矢量为0)；搜索与特定块距离最近的两个非特定块(平均抖动位移矢量不为0的块)，以特定块和两个非特定块内中心像素点的坐标作为块坐标，利用两个非特定块的平均抖动位移矢量采用双线性插值算法计算出特定块的平均抖动位移矢量。

例如：计算落入每一块patch_i内的有效特征点对的抖动位移矢量的平均值<MeanDis_i,MeanDis_j>标记为每一块的平均抖动位移矢量，若某一块内落入的有效特征点对的数量小于阈值，则标记该块的平均抖动位移矢量为0。针对所有矢量标记为0的块patch_i，搜索与其距离最近的两个矢量标记不为0的块patch_Z1和patch_Z2，以patch_i、patch_Z1、patch_Z2块内中心像素点的坐标作为块坐标，利用patch_Z1和patch_Z2的平均抖动位移矢量采用双线性插值算法得到块patch_i的平均抖动位移矢量。

3)、对当前帧所有块的平均抖动位移矢量进行Gaussian滤波。

4)、将滤波后的各块的平均抖动位移矢量作为各块内每一个像素的抖动位移矢量，即块内的每一个像素的抖动位移矢量均相等，且等于该块的平均抖动位移矢量，最后提取当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。

当获得全帧像素的抖动位移矢量矩阵后，根据该抖动位移矢量矩阵对当前帧的所有像素进行矫正，据此对视频图像每一帧均采取步骤S11-S15的方式进行矫正，滤除视频图像中的抖动噪声

本发明实施例的视频去抖动方法，通过计算出帧内仅由抖动噪声引起的有效特征点对的抖动位移矢量来获取全帧每个像素的抖动位移矢量，据此对全帧进行矫正，实现了仅通过单帧画面内抖动位移矢量的矫正就达到同时矫正帧间全局抖动和帧内抖动噪声的目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帧间运动无规律可循的抖动，提高了消除抖动噪声的效果。从而，能够有效将引起目标检测中虚检的抖动噪声和正常的物体运动区分开来，仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的低频大距离矢量运动，有效解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于视频偶发的无规律抖动噪声。

本发明实施例采用加权hessian矩阵的特征点提取方式，操作简单，运行速度快，便于硬件实现。同时采用特征点的边缘描述信息和方向描述信息来进行特征点匹配，匹配条件严格，提高了抖动位移矢量计算的准确性。

本发明实施例采用分块和双线性插值的思想来估计全帧图像所有像素点的抖动位移矢量，算法简单快速，同时精确度高。这种建立全帧像素的抖动位移矢量矩阵的方式能够有效的拟合出旋转、平移、仿射等多种复杂的帧内像素偏移问题，具有通用性。

参见图3，提出本发明的视频去抖动方法第二实施例，所述方法包括以下步骤：

S21、获取已完成角点模型初始化的背景图像。

S22、提取当前帧的特征点及其局部描述信息。

S23、根据特征点的局部描述信息对当前帧与背景图像的特征点进行匹配，获得匹配的特征点对的集合。

S24、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算有效特征点对的抖动位移矢量。

S25、根据有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

S26、根据有效特征点对的抖动位移矢量获取当前帧中全帧像素的抖动位移矢量矩阵，根据抖动位移矢量矩阵对当前帧进行矫正。

本实施例与第一实施例的区别是增加了步骤S25。由于本发明实施例为了尽量加速算法运算，而使用简单快速的角点提取算法；为了提高全局抖动位移矢量计算的精确度，而使用了严格的特征点匹配方式；因此匹配的特征点对的召回率(有效特征点对数量/总特征点对数量)在低频信号较多的情况下较低。在此情形下，为了在准确度和召回率之间做一个折中，即平衡准确度和召回率，因此在召回率较低时，增加步骤S25，采用续优化操作来增加有效特征点对。

在步骤S25中，续优化操作的具体过程为：

首先计算有效特征点对的集合中所有有效特征点对的平均抖动位移矢量AvgVec＝<disX,disY>；然后根据平均抖动位移矢量，对当前帧中所有非有效特征点进行偏移变换，如针对当前帧中的特征点P₁(x₁,y₁)，偏移变换后其坐标为Pdis(x1-disX,y1-disY)；最后在背景图像中以坐标点Pdis为中心，搜索searchSize*searchsize大小窗口范围内的所有特征点，如searchsize＝5；若存在方向描述信息与特征点P₁相同且边缘描述信息与特征点P₁的边缘描述信息的欧式距离Edis满足条件的点p_match，则构成有效特征点对<p₁,p_match>，否则背景图像中不存在与特征点P1有效匹配的特征点。其中EMinDis是步骤S23(见步骤S13)中一组欧式距离中的最小距离。

本实施例先通过统计信息来筛选出有效特征点对，又使用续优化的思想来增加有效特征点对，从而通过添加反馈机制来在获取大数量匹配点和匹配点的准确度之间做了均衡。

参见图4，提出本发明的视频去抖动方法第三实施例，所述方法包括以下步骤：

S31、输入一帧视频图像。

S32、读取背景图像初始化标志，判断是否已完成背景图像的角点模型初始化。当初始化标志为未完成初始化，如初始化标志BKinit＝0时，显示未完成背景图像的角点模型初始化，则执行步骤S33；当初始化标志为已完成初始化，如初始化标志BKinit＝1时，显示已完成背景图像的角点模型初始化时，则执行步骤S35，直接获取现成的已完成角点模型初始化的背景图像，该背景图像是前一帧去抖动时所使用的背景图像。

S33、将当前帧作为背景图像，进行角点模型初始化。判断初始化是否成功，当初始化成功时，执行步骤S34；当初始化失败时，返回步骤S31，重新输入下一帧视频图像作为背景图像进行初始化。角点模型初始化的过程详见图2和第一实施例中步骤S11中对角点模型初始化的具体描述，在此不再赘述。

S34、更新初始化标志为已完成初始化。如设置初始化标志BKinit＝1。

S35、获取已完成角点模型初始化的背景图像。

S36、提取当前帧的特征点及其局部描述信息。

S37、根据特征点的局部描述信息对当前帧与背景图像的特征点进行匹配，获得匹配的特征点对的集合。

S38、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算有效特征点对的抖动位移矢量。

本实施例中，步骤S36-S38分别与第一实施例中的步骤S12-S14相同，在此不再赘述。

S39、根据有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

本步骤S39与第二实施例中的步骤S25相同，在此不再赘述。

在某些实施例中，也可以省略步骤S39。

S40、根据有效特征点对的抖动位移矢量获取当前帧中全帧像素的抖动位移矢量矩阵，根据抖动位移矢量矩阵对当前帧进行矫正。

本步骤S40与第一实施例中的步骤S15相同，在此不再赘述。

S41、执行背景图像角点模型更新策略。

在铁路实际监控项目中，视频抖动是不规律的，需要考虑一些复杂情况，判断当前场景是否异常。如是否出现某一火车开过或监控相机被售后维修人员调整后图像出现大的偏移后不会复原的情况，以及镜头偶尔出现覆盖的情况。本实施例实时捕捉上述情况，并适时发出报警信息或/和更新背景图像角点模型。

具体实施过程为：判断当前场景是否异常，当场景变化较大或者镜头被覆盖后，则判定场景异常。当场景异常时，则设置报警信号bAlert＝1，发出报警信息，并设置背景图像角点模型更新信号，如设置背景图像初始化标志BKinit＝0，提醒后续视频帧去抖动时需先进行背景图像的角点模型初始化。当场景正常时，则不进行任何操作，后续视频帧去抖动时可以继续使用本次所使用的背景图像。

其中，当连续5帧视频图像，出现有效特征点对数量占全帧总特征点对数量的比例小于阈值(如8)时，则认定当前场景发生较大的变化(如镜头被移动)，判定场景异常。若当前帧的图像方差比背景图像的图像方差小且差值小于阈值(如8)，并且背景图像与当前帧相匹配的特征点数量小于阈值(如5)或当前帧的特征点数量小于阈值(如10)时，则认定镜头被覆盖，判定场景异常。

本实施例通过设置背景图像角点模型更新策略，当检测到当前场景异常时，如场景发生较大变化或镜头被覆盖时，则发出报警信息和设置背景图像角点模型更新信号，使得后续执行去抖动操作时重新进行角点模型初始化，提高了自适应能力。

参见图5，提出本发明的视频去抖动装置第一实施例，所述装置包括初始化模块10、匹配模块20、筛选模块30和矫正模块40，其中：

初始化模块10：用于获取已完成角点模型初始化的背景图像。

背景图像是视频去抖动的参考图像，正常情况下初始化模块10是将视频去抖动功能开始运行后的初始帧作为背景图像进行角点模型初始化；后续帧去抖动过程中，当场景没有发生异常变化时，则可以直接沿用前一帧去抖动时使用的背景图像；当场景发生异常变化时，后续帧去抖动时就需要重新输入一帧图像作为背景图像进行角点模型初始化。

角点模型初始化即是对视频图像进行信息提取来建立角点模型的过程，初始化操作要一直进行直到初始化成功为止，只有初始化完成后，后面的实时视频帧才能够完成矫正处理。初始化模块10进行角点模型初始化的过程如图2所示，在此不再赘述。

匹配模块20：用于提取当前帧的特征点及其局部描述信息，根据特征点的局部描述信息对当前帧与背景图像的特征点进行匹配，获得匹配的特征点对的集合。

如图6所示，匹配模块20包括特征提取单元21、第一匹配单元22和第二匹配单元23，其中：

特征提取单元21，用于提取当前帧的特征点及其局部描述信息。优选地，特征提取单元21通过计算像素点的加权hessian矩阵行列式值的方式来进行特征点提取；

第一匹配单元22，用于针对当前帧中每一个特征点，从背景图像中找出与当前帧的特征点的方向描述信息相同的特征点的集合；

第二匹配单元23，用于根据特征点的边缘描述信息计算欧式距离，根据计算结果从特征点的集合中找出与当前帧的特征点相匹配的特征点。

具体的，第二匹配单元23根据边缘描述信息计算当前帧中的各特征点分别与对应的特征点的集合中的各特征点的欧式距离；针对每一特征点的集合，从计算出的欧式距离中找出最小距离，判断最小距离是否小于阈值，当最小距离小于阈值时，判定当前帧中的特征点与对应的特征点的集合中最小距离对应的特征点相匹配，否则，判定背景图像中没有与当前帧中的某一特征点相匹配的特征点。

筛选模块30：用于从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算有效特征点对的抖动位移矢量。

具体的，筛选模块30计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定特征点对为有效特征点对；提取出所有有效特征点对，组成有效特征点对的集合。最后计算集合中每一个有效特征点对的抖动位移矢量。

进一步地，筛选模块30还用于根据有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对，并计算其抖动位移矢量。从而实现平衡匹配的特征点对的准确度和召回率。

矫正模块40：用于根据有效特征点对的抖动位移矢量获取当前帧中全帧像素的抖动位移矢量矩阵，根据抖动位移矢量矩阵对当前帧进行矫正。

如图7所示，矫正模块40包括计算单元41、滤波单元42、提取单元43和矫正单元44，其中：

计算单元41，用于将当前帧分为若干块，根据落入块内的有效特征点对的抖动位移矢量计算块的平均抖动位移矢量；

滤波单元42，用于对当前帧所有块的平均抖动位移矢量进行Gaussian滤波；

提取单元43，用于将滤波后的各块的平均抖动位移矢量作为各块内每一个像素的抖动位移矢量，提取当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵；

矫正单元44，用于根据全帧像素的抖动位移矢量矩阵对当前帧的所有像素进行矫正。

本发明实施例的视频去抖动装置，通过计算出帧内仅由抖动噪声引起的有效特征点对的抖动位移矢量来获取全帧每个像素的抖动位移矢量，据此对全帧进行矫正，实现了仅通过单帧画面内抖动位移矢量的矫正就达到同时矫正帧间全局抖动和帧内抖动噪声的目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帧间运动无规律可循的抖动，提高了消除抖动噪声的效果。从而，能够有效将引起目标检测中虚检的抖动噪声和正常的物体运动区分开来，仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的低频大距离矢量运动，有效解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于消除视频偶发的无规律抖动噪声。

本发明实施例采用加权hessian矩阵的特征点提取方式，操作简单，运行速度快，便于硬件实现。同时采用特征点的边缘描述信息和方向描述信息来进行特征点匹配，匹配条件严格，提高了抖动位移矢量计算的准确性。

本发明实施例采用分块和双线性插值的思想来估计全帧图像所有像素点的抖动位移矢量，算法简单快速，同时精确度高。这种建立全帧像素的抖动位移矢量矩阵的方式能够有效的拟合出旋转、平移、仿射等多种复杂的帧内像素偏移问题，具有通用性。

本实施例通过先利用统计信息来筛选出有效特征点对，再使用续优化的思想来增加有效特征点对，从而通过添加反馈机制来在获取大数量匹配点和匹配点的准确度之间做了均衡。

参见图8，提出本发明的视频去抖动装置第二实施例，本实施例在第一实施例的基础上增加了一策略模块50。

本实施例中，初始化模块10用于：读取背景图像初始化标志，判断是否已完成背景图像的角点模型初始化；当初始化标志为未完成初始化时，将当前输入的视频帧作为背景图像，进行角点模型初始化，当初始化失败时继续将下一帧视频图像作为背景图像进行初始化，当初始化成功后更新初始化标志为已完成初始化，获取已完成角点模型初始化的背景图像；当初始化标志为已完成初始化时，直接获取已完成角点模型初始化的背景图像。

策略模块50用于：当矫正模块对当前帧进行矫正后，执行背景图像角点模型更新策略。

具体的，策略模块50判断当前场景是否异常，当场景变化较大或者镜头被覆盖后，则判定场景异常；当场景异常时，则发出报警信息，并设置背景图像角点模型更新信号，如设置背景图像初始化标志BKinit＝0，提醒后续视频帧去抖动时需先进行背景图像的角点模型初始化。当场景正常时，则不进行任何操作。

其中，当连续5帧视频图像，出现有效特征点对数量占全帧总特征点对数量的比例小于阈值(如8)时，策略模块50则认定当前场景发生较大的变化(如镜头被移动)，判定场景异常。若当前帧的图像方差比背景图像的图像方差小且差值小于阈值(如8)，并且背景图像与当前帧相匹配的特征点数量小于阈值(如5)或当前帧的特征点数量小于阈值(如10)时，策略模块50则认定镜头被覆盖，判定场景异常。

本实施例通过设置背景图像角点模型更新策略，当检测到当前场景异常时，如场景发生较大变化或镜头被覆盖时，则发出报警信息和设置背景图像角点模型更新信号，使得后续执行去抖动操作时重新进行角点模型初始化，提高了自适应能力。

应当理解，上述实施例提供的视频去抖动装置与视频去抖动方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (11)

1.一种视频去抖动方法，其特征在于，包括以下步骤：

获取已完成角点模型初始化的背景图像；

提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；其中，所述局部描述信息包括方向描述信息和边缘描述信息，所述根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配包括：针对当前帧中每一个特征点，从所述背景图像中找出与所述当前帧的特征点的方向描述信息相同的特征点的集合；根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集合中找出与所述当前帧的特征点相匹配的特征点；

从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；

根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。

2.根据权利要求1所述的视频去抖动方法，其特征在于，所述从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合包括：

计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；

当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点对为有效特征点对；

提取出所有有效特征点对，组成有效特征点对的集合。

3.根据权利要求1所述的视频去抖动方法，其特征在于，所述根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵包括：

将所述当前帧分为若干块；

根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移矢量；

对所述块的平均抖动位移矢量进行Gaussian滤波；

将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢量，提取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。

4.根据权利要求1-3任一项所述的视频去抖动方法，其特征在于，所述根据所述抖动位移矢量矩阵对所述当前帧进行矫正的步骤之后还包括：

执行背景图像角点模型更新策略。

5.根据权利要求1-3任一项所述的视频去抖动方法，其特征在于，所述计算所述有效特征点对的抖动位移矢量的步骤之后还包括：

根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

6.一种视频去抖动装置，其特征在于，包括：

初始化模块，用于获取已完成角点模型初始化的背景图像；

匹配模块，用于提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；其中，所述局部描述信息包括方向描述信息和边缘描述信息，所述匹配模块包括：第一匹配单元，用于针对当前帧中每一个特征点，从所述背景图像中找出与所述当前帧的特征点的方向描述信息相同的特征点的集合；第二匹配单元，用于根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集合中找出与所述当前帧的特征点相匹配的特征点；

筛选模块，用于从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；

矫正模块，用于根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。

7.根据权利要求6所述的视频去抖动装置，其特征在于，所述筛选模块用于：

计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点对为有效特征点对；提取出所有有效特征点对，组成有效特征点对的集合。

8.根据权利要求6所述的视频去抖动装置，其特征在于，所述矫正模块包括：

计算单元，用于将所述当前帧分为若干块，根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移矢量；

滤波单元，用于对所述块的平均抖动位移矢量进行Gaussian滤波；

提取单元，用于将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢量，提取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。

9.根据权利要求6-8任一项所述的视频去抖动装置，其特征在于，所述装置还包括策略模块，所述策略模块用于：执行背景图像角点模型更新策略。

10.根据权利要求6-8任一项所述的视频去抖动装置，其特征在于，所述筛选模块还用于：根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。

11.根据权利要求6-8任一项所述的视频去抖动装置，其特征在于，所述初始化模块用于：对背景图像进行角点模型初始化，当提取所述背景图像的预特征点时，通过计算所述背景图像中每一像素点的加权hessian矩阵行列式值来进行预特征点提取，像素点坐标(x,y)处的加权二维hessian矩阵公式为：

其中，I_xx(x,y)是所述像素点(x,y)的X方向二阶导数，I_xy(x,y)是所述像素点(x,y)的二阶混合偏导数，I_yy(x,y)是所述像素点(x,y)的Y方向二阶导数，w₁₁、w₁₂、w₂₁、w₂₂是自定义权重。