CN102799883B - 一种从视频图像中提取运动目标的方法及装置 - Google Patents

Abstract

本发明公开一种从视频图像中提取运动目标的方法及装置。本发明从视频图像中提取运动目标的方法及装置，先利用Harris角点检测算法检测视频图像的角点，然后利用单位区域角点滤除背景角点提取出运动目标区域，然后只在运动目标角点区域利用光流法检测运动目标。本发明消除了背景扰动、光照等因素的影响，同时因为只在小区域范围内运用光流法降低了运算的规模，极大地提高了运动目标提取的速度和效率。

Description

一种从视频图像中提取运动目标的方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种从视频图像中提取运动目标的方法及装置。

背景技术

智能视频分析是当前安防行业发展的一个重要方向，智能视频分析充分发挥了监控视频实时性和主动性，实时分析、跟踪、判别监控对象，并给出相应的报警信息，其可以为相关部门的决策和正确行动提供支持。

运动目标的提取是智能视频分析的基础，是实现实时分析、跟踪以及判别的前提，作为智能视频分析的关键技术，目前已有的运动目标提取技术都存在一定的缺陷，主要体现在三个方面：1）难以保证正确检测到运动目标；2）难以保证检测的实时性；3）难以保证运动目标的自动跟踪。

具体来说，运动目标的提取技术中研究最多的是背景减除法，光流法以及CamShift（Continuously Adaptive Mean-SHIFT）算法，但是这些方法都存在这样或那样的不足。

背景减除法是运动目标提取中最直接、最简单的一种方法，其基本原理是将当前帧图像与背景帧图像做减法运算，将相减的结果中的每一个像素值和预先设定的阈值进行比较，如果这个像素的值大于阈值则认为该点是前点，否则认为是背景点，此方法的主要缺点是要求要有一幅背景图像，而且随着背景图像的变化，可能会出现许多伪运动目标，影响运动目标的检测效果。采用光流法对视频图像的运动目标进行检测的问题主要在于计算耗时，实时性和实用性都较差。而CamShift算法的主要不足在于无法实现运动目标的自动检测，必须要手动选择需要跟踪的目标。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种从视频图像中提取运动目标的方法及装置，旨在解决现有运动目标提取技术中检测效果不佳、实时性差、无法实现自动检测的问题。

本发明的技术方案如下：

一种从视频图像中提取运动目标的方法，其中，包括步骤：

A、采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

B、采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

C、采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标。

所述的从视频图像中提取运动目标的方法，其中，所述步骤A中的视频图像的像素点的灰度变化用                                                表示，其表达式为：

，

其中，表示视频图像中的第个像素点，、分别表示第个像素点x方向和y方向上的一阶梯度， 表示第个像素点的高斯窗口函数，表示第个像素点水平方向和垂直方向的变化量，表示像素点平移的灰度，表示高阶无穷小。

所述的从视频图像中提取运动目标的方法，其中，所述步骤A具体包括：

通过角点响应函数R提取视频图像中的角点，当像素点的R大于零时，则判定此像素点为角点，其中，，，为矩阵M的两个特征值，k=0.04，矩阵M如下式表示：

。

所述的从视频图像中提取运动目标的方法，其中，所述步骤B具体包括：

B1、将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；

B2、获取相邻两帧图像在同一坐标处的图像块中的差分角点，，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；

B3、将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；

B4、对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域。

所述的从视频图像中提取运动目标的方法，其中，所述步骤C具体包括：

C1、采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

C2、通过光流约束方程获得所述u及v，其中，，，，，，，I为像素点在时刻t的灰度值；

C3、设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标。

所述的从视频图像中提取运动目标的方法，其中，所述步骤C3中的分隔阀值范围为至，当所述速度矢量满足下式时，，则判定相应的像素点组成的运动目标为前景运动目标，其中，所述为，k为前景运动目标的最小光流速度，为前景运动目标的最大光流速度。

所述的从视频图像中提取运动目标的方法，其中，所述k满足下式：。

一种从视频图像中提取运动目标的装置，其中，包括：

角点获取模块，用于采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

运动目标区域获取模块，用于采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

运动目标提取模块，用于采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标；

所述角点获取模块、运动目标区域获取模块、运动目标提取模块依次连接。

所述的从视频图像中提取运动目标的装置，其中，所述运动目标区域获取模块具体包括：

分块单元，用于将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；

差分角点获取单元，用于获取相邻两帧图像在同一坐标处的图像块中的差分角点，

，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；

角点区分单元，用于将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；

运动目标区域获取单元，用于对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

所述分块单元、差分角点获取单元、角点区分单元、运动目标区域获取单元依次连接。

所述的从视频图像中提取运动目标的装置，其中，所述运动目标提取模块具体包括：

速度矢量赋予单元，用于采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

速度矢量获取单元，用于通过光流约束方程获得所述u及v，其中，，，，，，，I为像素点在时刻t的灰度值；

前景运动目标提取单元，用于设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标；

所述速度矢量赋予单元、速度矢量获取单元、前景运动目标提取单元依次连接。

有益效果：本发明从视频图像中提取运动目标的方法及装置，先利用Harris角点检测算法检测视频图像的角点，然后利用单位区域角点滤除背景角点提取出运动目标区域，然后只在运动目标区域利用光流法检测运动目标。本发明消除了背景扰动、光照等因素的影响，同时因为只在小区域范围内运用光流法降低了运算的规模，极大地提高了运动目标提取的速度和效率。

附图说明

图1为本发明从视频图像中提取运动目标的方法较佳实施例的流程图。

图2为图1所示方法中提取运动目标区域的具体流程图。

图3为图1所示方法中提取运动目标的具体流程图。

图4为本发明从视频图像中提取运动目标的装置较佳实施例的结构框图。

图5为图4所示装置中运动目标区域获取模块的结构框图。

图6为图4所示装置中运动目标提取模块的结构框图。

具体实施方式

本发明提供一种从视频图像中提取运动目标的方法及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明从视频图像中提取运动目标的方法，如图所示，包括步骤：

S101、采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点任意方向的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

S102、采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

S103、采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标。

在步骤S101中，首先采用Harris角点检测算法来计算出视频图像中的像素点任意方向的灰度变化，以检测角点和边缘，其主要是通过自相关矩阵和微分算子来检测计算的。

具体来说，视频图像的像素点任意方向的灰度变化用表示，其表达式为（1）：（1），其中，表示视频图像中的第个像素点，、分别表示第个像素点x方向和y方向上的一阶梯度， 表示第个像素点的高斯窗口函数，表示第个像素点水平方向和垂直方向的变化量，表示像素点平移的灰度，表示高阶无穷小。关于Harris角点检测算法也可参考现有技术。

而对于微小变化，灰度变化近似为式（2）：（2），其中M是2*2对称矩阵，如式（3），本发明中，还引入角点响应函数R， R的表达式为：（4），其中， ，为矩阵M的两个特征值，k为常数，一般取0.04。角点的判断原理为：当某个区域矩阵很大，而很小时，此时R较大，例如R大于零时，就判定此处为角点。

在步骤S102中，获取了视频图像的角点之后，该角点包括了背景角点和前景角点，本步骤就是解析出角点的背景角点和前景角点，进而减少后续的运动目标提取的运算规模，提高检测速度。在前述采用Harris角点检测算法提取角点过程中，由于Harris角点检测算法在一定程度上对光照的影响不明显，所以在一段时间内的背景角点的位置和数目不会发生太大的变化，基于这一特点，本发明采用单位区域角点数帧差法对角点进行滤波处理，提取视频图像的运动目标区域。单位区域角点数帧差法的基本原理是通过对比视频图像中相邻帧图像的同区域角点数的差别，来判断属于前景角点还是背景角点。如图2所示，本步骤可具体细化为以下步骤：

S201、将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；例如将每一帧图像分成均匀的(此处为行块数)*（此处为列块数）的长方形的图像块；

S202、获取相邻两帧图像在同一坐标处的图像块中的差分角点，如下式（5）：，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；此步骤即求取相邻帧图像在同一块区域的角点数目的差分角点，表示图像块的坐标值；

S203、将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；在这里设定的预定阀值T是一个经验值，可根据实际情况，设置一个合适的预定阀值，如果大于等于设定的预定阀值，则判定该图像块中的角点属于前景角点，否则则为背景角点；

S204、对所述角点进行滤波处理，提取出角点中的前景角点，以获取视频图像的运动目标区域。根据所区分的背景角点和前景角点，通过滤波处理，即可获得消除了背景角点的前景角点，最后得到少量的符合实际情况的运动目标区域。

在步骤S103中，提取完视频图像的运动目标区域之后，需要从运动目标区域中提取运动目标，本发明通过采用光流法来实现上述过程，光流法也称L_K（Lucas-Kanade）光流法，光流法的基本原理为：给图像中的每一个像素点赋予一个速度矢量，形成一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，根据各个像素点的速度矢量特征，对图像进行动态分析，当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和领域背景速度矢量不同，从而检测出运动目标及位置。下面对提取运动目标的过程进行详细说明，如图3所示，其具体包括步骤：

S301、采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

S302、通过光流约束方程获得所述u及v，其中，，，，，，I为像素点在时刻t的灰度值；像素点表示某一点在图像平面上的投影，该点在时刻的灰度值为，在时刻运动到，该点此刻的灰度值为，因为在很短的时间间隔内灰度值保持不变，于是得到光流约束方程（6）：，将上式左边泰勒展开，并令，得到此时的光流约束方程（7）： ，式中，，，，，其中的、、的计算相对而言比较简单。实际上，在本发明中，光流法的主要作用就是通过引入其它的约束方程联立方程求解光流约束方程中的、。

本发明中，采用光流法求解u、v，其核心思想是：假设在一个小的空间领域上的光流是恒定的，接着用加权最小二乘法估计光流，光流的估计误差公式为（8）： ，其中表示的是窗口权重函数，它使得领域中心区域对约束施加的影响比外层区域要大。式（8）的解是（9），其中，在t时刻的n个点，， ，，本发明的光流法采用加窗加权的方法处理光流，计算简单，光流估计的精度也较高。

S303、设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标。要提取出前景运动目标，只需要对u、v分量进行约束，本发明中，针对背景光流与前景光流在速度上的区别，本发明采用阈值分隔提取的方法来提取前景运动目标，当、分量满足式（10）即为前景运动目标， （10），分隔阈值范围的设定：设前景运动目标的最小光流速度为，那么则要满足式，则：或者，其中即为值的最小值，为前景运动目标的最大光流速度，为前景运动目标的最小光流速度。

光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动目标。

基于上述方法，本发明还提供一种从视频图像中提取运动目标的装置，如图4所示，其包括：

角点获取模块100，用于采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

运动目标区域获取模块200，用于采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

运动目标提取模块300，用于采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标；

所述角点获取模块100、运动目标区域获取模块200、运动目标提取模块300依次连接。

进一步，如图5所示，所述运动目标区域获取模块200具体包括：

分块单元210，用于将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；

差分角点获取单元220，用于获取相邻两帧图像在同一坐标处的图像块中的差分角点，，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；

角点区分单元230，用于将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；

运动目标区域获取单元240，用于对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域。

进一步，如图6所示，所述运动目标提取模块300具体包括：

速度矢量赋予单元310，用于采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

速度矢量获取单元320，用于通过光流约束方程获得所述u及v，其中，，，，，，，I为像素点在时刻t的灰度值；

前景运动目标提取单元330，用于设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标。关于上述各模块、单元的功能作用前面已有详述，故不再赘述。

本发明还与背景减除法进行对比，来说明本发明的运动目标提取的效果，因CamShift算法不能自动检测运动目标，故不做对比，具体结果参见表1：

表1 运动目标提取速度对比

图像大小	帧数	平均每帧处理时间/ms
					背景减除法  本发明
（320*240）	293	40        41

从对比结果看，本发明的提取方法与背景减除法的处理速度相差不大，但是从最后的提取效果看，本发明对感兴趣区域的运动目标提取准确性明显较高，抗干扰能力也强。

本发明从视频图像中提取运动目标的方法及装置，先利用Harris角点检测算法检测视频图像的角点，然后利用单位区域角点滤除背景角点提取出运动目标区域，然后只在运动目标角点区域利用光流法检测运动目标。本发明消除了背景扰动、光照等因素的影响，同时因为只在小区域范围内运用光流法降低了运算的规模，极大地提高了运动目标提取的速度和效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种从视频图像中提取运动目标的方法，其特征在于，包括步骤：

A、采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

B、采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

C、采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标;

其步骤B具体包括：

B1、将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；

B2、获取相邻两帧图像在同一坐标处的图像块中的差分角点                                                ，，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；

B3、将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；

B4、对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域;

其步骤C具体包括：

C1、采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

C2、通过光流约束方程获得所述u及v，其中，，，，，，，I为像素点在时刻t的灰度值；

C3、设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标。

2.根据权利要求1所述的从视频图像中提取运动目标的方法，其特征在于，所述步骤A中的视频图像的像素点的灰度变化用表示，其表达式为：

，

其中，表示视频图像中的第个像素点，、分别表示第个像素点x方向和y方向上的一阶梯度， 表示第个像素点的高斯窗口函数，表示第个像素点水平方向和垂直方向的变化量，表示像素点平移的灰度，表示高阶无穷小。

3.根据权利要求2所述的从视频图像中提取运动目标的方法，其特征在于，所述步骤A具体包括：

通过角点响应函数R提取视频图像中的角点，当像素点的R大于零时，则判定此像素点为角点，其中，，，为矩阵M的两个特征值，k=0.04，矩阵M如下式表示：

。

4.根据权利要求1所述的从视频图像中提取运动目标的方法，其特征在于，所述步骤C3中的分隔阀值范围为至，当所述速度矢量满足下式时，，则判定相应的像素点组成的运动目标为前景运动目标，其中，所述为，k为前景运动目标的最小光流速度，为前景运动目标的最大光流速度。

5.根据权利要求4所述的从视频图像中提取运动目标的方法，其特征在于，所述k满足下式：。

6.一种从视频图像中提取运动目标的装置，其特征在于，包括：

角点获取模块，用于采用Harris角点检测算法通过自相关矩阵和微分算子获取视频图像的像素点的灰度变化，并根据获取的视频图像的像素点的灰度变化提取视频图像的角点；

运动目标区域获取模块，用于采用单位区域角点数帧差法将视频图像中的相邻帧图像的角点进行对比，解析出所述角点中的背景角点和前景角点，并对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

运动目标提取模块，用于采用光流法计算出所述运动目标区域的每一像素点的速度矢量，并设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则提取相应的像素点组成的运动目标；

所述角点获取模块、运动目标区域获取模块、运动目标提取模块依次连接;

其运动目标区域获取模块具体包括：

分块单元，用于将视频图像中的每一帧图像进行分块处理，得到均匀的多个长方形的图像块；

差分角点获取单元，用于获取相邻两帧图像在同一坐标处的图像块中的差分角点，

，其中矩阵表示第n帧图像在坐标处的角点数，表示第n+1帧图像在坐标处的角点数；

角点区分单元，用于将所述差分角点与预定阀值T进行比较，当所述差分角点大于等于预定阀值T时，则该图像块中的角点为前景角点，当所述差分角点小于预定阀值T时，则该图像块中的角点为背景角点；

运动目标区域获取单元，用于对所述角点进行滤波处理，提取出角点中的前景角点，并根据提取出角点中的前景角点获取视频图像的运动目标区域；

所述分块单元、差分角点获取单元、角点区分单元、运动目标区域获取单元依次连接;

其运动目标提取模块具体包括：

速度矢量赋予单元，用于采用光流法对所述运动目标区域的像素点赋予x方向速度矢量u及y方向速度矢量v；

速度矢量获取单元，用于通过光流约束方程获得所述u及v，其中，，，，，，I为像素点在时刻t的灰度值；

前景运动目标提取单元，用于设置一预定的分隔阀值范围，当所述速度矢量满足所述分隔阀值范围时，则相应的像素点组成的运动目标为前景运动目标，并提取所述前景运动目标；

所述速度矢量赋予单元、速度矢量获取单元、前景运动目标提取单元依次连接。