CN107992099A - 一种基于改进帧差法的目标运动视频跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种基于改进帧差法的目标运动视频跟踪方法及系统。该方法具体包括以下内容：步骤S1：系统通过视频采集设备获取视频信息流，进行图像处理；步骤S2：利用视频差异信息，用改进帧差算法提取出所跟踪目标的具体位置；步骤S3：用目标中心点权重计算方法，计算出跟踪目标中心点坐标；步骤S4：根据目标中心点位置与视频中心位置，以及相应的云台参数，计算出云台转移方向和时间；步骤S5：系统发送云台控制指令，确定不同方向的转动时间，通过云台控制摄像头的转动，将目标置于中心视频区。实现了在指定目标运动时，利用视频的方式进行跟踪的目的。

Description

一种基于改进帧差法的目标运动视频跟踪方法及系统

技术领域

本发明涉及视频运动跟踪领域，特别是涉及了一种基于改进帧差法的目标运动视频跟踪方法及系统。

背景技术

随着网络技术的飞速发展，目前视频监控系统遍布于各大、中城市。但实际应用中大部分监控要靠人工来完成，要人工不停地查看视频，使得监控人容易疲惫，特别是多路监控视频时，难以及时发现异常并及时采取应急措施。因此需要研究智能化的视频监控系统来实现机器自动监控。

智能视频监控不需要人为干预，能自动分析、识别物体，能在异常情况发生时及时发出警报，有效地协助监控人员处理异常情况。因此智能视频监控系统得到了较为广泛的应用，如大型的活动（如大型运动会，大型演唱会）、家庭安防、小区安防、大中企业、大厦、桥梁、隧道、火车站等。系统已经深入到生活的方方面面，给我们的生活带来更好的便捷性和安全性。有非常广阔的市场前景。其中基于视频图像进行目标跟踪技术，给智能视频监控带来了更大的应用前景，为智能技术的深入和灵活应用打下良好的基础。目前的指定目标跟踪技术，在异常情况下视频跟踪联动操作存在不足，系统跟踪和定位的范围和方式受到限制，对多目标跟踪时的策略不足，这需要更深入的应用研究。

目前，随着高端嵌入式处理器产品不断提高，嵌入式芯片的处理速度、功率效率、图像处理和网络连接等关键指标都有非常大的提升。这样直接利用终端设备就可以完成监控图像的实时显示和智能处理，使智能产品有更大的实时性、灵活性及可交互性，使人们可以很方便地利用多种方法对监控目标进行管理， 故此我们提出了一种基于改进帧差法的目标运动视频跟踪方法，为实现智能视频的深入应用打下基础。

发明内容

有鉴于此，本发明目的是提供一种基于改进帧差法的目标运动视频跟踪方法及系统，实现对指定目标的实时、自动跟踪，实现对跟踪目标更多方式的监测和管理。

本发明为解决上述问题采用的技术方案是：一种基于改进帧差法的目标运动视频跟踪方法，其包括以下步骤：

步骤S1：提供一系统服务器端，其包括视频采集压缩模块，网络传输模块，云台控制模块；该系统服务器端通过视频采集设备获取视频信息流，进行图像处理，确定当前视频中是否有移动目标，当存在有指定的移动目标时进行步骤S2；

步骤S2：对存在指定移动目标的视频，利用视频差异信息，用改进帧差算法提取出所跟踪目标的具体位置区；

步骤S3：将经由步骤S2获取的移动目标区，用目标中心点权重计算方法，计算出跟踪目标中心点坐标；

步骤S4：利用经由步骤S3获取的中心点位置与视频中心位置，以及相应的云台参数，计算出云台转移方向和时间；

步骤S5：将利用经由步骤S4获取的不同方向云台转动时间，由系统服务器端发送给云台，通过该云台控制摄像头的转动，将目标置于中心视频区。

进一步地，所述步骤S1中系统服务器端直接连接视频采集设备，通过视频采集软件模块，读取摄像头的视频图像信息，获取实时的图像数据流，对现时图像实时处理，确定当前视频中是否有移动目标，当存在有指定的移动目标时，实施运动跟踪过程。

进一步地，所述步骤S2中系统服务器端对传统的三帧差分法进行改进，将帧间差分法和Sobel边沿检测法结合，提出一种改进帧差算法。通过相邻帧相减并进行“或”运算，将该结果与经过Sobel边沿检测的结果相“与”运算，较完整地检测出运动目标。具体方法为：

步骤S21：分别获取视频图像的第N帧、第N+1帧和第N+2帧图像，将这三帧图像转化为灰度图像，分别作简单的平滑滤波，以去除噪声干扰。

步骤S22：将相邻的前后两帧图像相减，之后进行膨胀处理并填充轮廓封闭区域获得图像D1和D2。将第N+1帧进行Sobel边沿检测，并经过膨胀和填充轮廓封闭区域后获得边沿检测图像Image2。

步骤S23：将步骤S22获取的中间结果D1和D2图像进行相“或”运算，得到Image1，并将Image1和Image2图像进行相“与”操作得到Image3。

步骤S24：将步骤S23的结果Image3进行面积检测，去除面积小于指定阈值的连通区域。

步骤S25：将步骤S24处理后的结果再次进行平滑滤波，去除干扰，得到最终较为完整的运动区域Image。

进一步地，所述步骤S3中系统采用步骤S2中获取的目标图像，用目标中心点权重计算法得到多个目标中心点坐标。中心点具体计算方法如下：

步骤S31：累积计算目标图像所有像素值，即像素点总个数。

步骤S32：对图像水平投影。计算在图像目标像素点在X轴上每行的投影值。

步骤S33：加权累加水平投影点。将步骤S32获得的每行投影值乘以对应X坐标值得到的值，并进行累加。

步骤S34：计算水平中心点。将步骤S33获取的加权累加值除以步骤S31物体总像素值，结果就为图像的水平中心点坐标x。

步骤S35：对图像垂直投影。计算在图像目标像素点在Y轴上每行的投影值。

步骤S36：加权累加垂直投影点。将步骤S35获得的每行投影值乘以对应Y坐标值得到的值，并进行累加。

步骤S37：计算垂直中心点。将步骤S36获取的加权累加值除以步骤S31物体总像素值，结果就为图像的垂直中心点坐标y 。

进一步地，所述步骤S4中，系统根据目标中心点的位置和视频图像中心点的位置，计算云台转动方向和转动角度。首先根据运动物体的中心点和整幅图像的中心位置计算出距离差。然后根据距离差来计算云台向指定方向转动的时间，转动时间越长，云台转动的角度越大。假设该图为摄像头捕获到的一幅图像，图像的分辨率为Width*Height。假设运动目标中心点坐标为点A（x1，y1），图像中点坐标为点O（x，y）。云台转动的目的是：转动后A点位于中心O点位置，即控制云台转动，以达到将运动物体置于监控区域的中心位置的目的。具体步骤如下。

步骤S41：首先计算出A点和O点的距离差dx，dy；

步骤S42：统计云台水平扫过一幅图像（Width）的时间TWidth，垂直扫过一幅图像（Height）的时间为THeight；

步骤S43：计算云台水平和垂直转动时间，使A点位于中心点O:

云台水平转动时间t-horizontal=|dx| / Width * TWidth

云台垂直转动时间t-vertical=|dy| / Height * THeight

步骤S44：根据dx和dy的正负来控制云台转动方向.

进一步地，所述步骤S5中，系统通过发送指令控制云台的转动时间，实现云台摄像头的实时跟随目标的目的。由以上的步骤S4中，可知云台水平和垂直转动的方向和时间。系统发送对应的水平和垂直转动方向的云台控制命令，并且在水平和垂直转动时间到之后发送云台停止命令，控制云台转动的角度，使运动目标置于监控区域中心位置的目的。

本发明还提供一种基于改进帧差法的目标运动视频跟踪系统，其特征在于：包括系统服务器端及客户端；所述系统服务器端包括视频采集压缩模块、网络传输模块、云台控制模块；所述视频采集压缩模块实现原始视频图像数据的采集和压缩功能，在后继网络传输时将压缩过的图像数据传送到客服端进行后续的处理；所述网络传输模块负责双向传输服务器和客户端的数据请求和命令请求，服务器和客户端采用TCP/IP协议传输数据；云台控制模块将摄像头搭载在云台上，控制云台上下左右转动，从而间接改变摄像头监控区域；客户端包括运动跟随模块和云存储模块；运动跟随模块是指当监控区域出现运动目标，应用程序通过JNI技术调用视频算法检测运动目标，判断运动目标在监控画面的位置，发送云台控制命令到服务器，控制云台转动，实时跟随运动目标；云存储模块使用云存储方式，将主要的视频，图像数据存储在云空间。

本方法可以适用多种场合。当用户上班且家中无人时，当监控区域出现运动目标或者有人闯入的时候，系统应用程序通过用改进帧差算法检测出运动目标并标记出来，然后计算出运动目标中心点，判断运动目标在监控画面的位置，之后发送云台控制命令到服务器，控制云台转动，以将运动目标置于监控画面的中间位置，实时跟随运动目标。同时，需要时可以开启智能报警，以及进行现场图像抓拍，实现更深入的监控管理功能。

附图说明

图1为本发明方法的流程框图。

图2为本发明实施例的应用系统框架示意图。

图3为改进帧差算法计算过程。

图4为中心点计算过程。

图5为本发明运动跟踪实现示意图。

图6为运动跟踪流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供一种基于改进帧差法的目标运动视频跟踪方法及系统，流程框图如图1所示。图2为本实例实施的系统结构图。一种基于改进帧差法的目标运动视频跟踪系统，其特征在于：包括系统服务器端及客户端；所述系统服务器端包括视频采集压缩模块、网络传输模块、云台控制模块；所述视频采集压缩模块实现原始视频图像数据的采集和压缩功能，在后继网络传输时将压缩过的图像数据传送到客服端进行后续的处理；所述网络传输模块负责双向传输服务器和客户端的数据请求和命令请求，服务器和客户端采用TCP/IP协议传输数据；云台控制模块将摄像头搭载在云台上，控制云台上下左右转动，从而间接改变摄像头监控区域；客户端包括运动跟随模块和云存储模块；运动跟随模块是指当监控区域出现运动目标，应用程序通过JNI技术调用视频算法检测运动目标，判断运动目标在监控画面的位置，发送云台控制命令到服务器，控制云台转动，实时跟随运动目标；云存储模块使用云存储方式，将主要的视频，图像数据存储在云空间，节省本地存储空间，方便随时查看。

基于改进帧差法的目标运动视频跟踪方法具体包括以下步骤：

步骤S1：系统通过视频采集设备获取视频信息流，进行图像处理，确定当前视频中是否有移动目标，进行处理；

步骤S2：对存在指定移动目标的视频，利用视频差异信息，用改进帧差算法提取出所跟踪目标的具体位置区；

步骤S3：将经由步骤S2获取的移动目标区，用目标中心点权重计算方法，计算出跟踪目标中心点坐标；

步骤S4：利用经由步骤S3获取的中心点位置与视频中心位置，以及相应的云台参数，计算出云台转移方向和时间；

步骤S5：将利用经由步骤S4获取的不同方向云台转动时间，由系统发送给云台，通过云台控制摄像头的转动，将目标置于中心视频区。

在本实施例中，所述步骤1中系统直接连接视频采集设备，通过视频采集压缩模块，读取摄像头的视频图像信息，获取实时的图像数据流。当检测到相邻视频中有明显的图像变化时，说明有运动目标存在，传送视频流到客户控制终端端，对现时图像实时分解检测，准备提取运动目标。

在本实施例中，所述步骤2中系统用将帧间差分法和Sobel边沿检测法结合，通过相邻帧相减并进行“或”运算，将该结果与经过Sobel边沿检测的结果相“与”运算，较完整地检测出运动目标。具体方法实现为：

步骤S21：分别获取视频图像的第N帧、第N+1帧和第N+2帧图像，将这三帧图像转化为灰度图像，分别作简单的平滑滤波，以去除噪声干扰。

步骤S22：将相邻的前后两帧图像相减，之后进行膨胀处理并填充轮廓封闭区域获得图像D1和D2。将第N+1帧进行Sobel边沿检测，并经过膨胀和填充轮廓封闭区域后获得边沿检测图像Image2。

步骤S23：将步骤S22获取的中间结果D1和D2图像进行相“或”运算，得到Image1，并将Image1和Image2图像进行相“与”操作得到Image3。

步骤S24：将步骤S23的结果Image3进行面积检测，去除面积小于指定阈值的连通区域。

步骤S25：将步骤S24处理后的结果再次进行平滑滤波，去除干扰，得到最终较为完整的运动区域Image。

结合图3，本实例的改进帧差算法解释如下。在连续三帧图像相邻帧相减后得到B1和B2。为了尽量填充帧差结果带来的内部“空洞”问题，对B1和B2进行膨胀处理并填充轮廓封闭的区域得到D1和D2。为了尽量保留前两组帧差结果之间不同的运动目标信息，对D1、D2采用“或”运算而不是“与”运算。经过“或”运算后得到图像Image1，此时Image1目标被拉长，并且有轻微膨胀。但是如果D1与D2内部有“空洞”，并且D1和D2“空洞”区域不同，经过“或”操作后，可以改善“空洞”问题。

第N+1帧图像执行Sobel边沿检测，获取图像的所有边沿，为了尽量填充边沿检测结果带来的内部“空洞”问题，对图像进行膨胀处理，之后对轮廓封闭区域进行填充处理得到Image2，最后再与上述得到的Image1图像进行“与”运算，得到较为完整的运动目标。

其次，处理前和处理后采用多种形态学处理。在处理前，对每帧图像进行平滑滤波，消除孤立噪声点。定义一个5*5的膨胀算子element，对相减图像B1、B2和Sobel边沿检测后的图像做膨胀处理，填充边沿模糊的区域，使处理后的目标轻微的膨胀，目的是尽量改善由于相减操作带来的局部轮廓丢失。在提取出运动目标后，尽量排除掉各种可能的干扰，比如采用阈值面积检测方式，过滤掉检测出来的面积小于指定阈值的目标。

在本实施例中，所述步骤S3中系统采用步骤S2中获取的目标图像，用目标中心点权重计算法得到多个目标中心点坐标。中心点具体计算方法如下：

步骤S31：累积计算目标图像所有像素值，即像素点总个数。

步骤S32：对图像水平投影。计算在图像目标像素点在X轴上每行的投影值。

步骤S33：加权累加水平投影点。将步骤S32获得的每行投影值乘以对应X坐标值得到的值，并进行累加。

步骤S34：计算水平中心点。将步骤S33获取的加权累加值除以步骤S31物体总像素值，结果就为图像的水平中心点坐标x。

步骤S35：对图像垂直投影。计算在图像目标像素点在Y轴上每行的投影值。

步骤S36：加权累加垂直投影点。将步骤S35获得的每行投影值乘以对应Y坐标值得到的值，并进行累加。

步骤S37：计算垂直中心点。将步骤S36获取的加权累加值除以步骤S31物体总像素值，结果就为图像的垂直中心点坐标y 。

结合图4本实例的计算过程描述如下：设经过改进帧差算法提取出的运动目标的二值图像如图4所示，整幅数字图像大小为4*4，运动目标为图示的白色方块。由图知运动目标由（1，1）、（2，1）、（3，1）、（2，2）和（2，0）五个点组成。根据以上计算方法，图4中y轴方向中心点为：（0*1+1*3+2*1）/5=1，同理x轴方向的中心点为：（1*1+2*3+3*1）/5=2，所以该运动物体中心点为（2,1）。

在本实例中，所述步骤4中，系统根据目标中心点的位置和视频图像中心点的位置，计算云台转动方向和转动时间。首先根据运动物体的中心点和整幅图像的中心位置计算出距离差。然后根据距离差来计算云台向指定方向转动的时间，转动时间越长，云台转动的角度越大。假设该图为摄像头捕获到的一幅图像，图像的分辨率为Width*Height。假设运动目标中心点坐标为点A（x1，y1），图像中点坐标为点O（x，y）。云台转动的目的是：转动后A点位于中心O点位置，即控制云台转动，以达到将运动物体置于监控区域的中心位置的目的。结合图5，本实例的具体步骤如下。

步骤S41：首先计算出A点和O点的距离差dx，dy；

步骤S42：统计云台水平扫过一幅图像（Width）的时间TWidth，垂直扫过一幅图像（Height）的时间为THeight；

步骤S43：计算云台水平和垂直转动时间，使A点位于中心点O:

云台水平转动时间t-horizontal=|dx| / Width * TWidth

云台垂直转动时间t-vertical=|dy| / Height * THeight

步骤S44：根据dx和dy的正负来控制云台转动方向.

在本实例中，所述步骤5中，系统通过发送指令控制云台的转动时间，实现云台摄像头的实时跟随目标的目的。由以上的步骤4中，可知云台水平和垂直转动的方向和时间。系统发送对应的水平和垂直转动方向的云台控制命令，并且在水平和垂直转动时间到之后发送云台停止命令，控制云台转动的角度，使运动目标置于监控区域中心位置的目的。

结合本实例中的图6所示，在客户端上实现远程视频运动跟踪系统实现运动目标的整个跟踪过程如下。

（1）用户在界面上点击“运动跟随”，进入运动跟随的界面。

（2）应用程序请求服务器图像数据。

（3）应用程序通过JNI技术，调用已经打包好的动态库中的改进帧差算法（C/C++语言实现）来进行运动目标检测。

（4）改进帧差法检测是否有运动目标，如果没有检测到运动目标，则跳转到步骤（2）；如果检测到运动目标则跳转到步骤（5）。

（5）应用层检测到运动目标后，再次通过JNI技术，调用运动目标中心点计算方法，获取运动目标X轴和Y轴中心点值。然后在界面上标记出中心点，提示用户注意。

（6）检查用户在“设置”界面是否开启短信/彩信报警、邮箱报警、服务器LED闪灯报警、客户端语音报警、自动云存储现场图像，如果有开启，则启动对应的报警或自动云存储。

（7）首先根据运动物体中心点位置在图像中的位置，计算出云台转动的方向和角度。然后发送云台控制命令到服务器，控制云台转动，让运动物体出现在监控画面的中间位置，以达到实时跟随运动目标的目的。

（8）返回到步骤（2）。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：包括以下步骤：

步骤S1：提供一系统服务器端，其包括视频采集压缩模块，网络传输模块，云台控制模块；该系统服务器端通过视频采集设备获取视频信息流，进行图像处理，确定当前视频中是否有移动目标，当存在有指定的移动目标时进行步骤S2；

步骤S2：对存在指定移动目标的视频，利用视频差异信息，用改进帧差算法提取出所跟踪目标的具体位置区；

步骤S3：将经由步骤S2获取的移动目标区，用目标中心点权重计算方法，计算出跟踪目标中心点坐标；

步骤S4：利用经由步骤S3获取的中心点位置与视频中心位置，以及相应的云台参数，计算出云台转移方向和时间；

步骤S5：将利用经由步骤S4获取的不同方向云台转动时间，由系统服务器端发送给云台，通过该云台控制摄像头的转动，将目标置于中心视频区。

2.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：所述步骤S1中系统服务器端直接连接视频采集设备，通过视频采集压缩模块，读取摄像头的视频图像信息，获取实时的图像数据流，对现时图像实时处理，确定当前视频中是否有移动目标，当存在有指定的移动目标时，实施运动跟踪过程。

3.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：所述步骤S2中通过相邻帧相减并进行“或”运算，将该结果与经过Sobel边沿检测的结果相“与”运算，从而检测出运动目标。

4.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：步骤S2包括以下具体步骤：

步骤S21：分别获取视频图像的第N帧、第N+1帧和第N+2帧图像，将这三帧图像转化为灰度图像，分别作简单的平滑滤波，以去除噪声干扰；

步骤S22：将相邻的前后两帧图像相减，之后进行膨胀处理并填充轮廓封闭区域获得图像D1和D2，将第N+1帧进行Sobel边沿检测，并经过膨胀和填充轮廓封闭区域后获得边沿检测图像Image2；

步骤S23：将步骤S22获取的中间结果D1和D2图像进行相“或”运算，得到Image1，并将Image1和Image2图像进行相“与”操作得到Image3；

步骤S24：将步骤S23的结果Image3进行面积检测，去除面积小于指定阈值的连通区域；

步骤S25：将步骤S24处理后的结果再次进行平滑滤波，去除干扰，得到最终较为完整的运动区域Image。

5.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：所述步骤S3中系统采用步骤S2中获取的目标图像，用目标中心点权重计算法得到多个目标中心点坐标，其中中心点具体计算方法如下：

步骤S31：累积计算目标图像所有像素值，即像素点总个数；

步骤S32：对图像水平投影，计算在图像目标像素点在X轴上每行的投影值；

步骤S33：加权累加水平投影点，将步骤S32获得的每行投影值乘以对应X坐标值得到的值，并进行累加；

步骤S34：计算水平中心点，将步骤S33获取的加权累加值除以步骤S31物体总像素值，结果就为图像的水平中心点坐标x；

步骤S35：对图像垂直投影，计算在图像目标像素点在Y轴上每行的投影值；

步骤S36：加权累加垂直投影点，将步骤S35获得的每行投影值乘以对应Y坐标值得到的值，并进行累加；

步骤S37：计算垂直中心点，将步骤S36获取的加权累加值除以步骤S31物体总像素值，结果就为图像的垂直中心点坐标y 。

6.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：所述步骤S4中，系统根据目标中心点的位置和视频图像中心点的位置，计算云台转动方向和转动角度：首先根据运动物体的中心点和整幅图像的中心位置计算出距离差；然后根据距离差来计算云台向指定方向转动的时间，转动时间越长，云台转动的角度越大；假设该图为摄像头捕获到的一幅图像，图像的分辨率为Width*Height；假设运动目标中心点坐标为点A（x1，y1），图像中点坐标为点O（x，y）；云台转动的目的是：转动后A点位于中心O点位置，即控制云台转动，以达到将运动物体置于监控区域的中心位置的目的。

7.根据权利要求6所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：步骤S4具体步骤如下：

步骤S41：首先计算出A点和O点的距离差dx，dy；

步骤S42：统计云台水平扫过一幅图像Width的时间TWidth，垂直扫过一幅图像Height的时间为THeight；

步骤S43：计算云台水平和垂直转动时间，使A点位于中心点O:

云台水平转动时间t-horizontal=|dx| / Width * TWidth

云台垂直转动时间t-vertical=|dy| / Height * THeight

步骤S44：根据dx和dy的正负来控制云台转动方向。

8.根据权利要求1所述的一种基于改进帧差法的目标运动视频跟踪方法，其特征在于：所述步骤S5中，系统通过发送指令控制云台的转动时间，实现云台摄像头的实时跟随目标的目的，由,步骤S4中，知云台水平和垂直转动的方向和时间；系统发送对应的水平和垂直转动方向的云台控制命令，并且在水平和垂直转动时间到之后发送云台停止命令，控制云台转动的角度，使运动目标置于监控区域中心位置的目的。

9.一种基于改进帧差法的目标运动视频跟踪系统，其特征在于：包括系统服务器端及客户端；

所述系统服务器端包括视频采集压缩模块、网络传输模块、云台控制模块；所述视频采集压缩模块实现原始视频图像数据的采集和压缩功能，在后继网络传输时将压缩过的图像数据传送到客服端进行后续的处理；所述网络传输模块负责双向传输服务器和客户端的数据请求和命令请求，服务器和客户端采用TCP/IP协议传输数据；云台控制模块将摄像头搭载在云台上，控制云台上下左右转动，从而间接改变摄像头监控区域；

客户端包括运动跟随模块和云存储模块；运动跟随模块是指当监控区域出现运动目标，应用程序通过JNI技术调用视频算法检测运动目标，判断运动目标在监控画面的位置，发送云台控制命令到服务器，控制云台转动，实时跟随运动目标；云存储模块使用云存储方式，将主要的视频，图像数据存储在云空间。