CN101355692A - 一种实时跟踪运动目标区域的智能监控装置 - Google Patents

Abstract

本发明公开了一种实时跟踪运动目标区域的智能监控装置，包括一视频输入设备、一视觉分析系统和一网络输入输出设备。为了高实时高精度地进行运动目标的跟踪，该系统采用了基于模型动态切换的目标跟踪算法，通过对遮挡状态的有效判定，对未遮挡的单运动目标采用基于区域跟踪的简单快速模型，对相互遮挡的复合运动目标采用基于SIFT特征的窄基线图像匹配模型，系统结构简单、高实时高精度、可扩展性强，具有有线以太网和无线GPRS多重网络接入功能，有效的实现了运动目标区域实时跟踪功能。

Description

一种实时跟踪运动目标区域的智能监控装置

技术领域

本发明属于电子设备领域，涉及一种实时跟踪运动目标区域的智能监控装置。

背景技术

随着视频监控需求的迅速增长、监控规模的日益扩大，人工监视已远远不能满足监控要求，视频监控系统的“智能化”变得越来越迫切。

嵌入式智能网络摄像机作为智能视频监控系统的前端“眼睛”，其图像获取、分析处理和网络通讯能力对整个监控系统起着越来越重要的作用。目标跟踪广泛应用在视频监控、视频编码以及军事领域中，如何实现在实时视频序列中对感兴趣的目标进行稳定高效的跟踪，是计算机视觉中一个具有相当挑战性的课题，复杂遮挡场景下目标的稳定跟踪更是一个难点。在运动目标分割后，目标跟踪方法主要分为四个种类：基于区域的跟踪(Region-based Tracking)、基于活动轮廓的跟踪(Active-contour-basedTracking)、基于特征的跟踪(Feature-based Tracking)和基于模型的跟踪(Model-based Tracking)。基于区域的跟踪方法根据运动目标区域的属性变化(比如目标区域的位置、大小等)进行简单快速地跟踪，在很少运动目标的场景下效果很好，但当运动目标出现遮挡时较难持续的正确跟踪。基于活动轮廓的跟踪方法主要根据目标的外形轮廓进行跟踪，相对于基于区域的跟踪方法，轮廓表达有减少计算复杂度的优点，然而轮廓描述正确与否决定了跟踪的精度，而且该方法对跟踪的初始化也非常敏感，以致较难自动启动跟踪。基于特征的跟踪方法主要通过目标区域的全局特征(比如面积、周长等)或局部特征(比如点、线特征等)进行跟踪，该方法能处理部分遮挡下的跟踪问题，其难点是如何确定目标的唯一特征集，若采用特征过多，系统效率将降低，且容易产生错误。基于模型的跟踪方法利用目标模型进行匹配跟踪，能达到较稳定的跟踪效果，但该方法需要事先构造好目标模型，运动分析的精度取决于几何模型的精度，在现实生活中获得运动目标的精确几何模型是非常困难的，并且跟踪过程计算复杂、非常耗时，难以实现实时的运动目标跟踪。

David G.Lowe在文献“Distinctive image features from scale-invariantkeypoints”中提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子——SIFT算子，传统宽基线SIFT特征匹配算法需要在各个图像分辨率、各个尺度上进行计算，以便满足尺度缩放、旋转等不变性，其时间复杂度非常高，直接用于跟踪系统中不能达到实时要求。

发明内容

本发明提供了一种实时跟踪运动目标区域的智能监控装置。

一种实时跟踪运动目标区域的智能监控装置，包括

一视频输入设备，用于获得视频数据；

一视觉分析系统，由通过DPRAM接口模块相连接的嵌入式CPU和DSP处理器组成，用于处理视频输入系统获得的视频数据；

一输入输出系统，用于将视觉分析系统处理后的视频数据输出和输入用于控制视觉分析系统的指令；

所述的视觉分析终端，包括：

嵌入式CPU，用于网络通讯；

DSP处理器，用于运动目标侦测和跟踪；

DPRAM接口模块，用于嵌入式CPU和DSP处理器进行数据和命令的交互，该DPRAM模块的两个访问口能够实现快速的异步同时访问；

视频AD转换器，设有视频输入接口，通过PPI数据总线与DSP处理器连接，用于视频模拟信号到数字信号的转换；

第一数据存储器，数据存储器1的数据总线、地址总线、控制线与DSP处理器的EBIU总线连接，用于数据的存储和算法运行时刻临时变量的存储；

程序存储器，程序存储器的数据总线、地址总线、控制线与嵌入式CPU的EBIU总线连接，用于程序代码的存储；

第二数据存储器，数据存储器2的数据总线、地址总线、控制线与嵌入式CPU的EBIU总线连接，用于数据的存储和网络交互代码运行时刻临时变量的存储；

有线以太网控制器，有线以太网控制器芯片的地址总线与嵌入式CPU的EBIU总线连接，用于有线以太网的接入控制，通过有线RJ45接口与局域网或公用网络与远端中心服务器进行网络连接；

CF卡硬件电路控制逻辑，通过EBIU总线与嵌入式CPU相连；

无线GPRS卡，无线GPRS卡与CF卡接口总线进行相连，用于通过无线GPRS网络与中心服务器进行网络连接；

所述的嵌入式CPU采用实时操作系统RTOS，所述的DSP处理器采用定时中断循环驱动模式。

所述的视频输入设备为摄像机，通过视频输入接口与视频AD转换器相连，用于视频的输入；

所述的输入输出系统包括一个远端中心服务器，用于视觉分析系统的控制。

为进行运动目标的实时跟踪检测，所述的DSP处理器执行以下步骤：

(1)DSP处理器初始化；

(2)从在监控区域获得的视频数据中检测出运动目标区域并输出运动目标区域；

(3)将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型的运动目标区域；

对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测，对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测，在跟踪检测时，动态识别运动目标区域类型的改变并检测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行跟踪检测，对新的运动目标区域采用基于区域跟踪的模型进行跟踪检测；

(4)通过网络输入输出设备输出运动目标区域跟踪检测信息；

所述的采用基于区域跟踪的模型跟踪检测方法如下：

1)每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表示为(X_c，Y_c)，目标区域的大小用像素个数表示，表示为S，运动目标区域的运动速度表示为(V_x，V_y)，目标区域所有像素的RGB空间颜色均值表示为(M_R，M_G，M_B)；

在t时刻检测出的单运动目标区域的集合为R，并且对每个单运动目标区域都建立了对应的跟踪标号，在t+1时刻检测出的目标区域集合W，其中t为任意一个时刻，t+1为t时刻的下一时刻；

2)用最小代价准则建立t时刻的单运动目标区域与t+1时刻的运动目标区域之间的对应关系；

定义两个运动目标区域之间的代价函数如下：

$C_{i,j}^1=\mathrm{\α}\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}$

$+\mathrm{\β}\frac{\left[\right|M_{R,i}-M_{R,j}|+|M_{G,i}-M_{G,j}|+|M_{B,i}-M_{B,j}\left|\right]}{256}---\left(1\right)$

$+\mathrm{\γ}\left|\frac{S_i-S_j}{S_i}\right|.$

式中i表示t时刻的一个单运动目标区域(i∈R)，j表示t+1时刻的一个运动目标区域(j∈W)，α、β、γ分别表示区域位置、区域颜色均值以及区域大小的相对变化在代价函数计算中的权值参数，并且α+β+γ＝1，这些参数可以动态配置；

对于t时刻未建立对应关系的每个单运动目标区域m，求出最小的代价函数值：

$C_{m,n}^1=\underset{j\∈P}{\min }{C}_{m,j}^1---\left(2\right)$

式中P表示t+1时刻未建立对应关系的运动目标区域集合，且 $P\⊆W;$

当该最小代价函数值满足下式：

$C_{m,n}^1\≤C^{T1}---\left(3\right)$

式中C^T1是预设的门限参数，则t时刻的单运动目标区域m与t+1时刻的运动目标区域n是同一个目标区域，建立对应关系，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，运动目标区域n被标识为单运动目标区域，并线性预测出其速度(V_x，V_y)，循环执行这个匹配过程，直到t时刻没有运动目标区域能与t+1时刻的运动目标区域建立对应关系为止；

3)当t时刻的所有单运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻单运动目标区域的跟踪匹配过程结束；

4)当t时刻的一些单运动目标区域，由于在t+1时刻出现了遮挡重叠、由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到对应关系的每个单运动目标区域m按顺序采取下面的处理步骤：

a)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动区域目标m在t时刻靠近或已在监控场景边界则定义新的代价函数如(4)式：

$C_{i,j}^2=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(4\right)$

求出该运动目标区域区域与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C_m，n ¹，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(5\right)$

式(5)中C^T2是预设的门限参数，并且t+1时刻的运动目标区域n已在监控场景边界，则t时刻的运动目标m与t+1时刻的运动目标区域n是同一个运动目标区域，建立对应关系，运动目标区域n的类型仍保持为单运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控场景边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形相互重叠：

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区域类型，启动新的运动目标区域标号进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻遇到弄目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生重叠，t+1时刻的运动目标区域n标识为复合运动目标区域，t+1时刻后运动目标区域m的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。

采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测方法如下：

由于被跟踪目标在相邻图像帧之间尺度和外形变化很小，所以只需在原图像分辨率上相近的几个尺度因子之间计算SIFT特征关键点位置，SIFT检测参数O＝1(Number of Octaves)，o_min＝0(First of Octave)，S＝3(Number of Scale levels)，得到的尺度因子如下：

σ(o，s)＝σ₀2^o+s/S＝σ₀2^s/S

式中：σ₀＝1.6×2^1/S，o∈[o_min，o_min+O-1]＝0，s∈[s_min，s_max]＝[-1，S]＝[-1，3]，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。关于SIFT特征检测的具体细节参考David G.Lowe的文献“Distinctive image features from scale-invariant keypoints”。

对处于遮挡状态的复合运动目标区域的后续跟踪，通过如下方法确定该复合运动目标在新时刻的位置，以减少进行SIFT特征匹配的区域范围：

1)设在t时刻出现复合运动目标区域集合为K，而在t+1时刻未建立对应关系的运动目标区域集合为H；

2)建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系：

定义如下代价函数：

$C_{i,j}^3=a\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}$ (6)

$+b\left|\frac{S_i-S_j}{S_i}\right|.$

式(6)中i表示t时刻的一个复合运动目标区域(i∈K)，j表示t+1时刻的一个未被对应的运动目标区域(j∈H)，a和b分别表示区域位置和区域大小的相对变化在代价函数计算中的权值参数，并且a+b＝1，这些参数可以动态配置，对于t时刻未建立对应关系的每个复合运动目标区域m，利用式(7)求出最小的代价函数值：

$C_{m,n}^3=\underset{j\∈P}{\min }{C}_{m.j}^3---\left(7\right)$

式(7)中P表示t+1时刻未建立对应关系的运动目标区域集合， $P\⊆H;$

当该最小代价函数值满足下式(8)：

$C_{m,n}^3\≤C^{T3}---\left(8\right)$

式(8)中C^T3是预设的门限参数，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系，并同时更新该复合运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，V_y)，循环执行这个匹配过程，直到没有复合运动目标区域能建立对应关系为止；

3)当t时刻的所有复合运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻复合运动目标区域的匹配过程结束；

4)当t时刻的一些复合运动目标区域，由于在t+1时刻增加了遮挡目标、从遮挡状态分离或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到匹配关系的每个复合运动目标区域按顺序采取下面的处理步骤：

a)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标m在t时刻靠近或已在监控场景边界，则新代价函数定义如(9)式：

$C_{i,j}^4=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(9\right)$

求根据式(7)出该运动目标区域m与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C⁴ _m，n，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(10\right)$

式(10)中C^T4是预设的门限参数，并且t+1时刻的运动目标区域n已在监控区域边界，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立对应关系，运动目标区域n的类型仍保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控区域边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形重叠，

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离运动目标区域，并根据SIFT匹配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型则重新建立对应关系，切换到相应的模型进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻运动目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻又增加了遮挡运动目标区域，新增加的运动目标区域被整合到t+1时刻的复合运动目标区域n中进行跟踪。

本发明所述的一种实时跟踪运动目标区域的智能监控装置，采用了基于模型动态切换的目标跟踪算法，通过对遮挡状态的有效判定，对未遮挡的单运动目标采用基于区域跟踪的简单快速模型，对相互遮挡的复合运动目标采用基于SIFT特征的窄基线图像匹配模型，系统结构简单、高实时高精度、可扩展性强，具有有线以太网和无线GPRS多重网络接入功能，有效的实现了运动目标实时跟踪功能功能。

附图说明

图1为本发明的一种实时跟踪运动目标区域的智能监控装置的连接示意图，其中：1-视觉分析系统，2-视频输入设备，3-局域以太网，4-远端中心服务器，5-无线GPRS卡，6-监控人员；

图2为本发明的视觉分析系统的内部结构图。

图3是本发明的技术方案流程图；

具体实施方式

本发明提供了一种实时跟踪运动目标区域的智能监控装置。

如图1所示，一种实时跟踪运动目标区域的智能监控装置包括视觉分析系统1，视觉分析系统1外部接有摄像机2，网络输入输出设备包括局域以太网3、远端中心服务器4、无线GPRS卡5，视觉分析系统1通过接入的局域以太网3和远端中心服务器4进行通讯，并通过无线GPRS卡5与远端中心服务器4进行联系，将运动检测信息传输给远端中心服务器4，中心服务器4的显示器显示监测信息，监控人员6通过远端中心服务器4的显示器借助于局域以太网3，对视觉分析终端1进行控制(初始化、训练和检测)。

如图2所示，视觉分析系统的内部结构框图，包括：

嵌入式CPU，用于网络通讯；

DSP处理器，用于运动目标侦测跟踪；

DPRAM接口模块，用于嵌入式CPU和DSP处理器进行数据和命令的交互，该DPRAM模块的两个访问口能够实现快速的异步同时访问；

视频AD转换器，设有视频输入接口，通过PPI数据总线与DSP处理器连接，用于视频模拟信号到数字信号的转换；

第一数据存储器SDRAM，数据存储器1的数据总线、地址总线、控制线与DSP处理器的EBIU总线连接，用于数据的存储和算法运行时刻临时变量的存储；

程序存储器FLASH，程序存储器的数据总线、地址总线、控制线与嵌入式CPU Au1200的EBIU总线连接，用于程序代码的存储；

第二数据存储器SDRAM，数据存储器2的数据总线、地址总线、控制线与嵌入式CPU的EBIU总线连接，用于数据的存储和网络交互代码运行时刻临时变量的存储；

有线以太网控制器，有线以太网控制器芯片的地址总线与嵌入式CPU的EBIU总线连接，用于有线以太网的接入控制，通过有线RJ45接口与局域网或公用网络与远端中心服务器进行网络连接；

CF卡硬件电路控制逻辑，通过EBIU总线与嵌入式CPU相连；

无线GPRS卡，无线GPRS卡与CF卡接口总线进行相连，用于通过无线GPRS网络与中心服务器进行网络连接；

本发明还提供了一种实现运动目标区域实时跟踪功能的方法，如图3所示，DSP处理器执行以下步骤：

(1)DSP处理器初始化；

(2)从在监控区域获得的视频数据中检测出运动目标区域并输出运动目标区域；

(3)将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型的运动目标区域；

对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测，对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测，在跟踪检测时，动态识别运动目标区域类型的改变并检测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行跟踪检测，对新的运动目标区域采用基于区域跟踪的模型进行跟踪检测；

(4)通过网络输入输出设备输出运动目标区域跟踪检测信息；

所述的采用基于区域跟踪的模型跟踪检测方法如下：

1)每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表示为(X_c，Y_c)，目标区域的大小用像素个数表示，表示为S，运动目标区域的运动速度表示为(V_x，V_y)，目标区域所有像素的RGB空间颜色均值表示为(M_R，M_G，M_B)；

在t时刻检测出的单运动目标区域的集合为R，并且对每个单运动目标区域都建立了对应的跟踪标号，在t+1时刻检测出的目标区域集合W，其中t为任意一个时刻，t+1为t时刻的下一时刻；

2)用最小代价准则建立t时刻的单运动目标区域与t+1时刻的运动目标区域之间的对应关系；

定义两个运动目标区域之间的代价函数如下：

$C_{i,j}^1=\mathrm{\α}\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}$

$+\mathrm{\β}\frac{\left[\right|M_{R,i}-M_{R,j}|+|M_{G,i}-M_{G,j}|+|M_{B,i}-M_{B,j}\left|\right]}{256}---\left(1\right)$

$+\mathrm{\γ}\left|\frac{S_i-S_j}{S_i}\right|.$

式中i表示t时刻的一个单运动目标区域(i∈R)，j表示t+1时刻的一个运动目标区域(j∈W)，α、β、γ分别表示区域位置、区域颜色均值以及区域大小的相对变化在代价函数计算中的权值参数，并且α+β+γ＝1，这些参数可以动态配置；

对于t时刻未建立对应关系的每个单运动目标区域m，求出最小的代价函数值：

$C_{m,n}^1=\underset{j\∈P}{\min }{C}_{m,j}^1---\left(2\right)$

式中P表示t+1时刻未建立对应关系的运动目标区域集合，且 $P\⊆W;$

当该最小代价函数值满足下式：

$C_{m,n}^1\≤C^{T1}---\left(3\right)$

式中C^T1是预设的门限参数，则t时刻的单运动目标区域m与t+1时刻的运动目标区域n是同一个目标区域，建立对应关系，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，运动目标区域n被标识为单运动目标区域，并线性预测出其速度(V_x，V_y)，循环执行这个匹配过程，直到t时刻没有运动目标区域能与t+1时刻的运动目标区域建立对应关系为止；

3)当t时刻的所有单运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻单运动目标区域的跟踪匹配过程结束；

4)当t时刻的一些单运动目标区域，由于在t+1时刻出现了遮挡重叠、由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到对应关系的每个单运动目标区域m按顺序采取下面的处理步骤：

a)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动区域目标m在t时刻靠近或已在监控场景边界则定义新的代价函数如(4)式：

$C_{i,j}^2=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(4\right)$

求出该区域与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C_m，m ¹，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(5\right)$

式(5)中C^T2是预设的门限参数，并且t+1时刻的运动目标区域n已在监控场景边界，则t时刻的运动目标m与t+1时刻的运动目标区域n是同一个运动目标区域，建立对应关系，运动目标区域n的类型仍保持为单运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控场景边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形相互重叠：

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区域类型，启动新的运动目标区域标号进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻遇到弄目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生重叠，t+1时刻的运动目标区域n标识为复合运动目标区域，t+1时刻后运动目标区域m的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。

所述的采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测方法如下：

由于被跟踪目标在相邻图像帧之间尺度和外形变化很小，所以只需在原图像分辨率上相近的几个尺度因子之间计算SIFT特征关键点位置，SIFT检测参数O＝1(Number of Octaves)，o_min＝0(First of Octave)，S＝3(Number of Scale levels)，得到的尺度因子如下：

σ(o，s)＝σ₀2^o+s/S＝σ₀2^s/S

式中：σ₀＝1.6×2^1/S，o∈[o_min，o_min+O-1]＝0，s∈[s_min，s_max]＝[-1，S]＝[-1，3]，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。关于SIFT特征检测的具体细节参考David G.Lowe的文献“Distinctive image features from scale-invariant keypoints”。

对处于遮挡状态的复合运动目标区域的后续跟踪，通过如下方法确定该复合运动目标在新时刻的位置，以减少进行SIFT特征匹配的区域范围：

1)设在t时刻出现复合运动目标区域集合为K，而在t+1时刻未建立对应关系的运动目标区域集合为H；

2)建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系：

定义如下代价函数：

$C_{i,j}^3=a\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}$ (6)

$+b\left|\frac{S_i-S_j}{S_i}\right|.$

式(6)中i表示t时刻的一个复合运动目标区域(i∈K)，j表示t+1时刻的一个未被对应的运动目标区域(j∈H)，a和b分别表示区域位置和区域大小的相对变化在代价函数计算中的权值参数，并且a+b＝1，这些参数可以动态配置，对于t时刻未建立对应关系的每个复合运动目标区域m，利用式(7)求出最小的代价函数值：

$C_{m,n}^3=\underset{j\∈P}{\min }{C}_{m.j}^3---\left(7\right)$

式(7)中P表示t+1时刻未建立对应关系的运动目标区域集合， $P\⊆H;$

当该最小代价函数值满足下式(8)：

$C_{m,n}^3\≤C^{T3}---\left(8\right)$

式(8)中C^T3是预设的门限参数，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系，并同时更新该复合运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，V_y)，循环执行这个匹配过程，直到没有复合运动目标区域能建立对应关系为止；

3)当t时刻的所有复合运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻复合运动目标区域的匹配过程结束；

4)当t时刻的一些复合运动目标区域，由于在t+1时刻增加了遮挡目标、从遮挡状态分离或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到匹配关系的每个复合运动目标区域按顺序采取下面的处理步骤：

a)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标m在t时刻靠近或已在监控场景边界，则新代价函数定义如(9)式：

$C_{i,j}^4=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(9\right)$

求根据式(7)出该运动目标区域m与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C⁴ _m，n，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(10\right)$

式(10)中C^T4是预设的门限参数，并且t+1时刻的运动目标区域n已在监控区域边界，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立对应关系，运动目标区域n的类型仍保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控区域边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形重叠，

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离运动目标区域，并根据SIFT匹配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型则重新建立对应关系，切换到相应的模型进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻运动目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻又增加了遮挡运动目标区域，新增加的运动目标区域被整合到t+1时刻的复合运动目标区域n中进行跟踪。

Claims (4)

1.一种实时跟踪运动目标区域的智能监控装置，包括：

一视频输入设备，用于获得视频数据；

一视觉分析系统，由通过DPRAM接口模块相连接的嵌入式CPU和DSP处理器组成，用于处理视频输入系统获得的视频数据；

一网络输入输出设备，用于将视觉分析系统处理后的视频数据输出和输入用于控制视觉分析系统的指令；

为进行运动目标区域的实时跟踪检测，所述的DSP处理器执行以下步骤：

(1)DSP处理器初始化；

(2)从在监控区域获得的视频数据中检测出运动目标区域并输出运动目标区域；

(3)将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型的运动目标区域；

对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测，对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测，在跟踪检测时，动态识别运动目标区域类型的改变并检测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行跟踪检测，对新的运动目标区域采用基于区域跟踪的模型进行跟踪检测；

(4)通过网络输入输出设备输出运动目标区域跟踪检测信息。

2.根据权利要求1所述的网络化智能摄像机系统，其特征在于，所述的嵌入式CPU采用实时操作系统RTOS，所述的DSP处理器采用定时中断循环驱动模式。

3.根据权利要求1所述的一种实时跟踪运动目标区域的智能监控装置，其特征在于，所述的步骤(3)中的基于区域跟踪的模型跟踪检测方法如下：

1)每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表示为(X_c，Y_c)，目标区域的大小用像素个数表示，表示为S，运动目标区域的运动速度表示为(V_x，V_y)，目标区域所有像素的RGB空间颜色均值表示为(M_R，M_G，M_B)；

在t时刻检测出的单运动目标区域的集合为R，并且对每个单运动目标区域都建立了对应的跟踪标号，在t+1时刻检测出的运动目标区域集合W，其中t为任意一个时刻，t+1为t时刻的下一时刻；

2)用最小代价准则建立t时刻的单运动目标区域与t+1时刻的运动目标区域之间的对应关系；

定义两个运动目标区域之间的代价函数如下：

$C_{i,j}^1=\mathrm{\α}\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}$

$+\mathrm{\β}\frac{\left[\right|M_{R,i}-M_{R,j}|+{|M}_{G,i}-M_{G,j}|+|M_{B,i}-M_{B,j}|]}{256}---\left(1\right)$

$+\mathrm{\γ}\left|\frac{S_i-S_j}{S_i}\right|.$

式中i表示t时刻的一个单运动目标区域(i∈R)，j表示t+1时刻的一个运动目标区域(j∈W)，α、β、γ分别表示区域位置、区域颜色均值以及区域大小的相对变化在代价函数计算中的权值参数，并且α+β+γ＝1，这些参数可以动态配置；

对于t时刻未建立对应关系的每个单运动目标区域m，求出最小的代价函数值：

$C_{m,n}^1=\underset{j\∈P}{\min }{C}_{m,j}^1---\left(2\right)$

式中P表示t+1时刻未建立对应关系的运动目标区域集合，且 $P\⊆W$ ；当该最小代价函数值满足下式：

$C_{m,n}^1\≤C^{T1}---\left(3\right)$

式中C^T1是预设的门限参数，则t时刻的单运动目标区域m与t+1时刻的运动目标区域n是同一个目标区域，建立对应关系，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，运动目标区域n被标识为单运动目标区域，并线性预测出其速度(V_x，V_y)，循环执行这个匹配过程，直到t时刻没有运动目标区域能与t+1时刻的运动目标区域建立对应关系为止；

3)当t时刻的所有单运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻单运动目标区域的跟踪匹配过程结束；

4)当t时刻的一些单运动目标区域，由于在t+1时刻出现了遮挡重叠、由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到对应关系的每个单运动目标区域m按顺序采取下面的处理步骤：

a)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动区域目标m在t时刻靠近或已在监控场景边界则定义新的代价函数如(4)式：

$C_{i,j}^2=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(4\right)$

求出该运动目标区域与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C_m，n ¹，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(5\right)$

式(5)中C^T2是预设的门限参数，并且t+1时刻的运动目标区域n已在监控场景边界，则t时刻的运动目标m与t+1时刻的运动目标区域n是同一个运动目标区域，建立对应关系，运动目标区域n的类型仍保持为单运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S以及区域颜色均值(M_R，M_G，M_B)，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控场景边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形相互重叠：

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区域类型，启动新的运动目标区域标号进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻遇到弄目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生重叠，t+1时刻的运动目标区域n标识为复合运动目标区域，t+1时刻后运动目标区域m的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。

4.根据权利要求1所述的一种实时跟踪运动目标区域的智能监控装置，其特征在于步骤(3)中的基于SIFT特征的窄基线图像匹配模型进行跟踪检测方法如下：

设置SIFT检测参数O＝1(Number of Octaves)，o_min＝0(First of Octave)，S＝3(Number of Scale levels)，得到的尺度因子如下：

σ(o，s)＝σ₀2^o+s/S＝σ₀2^s/S

式中：σ₀＝1.6×2^1/S，o∈[o_min，o_min+O-1]＝0，s∈[s_min，s_max]＝[-1，S]＝[-1，3]，同时去除低对比度的关键点和不稳定的边缘响应点；

通过如下方法确定该复合运动目标区域在新时刻的位置，进行实时跟踪：

1)设在t时刻出现复合运动目标区域集合为K，而在t+1时刻未建立对应关系的运动目标区域集合为H；

2)建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系：

定义如下代价函数：

$C_{i,j}^3=a\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(6\right)$

$+b\left|\frac{S_i-S_j}{S_i}\right|.$

式(6)中i表示t时刻的一个复合运动目标区域(i∈K)，j表示t+1时刻的一个未被对应的运动目标区域(j∈H)，a和b分别表示区域位置和区域大小的相对变化在代价函数计算中的权值参数，并且a+b＝1，这些参数可以动态配置，对于t时刻未建立对应关系的每个复合运动目标区域m，利用式(7)求出最小的代价函数值：

$C_{m,n}^3=\underset{j\∈P}{\min }{C}_{m,j}^3---\left(7\right)$

式(7)中P表示t+1时刻未建立对应关系的运动目标区域集合， $P\⊆H;$ 当该最小代价函数值满足下式(8)：

$C_{m,n}^3\≤C^{T3}---\left(8\right)$

式(8)中C^T3是预设的门限参数，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立t时刻复合运动目标区域与t+1时刻运动目标区域之间的对应关系，并同时更新该复合运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，Y_y)，循环执行这个匹配过程，直到没有复合运动目标区域能建立对应关系为止；

3)当t时刻的所有复合运动目标区域在t+1时刻的运动目标区域中都找到了对应的关系时，则t+1时刻复合运动目标区域的匹配过程结束；

4)当t时刻的一些复合运动目标区域，由于在t+1时刻增加了遮挡目标、从遮挡状态分离或处在退出监控场景的过程中，所以在t+1时刻未找到对应的运动目标区域时，则对于t时刻未找到匹配关系的每个复合运动目标区域按顺序采取下面的处理步骤：

a)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标m在t时刻靠近或已在监控场景边界，则新代价函数定义如(9)式：

$C_{i,j}^4=\sqrt{{\left(\frac{X_{c,i}+V_{x,i}-X_{c,j}}{V_{x,i}}\right)}^2+{\left(\frac{Y_{c,i}+V_{y,i}-Y_{c,j}}{V_{y,i}}\right)}^2}---\left(9\right)$

求根据式(7)出该运动目标区域m与t+1时刻未建立对应关系的所有运动目标区域之间最小的代价函数值C⁴ _m，n，若该最小代价函数值满足：

$C_{m,n}^2\≤C^{T2}---\left(10\right)$

式(10)中C^T4是预设的门限参数，并且t+1时刻的运动目标区域n已在监控区域边界，则t时刻的运动目标区域m与t+1时刻的运动目标区域n是同一个复合运动目标区域，建立对应关系，运动目标区域n的类型仍保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(X_c，Y_c)、大小S，并线性预测出其速度(V_x，V_y)；

b)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如果该运动目标区域m在t时刻不靠近或不在监控区域边界，而在t+1时刻有未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩形重叠，

i)若t时刻该运动目标区域m的外接矩形除了与t+1时刻运动目标区域n的外接矩形重叠之外，还与其他t+1时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻发生分离，判定t+1时刻的这些运动目标区域为新的分离运动目标区域，并根据SIFT匹配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型则重新建立对应关系，切换到相应的模型进行跟踪；

ii)若t+1时刻运动目标区域n的外接矩形除了与t时刻运动目标区域m的外接矩形重叠之外，还与其他t时刻未被关联的运动目标区域存在重叠，则可以判定该运动目标区域m在t+1时刻又增加了遮挡运动目标区域，新增加的运动目标区域被整合到t+1时刻的复合运动目标区域n中进行跟踪。

Images