CN108521554A - 大场景多目标协同跟踪方法、智能监控系统、交通系统 - Google Patents

Abstract

本发明属于控制摄像机的装置技术领域，公开了一种大场景多目标协同跟踪方法、智能监控系统、交通系统，采用主从协同实现目标交错时仍能准确分割出目标，提高跟踪鲁棒性，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机。本发明包括枪机和球机关系模块，目标检测模块，优先级判定模块，控制模块，目标更新模块，跟踪模块。本发明对枪机画面中多目标关系进行优先级分类，根据目标关系确定球机的动作，提高了球机利用率，节省资源；球机获取枪机画面中目标交错区域高清图像，球机对高清图像进行目标检测，提高了目标的检测准确率。通过枪球间关系矩阵将球机画面检测信息映射回枪机画面，进而将目标交错区域重新分割，实现协同跟踪。

Description

大场景多目标协同跟踪方法、智能监控系统、交通系统

技术领域

本发明属于控制摄像机的装置技术领域，尤其涉及一种大场景多目标协同跟踪方法、智能监控系统、交通系统。

背景技术

运动目标的检测跟踪一直是图像处理和计算机视觉领域研究的热点。随着检测跟踪方法研究的不断深入，人们对目标检测跟踪性能要求越来越高，目标检测跟踪应用场景也越来越复杂，如何提高特殊条件下的多目标检测跟踪的鲁棒性一直是广大学者研究的热点问题之一。其中，大场景下多目标的协同跟踪一直是监控领域很重要的研究方向，在智能监控、智能交通等领域有着极其重要的应用价值。大场景多目标检测跟踪中，由于目标在场景中占比较小，目前，业内常用的现有技术是这样的：主要还是通过运动信息对目标进行检测定位，包括帧间差分，高斯背景建模，互相关滤波，Vibe等多种检测算法，大多基于图像灰度信息从图像中分割出目标，并进行检测定位。当目标不交错，不发生遮挡时，大部分方法能较好的检测出目标；但在多目标交错，遮挡严重时，有时就不能很好地从图像中分割出单个目标，常有多个目标合并的情况发生。这对后续的目标跟踪带来较大困难。专利文献“一种大场景中的小目标抗遮挡跟踪方法”(公开号：CN105469430A，申请号：CN201510925188.5，申请日：2015-12-10)公开了一种大场景中的小目标抗遮挡跟踪方法。该系统利用互相关滤波目标检测方法检测前一帧图像中目标所在的位置；从后一帧图像开始，判断目标是否被遮挡，若目标被遮挡，则直接利用轨迹预测方法对目标的位置进行预测跟踪。该方法在目标交错区域，不能将目标独立分割，仅采用轨迹预测方法对目标的位置进行预测跟踪，较难实现鲁棒的跟踪。

综上所述，现有技术存在的问题是：现有的大场景中的小目标抗遮挡跟踪方法在目标间交错遮挡时仅采用轨迹预测方法对目标的位置进行预测跟踪，但是当目标交错时，目标之间的避让很容易出现目标交错前和交错后运动速度和方向的改变，而轨迹预测方法采用的是目标交错前的运动状态数据，非常容易出现预测位置和目标实际位置差异，尤其在三个或者更多目标交错时预测位置和目标实际位置差异较大，目标交错结束后，容易出现跟踪错误或者跟踪丢失。

解决上述技术问题的难度和意义：大场景下目标较小，目标之间特征区别不明显，多目标交错时，较难分割出单个目标，同时目标的运动状态容易发生较大改变，仅依靠目标交错前的运动信息很难准确预测目标交错结束后的位置，容易造成跟踪错误或者丢失。本发明提高目标交错期间单个目标的检测准确率，并合理分配系统资源，保证系统的鲁棒性与实时性，实现大场景多目标交错前后的持续跟踪。

发明内容

针对现有技术存在的问题，本发明提供了一种大场景多目标协跟踪方法、智能监控系统、交通系统。

本发明是这样实现的，一种大场景多目标协同跟踪方法，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪。

进一步，所述大场景多目标协同跟踪方法包括以下步骤：

步骤一，前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；

步骤二，前一帧目标质心在后一帧目标框中数量，若这个数量大于等于2，则认为该区域存在目标交错；若这个数量大于等于1，判断目标间是否可能存在交错趋势：计算目标检测框间最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；

步骤三，根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。

进一步，所述步骤一具体包括：前后两帧目标图像B_iB_i+1，记录B_i所有目标的质心(x_i，y_i)，判断B_i质心(x_i，y_i)与B_i+1目标框的位置；B_i质心在B_i+1目标框中数量M，若M＞1则认为该区域存在目标交错；若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小，卡尔曼轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v 20v]。

进一步，所述步骤二具体包括：

枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；

根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；球机画面中目标检测框的长宽w₁，h₁，球机缩放倍数z₂，根据枪机和球机关系模块计算出枪机和球机间关系矩阵[W H Z]，目标在枪机画面长宽分别为w₂，h₂,则w₂＝w₁/W/z₂,h₂＝h₁/W/z₂；对球机高清画面中对应的枪机目标交错区域处理，将该区域复制到长宽分别为w₂，h₂的图像B₁上同时根据坐标变换关系转换检测框信息；将B1按比例缩放到长宽w，h，得到图像B2，同时将检测框信息按比例变换，B2区域中心和枪机画面坐标(x₀，y₀)对应，将B2计算的检测框变换到枪机区域，实现了区域目标重检测，得到新的检测框信息，更新检测结果；

利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置，卡尔曼滤波器轨迹预测跟踪：卡尔曼滤波器的状态定义为跟踪目标的质心位置和质心像素偏移目标不交错时采用枪机检测作为B_i质心(x_i，y_i)，目标交错时采用球机检测后反算出的检测作为B_i质心(x_i，y_i)，上一时刻质心偏移量前后三帧图像B_{i- 1}B_iB_i+1，i+1时刻状态预测方程和观测方程分别为：X_i+1＝AX_i+W_i，校正后的状态矩阵H观测矩阵，A状态转移矩阵，K_i为Kalman增益，W_i，N_i分别为状态和观测对应的噪声序列阵, 具体公式如下：

N_i为(1，1)

将卡尔曼滤波器X′_i+1值更新为

本发明的另一目的在于提供一种所述大场景多目标协同跟踪方法的大场景多目标协同跟踪系统，所述大场景多目标协同跟踪系统包括：

枪机和球机关系模块，用于计算固定枪机和高清球机间关系矩阵；

目标检测模块，用于实现枪机画面中目标检测；

优先级模块，根据前一帧所有目标的质心和后一帧目标框的位置关系确定目标间关系。

所述优先级模块进一步包括：

控制模块：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像。若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域。若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域。否则枪机控制球机不转动；

目标更新模块：根据枪机和球机关系矩阵，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；

跟踪模块：利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置。

本发明的另一目的在于提供一种应用所述大场景多目标协同跟踪方法的智能监控系统。

本发明的另一目的在于提供一种应用所述大场景多目标协同跟踪方法的智能交通系统。

综上所述，本发明的优点及积极效果为：本发明根据大场景监控区域大，目标在画面中占的比例相对较小，同时目标间颜色、纹理等特征区别不明显，提取目标颜色，纹理等特征也比较困难等问题，提出一种大场景多目标协同跟踪方法。采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机。枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，然后根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，进而将目标交错区域重新分割，实现协同跟踪，有效提高目标跟踪的鲁棒性。

本发明对枪机画面中多目标关系进行优先级分类，根据目标关系确定球机的动作，提高了系统球机利用率，节省资源；枪机画面中目标交错区域，球机转动到该区域，并获取目标高清图像，球机对高清图像进行目标检测，大大提高目标的检测准确率。通过枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，进而将目标交错区域重新分割，实现协同跟踪，有效提高目标跟踪的鲁棒性。

附图说明

图1是本发明实施例提供的大场景多目标协同跟踪方法流程图。

图2是本发明实施例提供的大场景多目标协同跟踪方法实现流程图。

图3是本发明实施例提供的枪机目标检测结果图。

图4是本发明实施例提供的球机对枪机交错区域目标检测图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明针对大场景下多目标的跟踪过程中获得的目标信息较少，目标之间特征不明显，目标出现交错遮挡时，导致跟踪目标容易丢失问题，提供一种大场景多目标协同跟踪方法。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的大场景多目标协同跟踪方法包括以下步骤：

S101：前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；

S102：前一帧目标质心在后一帧目标框中数量，若这个数量大于等于2，则认为该区域存在目标交错。若这个数量大于等于1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；

S103：根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。

下面结合附图对本发明的应用原理作进一步的描述。

图2所示，本发明实施例提供的大场景多目标协同跟踪包括枪机和球机关系模块，目标检测模块，优先级判定模块，控制模块，目标更新模块，跟踪模块。

枪机和球机关系模块：计算固定枪机和高清球机间关系矩阵：固定枪机和高清球机间相对位置固定后，采用坐标标定方法进行物理位置的坐标标定，获得枪机画面中每个像素与球机画面中心时对应的值，得到枪机坐标和球机转动关系。球机在某一固定焦距下z₁，同一目标在枪机A和球机B画面中占的长宽分别为(x₁，y₁)，(x₂，y₂)计算该目标在枪机和球机画面长宽比例W,H及缩放倍数Z其中W＝x2/x1，H＝y2/y1，Z＝z1。则同一目标在枪机和球机中关系矩阵为[W H Z]。

目标检测模块：枪机画面中目标检测方法有背景差分，帧间差分，背景建模等，本发明采用帧间差分作为实例，但不限于用此方法进行目标检测。采用帧间差分进行目标检测具体为获取三帧图像并转化为灰度图I₁I₂I₃，计算I₁I₂，I₂I₃的灰度差，差分后灰度图B₁B₂，B₁中每一个灰度B_ij用其自身灰度和其周围m*m区域灰度值和的平均值来代替，本发明中采样3*3区域，B₂处理同B₁。B₁B₂经过灰度处理后新灰度图B′₁B′₂，设置阈值为k,获得二值图像这里k取5-10，对二值图像相与得到目标检测信息。球机进行目标检测具体做法为：根据目标之间位置关系并结合卡尔曼轨迹预测法确定枪机画面坐标，根据枪机坐标和球机关系，枪机控制球机转动，使枪机画面坐标(x₀，y₀)目标在球机画面中心。同时将球机进行放大，获取目标区域高清图像。在球机画面中目标较大，特征明显，可以采用传统机器学习，深度学习方法等方法。本发明以深度学习目标检测为例对球机画面中目标进行检测，但不限于用此方法进行目标检测。

优先级模块：根据前一帧所有目标的质心和后一帧目标框的位置关系确定目标间关系。目标关系分为：目标交错，目标可能交错，目标不交错，同时根据这三种状态设置优先级。目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。

本发明实施例提供的大场景多目标协同跟踪方法具体步骤为：

第1步，枪机目标检测框之间的关系：目标关系分为目标交错，目标可能交错，目标不交错。前后两帧目标图像B_iB_i+1，记录B_i所有目标的质心(x_i，y_i)，判断B_i质心(x_i，y_i)与B_i+1目标框的位置。B_i质心在B_i+1目标框中数量M，若M＞1则认为该区域存在目标交错。若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小，卡尔曼滤波轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v 20v]。

第2步，设置优先级：根据枪机目标间三种状态设置优先级。目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。

控制模块：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像。若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域。若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域。否则枪机控制球机不转动。

目标更新模块：根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息。球机画面中目标检测框的长宽w₁，h₁，球机缩放倍数z₂，根据枪机和球机关系模块计算出枪机和球机间关系矩阵[W H Z]，该目标在枪机画面长宽分别为w₂，h₂,则w₂＝w₁/W/z₂,h₂＝h₁/W/z₂。对球机高清画面中对应的枪机目标交错区域处理，将该区域复制到长宽分别为w₂，h₂的图像B1上同时根据坐标变换关系转换检测框信息。比如球机B对应的检测区域中心点坐标B(x，y)，检测目标中心和长宽为(x_i，y_i，w，h)，则变换后在B1图中目标检测框信息为(x_j，y_j，w，h)，其中(x_i，y_j)＝(x_i，y_i)-((x-w/2)，(y-h/2))。最后将B1按比例缩放到长宽w，h，得到图像B2，同时将检测框信息按比例变换，B2区域中心和枪机画面坐标(x₀，y₀)对应，将B2计算的检测框变换到枪机区域，实现了区域目标重检测，得到新的检测框信息，更新检测结果。

跟踪模块：利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置。卡尔曼滤波器轨迹预测跟踪：卡尔曼滤波器的状态定义为跟踪目标的质心位置和质心像素偏移目标不交错时采用枪机检测作为B_i质心(x_i，y_i)，目标交错时采用球机检测后反算出的检测作为B_i质心(x_i，y_i)，上一时刻质心偏移量前后三帧图像B_i-1B_iB_i+1，i+1时刻状态预测方程和观测方程分别为：X_i+1＝AX_i+W_i，校正后的状态矩阵H观测矩阵，A状态转移矩阵，K_i为Kalman增益，W_i，N_i分别为状态和观测对应的噪声序列阵, 具体公式如下：

本发明中N_i为(1，1)

将卡尔曼滤波器X′_i+1值更新为

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪。

2.如权利要求1所述的大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法包括以下步骤：

步骤一，前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；

步骤二，前一帧目标质心在后一帧目标框中数量，若这个数量大于等于2，则认为该区域存在目标交错；若这个数量大于等于1，判断目标间是否可能存在交错趋势：计算目标检测框之间的最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；

步骤三，根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。

3.如权利要求2所述的大场景多目标协同跟踪方法，其特征在于，所述步骤一具体包括：前后两帧目标图像B_iB_i+1，记录B_i所有目标的质心(x_i，y_i)，判断B_i质心(x_i，y_i)与B_i+1目标框的位置；B_i质心在B_i+1目标框中数量M，若M＞1则认为该区域存在目标交错；若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小，卡尔曼滤波轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v 20v]。

4.如权利要求2所述的大场景多目标协同跟踪方法，其特征在于，所述步骤二具体包括：

枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；

根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；球机画面中目标检测框的长宽w₁，h₁，球机缩放倍数z₂，根据枪机和球机关系模块计算出枪机和球机间关系矩阵[W H Z]，目标在枪机画面长宽分别为w₂，h₂,则对球机高清画面中对应的枪机目标交错区域处理，将该区域复制到长宽分别为w₂，h₂的图像B1上同时根据坐标变换关系转换检测框信息；将B1按比例缩放到长宽w，h，得到图像B2，同时将检测框信息按比例变换，B2区域中心和枪机画面坐标(x₀，y₀)对应，将B2计算的检测框变换到枪机区域，实现了区域目标重检测，得到新的检测框信息，更新检测结果；

利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置，卡尔曼滤波器轨迹预测跟踪：卡尔曼滤波器的状态定义为跟踪目标的质心位置和质心像素偏移目标不交错时采用枪机检测作为B_i质心(x_i，y_i)，目标交错时采用球机检测后反算出的检测作为B_i质心(x_i，y_i)，上一时刻质心偏移量前后三帧图像B_{i- 1}B_iB_i+1，i+1时刻状态预测方程和观测方程分别为：X_i+1＝AX_i+W_i，校正后的状态矩阵H观测矩阵，A状态转移矩阵，K_i为Kalman增益，W_i，N_i分别为状态和观测对应的噪声序列阵, 具体公式如下：

N_i为(1，1)

将卡尔曼滤波器X′_i+1值更新为

5.一种如权利要求1所述大场景多目标协同跟踪方法的大场景多目标协同跟踪系统，其特征在于，所述大场景多目标协同跟踪系统包括：

枪机和球机关系模块，用于计算固定枪机和高清球机间关系矩阵；

目标检测模块，用于实现枪机画面中目标检测；

优先级模块，根据前一帧所有目标的质心和后一帧目标框的位置关系确定目标间关系。

6.如权利要求5所述的大场景多目标协同跟踪系统，其特征在于，所述优先级模块进一步包括：

控制模块：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；

目标更新模块：根据枪机和球机关系矩阵，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；

跟踪模块：利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置。

7.一种应用权利要求1～4任意一项所述大场景多目标协同跟踪方法的智能监控系统。

8.一种应用权利要求1～4任意一项所述大场景多目标协同跟踪方法的智能交通系统。