CN104794731A - 用于球机控制策略的多目标检测跟踪方法 - Google Patents

Abstract

本发明公开了一种用于球机控制策略的多目标检测跟踪方法，主要包括对获得的枪机视频图像数据进行预处理、去除多余帧图像、对于第[2，N]帧图像进行前景点检测、背景模型更新、联通区域分析、计算目标特征、计算比较相邻帧目标相似性、多特征相似性融合、最优匹配、目标找回、状态更新和目标特征更新。本发明可以提高目标跟踪的准确性；可以很好的处理分离以及合并事件，以及对发生此事件相关的目标ID重新找回；可以有效的提升相似性精度，使得在匹配的过程中精度提升，大大的提升了匹配准度，降低错匹配率；对合并分离后的目标的ID重新找回更加准确；算法实时性高，运行效率非常高，并且占用内存较少，适合前端嵌入式环境下实现。

Description

用于球机控制策略的多目标检测跟踪方法

技术领域

本发明涉及智能视频监控领域，特别是涉及一种用于球机控制策略的多目标检测跟踪方法。

背景技术

随着计算机视觉技术、计算机处理能力的提高，以及公共安全防范需求的增加，智能视频监控技术得到了快速的发展。智能视频监控主要利用机器视觉技术，主动对视频场景中的感兴趣目标进行处理、分析和理解，在不需要人为干预的情况下对场景中的目标进行检测、跟踪和识别，达到自动发现、自动跟踪和自动预警的目的。

枪机、球机协同监控技术是智能视频监控技术的主要发展方向之一。这种技术通过对高清广角枪式摄像头获得的图像序列进行自动分析，发现多个活动目标并进行跟踪，同时，利用球机跟踪策略，实时控制高清高速球式摄像头捕获枪机中对应目标的清晰视频。

传统的单独枪机或单独球机被动式监控技术已经不能满足日益增长的监控需求，现有的技术主要存在着以下缺陷：

1)针对大场景，高复杂度的枪机视频，进行多目标检测跟踪算法处理时，目标跟踪的准确性及精度比较低，导致球机控制精度较低，使得目标无法在球机的中心位置；

2)当活动目标被部分或全部遮挡时，目标ID恢复困难，当多个目标相互合并以及分离时，目标ID无法恢复；

3)多目标检测跟踪算法复杂度较高，无法满足实时控制球机的要求。

导致上述缺陷的原因如下：

1)监控场景较大，目标距离枪机较远，目标的信息量非常小；

2)场景非常复杂(人、机动车、非机动车等)，无法建立统一的模型，活动目标运动随机；

3)系统需要实时处理，受限于前端处理器性能，在满足实时性要求的前提下，无法使用算法复杂度相对较高的算法。

发明内容

本发明的目的就在于为了解决上述问题而提供一种用于球机控制策略的多目标检测跟踪方法。

本发明通过以下技术方案来实现上述目的：

一种用于球机控制策略的多目标检测跟踪方法，包括以下步骤：

A1：对获得的枪机视频图像数据进行预处理，首先将图像缩小，然后对缩小后的图像进行去噪处理；

A2：取出预处理后的图像，如果取得第1帧图像，则对第1帧图像进行进行背景模型初始化和多目标检测跟踪算法初始化，然后跳转至步骤A1并查找下一帧图像，如果取得第[2，N]帧图像，则继续执行步骤A3；

A3：对于第[2，N]帧图像进行前景点检测，并且更新背景模型；

A4：采用形态学的开操作对获得的前景点图像进行去噪处理，核尺寸大小为5x5，然后采用形态学的闭操作将距离比较近的前景点图像连到一起；

A5：联通区域分析，对前景点图像进行联通区域算法操作，将离散的前景点图像合并为联通的区域图像；

A6：计算目标特征，包括计算每个联通区域图像的面积和质心点坐标，并统计每个联通区域图像的颜色直方图，通过设置最小及最大面积阈值，过滤过大或过小的目标；

A7：计算之前帧图像与当前帧图像所有目标的特征相似性，包括面积相似性、颜色直方图相似性、重合面积比例和运动估计；

A8：多特征相似性融合，利用多特征融合算法将步骤A7中得到的四个特征相似性归一化为统一值；

A9：基于全局的最优匹配，通过归一化后的特征值，寻找之前帧图像与当前帧图像之间所有目标的最佳匹配对，并通过重合面积比例特征，对合并及分离事件进行估计，在去除分离与合并后的目标后，对剩余的目标采用匈牙利算法进行全局最优匹配；

A10：将合并与分离事件的ID进行重新整理和分配；

A11：当目标部分或者全部被遮挡后，重新找回目标ID；

A12：状态更新，将目标的状态分为初始化状态、正常跟踪状态、丢失状态和消失状态四类，初始化状态通过目标稳定进行判定，当目标在某一时段足够稳定，则目标进行正常跟踪状态，当正常跟踪状态下的目标突然丢失，则进入丢失状态，在丢失状态下维持T秒时间内，仍然没有找回，则进入消失状态，此时删除目标ID，认为目标已经离开此场景；

A13：目标特征更新，将当前帧图像所有目标的特征更新后跳转至步骤A1。

进一步地，步骤A1中缩小后的输入图像尺寸为1080P，输出图像尺寸为D1。

进一步地，步骤A1中是采用核大小为3x3尺寸的均值滤波器对缩小后的图像进行去噪处理。

进一步地，步骤A4中的操作可以重复多次，可以根据具体的应用场景，采用不同大小的核尺寸。

进一步地，步骤A5中的联通区域算法采用8-联通区域算法，同时生成每个联通区域唯一标识的mask图像。

进一步地，相似性、颜色直方图相似性、重合面积比例和运动估计四种特征相似性的计算方法如下：

所述面积相似性：1-(Area0/Area1)，值越小，说明面积越相似，Area0为之前帧某个目标的面积，Area1为当前帧某个目标的面积；

所述颜色直方图相似性：计算两个直方图的巴氏距离d(H1，H2)作为度量直方图相似度的对比标准，取值范围为[0，1]，值越小，说明两个直方图越相似；

所述重合面积比例：计算当前帧每个目标是否与之前帧每个目标有重合，如果有重合，则计算具体的重合面积与之前帧面积比例；

所述运动估计：采用最小二乘法拟合直线，通过直线方程预测目标运动在将来的第N帧图像目标的位置点。

进一步地，步骤A8中归一化的方式通过设置每个特征的权重进行，权重参数的设置采用自适应的方式获得，通过估计在某个时间段内某个特征的稳定性来动态调整其对应的权重值，某个特征越稳定，其权重值越高，否则相反，通过这种方式，可以动态的调整每个特征在全局分配的过程中所起到的作用。

进一步地，步骤A10中提到的合并事件相对简单，新建多目标对象，同时保存每个子目标的数据关联，分离事件相对复杂，需要对目标ID进行重新分配，采用的准则如下：

B1：如果分离之前的多目标对象所包含的子目标个数小于等于当前分离出来的目标个数，则将分离之前的多目标最像所包含的所有子目标与分离出来的目标进行匹配；

B2：如果分离之前的多目标对象所包含的子目标个数大于当前分离出来的目标个数，则：如果分离出来的目标等于2，则认为其中一个目标与分离之前的多目标对象所包含的其中一个目标匹配，另外一个目标与剩余所有目标匹配，如果不等于2，则删除多个目标，重新对当前分离出的目标进行初始化。

进一步地，步骤A12中T的值介于3-5之间。

本发明的有益效果在于：

1)通过目标特征的相似性计算，以及全局最优分配准则，可以提高稳定目标跟踪的准确性；

2)通过目标关联事件的检测，建立多目标对象层，可以很好的处理分离以及合并事件，以及对发生此事件相关的目标ID重行找回，效果提升显著；

3)通过多特征融合算法，采用自适应权重调整方式，可以有效的提升相似性精度，使得在匹配的过程中精度提升，大大的提升了匹配准度，降低错匹配率；

4)通过建立一系列的准则，对合并分离后的目标的ID重新找回更加准确，且准则的制定符合一般性规律，应该在绝大多数场景下都适用；

5)算法实时性高，运行效率非常高，并且占用内存较少，适合前端嵌入式环境下实现。

附图说明

图1是本发明所述用于球机控制策略的多目标检测跟踪方法的流程图；

图2是常用的球机控制策略与本发明所述多目标检测跟踪方法的关系示意框图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1和图2所示，本发明包括以下步骤：

A1：对获得的枪机视频图像数据进行预处理，首先将图像缩小，然后对缩小后的图像进行去噪处理；

A2：取出预处理后的图像，如果取得第1帧图像，则对第1帧图像进行进行背景模型初始化和多目标检测跟踪算法初始化，然后跳转至步骤A1并查找下一帧图像，如果取得第[2，N]帧图像，则继续执行步骤A3；

A3：对于第[2，N]帧图像进行前景点检测，并且更新背景模型；

A4：采用形态学的开操作对获得的前景点图像进行去噪处理，核尺寸大小为5x5，然后采用形态学的闭操作将距离比较近的前景点图像连到一起；

A5：联通区域分析，对前景点图像进行联通区域算法操作，将离散的前景点图像合并为联通的区域图像；

A6：计算目标特征，包括计算每个联通区域图像的面积和质心点坐标，并统计每个联通区域图像的颜色直方图，通过设置最小及最大面积阈值，过滤过大或过小的目标；

A7：计算之前帧图像与当前帧图像所有目标的特征相似性，包括面积相似性、颜色直方图相似性、重合面积比例和运动估计；

A8：多特征相似性融合，利用多特征融合算法将步骤A7中得到的四个特征相似性归一化为统一值；

A9：基于全局的最优匹配，通过归一化后的特征值，寻找之前帧图像与当前帧图像之间所有目标的最佳匹配对，并通过重合面积比例特征，对合并及分离事件进行估计，在去除分离与合并后的目标后，对剩余的目标采用匈牙利算法进行全局最优匹配；

A10：将合并与分离事件的ID进行重新整理和分配；

A11：当目标部分或者全部被遮挡后，重新找回目标ID；

A12：状态更新，将目标的状态分为初始化状态、正常跟踪状态、丢失状态和消失状态四类，初始化状态通过目标稳定进行判定，当目标在某一时段足够稳定，则目标进行正常跟踪状态，当正常跟踪状态下的目标突然丢失，则进入丢失状态，在丢失状态下维持T秒时间内，仍然没有找回，则进入消失状态，此时删除目标ID，认为目标已经离开此场景；

A13：目标特征更新，将当前帧图像所有目标的特征更新后跳转至步骤A1。

本发明所述用于球机控制策略的多目标检测跟踪方法，步骤A1中缩小后的输入图像尺寸为1080P，输出图像尺寸为D1，并且去噪处理是采用核大小为3x3尺寸的均值滤波器对缩小后的图像进行。

步骤A4中的操作可以重复多次，可以根据具体的应用场景，采用不同大小的核尺寸。

步骤A5中的联通区域算法采用8-联通区域算法，同时生成每个联通区域唯一标识的mask图像。

步骤A7中相似性、颜色直方图相似性、重合面积比例和运动估计四种特征相似性的计算方法如下：

面积相似性：1-(Area0/Area1)，Area0为之前帧某个目标的面积，Area1为当前帧某个目标的面积，面积相似性的值越小，说明面积越相似；

颜色直方图相似性：计算两个直方图的巴氏距离d(H1，H2)作为度量直方图相似度的对比标准，取值范围为[0，1]，值越小，说明两个直方图越相似；

重合面积比例：计算当前帧每个目标是否与之前帧每个目标有重合，如果有重合，则计算具体的重合面积与之前帧面积比例；

运动估计：采用最小二乘法拟合直线，通过直线方程预测目标运动在将来的第N帧图像目标的位置点。

在计算重合面积比例时，由于枪机距离监控目标较远，通过测试发现绝大多数目标在两帧时间间隔内重合面积的比例都比较大，并且有非常高的区别度，通过设置阈值为0.2，将过小的干扰去除，可达到较好的效果。

在进行运动估计时，假设目标在短时间内运动模型为线性，如果采样点个数过多，则不符合假设条件，如果过少，则影响拟合准确性。设置2秒时间内获得的采样点为样本数，进行拟合直线方程，从而获得目标预测的速度和方向信息。

步骤A8中归一化的方式通过设置每个特征的权重进行，权重参数的设置采用自适应的方式获得，通过估计在某个时间段内某个特征的稳定性来动态调整其对应的权重值，某个特征越稳定，其权重值越高，否则相反，通过这种方式，可以动态的调整每个特征在全局分配的过程中所起到的作用。

步骤A12中T的值一般T介于3-5之间，如果过大会将新的ID错误的分配给旧ID。

步骤A9中，对剩余的目标采用匈牙利算法进行全局最优匹配，是为了获得其余事件，采用先去除合并分离事件再进行全局匹配的方式进行，可以很好的避免算法的干扰，提升算法的鲁棒性。

步骤A10中，对于合并与分离事件，需要将ID进行重新整理和分配。合并事件相对简单，新建多目标对象，同时保存每个子目标的数据关联；分离事件相对复杂，需要对目标ID进行重新分配，采用的准则如下：

B1：如果分离之前的多目标对象所包含的子目标个数小于等于当前分离出来的目标个数，则将分离之前的多目标最像所包含的所有子目标与分离出来的目标进行匹配；

B2：如果分离之前的多目标对象所包含的子目标个数大于当前分离出来的目标个数，则：如果分离出来的目标等于2，则认为其中一个目标与分离之前的多目标对象所包含的其中一个目标匹配，另外一个目标与剩余所有目标匹配；如果不等于2，则删除多个目标，重行对当前分离出的目标进行初始化；

根据背景检测的特点，假设在某一帧只有一个目标会从多目标分离出来，这个假设在绝大多数场景下面都有效，通过以上两条准则，则极大的降低的算法的复杂度，而且提升了目标ID恢复的准确性。

步骤A11中当目标部分或者全部被遮挡后，目标ID的重新找回采用类似之前提到方法进行，只是选择的匹配对为当前状态为丢失的目标与当前状态为初始化的目标进行匹配，如果丢失的目标与初始化的目标匹配成功，则认为初始化的目标即为丢失的目标，丢失目标ID重新找回成功。

球机控制策略是通过目标的一系列特征的组合，按照事先约定好的规则(控制策略)，自动控制球机锁定跟踪某一个目标。其规则的确定是通过用户的关注点而确定的，具有一定的灵活性，甚至后期可以对用户的一些特定需求提供定制化服务。图2中所示处的控制策略主要实现的是一般客户在大多数场景下，最有可能使用的球机控制规则，按照通用化的策略进行设计以满足大多数用户的需求。

一般情况下，球机控制策略的算法实施步骤如下：

1)根据不同的场景，用户不同的需求，选择不同的球机控制策略进行设置；

2)设置最小球机跟踪时间为T0，最大跟踪时间为T1，一般设置T0为3秒，T1为6秒；

3)基于警戒区域：将枪机画面分割为多个不同警戒级别的闭合区域，当目标出现在警戒级别较高的区域时，球机优先跟踪；

4)基于目标的运动速度和方向：速度快的目标，球机优先跟踪，出现某一个指定运动方向的目标，球机优先跟踪；

5)基于目标出现的时间：先出现的目标优先跟踪。

6)基于中心位置：目标离中心位置越近，球机优先跟踪；

7)基于目标切换的最短路径：目标位置距离当前球机位置越近，球机优先跟踪。

本发明所述用于球机控制策略的多目标检测跟踪方法，为球机控制策略提供基础的输出，包括当前目标个数、位置、运动信息和状态信息等。而球机控制策略则通过本发明所得到的信息，根据策略的不同，实时选择某一个目标作为球机跟踪的对象。本发明作为球机控制策略的基础，其提供目标信息的稳定性，准确性直接影响到球机控制的精度以及准度，而球机控制算法则应用多目标检测跟踪算法的输出，提供给用户自动控制球机，捕获有效目标的可能。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。

Claims (9)

1.一种用于球机控制策略的多目标检测跟踪方法，其特征在于，包括以下步骤：

A1：对获得的枪机视频图像数据进行预处理，首先将图像缩小，然后对缩小后的图像进行去噪处理；

A2：取出预处理后的图像，如果取得第1帧图像，则对第1帧图像进行进行背景模型初始化和多目标检测跟踪算法初始化，然后跳转至步骤A1并查找下一帧图像，如果取得第[2，N]帧图像，则继续执行步骤A3；

A3：对于第[2，N]帧图像进行前景点检测，并且更新背景模型；

A4：采用形态学的开操作对获得的前景点图像进行去噪处理，核尺寸大小为5x5，然后采用形态学的闭操作将距离比较近的前景点图像连到一起；

A5：联通区域分析，对前景点图像进行联通区域算法操作，将离散的前景点图像合并为联通的区域图像；

A6：计算目标特征，包括计算每个联通区域图像的面积和质心点坐标，并统计每个联通区域图像的颜色直方图，通过设置最小及最大面积阈值，过滤过大或过小的目标；

A7：计算之前帧图像与当前帧图像所有目标的特征相似性，包括面积相似性、颜色直方图相似性、重合面积比例和运动估计；

A8：多特征相似性融合，利用多特征融合算法将步骤A7中得到的四个特征相似性归一化为统一值；

A9：基于全局的最优匹配，通过归一化后的特征值，寻找之前帧图像与当前帧图像之间所有目标的最佳匹配对，并通过重合面积比例特征，对合并及分离事件进行估计，在去除分离与合并后的目标后，对剩余的目标采用匈牙利算法进行全局最优匹配；

A10：将合并与分离事件的ID进行重新整理和分配；

A11：当目标部分或者全部被遮挡后，重新找回目标ID；

A12：状态更新，将目标的状态分为初始化状态、正常跟踪状态、丢失状态和消失状态四类，初始化状态通过目标稳定进行判定，当目标在某一时段足够稳定，则目标进行正常跟踪状态，当正常跟踪状态下的目标突然丢失，则进入丢失状态，在丢失状态下维持T秒时间内，仍然没有找回，则进入消失状态，此时删除目标ID，认为目标已经离开此场景；

A13：目标特征更新，将当前帧图像所有目标的特征更新后跳转至步骤A1。

2.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A1中缩小后的输入图像尺寸为1080P，输出图像尺寸为D1。

3.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A1中是采用核大小为3x3尺寸的均值滤波器对缩小后的图像进行去噪处理。

4.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A4中的操作可以重复多次，可以根据具体的应用场景，采用不同大小的核尺寸。

5.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A5中的联通区域算法采用8-联通区域算法，同时生成每个联通区域唯一标识的mask图像。

6.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：

所述面积相似性：1-(Area0/Area1)，值越小，说明面积越相似，Area0为之前帧某个目标的面积，Area1为当前帧某个目标的面积；

所述颜色直方图相似性：计算两个直方图的巴氏距离d(H1，H2)作为度量直方图相似度的对比标准，取值范围为[0，1]，值越小，说明两个直方图越相似；

所述重合面积比例：计算当前帧每个目标是否与之前帧每个目标有重合，如果有重合，则计算具体的重合面积与之前帧面积比例；

所述运动估计：采用最小二乘法拟合直线，通过直线方程预测目标运动在将来的第N帧图像目标的位置点。

7.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A8中归一化的方式通过设置每个特征的权重进行，权重参数的设置采用自适应的方式获得，通过估计在某个时间段内某个特征的稳定性来动态调整其对应的权重值，某个特征越稳定，其权重值越高，否则相反，通过这种方式，可以动态的调整每个特征在全局分配的过程中所起到的作用。

8.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A10中提到的合并事件相对简单，新建多目标对象，同时保存每个子目标的数据关联，分离事件相对复杂，需要对目标ID进行重新分配，采用的准则如下：

B1：如果分离之前的多目标对象所包含的子目标个数小于等于当前分离出来的目标个数，则将分离之前的多目标最像所包含的所有子目标与分离出来的目标进行匹配；

B2：如果分离之前的多目标对象所包含的子目标个数大于当前分离出来的目标个数，则：如果分离出来的目标等于2，则认为其中一个目标与分离之前的多目标对象所包含的其中一个目标匹配，另外一个目标与剩余所有目标匹配，如果不等于2，则删除多个目标，重新对当前分离出的目标进行初始化。

9.根据权利要求1所述的用于球机控制策略的多目标检测跟踪方法，其特征在于：步骤A12中T的值介于3-5之间。