CN111598180B - 一种自动识别取证目标跟踪方法 - Google Patents

Abstract

本发明公开了一种自动识别取证目标跟踪方法，属于图像识别领域，通过摄像头集群对一定区域极性扫描识别，然后再把每个摄像头联合起来，完成对一个区域的取证识别跟踪，并通过对每个摄像头单独设置跟踪识别处理器，减少了摄像头实现多个目标跟踪时出现的响应延迟情况，在实践对比中，通过上述方式，与单独一个服务器处理相比，其效率提高了60％，同时处理跟踪的速度更快，位置精度更高，通过预测与实时跟踪进行结合，使得跟踪的响应更加灵敏，不但能够实时取证，还能够提供跟踪目标的实时运动路线，为相关单位提供线索，更好的破案。

Description

一种自动识别取证目标跟踪方法

技术领域

本发明涉及图像识别领域，尤其涉及一种自动识别取证目标跟踪方法。

背景技术

照片被用作记录事件、人物和地点已有100多年的历史。随着创新的设备和技术的广泛使用，拍摄获得的图像数量不断增加，数字图像现在已是无处不在。技术的进步，使得数字媒体及数字图像已经成为我们主要的信息来源，它们被用作法庭上的证据、病历的一部分以及财务文件。在实践中，数字图像取证，可以简单定义为如下过程：第一步，在可疑装置中获取图像证据，以及对这些提取出来的图像进行更有效地搜索和组织。第二步，对图像的源属性和认证进行分析；第三步，取证专家在法庭中给出有关调查结果。

但是随着技术的发展，简单的图像视频取证已经不能满足相关单位的需求，特别是一些需要跟踪目标的取证，因此，需要设计一种具有实跟踪的方法，对目标物进行实时的跟踪。

发明内容

本发明的目的在于提供一种自动识别取证目标跟踪方法，解决现有图像取证不能实时跟踪的技术问题。

一种自动识别取证目标跟踪方法，所述跟踪方法包括如下步骤：

步骤1：在取证的空间区域内安装识别跟踪摄像头集群，并把每个摄像头均连接入数据处理服务器。

步骤2：对需要取证的空间区域进行建立识别跟踪摄像头集群的空间摄像识别区域，并划定每个摄像头的摄像区域。

步骤3：红外触发并由摄像头盲扫识别，并把识别的图像特征传给目标特征库进行对比。

步骤4：当识别的图像特征与目标特征库的特征匹配时，启动目标锁定跟踪程序。

步骤5：从目标特征库中取出目标图像，把目标图像和搜索图像输入匹配网络中获得目标特征层和搜索特征层。

步骤6：将目标特征层和搜索特征层卷积的结果与标签真实值进行相似度匹配，利用目标损失函数计算上述匹配结果与标签真实值之间的误差。

步骤7：基于小批量随机梯度下降优化算法调整网络中的权重和偏置，以获取最优的误差值，直至目标损失函数的误差值收敛于最小值，完成跟踪识别训练。

步骤8：将目标图像和实时检测的视频序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络并输出目标时间点位置。

步骤9：预测网络实时预测下一时间目标的位置，当目标的位置为边界域时，发出指令通知与边界域相邻的摄像头盲扫识别模式。

步骤10：将视频下一序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络返回步骤9。

步骤11：重复步骤9-步骤10输出目标的实时位置。

所述步骤2的具体过程为：

建立三维空间模型，选定三轴零点，三轴为X轴、Y轴和Z轴，则监控的区域由三轴正负方向延长构成，摄像区域即为每个摄像头的所能拍摄到的空间区域。

所述步骤3中的具体过程为：

在每个摄像头上均安装有红外感应器和超声波感应器，当摄像头没有接收到数据处理服务器的跟踪识别指令时，红外感应器感应到有物体进入摄像区域时，开启摄像头对整个摄像区域进行摄像设别，识别时，将图像拍摄并由超声波感应器感应拍摄图像的具体距离，把图像分成若干块单元图像并识别，并在单元图像上标注空间域坐标，把识别的每个单元图像的图像特征传给数据处理服务器的目标特征库进行对比。

所述步骤4的具体过程为：当其中的一个摄像头发现目标物时，数据处理服务器构建具有单独处理数据功能的处理单元，处理单元为数据处理接口和处理数据等级参数，并分配处理器进行目标锁定跟踪，处理器为接入数据处理服务器的控制数据处理器。

所述步骤5的具体过程为：

从目标特征库中取出目标图像传给相应的处理器，处理器具有单独处理数据的功能，并嵌入匹配网络，目标图像和搜索图像输入匹配网络后，先对目标图像特征提取得到目标特征层，然后在对搜索图像进行特征识别得到搜索特征层。

所述步骤6的具体过程为：把目标特征层和搜索特征层进行卷积运算处理，得到真实值，并进行相似度匹配，利用以下目标损失函数计算匹配结果与标签真实值之间的误差，Loss＝Error_coord+Error_iou+Error_cls

其中Error_coord、Error_iou和Error_cls分别表示预测包围盒的误差、IOU误差和分类误差；λ_coord为坐标误差权重；S²是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果

等于1，则第j个包围框在第i网格内覆盖了目标；否则/>

等于0；/>

为预测边界框的中心坐标值及其宽度和高度，(x_i,y_i,w_i,h_i)为真实的边界框的中心坐标值及其宽度和高度；λ_noobj为对边界框进行预测时置信度损失的权重；c_i为预测的置信度；/>

为真实的置信度；p_i(c)是在网格i内目标属于c的真实概率，/>

是预测的概率。

所述步骤7中的小批量随机梯度下降优化算法的边界框坐标的算式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，(c_x,c_y)表示网格左上角的坐标，(σ(t_x)，σ(t_y))表示偏移量，(p_w，p_h)表示先验框的宽度和高度，(b_x,b_y,b_w,b_h)表示最终预测得到边界框的坐标。

所述步骤8中，识别过程，选取感兴趣单元图像，然后先对单元图像进行对比识别，选取感兴趣单元图像的具体过程为：

首先，给每个单元图像一个权重，不同的单元图像以匹配不同的值，根据感兴趣的单元图像分配更高的值，感兴趣的单元图像值是所有类别中最大的分值，可以根据不同的需求自由分配每个单元图像的值，将单元图像分值的方程式设置为：

其中c(x_i)代表第i个单元图像的值；

将类别进行排序并分别给各个别类赋予分值；

检测到的多个单元图像中，由于每个单元图像的面积不同，对每个单元图像的面积赋予第二权重，权重与单元图像区域面积的乘积是选择单元图像的第二个因素，单元图像区域的大小设置为

s_i＝ω_i·h_i

其中，ω_i代表单元图像边界框的宽度，h_i代表单元图像边界框的高度，

选择最佳的单元图像，对单元图像的准确性给予第三权重，权重与准确性的乘积是目标的第三个因素，表明对目标的准确性更高；

通过多尺度检测对前三个帧的检测，对单元图像的速度赋予第四权重，表明单元图像越快，对其越感兴趣，速度方程设置为

其中，d_i是从第一帧到第十帧的距离，Δt代表从第一帧到第十帧的时间，分别设置为

Δt＝t₂-t₁

其中x_i第一帧单元图像的坐标和时间为(x₁,y₁)_i和t₁，第十帧单元图像的坐标和时间为(x₂,y₂)_i和t₂。

本发明采用了上述技术方案，本发明具有以下技术效果：

本发明通过对每个摄像头设置单独的跟踪识别处理器，在每个摄像头对多个目标跟踪时，不会出现响应延迟的情况，经过实践对比，设置多个处理器，与单独一个服务器处理，效率提高60％，同时处理跟踪的速度更快，位置精度更高，通过预测与实时跟踪进行结合，使得跟踪的响应更加灵敏，不但能够实时取证，能够提供跟踪目标的实时运动路线，为先关单位提供线索，更好的破案。

附图说明

图1是本发明的方法流程图。

图2是本发明的预测网络原理图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

如图1所示，根据本发明的一种自动识别取证目标跟踪方法，所述跟踪方法包括如下步骤：

步骤1：在取证的空间区域内安装识别跟踪摄像头集群，并把每个摄像头均连接入数据处理服务器。比如，以一个空旷的广场为例，则广场的每个区域都在摄像头的摄像范围，摄像头的数量根据广场的大小来定。每个摄像头的摄像区域是相接或者相隔一定距离均可以，相隔的距离与跟踪的精度成反比的关系，也就是摄像头越多，跟踪的反应速度越快，效率较高，本实施例中，摄像头安装结构简单，具体包括底座，底座上方连接有升降杆，其升降杆连接升降驱动件，摄像头通过转轴安装在升降杆上，并可以绕升降杆360度旋转，本实施例选取的摄像头安装成本低，使用方便，可以实现上下位置及360度无死角拍摄，提高了目标跟踪精确度。

步骤2：对需要取证的空间区域进行建立识别跟踪摄像头集群的空间摄像识别区域，并划定每个摄像头的摄像区域。建立三维空间模型，选定三轴零点，三轴为X轴、Y轴和Z轴，则监控的区域由三轴正负方向延长构成，摄像区域即为每个摄像头的所能拍摄到的空间区域。比如以广场的以后总地面中心点为三维空间模型的原点，原点设置在地面上。建立三维空间模型由数据处理服务器完成，并且每个摄像头的所处的空间坐标均存在数据处理服务器内。每个摄像头被触发开启扫描(盲扫)后，会实时采集摄像视频，然后经过帧处理后，把每一帧的图像进行识别处理。

步骤3：红外触发并由摄像头盲扫识别，并把识别的图像特征传给目标特征库进行对比。在每个摄像头上均安装有红外感应器和超声波感应器，当摄像头没有接收到数据处理服务器的跟踪识别指令时，红外感应器感应到有物体进入摄像区域时，开启摄像头对整个摄像区域进行摄像设别，识别时，将图像拍摄并由超声波感应器感应拍摄图像的具体距离，超声波感应器为超声波阵列。把图像分成若干块单元图像并识别，并在单元图像上标注空间域坐标，把识别的每个单元图像的图像特征传给数据处理服务器的目标特征库进行对比。单元图像为随机进行划分的，大小不一，根据具体图像的大概轮廓进行划分的，比如一个大人和一个小孩时，头部会以人头进行划分的。红外触发实现自动的扫描识别，超声波实现探测拍摄的物体与摄像头的距离，然后根据摄像头的坐标，可以算出地面或者物体的具体的位置坐标，比如广场有一个斜坡，则摄像头上的超声波会探测到该位置的竖直方向的坐标回比原地的低，则其的竖直方向的坐标为负值，计算出摄像头的正下方的竖直距离后，再根据超声波阵列之间的发射单元的倾斜角，直角定律可以算出具体的竖直距离，然后的得到坐标。

步骤4：当识别的图像特征与目标特征库的特征匹配时，启动目标锁定跟踪程序。当其中的一个摄像头发现目标物时，数据处理服务器构建具有单独处理数据功能的处理单元，处理单元为数据处理接口和处理数据等级参数，并分配处理器进行目标锁定跟踪，处理器为接入数据处理服务器的控制数据处理器。处理器在被唤醒后，对每个摄像头进行视频目标的跟踪处理，完成跟踪或者目标图像不要摄像头的摄像区域内后，处理器才会被服务器调用。

步骤5：从目标特征库中取出目标图像，把目标图像和搜索图像输入匹配网络中获得目标特征层和搜索特征层。从目标特征库中取出目标图像传给相应的处理器，处理器具有单独处理数据的功能，并嵌入匹配网络，目标图像和搜索图像输入匹配网络后，先对目标图像特征提取得到目标特征层，然后在对搜索图像进行特征识别得到搜索特征层。目标特征层为对一个单图像的单一的图像特征提取，搜索特征层则为多个单元图像特征并加上识别顺序坐标，即为叫上识别对比的路线。

步骤6：将目标特征层和搜索特征层卷积的结果与标签真实值进行相似度匹配，利用目标损失函数计算上述匹配结果与标签真实值之间的误差。

把目标特征层和搜索特征层进行卷积运算处理，得到真实值，并进行相似度匹配，利用以下目标损失函数计算匹配结果与标签真实值之间的误差，Loss＝Error_coord+Error_iou+Error_cls

其中Error_coord、Error_iou和Error_cls分别表示预测包围盒的误差、IOU误差和分类误差；λ_coord为坐标误差权重；S²是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果

等于1，则第j个包围框在第i网格内覆盖了目标；否则/>

等于0；/>

为预测边界框的中心坐标值及其宽度和高度，(x_i,y_i,w_i,h_i)为真实的边界框的中心坐标值及其宽度和高度；λ_noobj为对边界框进行预测时置信度损失的权重；c_i为预测的置信度；/>

为真实的置信度；p_i(c)是在网格i内目标属于c的真实概率，/>

是预测的概率。

步骤7：基于小批量随机梯度下降优化算法调整网络中的权重和偏置，以获取最优的误差值，直至目标损失函数的误差值收敛于最小值，完成跟踪识别训练。小批量随机梯度下降优化算法为现有的算式方法，但是经过改变其的边框识别方式，使得计算的精度更高。

小批量随机梯度下降优化算法的边界框坐标的算式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，(c_x,c_y)表示网格左上角的坐标，(σ(t_x)，σ(t_y))表示偏移量，(p_w，p_h)表示先验框的宽度和高度，(b_x,b_y,b_w,b_h)表示最终预测得到边界框的坐标。

步骤8：将目标图像和实时检测的视频序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络并输出目标时间点位置。识别过程，选取感兴趣单元图像，然后先对单元图像进行对比识别，选取感兴趣单元图像的具体过程为：

首先，给每个单元图像一个权重，不同的单元图像以匹配不同的值，根据感兴趣的单元图像分配更高的值，感兴趣的单元图像值是所有类别中最大的分值，可以根据不同的需求自由分配每个单元图像的值，将单元图像分值的方程式设置为：

其中c(x_i)代表第i个单元图像的值；

将类别进行排序并分别给各个别类赋予分值；

检测到的多个单元图像中，由于每个单元图像的面积不同，对每个单元图像的面积赋予第二权重，权重与单元图像区域面积的乘积是选择单元图像的第二个因素，单元图像区域的大小设置为

s_i＝ω_i·h_i

其中，ω_i代表单元图像边界框的宽度，h_i代表单元图像边界框的高度，

选择最佳的单元图像，对单元图像的准确性给予第三权重，权重与准确性的乘积是目标的第三个因素，表明对目标的准确性更高；

通过多尺度检测对前三个帧的检测，对单元图像的速度赋予第四权重，表明单元图像越快，对其越感兴趣，速度方程设置为

其中，d_i是从第一帧到第十帧的距离，Δt代表从第一帧到第十帧的时间，分别设置为

Δt＝t₂-t₁

其中x_i第一帧单元图像的坐标和时间为(x₁,y₁)_i和t₁，第十帧单元图像的坐标和时间为(x₂,y₂)_i和t₂。

在初次的盲扫识别中，每个单元图像的权重均是一样的，然后当盲扫后发现其中一个单元图像的特征与特征库的特征相似或者相同时，则以特征库的该目标图像为识别特征标准，然后以特征的相似度作为一个最重要的权重系数。

步骤9：预测网络实时预测下一时间目标的位置，当目标的位置为边界域时，发出指令通知与边界域相邻的摄像头盲扫识别模式。如图2所示，当目标在第三摄像头摄像区域的边界域内时，第一摄像头摄像区域和第二摄像头摄像区域均在，第三摄像头摄像区域的边界，而且相邻，当目标处在第三摄像头摄像区域的边界域内时，由处理器通知服务器，然后由服务器唤醒第一摄像头摄像区域和第二摄像头摄像区域的摄像头进行盲扫处理。盲扫即为没有目的的对一个区域进行识别，把识别的图像特征与目标特征库进行对比。通过预测下一个时间点的位置，然后预先通知目标可能进入的其他摄像头摄像区域的摄像头提前准备，使得更好的跟踪，提高跟踪精度。

步骤10：将视频下一序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络返回步骤9。重复步骤9-步骤10输出目标的实时位置。视频的每一帧实现一次跟踪，然后把每帧的目标位置联系起来则得到具体的路线位置。把视频转为帧，则以帧为图像进行识别处理，然后处理识别跟踪后，再把识别点根据帧的时间反向合成，实现了对更具路线的生成，为跟踪目标提供路线，为后续破案等提供路线证据支持。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种自动识别取证目标跟踪方法，其特征在于：所述跟踪方法包括如下步骤：

步骤1：在取证的空间区域内安装识别跟踪摄像头集群，并把每个摄像头均连接入数据处理服务器；

步骤2：对需要取证的空间区域进行建立识别跟踪摄像头集群的空间摄像识别区域，并划定每个摄像头的摄像区域；

步骤3：红外触发并由摄像头盲扫识别，并把识别的图像特征传给目标特征库进行对比；

步骤4：当识别的图像特征与目标特征库的特征匹配时，启动目标锁定跟踪程序，当其中的一个摄像头发现目标物时，数据处理服务器构建具有单独处理数据功能的处理单元，处理单元为数据处理接口和处理数据等级参数，并分配处理器进行目标锁定跟踪，处理器为接入数据处理服务器的控制数据处理器；

步骤5：从目标特征库中取出目标图像，把目标图像和搜索图像输入匹配网络中获得目标特征层和搜索特征层，从目标特征库中取出目标图像传给相应的处理器，处理器具有单独处理数据的功能，并嵌入匹配网络，目标图像和搜索图像输入匹配网络后，先对目标图像特征提取得到目标特征层，然后在对搜索图像进行特征识别得到搜索特征层；

步骤6：将目标特征层和搜索特征层卷积的结果与标签真实值进行相似度匹配，利用目标损失函数计算上述匹配结果与标签真实值之间的误差，把目标特征层和搜索特征层进行卷积运算处理，得到真实值，并进行相似度匹配，利用以下目标损失函数计算匹配结果与标签真实值之间的误差，Loss＝Error_coord+Error_iou+Error_cls

其中Error_coord、Error_iou和Error_cls分别表示预测包围盒的误差、IOU误差和分类误差；λ_coord为坐标误差权重；S²是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果

等于1，则第j个包围框在第i网格内覆盖了目标；否则/>

等于0；/>

为预测边界框的中心坐标值及其宽度和高度，(x_i,y_i,w_i,h_i)为真实的边界框的中心坐标值及其宽度和高度；λ_noobj为对边界框进行预测时置信度损失的权重；c_i为预测的置信度；/>

为真实的置信度；p_i(c)是在网格i内目标属于c的真实概率，/>

是预测的概率；

步骤7：基于小批量随机梯度下降优化算法调整网络中的权重和偏置，以获取最优的误差值，直至目标损失函数的误差值收敛于最小值，完成跟踪识别训练；

小批量随机梯度下降优化算法的边界框坐标的算式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，(c_x,c_y)表示网格左上角的坐标，(σ(t_x)，σ(t_y))表示偏移量，(p_w，p_h)表示先验框的宽度和高度，(b_x,b_y,b_w,b_h)表示最终预测得到边界框的坐标

步骤8：将目标图像和实时检测的视频序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络并输出目标时间点位置；

识别过程，选取感兴趣单元图像，然后先对单元图像进行对比识别，选取感兴趣单元图像的具体过程为：

首先，给每个单元图像一个权重，不同的单元图像以匹配不同的值，根据感兴趣的单元图像分配更高的值，感兴趣的单元图像值是所有类别中最大的分值，可以根据不同的需求自由分配每个单元图像的值，将单元图像分值的方程式设置为：

其中c(x_i)代表第i个单元图像的值；

将类别进行排序并分别给各个别类赋予分值；

检测到的多个单元图像中，由于每个单元图像的面积不同，对每个单元图像的面积赋予第二权重，权重与单元图像区域面积的乘积是选择单元图像的第二个因素，单元图像区域的大小设置为

s_i＝ω_i·h_i

其中，ω_i代表单元图像边界框的宽度，h_i代表单元图像边界框的高度，

选择最佳的单元图像，对单元图像的准确性给予第三权重，权重与准确性的乘积是目标的第三个因素，表明对目标的准确性更高；

通过多尺度检测对前三个帧的检测，对单元图像的速度赋予第四权重，表明单元图像越快，对其越感兴趣，速度方程设置为

其中，d_i是从第一帧到第十帧的距离，Δt代表从第一帧到第十帧的时间，分别设置为

Δt＝t₂-t₁

其中x_i第一帧单元图像的坐标和时间为(x₁,y₁)_i和t₁，第十帧单元图像的坐标和时间为(x₂,y₂)_i和t₂，

步骤9：预测网络实时预测下一时间目标的位置，当目标的位置为边界域时，发出指令通知与边界域相邻的摄像头盲扫识别模式；

步骤10：将视频下一序列输入到匹配网络中，若输出的检测结果小于阀值时，输出到预测网络返回步骤9；

步骤11：重复步骤9-步骤10输出目标的实时位置。

2.根据权利要求1所述的一种自动识别取证目标跟踪方法，其特征在于：所述步骤2的具体过程为：

建立三维空间模型，选定三轴零点，三轴为X轴、Y轴和Z轴，则监控的区域由三轴正负方向延长构成，摄像区域即为每个摄像头的所能拍摄到的空间区域。

3.根据权利要求2所述的一种自动识别取证目标跟踪方法，其特征在于：所述步骤3中的具体过程为：

在每个摄像头上均安装有红外感应器和超声波感应器，当摄像头没有接收到数据处理服务器的跟踪识别指令时，红外感应器感应到有物体进入摄像区域时，开启摄像头对整个摄像区域进行摄像设别，识别时，将图像拍摄并由超声波感应器感应拍摄图像的具体距离，把图像分成若干块单元图像并识别，并在单元图像上标注空间域坐标，把识别的每个单元图像的图像特征传给数据处理服务器的目标特征库进行对比。

Images