CN115994930A - 基于人工智能的摄像机下运动目标的检测定位方法及系统 - Google Patents

Abstract

本发明提供了一种基于人工智能的摄像机下运动目标的检测定位方法及系统，包括：提取步骤：利用改进的预设网络提取图像中的目标；级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；GIOU匹配步骤：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；位置约束步骤：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。本发明基在yolov5原有spp模块上加入ASF，更有利于高低层特征的自适应融合及精准定位目标。

Description

基于人工智能的摄像机下运动目标的检测定位方法及系统

技术领域

本发明涉及运动目标的检测及定位的技术领域，具体地，涉及一种基于人工智能的摄像机下运动目标的检测定位方法及系统，尤其是，优选的涉及一种基于人工智能的移动摄像机下运动目标的检测及定位方法。

背景技术

运动目标跟踪技术是计算机视觉领域近期研究的热点问题，其广泛运用于各种视频监控、安防、智能交通、自动驾驶等领域。近年来，随着深度学习、目标检测等技术的发展，多目标跟踪技术已经取得了很大的进步。目标跟踪的算法能够在目标检测的基础上，利用获取的目标信息，对不同类的不同目标进行区分，并持续跟踪。同时，对于相机运动的情况，主要是相机会安装在移动平台上或者是相机本身的方位角以及俯仰角会发生变化，在这种情况下，一些基于静止相机的运动目标检测方法可能不再适用。

对于近几年的研究来说，按照其基本原理的不同，大致可以分为以下四类：基于几何约束、基于占用网格、基于运动补偿以及基于深度学习。其中，前三类都是无需检测信息，主要通过两帧或多帧图像进行对比搜索的方式提取到目标特征，几何约束的方法基本上都是通过RANSAC(随机抽样一致性算法)来实现的，占用网格的方法则是利用占用网格的特性进行运动目标检测，而运动补偿的方式是利用相机自身产生的运动矢量进行补偿，从而实现等效为背景静止的情况。基于深度学习的方式则是一种端到端的实现方法，利用目标检测技术实现目标特征提取，计算量以及学习成本比较高，但是鲁棒性以及精度却更高，是当前比较主流的目标跟踪方法。

随着神经网络技术的发展，基于深度学习的目标跟踪方式得到了更好的发展，MaC.[1]等人提出了基于分层卷积特征的视觉跟踪算法，其将VGG网络提取的特征与相关滤波结合，获得了不错的跟踪性能，但这个算法对尺度大小变换比较敏感。Bewley[2]等人提出了一种简单的实时跟踪算法SORT，该算法利用卡尔曼和匈牙利算法实现多目标跟踪，降低了计算量，但身份变换次数比较多。在此基础上，Wojke[3]等人针对于该问题，在SORT算法基础上加入了关联匹配和外观特征度量，提出DeepSort算法，改善了遮挡问题，显著减少身份变换问题，但依然存在漏检追踪不到的问题。在deepsort基础上，李永上[4]等人通过调整其特征提取网络的结构，降低了其身份变换的频率；李震霄[5]等人则是通过引入长短记忆网络，实现了多车辆目标的准确跟踪；黄凯文[6]等人引入改进的yolov4-tiny模型对目标进行检测，使用匀加速卡尔曼滤波器优化行人运动模型，利用浅层分类网络重构外观特征矩阵，有效减少了计算量，提高任务精度和速度。

[1]Ma C,Huang J B,Yang X,et al.Hierarchical convolutional featuresfor visual tracking[C]//Proceedingof IEEE International Conference onComputer Vision.IEEE.2015:3074-3082.

[2]Bewley A,Ge Z,Ott L,et al.Simple online and realtime tracking[C]//Proceedingof 2016IEEE International Conference on Image Processing.IEEE,2016:3464-3468.

[3]Wojke N,Bewley A,Paulus D.Simple online and realtime tracking witha deep association metric[C]//Proceedingof 2017IEEE International Conferenceon Image Processing.IEEE,2017:3645-3649.

[4]李永上，马荣贵，张美月.改进YOLOv5s+Deep-SORT的监控视频车流量统计[J].计算机工程与应用,2022,58(5):271-279.

[5]李震霄，孙伟，刘明明，等.交通监控场景中的车辆检测与跟踪算法研究[J].计算机工程与应用，2021,57(8):103-111.

[6]黄凯文,凌六一,王成军,等.基于改进YOLO和DeepSORT的实时多目标跟踪算法[J].电子测量技术,2022(006):045.

公开号为CN115359021A的中国发明专利文献公开了一种基于激光雷达和相机信息融合的目标定位检测方法，步骤为：S1、对检测场景3D点云数据进行预处理，得到可视化场景点云图；S2、采用点云分割算法对可视化场景点云图进行分割，得到3D目标物体区域点云图；S3、从3D目标物体区域点云图中挑选出模板目标物体点云图；S4、实时采集检测场景的3D点云数据和2D图像，按步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用神经网络对2D图像进行目标物体检测，生成目标物体检测检测结果图；S5、将目标物体检测结果图与待检测3D目标物体区域点云图融合，得到待检目标物体区域融合点云图；S6、将待检目标物体区域融合点云图与模板目标物体点云图配准，得到待检目标物体区域融合点云图中目标物体的位姿信息。

移动摄像机下运动目标的检测与定位的研究应用意义巨大，随着时代的交叠更替进步，相关跟踪算法的应用环境也愈发复杂，遇到的挑战亦随之增加。为了能够快速准确得检测到摄像机拍摄下的目标并进行有目的地跟踪，就必须保证目标跟踪算法的准确性。

针对上述中的相关技术，发明人认为目前移动摄像机下的运动目标检测与定位技术所面临的难点主要有：(1)基于图像的目标跟踪方式主要是依赖于图像上的二维信息，而在实际的应用过程中，往往需要目标的空间信息作为跟踪的依据。(2)目标跟踪过程中，由于目标尺寸不一降低了目标检测算法的精度，导致漏检错检，漏跟踪及错跟踪的问题。(3)在目标跟踪的过程中，若目标被背景干扰物遮挡或者是移动摄像机下的视野中目标发生模糊的情况，目标的外观信息缺少，导致模型更新到背景上，随着跟踪误差的累积，跟踪器会发生跟踪失败。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于人工智能的摄像机下运动目标的检测定位方法及系统。

根据本发明提供的一种基于人工智能的摄像机下运动目标的检测定位方法，包括如下步骤：

提取步骤：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；

级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；

GIOU匹配步骤：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；

位置约束步骤：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。

优选的，在所述提取步骤中，特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；

在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。

优选的，所述级联步骤包括如下步骤：

卡尔曼预测目标步骤：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置；

在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计；

通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新；

系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值；

外观特征匹配步骤：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r_j为第j个目标检测的特征向量；

为第k次跟踪成功的特征向量集合；

计算余弦相似度；R_i表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置；当最小值≤预设阈值时，表示关联匹配成功；

运动特征匹配步骤：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，

其中，d⁽²⁾(i,j)为坐标关联损失矩阵；d_j表示第j个检测结果状态向量；y_i表示第i个预测结果状态向量；S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S_i ^-1表示矩阵S_i的逆；

当距离≤预设阈值时，表示关联匹配成功；

加权融合步骤：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵；

匹配级联步骤：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。

优选的，在所述GIOU匹配步骤中，对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪；

假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S_GIOU为

优选的，在所述位置约束步骤中，对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；

重新更新匹配集和未匹配集。

根据本发明提供的一种基于人工智能的摄像机下运动目标的检测定位系统，包括如下模块：

提取模块：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；

级联匹配模块：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；

GIOU匹配模块：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；

位置约束模块：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。

优选的，在所述提取模块中，特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；

在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。

优选的，所述级联模块包括如下模块：

卡尔曼预测目标模块：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置；

在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计；

通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新；

系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值；

外观特征匹配模块：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r_j为第j个目标检测的特征向量；

为第k次跟踪成功的特征向量集合；

计算余弦相似度；R_i表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置；当最小值≤预设阈值时，表示关联匹配成功；

运动特征匹配模块：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，

其中，d⁽²⁾(i,j)为坐标关联损失矩阵；d_j表示第j个检测结果状态向量；y_i表示第i个预测结果状态向量；S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S_i ^-1表示矩阵S_i的逆；

当距离≤预设阈值时，表示关联匹配成功；

加权融合模块：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵；

匹配级联模块：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。

优选的，在所述GIOU匹配模块中，对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪；

假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S_GIOU为

优选的，在所述位置约束模块中，对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；

重新更新匹配集和未匹配集。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提出了一种基于移动摄像机下运动目标的检测与定位的方法。其中，为了适应不同尺度下目标特征提取，在yolov5原有spp模块上加入ASF，更有利于高低层特征的自适应融合及精准定位目标；

2、本发明结合相机参数及目标在图像中的位置获取目标在空间中的相对位置，更有效地跟踪移动摄像机下的运动目标；

3、由于原有的deepsort中的iou匹配在两个矩形没有任何交集，损失函数将始终为零，不能正确反映这两个box(矩形)之间的紧密程度，本发明利用giou匹配的方式可以更好地描述预测值与检测值之间的关系；

4、本发明同时在giou匹配之后加入了距离度量模块，可以有效地减少由于目标外观变化较大或是动作突然变化、部分被遮挡造成的匹配错误问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明流程图；

图2为特征增强模块结构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例公开了一种基于人工智能的摄像机下运动目标的检测及定位方法，具体流程如图1所示，本发明主要针对传统的YOLOV5s(第五版单阶段目标检测算法中的小模型，small model in the fifth version of You Only Look Once)网络模型进行了改进，并通过融合优化后的deepsort(具有深度关联度量的简单在线实时跟踪，simpleonline and realtime tracking with a deep association metric)目标跟踪技术和空间信息，提出了一种移动摄像机下运动目标的检测与定位方法。

主要工作如下：(1)改进多尺度特征图进行融合输出方式，引入一种双向金字塔特征融合方式，对PANet(路径聚合网络，Path Aggregation Network)结构进行改进，并通过学习得到权重参数的方式，将不同阶层的特征图进行融合。(2)基于目标检测算法，构建基于移动摄像头坐标系下的状态矩阵，通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配，利用广义交并比GIOU(广义交并比，Generalized Intersection over Union)对匹配不成功的轨迹以及检测结果进行关联匹配。(3)考虑目标运动的连续性，其在空间的坐标位置反应在二维坐标下的变化比较小，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新匹配集与未匹配集。

该方法包括如下步骤：

步骤一(提取步骤)：利用改进的yolov5s网络提取图像中的目标。对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标。

特征金字塔结构相对于传统特征提取网络的优势在于对图像前景目标敏感度高，提取能力较强，以及多尺度特征映射能力强。为了适应现实场景中，物体大小变化，摄像机距离远近变化等因素的影响，引入自适应的多尺度融合技术，通过特征信息的双向流动，提升网络对不同尺寸目标的检测和识别能力。

如图2所示，在yolov5的SPP(空间金字塔池化，Spatial Pyramid Pooling)模块上引入自适应空间融合(Adaptive Spatial Fusion，ASF)，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息，从而使得改进后的SPP模块具有更强的特征表征能力。

图2中，由Convolution(卷积层)+Batch Normalization(批归一化层)+LeakyRelu(Leaky Rectified Linear Unit)带参数的线性整流激活函数三者组成。Maxpool表示最大池化层；ASF(Adaptive Spatial Fusion)为自适应空间融合；SPP_ASF是在原有的SPP模块上加入ASF模块。

步骤二：级联匹配：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配。

(1)卡尔曼预测目标：

传统的状态向量X＝[u,v,r,h,u′,v′,r′,h′]，其中，u表示目标中心点横坐标，v表示目标中心点坐标纵坐标，r表示检测框的长宽比值，h表示检测框的高度，u′表示目标中心点横坐标的速度，v′表示目标中心点坐标纵坐标的速度，r′表示检测框的长宽比值的速度，h′表示检测框的高度的速度，以上8个值构成观测变量。传统的相对定位方法只依赖于图像上目标的相对位置，这种情况下目标的运动信息能够准确的估计；

然而在摄像机移动的过程中，只依靠图像信息目标运动运动趋势无法准确估计，因而需要结合相机参数及目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置。在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的最优估计。

根据相机参数a角(方位角，Azimuth)-方位角(0-360°)和e角(仰角，Elevation)-仰角(0-180°)表示图像中心点的所在视点，根据相机当前ae角(a₀,e₀)，a₀表示相机当前方位角，e₀表示相机当前仰角，输入图像尺寸长w，宽h，目标在图像上的中心点位置(x₁,y₁)，x₁表示目标在图像上中心点的横坐标，y₁表示目标在图像上中心点的纵坐标，计算得出目标所在中心的视点位置，如下：

a＝a₀+miu/f*(x₁-w/2)/cos(e₀)

e＝e₀+miu/f*(h/2-y₁)

其中，miu表示像素数，f表示镜头的物理焦距。

改进后的状态向量为X＝[a,e,r,h,a',e',r',h']，a′表示相机方位角的速度，e′表示相机仰角的速度，通过具有等速运动和线性观测模型特点的标准卡尔曼滤波器对目标轨迹状态进行预测和更新。预测就是系统利用上一时刻的检测框和运动速度等参数，预测出当前时刻相对应的参数信息，更新是将预测值和观测值进行线性加权，得到一个更接近当前系统实际状态的预测值。

(2)外观特征匹配：

利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离，r_j为第j个目标检测的特征向量，

为第k次跟踪成功的特征向量集合，

计算余弦相似度，R_i表示第i个轨迹的外观信息仓库，保存最新100条目标成功匹配的外观描述，T表示转置。当最小值≤特定阈值时，表示关联匹配成功。

(3)运动特征匹配：

利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度

其中，d⁽²⁾(i,j)为坐标关联损失矩阵，d_j表示第j个检测结果状态向量，y_i表示第i个预测结果状态向量，S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵，S_i ^-1表示矩阵S_i的逆。距离≤特定阈值时，表示关联匹配成功。

(4)加权融合：

对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵。

(5)匹配级联：

针对每一个检测器都会分配一个跟踪器，每个跟踪器会设定一个time_since_update(跟踪器未更新次数)参数。如果跟踪器完成匹配并进行更新，该参数会重置为0，否则会+1。在级联匹配中，会根据这个参数来对跟踪器分先后顺序，参数小的先匹配，参数大的后匹配。

步骤三：GIOU匹配：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配。

对刚初始化的目标等无法确认(匹配)的追踪，因为没有之前的运动信息和外观信息，这里我们采用GIOU匹配关联进行追踪。

假设目标预测框的面积为A，检测框的面积为B，C是能包含A和B的最小矩形框面积,则两框的广义交并比S_GIOU为

计算过程如下：

1.假设A为预测框，B为真实框，S是所有框的集合

2.不管A与B是否相交，C是包含A与B的最小框(包含A与B的最小凸闭合框)，C也属于S集合

3.首先计算IoU，A与B的交并比

4.再计算C框中没有A与B的面积，比上C框面积；

5.IoU(Intersection over Union，交并比)减去前面算出的比；得到GIoU。

步骤四：位置约束：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态.

对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标。如果两者之间的距离小于一定的阈值，则表示两个是同一个目标。阈值是一个经验值，若目标运动速度比较大，则阈值变大，反之，变小。重新更新匹配集和未匹配集。

本发明还提供一种基于人工智能的摄像机下运动目标的检测定位系统，所述基于人工智能的摄像机下运动目标的检测定位系统可以通过执行所述基于人工智能的摄像机下运动目标的检测定位方法的流程步骤予以实现，即本领域技术人员可以将所述基于人工智能的摄像机下运动目标的检测定位方法理解为所述基于人工智能的摄像机下运动目标的检测定位系统的优选实施方式。

该基于人工智能的摄像机下运动目标的检测定位系统，包括如下模块：

提取模块：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标。

特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。

级联匹配模块：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配。

级联模块包括如下模块：

卡尔曼预测目标模块：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置。

在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计。

通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新。

系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值。

外观特征匹配模块：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r_j为第j个目标检测的特征向量；

为第k次跟踪成功的特征向量集合；

计算余弦相似度；R_i表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置。当最小值≤预设阈值时，表示关联匹配成功。

运动特征匹配模块：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，

其中，d⁽²⁾(i,j)为坐标关联损失矩阵；d_j表示第j个检测结果状态向量；y_i表示第i个预测结果状态向量；S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S_i ^-1表示矩阵S_i的逆。

当距离≤预设阈值时，表示关联匹配成功。

加权融合模块：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵。

匹配级联模块：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。

GIOU匹配模块：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配。

对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪。

假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S_GIOU为

位置约束模块：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。

对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；重新更新匹配集和未匹配集。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，包括如下步骤：

提取步骤：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；

级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；

GIOU匹配步骤：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；

位置约束步骤：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。

2.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述提取步骤中，特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；

在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。

3.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，所述级联步骤包括如下步骤：

卡尔曼预测目标步骤：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置；

在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计；

通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新；

系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值；

外观特征匹配步骤：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r_j为第j个目标检测的特征向量；

为第k次跟踪成功的特征向量集合；

计算余弦相似度；R_i表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置；当最小值≤预设阈值时，表示关联匹配成功；

运动特征匹配步骤：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，

其中，d⁽²⁾(i,j)为坐标关联损失矩阵；d_j表示第j个检测结果状态向量；y_i表示第i个预测结果状态向量；S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S_i ^-1表示矩阵S_i的逆；

当距离≤预设阈值时，表示关联匹配成功；

加权融合步骤：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵；

匹配级联步骤：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。

4.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述GIOU匹配步骤中，对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪；

假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S_GIOU为

5.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述位置约束步骤中，对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；

重新更新匹配集和未匹配集。

6.一种基于人工智能的摄像机下运动目标的检测定位系统，其特征在于，包括如下模块：

提取模块：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；

级联匹配模块：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；

GIOU匹配模块：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；

位置约束模块：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。

7.根据权利要求6所述的基于人工智能的摄像机下运动目标的检测定位系统，其特征在于，在所述提取模块中，特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；

在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。

8.根据权利要求6所述的基于人工智能的摄像机下运动目标的检测定位系统，其特征在于，所述级联模块包括如下模块：

卡尔曼预测目标模块：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置；

在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计；

通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新；

系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值；

外观特征匹配模块：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，

其中，d⁽¹⁾(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r_j为第j个目标检测的特征向量；

为第k次跟踪成功的特征向量集合；

计算余弦相似度；R_i表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置；当最小值≤预设阈值时，表示关联匹配成功；

运动特征匹配模块：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，

其中，d⁽²⁾(i,j)为坐标关联损失矩阵；d_j表示第j个检测结果状态向量；y_i表示第i个预测结果状态向量；S_i表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S_i ^-1表示矩阵S_i的逆；

当距离≤预设阈值时，表示关联匹配成功；

加权融合模块：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为

其中，λ值是加权系数，C_i,j表示融合后的关联矩阵；

匹配级联模块：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。

9.根据权利要求6所述的基于人工智能的摄像机下运动目标的检测定位系统，其特征在于，在所述GIOU匹配模块中，对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪；

假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S_GIOU为

10.根据权利要求6所述的基于人工智能的摄像机下运动目标的检测定位系统，其特征在于，在所述位置约束模块中，对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；

重新更新匹配集和未匹配集。

Images