CN116543023A - 一种基于修正DeepSORT的多传感目标群智跟踪方法 - Google Patents
一种基于修正DeepSORT的多传感目标群智跟踪方法 Download PDFInfo
- Publication number
- CN116543023A CN116543023A CN202310449562.3A CN202310449562A CN116543023A CN 116543023 A CN116543023 A CN 116543023A CN 202310449562 A CN202310449562 A CN 202310449562A CN 116543023 A CN116543023 A CN 116543023A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- camera
- frame
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012937 correction Methods 0.000 title claims abstract description 22
- 230000001133 acceleration Effects 0.000 claims abstract description 31
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 57
- 230000033001 locomotion Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 238000012358 sourcing Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 230000001351 cycling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于修正DeepSORT的多传感目标群智跟踪方法，所述方法通过多个摄像头对任务区域进行目标跟踪：利用各摄像头实时获取任务区域的监控视频；采用基于匈牙利算法的匹配方法，获得摄像头之间当前视频帧的匹配目标并赋予身份ID；针对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪，直至目标跟踪任务结束。本发明利用一种基于目标空间位置的自适应融合特征计算马氏距离衡量目标相似度，最后利用匈牙利算法实现目标匹配，提高了目标的匹配的准确率；利用最小二乘法拟合预测加速度，进而修正卡尔曼滤波的输入速度参量，提高了DeepSORT算法的卡尔曼滤波预测的准确性，从而提高目标跟踪的准确率。
Description
技术领域
本发明属于目标跟踪和计算机视觉领域，具体涉及一种基于修正DeepSORT的多传感目标群智跟踪方法。
背景技术
多视觉行人追踪算法是利用多个摄像头实时获取场景中的视频流，并对行人进行自动检测、跟踪和识别，从而实现对行人的智能安全监控。这种算法可以提高城市安全管理效率，减少安全隐患和事故发生率，增强城市安全防范能力。在当代生活中，多视觉行人追踪算法已经广泛应用于公共场所的安全监控、智能交通系统、社区安保等领域。例如，商场、地铁站、机场等公共场所利用多视觉行人追踪算法进行行人监控，可以及时发现人员聚集、拥堵等安全隐患。此外，多视觉行人追踪算法还可以应用于交通领域，帮助交通管理部门实现交通流量监测、拥堵疏导、交通事故预警等功能，提高城市交通运输的效率和安全性。
多视觉行人追踪算法可以同时利用多个摄像头进行监控，从而提高监控效率。它可以将多个摄像头拍摄的视频流进行集成，并自动分析和跟踪行人的运动轨迹，减少人工干预的需求，降低监控成本，也可以使用深度学习等技术来提高行人检测和跟踪的精度，从而有效地避免漏报和误报。
传统的DeepSORT算法采用的是恒速线性卡尔曼滤波，对于匀速运动或者速度变化不大的目标状态预测是比较准确的，当目标突然加速或者突然停顿时，恒速线性卡尔曼滤波的预测效果会有影响，出现目标追踪失败的现象。
发明内容
发明目的：为了解决上述现有技术存在的问题，本发明提供了一种基于修正DeepSORT的多传感目标群智跟踪方法。
技术方案：本发明提供了一种基于修正DeepSORT的多传感目标群智跟踪方法，该方法通过多个摄像头对任务区域进行目标跟踪，具体包括如下步骤：
步骤1：利用各摄像头实时获取任务区域的监控视频；
步骤2，采用基于匈牙利算法的匹配方法，获得摄像头之间当前视频帧的匹配目标并赋予身份ID；
步骤3，针对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪，直至目标跟踪任务结束。
进一步地，所述步骤2具体为：
步骤2.1：使用YOLOv5对各摄像头获取的当前图像帧分别进行目标检测，获取各图像帧中的目标信息；
步骤2.2：将步骤2.1获取的目标信息分别输入到ResNet残差网络，提取目标的外观特征；
步骤2.3：根据摄像头的帧率和步骤2.1获取的目标信息，获取目标的空间运动特征；
步骤2.4：将步骤2.2中目标的外观特征和步骤2.3中目标的空间运动特征进行拼接，形成目标的自适应融合特征；
步骤2.5：利用步骤2.4中目标的自适应融合特征，计算马氏距离和代价矩阵；
步骤2.6：利用匈牙利算法进行摄像头之间同时刻的目标匹配，获得摄像头之间当前视频帧的匹配目标并赋予身份ID。
进一步地，所述步骤2.4中目标的自适应融合特征定义如下：
其中，ψ表示设定权重，表示向量的维度拼接运算符，MTl为目标l的空间运动特征，Rl为目标l的外观特征。
进一步地，所述设定权重ψ的表达式如下：
其中，表示目标l距离摄像头视野中心点的距离。
进一步地，所述步骤2.5中马氏距离的表达式如下：
其中，为t时刻摄像头p下第l个目标pl的自适应融合特征/>和摄像头q下第f个目标qf的自适应融合特征/>的马氏距离；/>为/>与/>之间的协方差矩阵；
进一步地，所述步骤2.5中代价矩阵的表达式如下：
其中，H(p,q)为t时刻摄像头p和摄像头q的代价矩阵，l∈{1,…,Hp}，f∈{1,…,Hq}，Hp是t时刻摄像头p下目标数，Hq为t时刻摄像头q下目标数。
进一步地，所述步骤3的DeepSORT方法中利用最小二乘法拟合加速度预测曲线，进而修正卡尔曼滤波的输入状态检测值，具体包括：
C1：获取摄像头在时刻tk所获取图像帧的卡尔曼滤波输入状态的检测值：
MTk＝(xk,yk,wk,hk,vxk,vyk,vwk,vhk)T
其中，xk，yk分别表示图像帧中目标检测框的中心点横坐标与纵坐标，wk，hk分别表示图像帧中目标检测框的宽和高，vxk，vyk，vwk，vhkyk分别表示xk，yk，wk，hk的变化速度；
C2：基于C1中目标检测框在前k-1个时刻t1,...,tk-1所获取图像帧的加速度数据序列利用最小二乘法拟合加速度预测曲线/>
其中，i∈{x,y,w,h}，x,y,w,h为卡尔曼滤波输入状态的四个参数，x,y分别表示目标检测框的中心点横坐标与纵坐标，w,h分别表示目标检测框的宽和高；ai1,…,ai(k-1)分别为时刻t1,...,tk-1卡尔曼滤波输入状态的四个参数对应的加速度数据，表示卡尔曼滤波输入状态的四个参数的加速度拟合预测曲线，/>和/>为加速度拟合预测曲线的拟合系数；
C3：利用加速度预测曲线，对时刻tk所获取图像帧的卡尔曼滤波的输入状态检测值进行修正，获得修正之后的卡尔曼滤波的输入状态检测值：
MT′k＝(xk,yk,wk,hk,v′xk,v′yk,v′wk,v′hk)T
其中，v′ik为修正之后时刻tk卡尔曼滤波输入状态的四个参数对应的变化速度，Δt为两个图像帧之间的时间差；
C4：计算时刻tk卡尔曼滤波输入状态的四个参数对应的加速度数据，并更新时刻tk所获取图像帧的加速度数据序列
其中，v′(k-1)为修正之后时刻tk-1卡尔曼滤波输入状态的四个参数对应的变化速度；
C5:令k＝k+1，重复C1到C5，直到视频结束。
本发明还提供一种基于修正DeepSORT的多传感目标群智跟踪系统，该系统基于如上所述的方法进行目标跟踪，具体包括：
多个摄像头，用于实时获取任务区域的监控视频；
目标匹配单元，用于获取摄像头之间当前视频帧的匹配目标并赋予身份ID；
目标跟踪单元，用于对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上所述的方法。
本发明还提供一种雷视融合配准的道路场景自适应三维目标检测设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述方法的指令。。
有益效果：本发明公一种基于修正DeepSORT的多传感目标群智跟踪方法，通过多个摄像头对任务区域进行目标跟踪：利用各摄像头实时获取任务区域的监控视频；采用基于匈牙利算法的匹配方法，获得摄像头之间当前视频帧的匹配目标并赋予身份ID；针对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪，直至目标跟踪任务结束。本发明利用一种基于目标空间位置的自适应融合特征计算马氏距离衡量目标相似度，最后利用匈牙利算法实现目标匹配，提高了目标的匹配的准确率。本发明针对传统的DeepSORT算法的使用的匀速线性卡尔曼滤波，对于目标突然加速或者突然停顿时，预测效果会变差的问题，提出了一种基于平均速度预测的DeepSORT修正方法，利用最小二乘法拟合预测加速度，进而修正卡尔曼滤波的输入速度参量，提高了DeepSORT算法的卡尔曼滤波预测的准确性，从而提高目标跟踪的准确率，具有广泛应用场景。
附图说明
图1为本发明的总体流程图；
图2经本发明的基于平均速度预测的DeepSORT修正方法修正后的DeepSORT流程图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
本发明提供了一种基于修正DeepSORT的多传感目标群智跟踪方法如图1所示，总体步骤如下：
步骤1：多个摄像头同时使用YOLOv5检测当前视频帧中任务区域的目标，获取目标的检测信息；
步骤2：将步骤1中检测的各摄像头下的目标输入到ResNet残差网络提取目标的外观特征，然后根据摄像头的帧率和目标检测框的空间位置求得目标的空间运动特征；
步骤3：根据步骤2中目标的外观特征和空间运动特征形成自适应融合特征；
步骤4：提出一种基于匈牙利算法的匹配方法：
利用步骤3中的自适应融合特征计算马氏距离，接着根据马氏距离阈值判断，并计算代价矩阵，最后将代价矩阵输入匈牙利算法，获得摄像头之间当前视频帧的匹配目标并赋予身份ID；
步骤5：每个摄像头利用基于平均速度预测的DeepSORT修正方法修正的DeepSORT对分配ID的目标进行追踪；重复步骤1和步骤5直至目标监控追踪任务结束。
结合附图2说明，本发明中一种基于平均速度预测的DeepSORT修正方法对DeepSORT的修正后，DeepSORT对目标追踪的步骤如下：
E1：目标进入监控区域，检测生成第一帧的目标检测框，为其初始化一个检测器Detection，用于记录目标的检测框、外观特征和运动信息，此时未产生预测框，没有与之匹配的预测框，属于失配检测器，为其分配新的追踪器Track用于记录其预测框、外观特征和运动信息，对于第一帧图像，新的追踪器Track将检测框作为预测框存储，接着，根据Track中的目标的运动信息中的加速度序列，用最小二乘法拟合加速度预测曲线并计算平均速度修正卡尔曼滤波的输入的速度参量，卡尔曼滤波预测下一帧的目标的预测框，这时候的追踪器一定是处于非确认态的；
E2：将第二帧目标的Detection的检测框和上一帧通过卡尔曼滤波产生的预测框进行IOU匹配，若匹配上，则卡尔曼滤波通过检测框的运动信息与预测框的运动信息进行比较更新，然后根据Track中的目标的运动信息中的加速度序列，用最小二乘法拟合加速度预测曲线并计算平均速度修正卡尔曼滤波的输入的速度参量，卡尔曼滤波生成下一帧预测框，第三帧的Detection的检测框与Track的预测框再通过IOU匹配计算代价矩阵，其中，连续匹配超过3次的预测框的追踪器处于确认态(Confirmed)，否则处于非确认态(Unconfirmed)；
E3：将E2中计算得到的所有的代价矩阵输入匈牙利算法中，获得匹配的结果，此时有三种匹配结果，第一种是失配追踪器，即追踪器存储的预测框没有找到与之匹配的检测框，该结果是因为目标离开摄像头的区域或因为某些原因被遮挡，目标的检测框不存在，只剩下上一帧目标的预测框的原因导致的，如果该失配追踪器是未确认状态，直接删除失配追踪器。如果该失配追踪器处于确认状态，并且其生存时间小于t-max，保留该失配追踪器Track，若其生存时间大于t-max，则删除该失配追踪器；第二种是失配检测器，即该检测器的检测框是新出现目标的，未找到与之匹配的追踪器，为失配检测器初始化一个新的跟踪器Track；第三种是跟踪器和检测器匹配成功，表明前一帧和后一帧目标追踪成功，卡尔曼滤波更新；
E4：反复循环E2到E3，直到出现确认态(Confirmed)的追踪器Track，再继续执行E5；
E5：通过外观特征和运动信息将已确认状态的Track和检测器Detection检测到的目标进行级联匹配操作。
E6：获得级联匹配的三种结果，第一种结果是Track和Detection匹配成功，卡尔曼滤波通过Track和Detection更新，第二种结果是失配检测器，最后一种结果是失配追踪器。然后通过IOU匹配将所有的不确认状态的Track和失配的Track一起和失配检测器一一进行匹配，再通过IOU匹配的结果计算其代价矩阵(这里需要说明的，这里是DeepSORT原方法的代价矩阵，与前面步骤4中匈牙利算法部分不同)；然后利用IOU匹配将失配检测器和所有的不确认状态的Track和失配的Track进行匹配，得到匹配结果，接着计算其代价矩阵；
E7：将E6中得到的代价矩阵输入到匈牙利算法，获得匹配结果。此时有三种匹配结果，第一种结果是失配追踪器，倘若失配追踪器是未确认状态，直接删除失配追踪器。如果该失配追踪器处于确认状态，判断其生存时间是否小于t-max，如果满足条件，保留该失配追踪器Track；若不满足条件，就立马删除这个失配追踪器；第二种结果是失配检测器，为失配检测器初始化一个新的跟踪器Track；第三种是检测器和跟踪器匹配成功，表明前一帧和后一帧目标追踪成功，卡尔曼滤波更新；
E8：反复循环E5到E7，直到视频检测结束。
进一步的，所述步骤3中的自适应融合特征定义如下：
为了减少摄像头的畸变对目标通过外观特征进行匹配的影响，针对目标在视野中心位置的外观特征畸变小，在视野边界位置的外观特征畸变大的问题，设计了一个权重函数：
这个函数在ρ＝0处的极大值为1，而在ρ→∞时趋近于0，因此该函数的取值区间为(0,1]；
根据目标在摄像头视野中心位置外观特征畸变程度小，外观特征对目标匹配任务贡献度高，目标在摄像头视野边界区域外观特征畸变程度大，外观特征对目标匹配任务贡献度低的特点，设计了如下一个将目标的空间运动特征和外观特征根据目标到视野中心的距离自适应融合特征：
其中，表示目标l距离摄像头视野中心点的距离，/>表示向量的维度拼接运算符，/>为目标l的归一化的空间运动特征，/>为目标l的归一化外观特征。
进一步的，所述步骤4的一种基于匈牙利算法的匹配方法，具体包括步骤S1至S7：
S1：使用YOLOv5对多个摄像头目标检测，获得t时刻摄像头p下的第l个目标pl的空间运动特征和摄像头q下的第f个qf的空间运动特征其中，/>分别表示t时刻图像目标pl检测框的中心点横坐标与纵坐标，/>分别表示检测框的宽和高，/> 表示各个参量的变化速度；
S2：使用ResNet网络提取目标pl的外观特征和目标ql的外观特征/>其中，pl∈{1,…,Hp}，ql∈{1,…,Hq}，κ和κ′为维数，Hp是为摄像头p观测到的人数，Hq为摄像头q观测到的人数；
S3：计算摄像头p的目标pl的自适应融合特征和摄像头q的目标qf的自适应融合特征的/>
S4：计算自适应融合特征与/>的马氏距离：
其中，为/>与/>之间的协方差矩阵；
S5：根据马氏距离阈值th(1)进行判断，将不可能的目标匹配情况筛选掉：
其中，取值为1，表示摄像头p中目标与其他摄像头q中目标的自适应融合特征匹配成功，取值为0，则表示匹配失败；
S6：根据获得代价矩阵H(p,q)：
S7：将代价矩阵H(p,q)代入到匈牙利算法中建立摄像头之间的目标关联，得到匹配成功的目标，并分配身份ID。
进一步的，所述步骤5中一种基于平均速度预测的修正DeepSORT方法，包括步骤C1至C5：
C1：获取摄像头在时刻tk所获取图像帧的卡尔曼滤波输入状态的检测值：
MTk＝(xk,yk,wk,hk,vxk,vyk,vwk,vhk)T
其中，xk，yk分别表示图像帧中目标检测框的中心点横坐标与纵坐标，wk，hk分别表示图像帧中目标检测框的宽和高，vxk，vyk，vwk，vhk yk分别表示xk，yk，wk，hk的变化速度；
C2：基于C1中目标检测框在前k-1个时刻t1,...,tk-1所获取图像帧的加速度数据序列利用最小二乘法相关公式拟合加速度预测函数
其中，i∈{x,y,w,h}，x,y,w,h为卡尔曼滤波输入状态的四个参数，x,y分别表示目标检测框的中心点横坐标与纵坐标，w,h分别表示目标检测框的宽和高；ai1,…,ai(k-1)分别为时刻t1,...,tk-1卡尔曼滤波输入状态的四个参数对应的加速度数据，和为加速度预测函数的拟合系数；
C3：利用加速度预测曲线，对时刻tk所获取图像帧的卡尔曼滤波的输入状态检测值进行修正，获得修正之后的卡尔曼滤波的输入状态检测值：
MT′k＝(xk,yk,wk,hk,v′xk,v′yk,v′wk,v′hk)T
其中，vik为修正之后时刻tk卡尔曼滤波输入状态的四个参数对应的变化速度，Δt为两个图像帧之间的时间差；
C4：计算时刻tk卡尔曼滤波输入状态的四个参数对应的加速度数据，并更新时刻tk所获取图像帧的加速度数据序列：
其中，v′(k-1)为修正之后时刻tk-1卡尔曼滤波输入状态的四个参数对应的变化速度；
C5:令k＝k+1，重复C1到C5，直到视频结束。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
本发明还提出了一种基于修正DeepSORT的多传感目标群智跟踪系统，具体包括：
多个摄像头，用于实时获取任务区域的监控视频；
目标匹配单元，用于获取摄像头之间当前视频帧的匹配目标并赋予身份ID；
目标跟踪单元，用于对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪。
上述三维目标检测系统的技术方案与前述方法类似，这里不再赘述。
基于相同的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述基于修正DeepSORT的多传感目标群智跟踪方法。
基于相同的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述基于修正DeepSORT的多传感目标群智跟踪方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (10)
1.一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，该方法通过多个摄像头对任务区域进行目标跟踪，具体包括如下步骤：
步骤1：利用各摄像头实时获取任务区域的监控视频；
步骤2，采用基于匈牙利算法的匹配方法，获得摄像头之间当前视频帧的匹配目标并赋予身份ID；
步骤3，针对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪，直至目标跟踪任务结束。
2.根据权利要求1所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述步骤2具体为：
步骤2.1：使用YOLOv5对各摄像头获取的当前图像帧分别进行目标检测，获取各图像帧中的目标信息；
步骤2.2：将步骤2.1获取的目标信息分别输入到ResNet残差网络，提取目标的外观特征；
步骤2.3：根据摄像头的帧率和步骤2.1获取的目标信息，获取目标的空间运动特征；
步骤2.4：将步骤2.2中目标的外观特征和步骤2.3中目标的空间运动特征进行拼接，形成目标的自适应融合特征；
步骤2.5：利用步骤2.4中目标的自适应融合特征，计算马氏距离和代价矩阵；
步骤2.6：利用匈牙利算法进行摄像头之间同时刻的目标匹配，获得摄像头之间当前视频帧的匹配目标并赋予身份ID。
3.根据权利要求2所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述步骤2.4中目标的自适应融合特征定义如下：
其中，ψ表示设定权重，表示向量的维度拼接运算符，MTl为目标l的空间运动特征，Rl为目标l的外观特征。
4.根据权利要求2所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述设定权重ψ的表达式如下：
其中，表示目标l距离摄像头视野中心点的距离。
5.根据权利要求2所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述步骤2.5中马氏距离的表达式如下：
其中，为t时刻摄像头p下第l个目标pl的自适应融合特征/>和摄像头q下第f个目标qf的自适应融合特征/>的马氏距离；/>为/>与/>之间的协方差矩阵。
6.根据权利要求5所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述步骤2.5中代价矩阵的表达式如下：
其中，H(p,q)为t时刻摄像头p和摄像头q的代价矩阵，l∈{1,…,Hp}，f∈{1,…,Hq}，Hp是t时刻摄像头p下目标数，Hq为t时刻摄像头q下目标数。
7.根据权利要求1所述的一种基于修正DeepSORT的多传感目标群智跟踪方法，其特征在于，所述步骤3的DeepSORT方法中利用最小二乘法拟合加速度预测曲线，进而修正卡尔曼滤波的输入状态检测值，具体包括：
C1：获取摄像头在时刻tk所获取图像帧的卡尔曼滤波输入状态的检测值：
MTk＝(xk,yk,wk,hk,vxk,vyk,vwk,vhk)T
其中，xk，yk分别表示图像帧中目标检测框的中心点横坐标与纵坐标，wk，hk分别表示图像帧中目标检测框的宽和高，vxk，vyk，vwk，vhk yk分别表示xk，yk，wk，hk的变化速度；
C2：基于C1中目标检测框在前k-1个时刻t1,...,tk-1所获取图像帧的加速度数据序列利用最小二乘法拟合加速度预测曲线/>
其中，i∈{x,y,w,h}，x,y,w,h为卡尔曼滤波输入状态的四个参数，x,y分别表示目标检测框的中心点横坐标与纵坐标，w,h分别表示目标检测框的宽和高；ai1,…,ai(k-1)分别为时刻t1,...,tk-1卡尔曼滤波输入状态的四个参数对应的加速度数据，表示卡尔曼滤波输入状态的四个参数的加速度拟合预测曲线，/>和/>为加速度拟合预测曲线的拟合系数；
C3：利用加速度预测曲线，对时刻tk所获取图像帧的卡尔曼滤波的输入状态检测值进行修正，获得修正之后的卡尔曼滤波的输入状态检测值：
MT′k＝(xk,yk,wk,hk,v′xk,v′yk,v′wk,v′hk)T
其中，v′ik为修正之后时刻tk卡尔曼滤波输入状态的四个参数对应的变化速度，Δt为两个图像帧之间的时间差；
C4：计算时刻tk卡尔曼滤波输入状态的四个参数对应的加速度数据，并更新时刻tk所获取图像帧的加速度数据序列
其中，v′i(k-1)为修正之后时刻tk-1卡尔曼滤波输入状态的四个参数对应的变化速度；
C5:令k＝k+1，重复C1到C5，直到视频结束。
8.一种基于修正DeepSORT的多传感目标群智跟踪系统，其特征在于，该系统基于如权利要求1-7中任一所述的方法进行目标跟踪，具体包括：
多个摄像头，用于实时获取任务区域的监控视频；
目标匹配单元，用于获取摄像头之间当前视频帧的匹配目标并赋予身份ID；
目标跟踪单元，用于对每个摄像头，分别利用DeepSORT方法对当前视频帧中分配身份ID的目标进行跟踪。
9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其特征在于，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-7中任一所述的方法。
10.一种雷视融合配准的道路场景自适应三维目标检测设备，其特征在于，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7中任一所述方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449562.3A CN116543023A (zh) | 2023-04-24 | 2023-04-24 | 一种基于修正DeepSORT的多传感目标群智跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449562.3A CN116543023A (zh) | 2023-04-24 | 2023-04-24 | 一种基于修正DeepSORT的多传感目标群智跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543023A true CN116543023A (zh) | 2023-08-04 |
Family
ID=87446247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310449562.3A Pending CN116543023A (zh) | 2023-04-24 | 2023-04-24 | 一种基于修正DeepSORT的多传感目标群智跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543023A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823872A (zh) * | 2023-08-25 | 2023-09-29 | 尚特杰电力科技有限公司 | 基于目标追踪和图像分割的风机巡检方法及系统 |
-
2023
- 2023-04-24 CN CN202310449562.3A patent/CN116543023A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823872A (zh) * | 2023-08-25 | 2023-09-29 | 尚特杰电力科技有限公司 | 基于目标追踪和图像分割的风机巡检方法及系统 |
| CN116823872B (zh) * | 2023-08-25 | 2024-01-26 | 尚特杰电力科技有限公司 | 基于目标追踪和图像分割的风机巡检方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chandan et al. | Real time object detection and tracking using Deep Learning and OpenCV | |
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110264495B (zh) | 一种目标跟踪方法及装置 | |
| KR101788225B1 (ko) | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 | |
| KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| WO2014092552A2 (en) | Method for non-static foreground feature extraction and classification | |
| Denman et al. | Multi-spectral fusion for surveillance systems | |
| CN108596157B (zh) | 一种基于运动检测的人群惊扰场景检测方法及系统 | |
| CN109522814B (zh) | 一种基于视频数据的目标追踪方法及装置 | |
| CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN110567324B (zh) | 一种基于ds证据理论的多目标群威胁度预测装置及方法 | |
| CN111626194A (zh) | 一种使用深度关联度量的行人多目标跟踪方法 | |
| CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
| CN116543023A (zh) | 一种基于修正DeepSORT的多传感目标群智跟踪方法 | |
| CN112733719A (zh) | 一种融合人脸及人体特征的跨境行人轨迹检测方法 | |
| CN110968719B (zh) | 一种人脸聚类方法及装置 | |
| CN109344776B (zh) | 数据处理方法 | |
| CN115100565B (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
| CN110781730A (zh) | 智能驾驶感知方法及感知装置 | |
| US20220309792A1 (en) | Method for determining images plausible to have a false negative object detection | |
| Emiyah et al. | Extracting vehicle track information from unstabilized drone aerial videos using YOLOv4 common object detector and computer vision | |
| KR101766467B1 (ko) | 이벤트 발생 알림 장치, 이벤트 발생 알림 방법, 및 이벤트 발생 판단 모델 제공 방법 | |
| CN110781710B (zh) | 一种目标对象聚类方法及装置 | |
| CN111882656A (zh) | 基于人工智能的图形处理方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |