CN113869177A - 一种用于跟踪多目标的方法及装置 - Google Patents
一种用于跟踪多目标的方法及装置 Download PDFInfo
- Publication number
- CN113869177A CN113869177A CN202111111763.XA CN202111111763A CN113869177A CN 113869177 A CN113869177 A CN 113869177A CN 202111111763 A CN202111111763 A CN 202111111763A CN 113869177 A CN113869177 A CN 113869177A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- module
- target object
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 239000011324 bead Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000013589 supplement Substances 0.000 claims description 9
- 238000007477 logistic regression Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 239000000523 sample Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000013074 reference sample Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/10—Controlling the intensity of the light
- H05B45/12—Controlling the intensity of the light using optical feedback
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/30—Driver circuits
- H05B45/345—Current stabilisation; Maintaining constant current
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于跟踪多目标的方法，包括：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的序列帧图像；步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪；步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示，相应地，公开了一种用于跟踪多目标的装置，本发明检测精度和速率较高、可对多个目标进行稳定跟踪，且可根据用户需求对不同目标进行选择性跟踪。
Description
技术领域
本发明涉及目标跟踪技术领域，尤其涉及到一种用于跟踪多目标的方法及装置。
背景技术
随着科技水平的不断发展，基于计算机视觉识别的技术也开始备受关注，而视觉目标跟踪是计算机视觉研究中的一个重要研究方向，作为智能视频监控中的关键技术，被广泛应用在智能安防监控、智能交通和智能导航等方面，主要是对企业、商场等公共场所和私人住宅及水电站等可视区域进行异常目标监督，交通流量统计和车辆异常情况检测以及机器人跟踪视场中指定目标等。因此，如何及时精确的对多个目标进行稳定跟踪识别，避免发生损失或进行及时的资料记录，十分重要，但图像中的物体过多就容易发生识别错误的现象，目前的多目标跟踪方法，存在复杂度高，或由于环境干扰采集图像的清晰度受到影响或发生畸变导致识别精度不够，或者由于跟踪遮挡问题导致稳定性较低的问题。且无法根据用户对特定的多目标进行选择性的跟踪以节省计算机资源。
综上所述，提供一种检测精度和速率较高、稳定性好，且可根据用户需求对不同目标进行选择性跟踪和自动控制跟踪时长的用于跟踪多目标的方法及装置，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种用于跟踪多目标的方法，其由于采取了如下技术方案而能够解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：一种用于跟踪多目标的方法，包括以下步骤：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像；
步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；
步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪，对不需要进行跟踪的目标进行释放；
步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
进一步地，在所述序列帧图像进行预处理包括图像增强处理和图像滤波处理，所述图像增强处理包括先将所述待检测目标对象的序列帧图像的颜色空间由RGB转为HSV，然后将进行颜色空间转换后的图像进行均匀分块,并对每个分块在HSV颜色空间中的V分量分别进行直方图均衡化操作；将进行直方图均衡化操作后的V分量和原H分量及原S分量拼接，再将拼接后的图像从HSV颜色空间转到RGB颜色空间得到增强后的序列帧图像；所述图像滤波处理包括选择3*3均值滤波模板，将要被处理的图像像素位于模板的中心位，再使用模板中全部像素的平均值给目标像素赋值，得到滤波处理后的序列帧图像。
更进一步地，所述对待检测目标对象进行检测包括：将图片处理成统一格式大小，输入基于YOL0v3目标检测网络，所述基于YOL0v3目标检测网络将原始图像按照特征图的尺度大小划分为n*n个等大的单元格；在每一个单元格上为每一个边界框预测边界框中心点坐标、目标边界框的宽、高4个值；利用聚类算法对训练集中目标边界框的尺寸进行聚类,获取最佳边界框的尺寸；对边界框位置进行预测后，利用逻辑回归计算每个边界框的分数来预测是所属类别的概率即置信度；若先验边界框和真实边界框的重叠率大于先前其他任何一个边界框和真实边界框的重叠率,则这个边界框的概率为1；若先验边界框与真实边界框的重叠率大于0.5,但又不是最大的,则忽略这个预测框，采用二元交叉熵损失和逻辑回归进行类别预测，得到目标检测结果。
更进一步地，所述基于YOL0v3目标检测网络包括DarkNet-53特征提取网络和Inception模块，DarkNet-53特征提取网络中的残差连接Inception模块形成新的Inception-ResNet模块，所述Inception-ResNet模块包括先采用三个并行卷积层来处理上层网络特征图，第一并行卷积层包括1*1的卷积核，第二并行卷积层包括1*1的卷积核和3*3的卷积核，第三并行卷积层包括1*1的卷积核、1*3的卷积核和3*1的卷积核；然后处理特征融合并利用1*1的卷积核更改其输出通道；和叠加输入特征形成的残差短连接得到Inception-ResNet模块。
更进一步地，在进行目标检测网络训练前，需要建立数据集，所述建立数据集包括对不同类型的目标图像进行分类标记存储，目标图像的标记信息包括目标数量、目标姿态、目标类别、目标边界框的四个顶点坐标，所述数据集包括建训练集、验证集和测试集。
更进一步地，对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪包括获取目标对象信息和相邻背景信息，再对目标对象进行HOG特征提取，并对提取的特征进行归一化；利用主成分分析法进行特征降维将高维特征用低维特征表示，形成跟踪训练样本，将训练样本保存下来当作备用的参考样本；利用二维高斯函数制作目标函数，并计算高斯相关核函数和岭回归系数，得到最终滤波跟踪模板，当滤波跟踪模板作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。
一种用于跟踪多目标的装置，包括：目标对象视频采集模块、目标对象检测模块、目标对象跟踪模块和信息管理模块；
所述目标对象视频采集模块用于控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像，所述目标对象视频采集模块包括图像获取设备、分帧模块和用于视频数据缓存转发的视频传输模块，所述目标对象检测模块与所述目标对象视频采集模块电连接；
所述目标对象检测模块用于对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注，并将检测结果发送给所述目标对象跟踪模块，所述目标对象检测模块包括图像预处理模块和目标对象检测模块，所述图像预处理模块包括图像增强处理单元和图像滤波处理单元，目标对象检测模块用于对待检测目标对象进行检测；
所述目标对象跟踪模块用于对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，并根据管理员输入的跟踪信息对跟踪目标进行筛选和选择性跟踪，对不需要进行跟踪的目标进行释放；
所述信息管理模块用于获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
进一步地，所述图像获取设备包括高清摄像机、第一控制器和调节模块，所述高清摄像机和调节模块均与所述第一控制器电连接，所述第一控制器接收管理员输入的控制指令，并根据所述控制指令控制所述高清摄像机获取待检测目标对象的视频数据，所述调节模块用于在图像采集时进行光线和温度补偿，所述调节模块包括传感器组、LED补光灯电路和增温电路，所述传感器组、所述LED补光灯电路和所述增温电路均与所述第一控制器电连接，所述传感器组包括亮度传感器和温度传感器，所述LED补光灯电路包括多个LED灯珠和用于驱动所述多个LED灯珠的恒流驱动电路，所述增温电路安装在摄像机镜头处，所述增温电路包括加热膜片，当环境温度小于温度预设值时，所述第一控制器驱动所述增温电路进行加热，除去镜头雾气，当环境亮度小于亮度预设值时，所述第一控制器通过所述恒流驱动电路驱动多个LED灯珠进行光线补偿。
进一步地，所述信息管理模块包括数据存储库和显示模块，所述数据存储库用于存储跟踪轨迹数据、待检测视频数据和系统参数数据，所述显示模块包括轨迹绘制模块和交互显示模块，所述轨迹绘制模块用于调取所述数据存储库中存储的跟踪轨迹数据，对不同目标对象的运动跟踪轨迹进行周期性绘制，并将轨迹信息通过所述交互显示模块进行显示，所述交互显示模块还用于用户输入控制指令。
从上述的技术方案可以看出，本发明的有益效果是：检测精度和速率较高、稳定性好，且可根据用户需求对不同目标进行选择性跟踪和自动控制跟踪时长。
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明中一种用于跟踪多目标的方法的具体步骤示意图。
图2为本实施例中目标对象检测过程的具体步骤示意图。
图3为本发明中一种用于跟踪多目标的装置的组成结构示意图。
图4为本发明中图像采集设备的组成结构示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一些特定场景下需要对多目标进行跟踪识别，就需要一种检测精度和速率高，计算量较少，且稳定性好的目标跟踪系统来及时对目标进行跟踪，如图1至图4所示，一种用于跟踪多目标的方法具体包括：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像。
步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注。
在所述序列帧图像进行预处理包括图像增强处理和图像滤波处理，所述图像增强处理包括先将所述待检测目标对象的序列帧图像的颜色空间由RGB转为HSV，然后将进行颜色空间转换后的图像进行均匀分块,并对每个分块在HSV颜色空间中的V分量分别进行直方图均衡化操作；将进行直方图均衡化操作后的V分量和原H分量及原S分量拼接，再将拼接后的图像从HSV颜色空间转到RGB颜色空间得到增强后的序列帧图像；所述图像滤波处理包括选择3*3均值滤波模板，将要被处理的图像像素位于模板的中心位，再使用模板中全部像素的平均值给目标像素赋值，得到滤波处理后的序列帧图像。
如图2所示，对待检测目标对象进行检测的具体过程如下：a.将图片处理成统一格式大小，输入基于YOL0v3目标检测网络，所述基于YOL0v3目标检测网络将原始图像按照特征图的尺度大小划分为n*n个等大的单元格；b.在每一个单元格上为每一个边界框预测边界框中心点坐标、目标边界框的宽、高4个值；c.利用聚类算法对训练集中目标边界框的尺寸进行聚类,获取最佳边界框的尺寸；d.对边界框位置进行预测后，利用逻辑回归计算每个边界框的分数来预测是所属类别的概率即置信度,即采用逻辑回归预测边界框中包含物体的概率，若先验边界框和真实边界框的重叠率大于先前其他任何一个边界框和真实边界框的重叠率,则这个边界框的概率为1,若先验边界框与真实边界框的重叠率大于0.5,但又不是最大的,则忽略这个预测框，采用二元交叉熵损失和逻辑回归进行类别预测，得到目标检测结果。其中，所述基于YOL0v3目标检测网络包括DarkNet-53特征提取网络和Inception模块，DarkNet-53特征提取网络中的残差连接Inception模块形成新的Inception-ResNet模块，所述Inception-ResNet模块包括先采用三个并行卷积层来处理上层网络特征图，第一并行卷积层包括1*1的卷积核，第二并行卷积层包括1*1的卷积核和3*3的卷积核，第三并行卷积层包括1*1的卷积核、1*3的卷积核和3*1的卷积核；然后处理特征融合并利用1*1的卷积核更改其输出通道；和叠加输入特征形成的残差短连接得到Inception-ResNet模块。
在本实施例中，在进行目标检测网络训练前，需要建立数据集，所述建立数据集包括对不同类型的目标图像进行分类标记存储，目标图像的标记信息包括目标数量、目标姿态、目标类别、目标边界框的四个顶点坐标，所述数据集包括建训练集、验证集和测试集。在本实施例中，进行信息标记时，可按照数字序列对其进行标记编号，例如，635289，6表示目标对象的种类鸟类数量，3表示归一化后的目标中心点x的坐标，5代表归一化后的目标中心点y的坐标，2表示目标对象的种类鸟类，8代表归一化后的目标框的宽度，9代表归一化后的目标框的高度。
步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪，对不需要进行跟踪的目标进行释放。
具体地，对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪包括获取目标对象信息和相邻背景信息，再对目标对象进行HOG特征提取，并对提取的特征进行归一化；利用主成分分析法进行特征降维将高维特征用低维特征表示，形成跟踪训练样本，将训练样本保存下来当作备用的参考样本；利用二维高斯函数制作目标函数，并计算高斯相关核函数和岭回归系数，得到最终滤波跟踪模板，当滤波跟踪模板作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。
步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
在本实施例中，管理员可以通过交互显示模块输入控制指令，控制图像的采集过程和跟踪目标选择，例如，待测对象中出现，人、车、鸟类等多个目标，可通过输入选择跟踪指令对个别目标进行跟踪。
基于上述多目标跟踪方法，本申请还公开了一种用于跟踪多目标的装置，包括：目标对象视频采集模块、目标对象检测模块、目标对象跟踪模块和信息管理模块。
所述目标对象视频采集模块用于控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像，所述目标对象视频采集模块包括图像获取设备、分帧模块和用于视频数据缓存转发的视频传输模块，所述目标对象检测模块与所述目标对象视频采集模块电连接。而所述图像获取设备包括高清摄像机、第一控制器和调节模块，所述高清摄像机和调节模块均与所述第一控制器电连接，所述第一控制器接收管理员输入的控制指令，并根据所述控制指令控制所述高清摄像机获取待检测目标对象的视频数据，所述调节模块用于在图像采集时进行光线和温度补偿，所述调节模块包括传感器组、LED补光灯电路和增温电路，所述传感器组、所述LED补光灯电路和所述增温电路均与所述第一控制器电连接，所述传感器组包括亮度传感器和温度传感器，所述LED补光灯电路包括多个LED灯珠和用于驱动所述多个LED灯珠的恒流驱动电路，所述增温电路安装在摄像机镜头处，所述增温电路包括加热膜片，当环境温度小于温度预设值时，所述第一控制器驱动所述增温电路进行加热，除去镜头雾气，当环境亮度小于亮度预设值时，所述第一控制器通过所述恒流驱动电路驱动多个LED灯珠进行光线补偿。
所述目标对象检测模块用于对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注，并将检测结果发送给所述目标对象跟踪模块，所述目标对象检测模块包括图像预处理模块和目标对象检测模块，所述图像预处理模块包括图像增强处理单元和图像滤波处理单元，目标对象检测模块用于对待检测目标对象进行检测。
所述目标对象跟踪模块用于对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，并根据管理员输入的跟踪信息对跟踪目标进行筛选和选择性跟踪，对不需要进行跟踪的目标进行释放。
所述信息管理模块用于获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。所述信息管理模块包括数据存储库和显示模块，所述数据存储库用于存储跟踪轨迹数据、待检测视频数据和系统参数数据，所述显示模块包括轨迹绘制模块和交互显示模块，所述轨迹绘制模块用于调取所述数据存储库中存储的跟踪轨迹数据，对不同目标对象的运动跟踪轨迹进行周期性绘制，并将轨迹信息通过所述交互显示模块进行显示，所述交互显示模块还用于用户输入控制指令。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。
Claims (9)
1.一种用于跟踪多目标的方法，其特征在于，包括以下步骤：
步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像；
步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；
步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪，对不需要进行跟踪的目标进行释放；
步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
2.如权利要求1所述的用于跟踪多目标的方法，其特征在于，在所述序列帧图像进行预处理包括图像增强处理和图像滤波处理，所述图像增强处理包括先将所述待检测目标对象的序列帧图像的颜色空间由RGB转为HSV，然后将进行颜色空间转换后的图像进行均匀分块,并对每个分块在HSV颜色空间中的V分量分别进行直方图均衡化操作；将进行直方图均衡化操作后的V分量和原H分量及原S分量拼接，再将拼接后的图像从HSV颜色空间转到RGB颜色空间得到增强后的序列帧图像；所述图像滤波处理包括选择3*3均值滤波模板，将要被处理的图像像素位于模板的中心位，再使用模板中全部像素的平均值给目标像素赋值，得到滤波处理后的序列帧图像。
3.如权利要求2所述的用于跟踪多目标的方法，其特征在于，所述对待检测目标对象进行检测包括：将图片处理成统一格式大小，输入基于YOL0v3目标检测网络，所述基于YOL0v3目标检测网络将原始图像按照特征图的尺度大小划分为n*n个等大的单元格；在每一个单元格上为每一个边界框预测边界框中心点坐标、目标边界框的宽、高4个值；利用聚类算法对训练集中目标边界框的尺寸进行聚类,获取最佳边界框的尺寸；对边界框位置进行预测后，利用逻辑回归计算每个边界框的分数来预测是所属类别的概率即置信度；若先验边界框和真实边界框的重叠率大于先前其他任何一个边界框和真实边界框的重叠率,则这个边界框的概率为1；若先验边界框与真实边界框的重叠率大于0.5,但又不是最大的,则忽略这个预测框，采用二元交叉熵损失和逻辑回归进行类别预测，得到目标检测结果。
4.如权利要求3所述的用于跟踪多目标的方法，其特征在于，所述基于YOL0v3目标检测网络包括DarkNet-53特征提取网络和Inception模块，DarkNet-53特征提取网络中的残差连接Inception模块形成新的Inception-ResNet模块，所述Inception-ResNet模块包括先采用三个并行卷积层来处理上层网络特征图，第一并行卷积层包括1*1的卷积核，第二并行卷积层包括1*1的卷积核和3*3的卷积核，第三并行卷积层包括1*1的卷积核、1*3的卷积核和3*1的卷积核；然后处理特征融合并利用1*1的卷积核更改其输出通道；和叠加输入特征形成的残差短连接得到Inception-ResNet模块。
5.如权利要求4所述的用于跟踪多目标的方法，其特征在于，在进行目标检测网络训练前，需要建立数据集，所述建立数据集包括对不同类型的目标图像进行分类标记存储，目标图像的标记信息包括目标数量、目标姿态、目标类别、目标边界框的四个顶点坐标，所述数据集包括建训练集、验证集和测试集。
6.如权利要求4所述的用于跟踪多目标的方法，其特征在于，对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪包括获取目标对象信息和相邻背景信息，再对目标对象进行HOG特征提取，并对提取的特征进行归一化；利用主成分分析法进行特征降维将高维特征用低维特征表示，形成跟踪训练样本，将训练样本保存下来当作备用的参考样本；利用二维高斯函数制作目标函数，并计算高斯相关核函数和岭回归系数，得到最终滤波跟踪模板，当滤波跟踪模板作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。
7.一种用于跟踪多目标的装置，其特征在于，包括：目标对象视频采集模块、目标对象检测模块、目标对象跟踪模块和信息管理模块；
所述目标对象视频采集模块用于控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像，所述目标对象视频采集模块包括图像获取设备、分帧模块和用于视频数据缓存转发的视频传输模块，所述目标对象检测模块与所述目标对象视频采集模块电连接；
所述目标对象检测模块用于对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注，并将检测结果发送给所述目标对象跟踪模块，所述目标对象检测模块包括图像预处理模块和目标对象检测模块，所述图像预处理模块包括图像增强处理单元和图像滤波处理单元，目标对象检测模块用于对待检测目标对象进行检测；
所述目标对象跟踪模块用于对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，并根据管理员输入的跟踪信息对跟踪目标进行筛选和选择性跟踪，对不需要进行跟踪的目标进行释放；
所述信息管理模块用于获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
8.如权利要求7所述的用于跟踪多目标的装置，其特征在于，所述图像获取设备包括高清摄像机、第一控制器和调节模块，所述高清摄像机和调节模块均与所述第一控制器电连接，所述第一控制器接收管理员输入的控制指令，并根据所述控制指令控制所述高清摄像机获取待检测目标对象的视频数据，所述调节模块用于在图像采集时进行光线和温度补偿，所述调节模块包括传感器组、LED补光灯电路和增温电路，所述传感器组、所述LED补光灯电路和所述增温电路均与所述第一控制器电连接，所述传感器组包括亮度传感器和温度传感器，所述LED补光灯电路包括多个LED灯珠和用于驱动所述多个LED灯珠的恒流驱动电路，所述增温电路安装在摄像机镜头处，所述增温电路包括加热膜片，当环境温度小于温度预设值时，所述第一控制器驱动所述增温电路进行加热，除去镜头雾气，当环境亮度小于亮度预设值时，所述第一控制器通过所述恒流驱动电路驱动多个LED灯珠进行光线补偿。
9.如权利要求7所述的用于跟踪多目标的装置，其特征在于，所述信息管理模块包括数据存储库和显示模块，所述数据存储库用于存储跟踪轨迹数据、待检测视频数据和系统参数数据，所述显示模块包括轨迹绘制模块和交互显示模块，所述轨迹绘制模块用于调取所述数据存储库中存储的跟踪轨迹数据，对不同目标对象的运动跟踪轨迹进行周期性绘制，并将轨迹信息通过所述交互显示模块进行显示，所述交互显示模块还用于用户输入控制指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111111763.XA CN113869177A (zh) | 2021-09-18 | 2021-09-18 | 一种用于跟踪多目标的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111111763.XA CN113869177A (zh) | 2021-09-18 | 2021-09-18 | 一种用于跟踪多目标的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113869177A true CN113869177A (zh) | 2021-12-31 |
Family
ID=78993323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111111763.XA Pending CN113869177A (zh) | 2021-09-18 | 2021-09-18 | 一种用于跟踪多目标的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869177A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663466A (zh) * | 2022-03-24 | 2022-06-24 | 哈尔滨工业大学人工智能研究院有限公司 | 一种多域卷积神经网络上的分块目标跟踪方法 |
| CN115623336A (zh) * | 2022-11-07 | 2023-01-17 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN117152974A (zh) * | 2023-11-01 | 2023-12-01 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种全自动轨迹自适应分析的交通流量高精计算方法 |
| WO2024032091A1 (zh) * | 2022-08-12 | 2024-02-15 | 亿航智能设备（广州）有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
-
2021
- 2021-09-18 CN CN202111111763.XA patent/CN113869177A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663466A (zh) * | 2022-03-24 | 2022-06-24 | 哈尔滨工业大学人工智能研究院有限公司 | 一种多域卷积神经网络上的分块目标跟踪方法 |
| WO2024032091A1 (zh) * | 2022-08-12 | 2024-02-15 | 亿航智能设备（广州）有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
| CN115623336A (zh) * | 2022-11-07 | 2023-01-17 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN115623336B (zh) * | 2022-11-07 | 2023-06-30 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN117152974A (zh) * | 2023-11-01 | 2023-12-01 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种全自动轨迹自适应分析的交通流量高精计算方法 |
| CN117152974B (zh) * | 2023-11-01 | 2024-02-27 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种全自动轨迹自适应分析的交通流量高精计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113869177A (zh) | 一种用于跟踪多目标的方法及装置 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN111784685A (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN111881730A (zh) | 一种火电厂现场安全帽佩戴检测方法 | |
| CN111008633B (zh) | 一种基于注意力机制的车牌字符分割方法 | |
| CN112070135B (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN111027539A (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
| CN111160432A (zh) | 一种面板生产制造缺陷的自动分类方法及系统 | |
| CN113660484B (zh) | 基于音视频内容的音视频属性比对方法、系统、终端及介质 | |
| CN116363532A (zh) | 基于注意力机制和重参数化的无人机图像交通目标检测方法 | |
| CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
| CN117152971A (zh) | 一种基于高空全景视频的ai交通信号优化方法 | |
| CN117935388B (zh) | 一种基于联网的高速公路计费监控系统和方法 | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN117456353A (zh) | 一种河流湖泊智慧界桩的管理系统 | |
| CN113239931A (zh) | 一种物流站车牌识别的方法 | |
| CN113392817A (zh) | 一种基于多列卷积神经网络的车辆密度估计的方法及装置 | |
| Song et al. | Vision-based parking space detection: A mask R-CNN approach | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN116385465A (zh) | 图像分割模型的构建及图像分割方法、系统、设备和介质 | |
| CN116630624A (zh) | 光伏板图像分割方法及其模型的训练方法、装置 | |
| CN113873152A (zh) | 一种运动目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |