CN112215873A - 用于对变电站内多目标跟踪定位的方法 - Google Patents

用于对变电站内多目标跟踪定位的方法 Download PDF

Info

Publication number
CN112215873A
CN112215873A CN202010879688.0A CN202010879688A CN112215873A CN 112215873 A CN112215873 A CN 112215873A CN 202010879688 A CN202010879688 A CN 202010879688A CN 112215873 A CN112215873 A CN 112215873A
Authority
CN
China
Prior art keywords
target
frame
img
tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010879688.0A
Other languages
English (en)
Inventor
韩睿
刘黎
杨忠光
王威
蒋鹏
李斐然
冯宇哲
杨立川
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202010879688.0A priority Critical patent/CN112215873A/zh
Publication of CN112215873A publication Critical patent/CN112215873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器视觉技术领域,本发明提供了用于对变电站内多目标跟踪定位的方法,对通过摄像头采集到的变电站内设备图像集,进行预处理;使用目标检测器给识别图像中每一个被跟踪的目标,获取每一个目标的坐标信息;当发生遮挡时,该方法结合运动信息和外观信息,对目标进行跟踪,最后基于透视变换将跟踪情况实时反映到变电站底图上,能克服现有变电站内多目标跟踪中出现的遮挡问题及对目标的定位问题。

Description

用于对变电站内多目标跟踪定位的方法
技术领域
本发明涉及机器视觉技术领域,具体涉及用于对变电站内多目标跟踪定位的方法。
背景技术
随着电网规模的增大、电压等级的提高,供电安全性要求更加严格,变电站正常运行成为保障电力系统供电安全的重要环节。无人值守或少人值守变电站在一定程度上决定了 电网的智能化发展,而变电站场景下的运动目标检测和跟踪技术是实现变电站无人值守或少 人值守的必要条件。
准确有效的多目标跟踪将提高监视性能,并确保变电站人员的安全。如今,随着基于图像的检测方法的迅速发展,基于图像检测的跟踪方法逐渐成为多目标跟踪方法的重要组 成部分。基于图像检测的方法首先使用背景减法检测对象,然后建立帧与帧之间的对应关系 以找到对象的轨迹。
但是,基于图像检测的跟踪方法的性能高度依赖于目标检测器。当检测器处理复杂 的情况(例如重度阻塞)时,会经常出现错误和丢失跟踪检测目标的情况。尤其是变电站监 视的视频跟踪系统常遇到的重要问题之一就是目标人员被遮挡,尤其是多个目标人员。
现有的视频跟踪方法处理遮挡问题的模型主要采用生成模型,通过在线学习的方式 建立模型,然后搜索重建误差最小的图像区域以找到目标位置。然而,生成模型在速度和准 确性上表现不理想,尤其是变电站内出现多个目标时。
因此,急需用于对变电站内多目标跟踪定位的方法,以解决多目标的遮挡问题。
发明内容
本发明所要解决的技术问题是克服上述现有技术的缺陷,提供了用于对变电站内多 目标跟踪定位的方法,能够有效的解决变电站内对多目标的遮挡问题。
为实现上述目的,本发明通过以下技术方案得以实现:用于对变电站内多目标跟踪 定位的方法,包括,
S1:对通过摄像头采集到的变电站内设备图像集,进行预处理;
S2:使用目标检测器给识别图像中每一个被跟踪的目标,获取每一个目标的坐标信 息;
S3:使用卡尔曼滤波预测目标的轨迹,根据目标在当前帧的状态预测其在下一帧的 状态,并将估计预测结果存入T-Pre集合中;
S4:计算被目标在当前帧的状态与其在下一帧的预测状态的马氏距离,并比较所得 结果与预设的第一阈值的大小;若所得结果小于或等于第一阈值,则进入S7,否则进入S6;
S5:使用卷积神经网络提取目标的外观特征,计算前、后帧的余弦相似度,并比较所得余弦距离与预设的第二阈值的大小;若所得余弦距离小于或等于第二阈值,则进入S7,否则进入S6;
S6:进行融合度量学习,将当前帧获得的目标的坐标信息存入已检测集合D中,将历史帧获得的目标的坐标信息存入跟踪集合T中,根据设置的权重系数j,计算包含T预测结果的T-Pre集合与D集合之间的马氏距离以及D中提取到的特征向量与历史轨迹T中提 取到的特征向量平均值的余弦距离,并比较所得结果与预设的第一阈值的大小;若所得结果大于第三阈值,则进入S7;
S7:若D为空集,就将丢失帧计数加1,若丢失帧计数超过预设的第四阈值时,就 认为该目标已消失,并将该目标的历史坐标信息从T中删除,重新进行检测;
S8:将变电站底图和被跟踪的目标之间进行透视变换,实现对目标的实时定位;
S9:输出最终的结果。
本发明进一步优选方案为:所述图像集为IMG,IMG={img1,img2,…,imgn},n为视频总帧数;所述预处理包括灰度化处理、去噪声处理和图像增强处理;所述灰度处理是对图像集IMG中的图像img采用加权平均法进行灰度化处理,将RGB表示的彩色图像像素值 [R(x,y),G(x,y),B(x,y)]转化为灰度图像I(x,y),(x,y)为img中像素的坐标值,具体转化公式为 I(x,y)=1/(3[R(x,y),G(x,y),B(x,y])。
本发明进一步优选方案为:所述去噪声处理是通过高斯滤波法,对整幅灰度图像的 像素值进行加权平均,针对每一个像素点的坐标值(x,y),都由其本身值和领域内的其他像素 值经过加权平均后得到,去噪声公式为
Figure RE-GDA0002786327410000021
本发明进一步优选方案为:所述图像增强处理是通过高通滤波法对图像进行锐化处 理,锐化处理的公式为y[imgi]=α*y[imgi-1]+α*(x[imgi]-x[imgi-1]);其中,x[imgi]是第i张进 行锐化处理前的图像采样值,x[imgi-1]是第i-1张进行锐化处理前输入图像采样值,y[imgi]是 进行锐化处理后得到的第i张图像滤波值,y[imgi-1]是进行锐化处理后得到的第i-1张图像滤 波值,α=2πfT<1,T为采样周期。
本发明进一步优选方案为:所述目标检测器采用的是YOLOv3算法,输入的图像通过YOLOv3的网络结构后,获得的目标的坐标和检测框的构成的数组(x,y,w,h),x和y代表目标的坐标,w和h代表目标检测框的宽和高。
本发明进一步优选方案为:所述步骤S3中,先在检测框的边缘取一点(dx(k),dy(k))作 为跟踪特征点,并选择检测框的宽度w和高度h作为其他两个特征变量以构成一个四维状 态变量;再使用卡尔曼滤波算法来预测所述跟踪特征点的四维状态变量,并将预测结果存入 T-Pre集合中。
本发明进一步优选方案为:所述步骤S4中的马氏距离是指目标的跟踪特征点在第i 帧的四维状态变量与其在第i-1帧通过卡尔曼滤波预测后的四维状态变量之间的马氏距离 M(i-1,i),计算公式为:
Figure BDA0002653734300000031
ti表示第i帧检测到的目标状态(dx(k),dy(k),w,h),gi-1是第i-1帧目标轨迹在第i帧的预测 观测量,Si-1是目标轨迹由卡尔曼滤波器预测得到的在第i帧时观测空间的协方差矩阵。
本发明进一步优选方案为:所述第一阈值取值为3.08,通过筛选函数将所得结果与 第一阈值进行比较并筛选,筛选函数公式为:
Figure BDA0002653734300000032
本发明进一步优选方案为:所述步骤S5使用余弦距离算法作为测量函数,以计算第 i帧中目标b的特征向量与第i帧前f个特征向量的平均值之间的余弦距离,使用ri={r1 (b), r2 (b),…,rk (b)}表示第i帧之前目标b的特征向量,余弦距离的计算公式如下:
Figure BDA0002653734300000033
所述第二阈值为s,s通过训练得到;当cosdis(k,i)≤s时,则判定两个检测框中的目标关联成 功,进入步骤S7。
本发明进一步优选方案为:所述步骤S6中的融合度量计算公式为:
u=ja(i-1,i)+(1-j)cosdis(k,i);若 所得u大于设定的第三阈值,则进入步骤S7;否则,将丢失帧数计数置为0,说明前后帧的 目标匹配成功,采用匈牙利算法对T和D进行最优分配,并返回匹配结果,使用匹配成功 点的坐标信息来对目标位置进行更新;重复步骤S3到步骤S6,实现对变电站内目标的跟踪
综上所述,本发明具有以下有益效果:首先,跟踪器为检测到的每个视频帧序列的目标人员提供一个边界框(检测框);当发生遮挡时,该方法结合运动信息和外观信息,对目标进行跟踪,最后基于透视变换将跟踪情况实时反映到变电站底图上,克服现有变电站内 多目标跟踪中出现的遮挡问题及对目标的定位问题。
附图说明
图1是YOLOv3模型的结构示意图。
图2是本发明用于对变电站内多目标跟踪定位的方法的流程图。
图3a和图3b分别是摄像机采集的图片和变电站底图。
图4是应用发明方法的可视化示例图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅 读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权 利要求范围内都受到专利法的保护。
如图2所示,本发明提供了用于对变电站内多目标跟踪定位的方法,主要包括以下9 个步骤。
S1:对通过摄像头采集到的变电站内设备图像集,进行预处理。具体地,通过多个摄像头采集连续的视频图像,视频图像的每一帧画面构成所述的图像集。所述图像集为IMG,IMG={img1,img2,…,imgn},n则为视频总帧数。然后在对每一帧的图片进行预处 理,预处理包括灰度化处理、去噪声处理和图像增强处理。
灰度处理是对图像集IMG中的图像img采用加权平均法进行灰度化处理,将RGB 表示的彩色图像像素值[R(x,y),G(x,y),B(x,y)]转化为灰度图像I(x,y),(x,y)为img中像素的坐 标值,具体转化公式为I(x,y)=1/(3[R(x,y),G(x,y),B(x,y])。
去噪声处理是通过高斯滤波法,对整幅灰度图像的像素值进行加权平均,针对每一 个像素点的坐标值(x,y),都由其本身值和领域内的其他像素值经过加权平均后得到,去噪声 公式为
Figure RE-GDA0002786327410000041
其中σ是标准差。
图像增强处理是通过高通滤波法对图像进行锐化处理,锐化处理的公式为 y[imgi]=α*y[imgi-1]+α*(x[imgi]-x[imgi-1]);
其中,x[imgi]是第i张进行锐化处理前的图像采样值,x[imgi-1]是第i-1张进行锐化处 理前输入图像采样值,y[imgi]是进行锐化处理后得到的第i张图像滤波值,y[imgi-1]是进行锐 化处理后得到的第i-1张图像滤波值,α=2πfT<1,T为采样周期。
对图像集IMG的预处理算法过程如下:
输入:监控系统采集图像集IMG={img1,img2,…,imgn};
1.提取每一张imgi坐标集XY={(x1,y1),(x2,y2),…,(xn,yn)};
2.while(i<=n)do
3.img’i←I(xi,yi)=1/(3[R(x,y),G(x,y),B(x,y]);
4.img’i←h(xi,yi)=e^(-(x^2+y^2)/2^(σ^2));
5.End while;
6.img’i←y[img′i]=α×y[img′i-1]+α×(x[img′i]-x[img′i-1]);
7.return img’i;
输出:预处理后的图像IMG’={img’1,img’2,…,img’n}。
S2:使用目标检测器给识别每一帧图像中每一个被跟踪的目标,获取每一个目标的 坐标信息。具体地,本实施例中目标检测器采用的是YOLOv3算法,所采用的YOLOv3网 络结构仅由卷积层组成,输入图像通过网络,只需一次即可完成目标的分类和定位
YOLOv3模型结构如图1所示,其模型结构主要由Darknet-53特征提取网络、多尺度融合特征网络构成。y1,y2,y3代表YOLOv3在3种不同尺度特征图的输出,输出目标位置 和类别。Darknet-53主要由53个卷积层构成,大量的采用3×3,1×1的卷积核,同时借鉴 深度残差网络(ResNet)的设计思想,在卷积层间构建残差模块并设置跳跃连接。
YOLOv3采用三种不同尺度的预测结果,对于输入的变电站实时视频图像信息,例如输入416×416的图像信息,基础特征图尺度为13×13×N,通过上采样得到26×26×N 的特征图,将它与前一卷积层输出融合得到第2个尺度特征图26×26×M;之后采用相同的 方法得到第3个尺度的特征图52×52×W;在每个特征图上预测由检测框、目标评分、类 别预测三种信息编码的3d张量。检测时YOLOv3采用9个聚类获得的先验框辅助进行坐标 的预测,并且将这9个先验框分为三组应用在3个不同尺度的特征图中,从而使得每个尺度 特征图预测3组信息,最终采用逻辑回归的方式对每个检测框的预测目标打分,若在一个单 元格内,先验框与检测框的重叠区域最大,则打分为1,其他的则被忽略,从而得到检测的 类别和坐标。
本实施例所采用的YOLOv3网络的分类器最后一层的输出尺寸更改为人员(即被跟踪的目标)坐标(x,y,w,h)以及置信度(confidence,c),前4个参数分别代表归一化后的位置坐 标,以及相对于网格位置的中心位置的高度和宽度。
本实施例采用多个摄像机将视频帧记录下来,每个摄像机的视频帧记录为Fi=(f1, f2,…,fi,…,fn),n代表摄像机总数。经过此步骤,目标检测器为每一个被跟踪到的人员提供 了特定的标识,并获得他们的轨迹。将跟踪到的人员表示为Pi=(Fi,(x,y,h,w),IDi),IDi代表 人员的编号。
S3:使用卡尔曼滤波预测目标的轨迹,根据目标在当前帧的状态预测其在下一帧的 状态,并将估计预测结果存入T-Pre集合中。具体地,先在检测框的边缘取一点(dx(k),dy(k)) 作为跟踪特征点,并选择检测框的宽度w和高度h作为其他两个特征变量以构成一个四维 状态变量;再使用卡尔曼滤波算法来预测所述跟踪特征点的四维状态变量,并将预测结果存 入T-Pre集合中。
S4:计算被目标在当前帧的状态与其在下一帧的预测状态的马氏距离,并比较所得 结果与预设的第一阈值的大小;若所得结果小于或等于第一阈值,则进入S7,否则进入S6。
具体地,这里的马氏距离是指目标的跟踪特征点在第i帧的四维状态变量与其在第i- 1帧通过卡尔曼滤波预测后的四维状态变量之间的马氏距离M(i-1,i),或者说第i帧检测到 的目标与第i-1帧目标在卡尔曼滤波器预测目标的马氏距离。
其计算公式为:
Figure BDA0002653734300000061
ti表示第i帧检测到的目标状态(dx(k),dy(k),w,h),gi-1是第i-1帧目标轨迹在第i帧的预测 观测量,Si-1是目标轨迹由卡尔曼滤波器预测得到的在第i帧时观测空间的协方差矩阵。
由于视频帧中的运动是连续的,所以我们可以采用马氏距离M(i-1,i)对检测到的目标 进行筛选,第一阈值取值为3.08,如下式所示,filter为筛选函数:
Figure BDA0002653734300000062
S5:使用卷积神经网络提取目标的外观特征,计算前、后帧的余弦相似度,并比较所得余弦距离与预设的第二阈值的大小;若所得余弦距离小于或等于第二阈值,则进入S7,否则进入S6。
具体地,卷积神经网络由输入层、隐层和输出层组成,输入层为收集的图像集IMG,隐层具体细节如表1所示,输出层的输出为经过隐层处理的IMG’。
表1所构建卷积神经网络隐层具体细节
Figure BDA0002653734300000071
使用余弦距离算法作为测量函数,以计算第i帧中目标b的特征向量与第i帧前f个特征向量的平均值之间的余弦距离,使用ri={r1 (b),r2 (b),…,rk (b)}表示第i帧之前目标b的特 征向量,余弦距离的计算公式如下:
Figure BDA0002653734300000072
所 述第二阈值为s,s通过训练得到;当cosdis(k,i)≤s时,则判定两个检测框中的目标关联成 功,进入步骤S7。
S6:进行融合度量学习,将当前帧获得的目标的坐标信息存入已检测集合D中,将历史帧获得的目标的坐标信息存入跟踪集合T中,根据设置的权重系数j,计算包含T预测结果的T-Pre集合与D集合之间的马氏距离以及D中提取到的特征向量与历史轨迹T中提 取到的特征向量平均值的余弦距离,并比较所得结果与预设的第一阈值的大小;若所得结果大于第一阈值,则进入S7。
具体地,融合度量计算公式为:
u=ja(i-1,i)+(1-j)cosdis(k,i);若所得u大于设定的第三阈值,则进入步骤S7;否则,将丢失帧数计数置为0,说明前后帧的 目标匹配成功,采用匈牙利算法对T和D进行最优分配,并返回匹配结果,使用匹配成功 点的坐标信息来对目标位置进行更新;重复步骤S3到步骤S6,实现对变电站内目标的跟 踪。
S7:若D为空集,就将丢失帧计数加1,若丢失帧计数超过预设的第四阈值时,就 认为该目标已消失,并将该目标的历史坐标信息从T中删除,重新进行检测。
S8:将变电站底图和被跟踪的目标之间进行透视变换,实现对目标的实时定位。
具体地,设设有一个三维坐标系(x,y,z),透视变换公式如下:
Figure BDA0002653734300000081
其中[u,v]是原始图片左边,对应得到变换后的图片坐标(x,y),其中
Figure BDA0002653734300000082
Figure BDA0002653734300000083
公式右边的矩阵
Figure BDA0002653734300000084
表示线性变换,[a31 a32]用于平移,[a13 a23]T产生透视变换。因此透视变换公式可变形为如下公式:
Figure BDA0002653734300000085
在具体情况中,通过两次变换,可求出变换后的四边形矩阵:首先将四边形变换到正方形,再经过正方形变换到四边形,就可以将任意一个四边形变换到另一个四边形。在变电站底图的基础上,跟踪目标进行透视变换,实现对跟踪目标的实时定位。
具体解释如下:如图3实际场景中透视变换区域所示,(a)为变电站中的摄像机3采集的照片,(b)为变电站底图,(a)中的目标“定位区域”对应着(b)中“与图像对应的区 域”,(b)中以摄像机3为顶点的两条射线之间的部分为摄像机3所能拍摄到的区域范围; 通过透视变换算法将图像上的定位区域映射到变电站底图上,从而实现目标在变电站底图的 实时定位。
S9:输出最终的结果:将变电站底图的左上角看作原点(0,0),向右的为x轴正半轴,向下的为y轴负半轴,变电站场景下人员的实际坐标经测量得出。因此,计算8s内 (1s为25帧,也即200帧)经过算法计算出的人员定位坐标与人员实际坐标的误差,每1s (也即25帧)记录一次实验结果,结果如表2所示。
表2经过算法计算出的人员定位坐标与实际坐标的误差。
Figure BDA0002653734300000091
由表2的第四列和第七列可见,经过算法计算出的人员定位坐标与实际坐标的误差 不论是x,还是y,误差都在0.5米之内,在实际变电站场景中能够满足需求;图4为可视化示例,取其中一帧的实时画面,左图为已经跟踪到的两个变电站人员,右图为变电站底图,图像中跟踪人员能够实时展现在变电站底图上。
根据多目标跟踪算法评价指标:多目标跟踪准确率(MOTA)、所有跟踪目标的平均边 框重叠率(MOTP)、目标大部分被跟踪到的轨迹占比(MT)、目标大部分跟丢轨迹占比(ML)、 一条跟踪轨迹改变目标标号的次数(IDS)及每秒传输帧数,实时性指标(FPS)。分析了本专利 多目标在线跟踪算法在两组不同情况(轻度遮挡和重度遮挡)下的变电站监控视频上的性 能,结果分别如表3,表4所示。
表3跟踪器在轻度遮挡下的跟踪性能
Figure BDA0002653734300000092
表4跟踪器在重度遮挡下的跟踪性能
Figure BDA0002653734300000093
Figure BDA0002653734300000101

Claims (10)

1.用于对变电站内多目标跟踪定位的方法,其特征在于,包括,
S1:对通过摄像头采集到的变电站内设备图像集,进行预处理;
S2:使用目标检测器给识别图像中每一个被跟踪的目标,获取每一个目标的坐标信息;
S3:使用卡尔曼滤波预测目标的轨迹,根据目标在当前帧的状态预测其在下一帧的状态,并将估计预测结果存入T-Pre集合中;
S4:计算被目标在当前帧的状态与其在下一帧的预测状态的马氏距离,并比较所得结果与预设的第一阈值的大小;若所得结果小于或等于第一阈值,则进入S7,否则进入S6;
S5:使用卷积神经网络提取目标的外观特征,计算前、后帧的余弦相似度,并比较所得余弦距离与预设的第二阈值的大小;若所得余弦距离小于或等于第二阈值,则进入S7,否则进入S6;
S6:进行融合度量学习,将当前帧获得的目标的坐标信息存入已检测集合D中,将历史帧获得的目标的坐标信息存入跟踪集合T中,根据设置的权重系数j,计算包含T预测结果的T-Pre集合与D集合之间的马氏距离以及D中提取到的特征向量与历史轨迹T中提取到的特征向量平均值的余弦距离,并比较所得结果与预设的第一阈值的大小;若所得结果大于第三阈值,则进入S7;
S7:若D为空集,就将丢失帧计数加1,若丢失帧计数超过预设的第四阈值时,就认为该目标已消失,并将该目标的历史坐标信息从T中删除,重新进行检测;
S8:将变电站底图和被跟踪的目标之间进行透视变换,实现对目标的实时定位;
S9:输出最终的结果。
2.根据权利要求1所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述图像集为IMG,IMG={img1,img2,…,imgn},n为视频总帧数;
所述预处理包括灰度化处理、去噪声处理和图像增强处理;
所述灰度处理是对图像集IMG中的图像img采用加权平均法进行灰度化处理,将RGB表示的彩色图像像素值[R(x,y),G(x,y),B(x,y)]转化为灰度图像I(x,y),(x,y)为img中像素的坐标值,具体转化公式为I(x,y)=1/(3[R(x,y),G(x,y),B(x,y])。
3.根据权利要求2所述的用于对变电站内多目标跟踪定位的方法,其特征在于,
所述去噪声处理是通过高斯滤波法,对整幅灰度图像的像素值进行加权平均,针对每一个像素点的坐标值(x,y),都由其本身值和领域内的其他像素值经过加权平均后得到,去噪声公式为
Figure RE-FDA0002786327400000011
4.根据权利要求2所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述图像增强处理是通过高通滤波法对图像进行锐化处理,锐化处理的公式为
y[imgi]=α*y[imgi-1]+α*(x[imgi]-x[imgi-1]);
其中,x[imgi]是第i张进行锐化处理前的图像采样值,x[imgi-1]是第i-1张进行锐化处理前输入图像采样值,y[imgi]是进行锐化处理后得到的第i张图像滤波值,y[imgi-1]是进行锐化处理后得到的第i-1张图像滤波值,α=2πfT<1,T为采样周期。
5.根据权利要求2所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述目标检测器采用的是YOLOv3算法,输入的图像通过YOLOv3的网络结构后,获得的目标的坐标和检测框的构成的数组(x,y,w,h),x和y代表目标的坐标,w和h代表目标检测框的宽和高。
6.根据权利要求5所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述步骤S3中,先在检测框的边缘取一点(dx(k),dy(k))作为跟踪特征点,并选择检测框的宽度w和高度h作为其他两个特征变量以构成一个四维状态变量;再使用卡尔曼滤波算法来预测所述跟踪特征点的四维状态变量,并将预测结果存入T-Pre集合中。
7.根据权利要求6所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述步骤S4中的马氏距离是指目标的跟踪特征点在第i帧的四维状态变量与其在第i-1帧通过卡尔曼滤波预测后的四维状态变量之间的马氏距离M(i-1,i),计算公式为:
Figure FDA0002653734290000022
ti表示第i帧检测到的目标状态(dx(k),dy(k),w,h),gi-1是第i-1帧目标轨迹在第i帧的预测观测量,Si-1是目标轨迹由卡尔曼滤波器预测得到的在第i帧时观测空间的协方差矩阵。
8.根据权利要求7所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述第一阈值取值为3.08,通过筛选函数将所得结果与第一阈值进行比较并筛选,筛选函数公式为:
Figure FDA0002653734290000023
9.根据权利要求8所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述步骤S5使用余弦距离算法作为测量函数,以计算第i帧中目标b的特征向量与第i帧前f个特征向量的平均值之间的余弦距离,使用ri={r1 (b),r2 (b),…,rk (b)}表示第i帧之前目标b的特征向量,余弦距离的计算公式如下:
Figure FDA0002653734290000031
所述第二阈值为s,s通过训练得到;当cosdis(k,i)≤s时,则判定两个检测框中的目标关联成功,进入步骤S7。
10.根据权利要求9所述的用于对变电站内多目标跟踪定位的方法,其特征在于,所述步骤S6中的融合度量计算公式为:
u=ja(i-1,i)+(1-j)cosdis(k,i);
若所得u大于设定的第三阈值,则进入步骤S7;否则,将丢失帧数计数置为0,说明前后帧的目标匹配成功,采用匈牙利算法对T和D进行最优分配,并返回匹配结果,使用匹配成功点的坐标信息来对目标位置进行更新;重复步骤S3到步骤S6,实现对变电站内目标的跟踪。
CN202010879688.0A 2020-08-27 2020-08-27 用于对变电站内多目标跟踪定位的方法 Pending CN112215873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010879688.0A CN112215873A (zh) 2020-08-27 2020-08-27 用于对变电站内多目标跟踪定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010879688.0A CN112215873A (zh) 2020-08-27 2020-08-27 用于对变电站内多目标跟踪定位的方法

Publications (1)

Publication Number Publication Date
CN112215873A true CN112215873A (zh) 2021-01-12

Family

ID=74059070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010879688.0A Pending CN112215873A (zh) 2020-08-27 2020-08-27 用于对变电站内多目标跟踪定位的方法

Country Status (1)

Country Link
CN (1) CN112215873A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963284A (zh) * 2021-09-07 2022-01-21 湖北经济学院 基于自适应向量样本一致性的红外视频目标检测方法
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
US20190138801A1 (en) * 2017-08-28 2019-05-09 Nutech Ventures Systems for tracking individual animals in a group-housed environment
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109872342A (zh) * 2019-02-01 2019-06-11 北京清帆科技有限公司 一种特定场景下的目标跟踪方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110428448A (zh) * 2019-07-31 2019-11-08 腾讯科技(深圳)有限公司 目标检测跟踪方法、装置、设备及存储介质
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110555377A (zh) * 2019-07-27 2019-12-10 华南理工大学 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN110660083A (zh) * 2019-09-27 2020-01-07 国网江苏省电力工程咨询有限公司 一种结合视频场景特征感知的多目标跟踪方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111028289A (zh) * 2019-11-20 2020-04-17 国网浙江省电力有限公司电力科学研究院 基于模板匹配的变电站内设备异物定位方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
US20190138801A1 (en) * 2017-08-28 2019-05-09 Nutech Ventures Systems for tracking individual animals in a group-housed environment
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN109872342A (zh) * 2019-02-01 2019-06-11 北京清帆科技有限公司 一种特定场景下的目标跟踪方法
CN109829436A (zh) * 2019-02-02 2019-05-31 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110555377A (zh) * 2019-07-27 2019-12-10 华南理工大学 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN110428448A (zh) * 2019-07-31 2019-11-08 腾讯科技(深圳)有限公司 目标检测跟踪方法、装置、设备及存储介质
CN110660083A (zh) * 2019-09-27 2020-01-07 国网江苏省电力工程咨询有限公司 一种结合视频场景特征感知的多目标跟踪方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111028289A (zh) * 2019-11-20 2020-04-17 国网浙江省电力有限公司电力科学研究院 基于模板匹配的变电站内设备异物定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NICOLAI WOJKE 等: "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC", 《ARXIV:1703.07402V1 [CS.CV]》 *
谢金龙 等: "基于深度学习的车辆检测与跟踪系统", 《工业控制计算机》 *
陈慧岩 等: "《无人驾驶车辆理论与设计》", 31 March 2018 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963284A (zh) * 2021-09-07 2022-01-21 湖北经济学院 基于自适应向量样本一致性的红外视频目标检测方法
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN116343125B (zh) * 2023-03-30 2024-04-02 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法

Similar Documents

Publication Publication Date Title
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
WO2015161776A1 (en) Hand motion identification method and apparatus
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
CN117132914B (zh) 通用电力设备识别大模型方法及系统
CN112215873A (zh) 用于对变电站内多目标跟踪定位的方法
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN112116635A (zh) 一种基于快速人体移动的视觉跟踪方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及系统
CN114743257A (zh) 图像目标行为的检测识别方法
CN106023256A (zh) 面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法
CN111709269A (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN113012201B (zh) 一种基于深度学习的地面无人平台人员跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112