CN112084985A - 一种基于cssd的电力检修行人多目标跟踪算法 - Google Patents

一种基于cssd的电力检修行人多目标跟踪算法 Download PDF

Info

Publication number
CN112084985A
CN112084985A CN202010967653.2A CN202010967653A CN112084985A CN 112084985 A CN112084985 A CN 112084985A CN 202010967653 A CN202010967653 A CN 202010967653A CN 112084985 A CN112084985 A CN 112084985A
Authority
CN
China
Prior art keywords
pedestrian
feature
pedestrians
image
cssd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010967653.2A
Other languages
English (en)
Inventor
公凡奎
沈茂东
张俊岭
周伟
何成
高宏
马超
裴健
张波
刘海威
苏彪
田佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shandong Electric Power Co Ltd
Shandong Luneng Software Technology Co Ltd
Original Assignee
State Grid Shandong Electric Power Co Ltd
Shandong Luneng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shandong Electric Power Co Ltd, Shandong Luneng Software Technology Co Ltd filed Critical State Grid Shandong Electric Power Co Ltd
Priority to CN202010967653.2A priority Critical patent/CN112084985A/zh
Publication of CN112084985A publication Critical patent/CN112084985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习目标检测跟踪领域，尤其是一种基于CSSD的电力检修行人多目标跟踪算法，本发明提供了一种基于CSSD的电力检修行人多目标跟踪算法，利用CSSD网络来进行图像中人员的检测，并对图像中人员的特征向量进行暂存，结合各个人员的特征图进行余弦相似度评估进行前后帧人员的匹配，实现视频流中人员的追踪，从而最大程度的适应目标的尺寸和角度改变等，有效地提高行人目标跟踪准确率。

Description

一种基于CSSD的电力检修行人多目标跟踪算法
技术领域
本发明涉及深度学习目标检测跟踪领域，尤其是一种基于CSSD的电力检修行人多目标跟踪算法。
背景技术
电力检修场景的安全监控对于生产安全至关重要，监控视频下的行人安全监控跟踪，是电力检修场景大规模智能监控系统的重要研究方向。而不同光照明暗程度和每帧图片的人形角度、尺寸等的差异以及行人遮挡问题都会影响行人目标追踪的准确度，目前的计算方案和方法不能很好的解决上述问题。
发明内容
为解决上述问题，基于行人多目标追踪技术，在原有SSD(Single Shot MultiBoxDetector)算法的基础上，提出具有快速准确优势的CSSD算法(Correct Single ShotMultiBox Detector)应用于多目标人员追踪，提高行人检测跟踪的整体准确率。
本发明提供了一种基于CSSD的电力检修行人多目标跟踪算法，利用CSSD算法来进行图像中人员的检测，并对图像中人员的特征向量进行暂存，结合各个人员的特征图进行余弦相似度评估进行前后帧人员的匹配，实现视频流中人员的追踪，从而最大程度的适应目标的尺寸和角度改变，有效地提高行人目标跟踪准确率。其采用的技术方案如下：
一种基于CSSD的电力检修行人多目标跟踪算法，包括以下步骤：
S1.对视频流图像进行解码，获取监控图像；
S2.将步骤S1中获取的图像数据输入SSD特征提取网络，获得特征图；
S3.将特征图经由辅助卷积层获得多尺度特征图，在多尺度特征图上分别进行特征类别分类和坐标回归；
S4.将行人坐标映射到步骤S2中的特征图中，获得行人特征向量；
S5.对步骤S4中图像内的各行人特征向量进行逐帧暂存；
S6.将步骤S4中获得的特征向量与暂存的前一帧图像中的多个行人的特征向量进行比对，计算两帧图像中行人特征向量的余弦相似度；
S7.根据步骤S6中行人特征相似度的大小进行排序，对相邻帧的图像中的目标行人进行匹配；
S8.重复步骤S2至步骤S7，实现视频流中行人的多目标跟踪。
在上述方案的基础上，所述步骤S4的具体步骤为，
依据特征提取网络的结构计算出步骤S3中的行人坐标在特征图中的数值，行人坐标在特征提取网络单层网络中的计算公式如式(1)所示，其中
Figure BDA0002682920510000021
和p分别为传播前后的坐标，padding为填充，stride为步长，对于原始坐标通过卷积坐标计算与池化坐标计算获得在特征图中的区域坐标，最终在特征图中获得行人特征向量；
Figure BDA0002682920510000022
优选地，所述步骤S6中余弦相似度cos(θ)的计算公式如式(2)所示，
Figure BDA0002682920510000023
Figure BDA0002682920510000031
其中x和
Figure BDA0002682920510000032
分别为当前帧和前一帧图像中行人的特征向量，xi和
Figure BDA0002682920510000033
分别为当前帧和前一帧图像中行人的特征向量的第i个参数，余弦相似度越大、越接近1表明两个向量越接近、匹配的可能性越大。
优选地，所述步骤S7中，对当前帧的每一个行人特征向量，在前一帧中选择余弦相似度最大的向量与之匹配，如果有两个特征向量的与前一帧的同一个特征向量相匹配，则选择辅助置信度最大的阈值配对，辅助置信度Scorei的计算公式如式(3)所示，
Scorei＝ln(Confidencei*cos(θ)) (3)
其中Confidencei为第i个行人的置信度，cos(θ)为余弦相似度。
本发明基于CSSD网络的行人多目标跟踪算法，在行人检测基础上对检测到的行人在连续帧中进行快速识别定位算法。当提取出系统目标的特征与位置之后，便只对该目标执行目标跟踪算法，该算法旨在最大程度的利用视频中的时空特性，充分利用到视频相邻帧之间的联系，有效提高追踪的准确率。
附图说明
图1：本发明基于CSSD网络的行人多目标跟踪算法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
图1所示为本发明的算法模型流程图，其中方框中的部分为传统SSD算法模型内容，其余部分为，一种基于CSSD的电力检修行人多目标跟踪算法，包括以下步骤：
S1.对视频流图像进行解码，获取监控图像，处理为连续帧的图像。
S2.将步骤S1中获取的图像数据输入SSD特征提取网络，获得特征图。
S3.将特征图经由辅助卷积层获得多尺度特征图，在多尺度特征图上分别进行特征类别分类和坐标回归。
S4.将行人坐标映射到步骤S2中的特征图中，获得行人特征向量，其具体步骤为，依据特征提取网络的结构计算出步骤S3中的行人坐标在特征图中的数值，行人坐标在特征提取网络单层网络中的计算公式如式(1)所示，
Figure BDA0002682920510000041
其中
Figure BDA0002682920510000042
和p分别为传播前后的坐标，padding为填充，stride为步长，对于原始坐标通过卷积坐标计算与池化坐标计算获得在特征图中的区域坐标，最终在特征图中获得行人特征向量。
S5.对步骤S4中图像内的各行人特征向量进行逐帧暂存。
S6.将步骤S4中获得的特征向量与暂存的前一帧图像中的多个行人的特征向量进行比对，计算两帧图像中行人特征向量的余弦相似度，余弦相似度cos(θ)的计算公式如式(2)所示，
Figure BDA0002682920510000043
其中x和
Figure BDA0002682920510000051
分别为当前帧和前一帧图像中行人的特征向量，xi和
Figure BDA0002682920510000052
分别为当前帧和前一帧图像中行人的特征向量的第i个参数，余弦相似度越大、越接近1表明两个向量越接近、匹配的可能性越大。
S7.根据步骤S6中行人特征相似度的大小进行排序，对相邻帧的图像中的目标行人进行匹配。匹配时对于难以一一对应的特征向量，通过辅助置信度进行选择和判断。对当前帧的每一个行人特征向量，在前一帧中选择余弦相似度最大的向量与之匹配，如果有两个特征向量的与前一帧的同一个特征向量相匹配，则选择辅助置信度最大的阈值配对，辅助置信度Scorei的计算公式如式(3)所示，
Scorei＝ln(Confidencei*cos(θ)) (3)
其中Confidencei为第i个行人的置信度，cos(θ)为余弦相似度。
S8.重复步骤S2至步骤S7，实现视频流中行人的多目标跟踪。
上面以举例方式对本发明进行了说明，但本发明不限于上述具体实施例，凡基于本发明所做的任何改动或变型均属于本发明要求保护的范围。

Claims (4)

1.一种基于CSSD的电力检修行人多目标跟踪算法，其特征在于，包括以下步骤：
S1.对视频流图像进行解码，获取监控图像；
S2.将步骤S1中获取的图像数据输入SSD特征提取网络，获得特征图；
S3.将特征图经由辅助卷积层获得多尺度特征图，在多尺度特征图上分别进行特征类别分类和坐标回归；
S4.将行人坐标映射到步骤S2中的特征图中，获得行人特征向量；
S5.对步骤S4中图像内的各行人特征向量进行逐帧暂存；
S6.将步骤S4中获得的特征向量与暂存的前一帧图像中的多个行人的特征向量进行比对，计算两帧图像中行人特征向量的余弦相似度；
S7.根据步骤S6中行人特征相似度的大小进行排序，对相邻帧的图像中的目标行人进行匹配；
S8.重复步骤S2至步骤S7，实现视频流中行人的多目标跟踪。
2.根据权利要求1所述的一种基于CSSD的电力检修行人多目标跟踪算法，其特征在于，所述步骤S4的具体步骤为，
依据特征提取网络的结构计算出步骤S3中的行人坐标在特征图中的数值，行人坐标在特征提取网络单层网络中的计算公式如式(1)所示，其中
Figure FDA0002682920500000011
和p分别为传播前后的坐标，padding为填充，stride为步长，对于原始坐标通过卷积坐标计算与池化坐标计算获得在特征图中的区域坐标，最终在特征图中获得行人特征向量；
Figure FDA0002682920500000012
3.根据权利要求1所述的一种基于CSSD的电力检修行人多目标跟踪算法，其特征在于，所述步骤S6中余弦相似度cos(θ)的计算公式如式(2)所示，
Figure FDA0002682920500000021
其中x和
Figure FDA0002682920500000022
分别为当前帧和前一帧图像中行人的特征向量，xi和
Figure FDA0002682920500000023
分别为当前帧和前一帧图像中行人的特征向量的第i个参数，余弦相似度越大、越接近1表明两个向量越接近、匹配的可能性越大。
4.根据权利要求1所述的一种基于CSSD的电力检修行人多目标跟踪算法，其特征在于，所述步骤S7中，对当前帧的每一个行人特征向量，在前一帧中选择余弦相似度最大的向量与之匹配，如果有两个特征向量的与前一帧的同一个特征向量相匹配，则选择辅助置信度最大的阈值配对，辅助置信度Scorei的计算公式如式(3)所示，
Scorei＝ln(Confidencei*cos(θ)) (3)
其中Confidencei为第i个行人的置信度，cos(θ)为余弦相似度。
CN202010967653.2A 2020-09-15 2020-09-15 一种基于cssd的电力检修行人多目标跟踪算法 Pending CN112084985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010967653.2A CN112084985A (zh) 2020-09-15 2020-09-15 一种基于cssd的电力检修行人多目标跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010967653.2A CN112084985A (zh) 2020-09-15 2020-09-15 一种基于cssd的电力检修行人多目标跟踪算法

Publications (1)

Publication Number Publication Date
CN112084985A true CN112084985A (zh) 2020-12-15

Family

ID=73737875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010967653.2A Pending CN112084985A (zh) 2020-09-15 2020-09-15 一种基于cssd的电力检修行人多目标跟踪算法

Country Status (1)

Country Link
CN (1) CN112084985A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012201A (zh) * 2021-03-24 2021-06-22 中国北方车辆研究所 一种基于深度学习的地面无人平台人员跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089093A1 (en) * 2012-09-24 2014-03-27 Carl Christopher Tierney Contextual Communication Management System and Method
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089093A1 (en) * 2012-09-24 2014-03-27 Carl Christopher Tierney Contextual Communication Management System and Method
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN110059558A (zh) * 2019-03-15 2019-07-26 江苏大学 一种基于改进ssd网络的果园障碍物实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈茂东等: "基于改进SSD的电力检修多目标人员追踪方法", 《计算机系统应用》 *
高洪波: "《工程领域典型算法应用的设计与实现》", 31 December 2018 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012201A (zh) * 2021-03-24 2021-06-22 中国北方车辆研究所 一种基于深度学习的地面无人平台人员跟踪方法
CN113012201B (zh) * 2021-03-24 2024-03-19 中国北方车辆研究所 一种基于深度学习的地面无人平台人员跟踪方法

Similar Documents

Publication Publication Date Title
CN109657631B (zh) 人体姿态识别方法及装置
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108090435B (zh) 一种可停车区域识别方法、系统及介质
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN111723748A (zh) 一种红外遥感图像舰船检测方法
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN113408492A (zh) 一种基于全局-局部特征动态对齐的行人重识别方法
CN108288047A (zh) 一种行人/车辆检测方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN108022254B (zh) 一种基于征点辅助的时空上下文目标跟踪方法
CN110991321B (zh) 一种基于标签更正与加权特征融合的视频行人再识别方法
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
Bansal et al. A real-time pedestrian detection system based on structure and appearance classification
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN115527269B (zh) 一种人体姿态图像智能识别方法及系统
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN113269038B (zh) 一种基于多尺度的行人检测方法
CN112084985A (zh) 一种基于cssd的电力检修行人多目标跟踪算法
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN111178158B (zh) 一种骑车人检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215