CN114052726A - 一种黑暗环境下热红外人体步态识别方法及装置 - Google Patents
一种黑暗环境下热红外人体步态识别方法及装置 Download PDFInfo
- Publication number
- CN114052726A CN114052726A CN202111414009.3A CN202111414009A CN114052726A CN 114052726 A CN114052726 A CN 114052726A CN 202111414009 A CN202111414009 A CN 202111414009A CN 114052726 A CN114052726 A CN 114052726A
- Authority
- CN
- China
- Prior art keywords
- human body
- time
- time sequence
- gait
- body region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000000746 body region Anatomy 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种黑暗环境下热红外人体步态识别方法及装置。所述方法包括：利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；根据Top‑down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。采用本方法能够提高步态识别的准确性和鲁棒性。
Description
技术领域
本申请涉及生物识别领域，特别是涉及一种黑暗环境下热红外人体步态识别方法、装置、计算机设备和存储介质。
背景技术
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别。其基本目标是通过获取一段待检测行人正常行走的视频，与已经存储好的行人行走视频作对比，找出待检测行人的对应于数据库中人物的身份。步态识别是当前生物识别的前沿方向，面临很大的技术挑战，而黑暗环境下的热红外图像更丢失了人体RGB信息，此种场景下的步态识别是世界性难题。
然而，目前的步态识别是一般是基于步态视频序列提取步态能量图训练卷积神经网络，步态能量图受人体衣着等外观影响较大，训练的模型不够鲁棒或者，还有获取视频中的人体关键点特征向量序列训练神经网络，关键点转化为特征向量后在一定程度上丢失了空间位置的相关性，准确率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高步态识别的准确性和鲁棒性的一种黑暗环境下热红外人体步态识别方法、装置、计算机设备和存储介质。
一种黑暗环境下热红外人体步态识别方法，所述方法包括：
采集黑暗环境下的热红外人体图像；
对人体图像进行标注，得到人体区域检测样本；
利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；
根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；
根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
在其中一个实施例中，从人体区域检测样本中获取行人对应的人体关键点序列，将人体关键点序列输入至时空图卷积神经网络进行网络训练，得到训练完成的时空图卷积神经网络；人体关键点序列为带有人体身份标签的拓扑序列。
在其中一个实施例中，采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列，包括：采用Deep SORT算法对人体区域进行跟踪，得到多帧时间序列中每个人的人体区域的人体对应关系；根据人体对应关系，确定每个人的人体区域时间序列。
在其中一个实施例中，根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列，包括：将人体区域时间序列输入HigherHRNet网络，得到热力图时间序列；对热力图时间序列中的热力图取局部最大值，得到人体骨架时间序列。。
在其中一个实施例中，时空图卷积神经网络包括注意力机制层、图卷积层、时间卷积层、池化层、全连接层以及输出层。
在其中一个实施例中，根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取，包括；根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征；从空间中相邻关节的局部特征和时间中关节变化的局部特征进行步态特征提取。
在其中一个实施例中，根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征，包括：根据预先训练完成的时空图卷积神经网络中的图卷积层对人体骨架时间序列进行图卷积，得到空间中相邻关节的局部特征；根据预先训练完成的时空图卷积神经网络中的时间卷积层对空间中相邻关节的局部特征进行卷积，得到时间中关节变化的局部特征。
一种黑暗环境下热红外人体步态识别装置，所述装置包括：
获取检测样本模块，用于采集黑暗环境下的热红外人体图像；对人体图像进行标注，得到人体区域检测样本；
模型训练模块，用于利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
人体检测模块，用于获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
跟踪模块，用于采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；
骨架提取模块，用于根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；
人体步态识别模块，用于根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集黑暗环境下的热红外人体图像；
对人体图像进行标注，得到人体区域检测样本；
利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；
根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；
根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
采集黑暗环境下的热红外人体图像；
对人体图像进行标注，得到人体区域检测样本；
利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；
根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；
根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
上述一种黑暗环境下热红外人体步态识别方法、装置、计算机设备和存储介质，利用预先训练的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框，采用跟踪算法和Top-down方法对人体区域框进行骨架提取，得到人体骨架时间序列,将人体骨架时间序列输入至时空图卷积神经网络进行步态特征提取；根据步态特征，进行人体步态识别，本申请通过充分利用人体关节的特征及其时空相关性，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性。
附图说明
图1为一个实施例中一种黑暗环境下热红外人体步态识别方法的流程示意图；
图2为一个实施例中一种黑暗环境下热红外人体步态识别装置的结构框图；
图3为一个实施例中一种黑暗环境下热红外人体步态识别的网络结构图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种黑暗环境下热红外人体步态识别方法，包括以下步骤：
步骤102，采集黑暗环境下的热红外人体图像；对人体图像进行标注，得到人体区域检测样本。
黑暗环境下的热红外人体图像是一种能反映出物体表面的温度场的图像，对人体图像进行标注构建人体区域检测样本用来训练目标检测模型，利用该人体区域检测样本训练的目标检测模型可以用来对待识别视频中黑暗环境下的人体进行目标检测。
步骤104，利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型。
YOLOv5x模型是一种目标检测模型，用来在图像帧中找到某些特定的物体，目标检测不仅可以识别这些物体的种类，同时可以标出这些物体的位置。利用人体区域检测样本训练YOLOv5x模型后，可以用来进行人体目标检测。
步骤106，获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框。
利用训练完成的YOLOv5x模型对待识别视频图像进行人体检测，可以得到图像帧中人体区域位置，即人体区域框。待识别视频图像为黑暗环境下的人体图像。
步骤108，采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列。
本申请中采用的跟踪算法是Deep Sort算法，Deep Sort算法是一种多目标跟踪算法，利用运动模型和外观信息进行数据关联，对每一帧进行目标检测。利用跟踪算法对人体区域框进行跟踪，可以得到人体区域框中每个人的人体区域时间序列。
步骤110，根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列。
自上而下(Top-Down)的人体骨骼关键点检测算法主要包含人体检测和骨架关键点提取，骨架关键点提取是将人体检测提取的ROI区域输入HigherHRNet网络，最后生成热力图输出，取热力图局部最大值作为人体关键点的坐标位置即人体骨架位置。
步骤112，根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
将得到的步态特征输入步态特征库，根据步态特征库中的特征对应关系识别人体步态。
上述一种黑暗环境下热红外人体步态识别方法，利用预先训练的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框，采用跟踪算法和Top-down方法对人体区域框进行骨架提取，得到人体骨架时间序列,将人体骨架时间序列输入至时空图卷积神经网络进行步态特征提取；根据步态特征，进行人体步态识别，本申请通过充分利用人体关节的特征及其时空相关性，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性。
在其中一个实施例中，从人体区域检测样本中获取行人对应的人体关键点序列，将人体关键点序列输入至时空图卷积神经网络进行网络训练，得到训练完成的时空图卷积神经网络；人体关键点序列为带有人体身份标签的拓扑序列。
为了保证步态特征提取的准确性，本申请利用人体区域检测样本训练时空图卷积神经网络，与在先的人体检测模型的训练样本保持一致，该时空图卷积神经网络能够准确地计算出人体的步态特征的数值，进而基于得到的数值，进行人体步态识别。
在其中一个实施例中，采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列，包括：采用Deep SORT算法对人体区域进行跟踪，得到多帧时间序列中每个人的人体区域的人体对应关系；根据人体对应关系，确定每个人的人体区域时间序列。
视频每帧存在多个人体，先检测出每帧的人体区域位置即人体区域框，然后通过跟踪算法确定多帧时间序列中的人体对应关系，即上一帧中的人A对应下一帧中的人A，依次形成每个人的人体区域时间序列。
在其中一个实施例中，根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列，包括：将人体区域时间序列输入HigherHRNet网络，得到热力图时间序列；对热力图时间序列中的热力图取局部最大值，得到人体骨架时间序列。。
人体区域时间序列输入HigherHRNet网络，得到热力图时间序列，将热力图时间序列中的每个热力图的局部最大值作为人体的骨架坐标位置，多个时间上的人体的骨架坐标位置组成了人体骨架时间序列。骨架时间序列即骨架数据集对光照、颜色、衣服等具有很强的鲁棒性。
在其中一个实施例中，时空图卷积神经网络包括注意力机制层、图卷积层、时间卷积层、池化层、全连接层以及输出层。如图3所示。
由于在行走中，不同的躯干重要性是不同的。例如腿和手臂可能比脖子重要，一般主要通过肢体姿态判断一个人的步态，但是脖子可能并不包含多少有效信息，因此在时空图卷积神经网络中加入注意力机制，让网络学习重点关注步态中更具代表性的人体部位，提高时空图卷积神经网络步态特征提取的准确性。
在其中一个实施例中，根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取，包括；根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征；空间中相邻关节的局部特征和时间中关节变化的局部特征构成人体的步态特征。
在另一个实施例中，根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征，包括：根据预先训练完成的时空图卷积神经网络中的图卷积层对人体骨架时间序列进行图卷积，得到空间中相邻关节的局部特征；根据预先训练完成的时空图卷积神经网络中的时间卷积层对空间中相邻关节的局部特征进行卷积，得到时间中关节变化的局部特征。
局部特征是由神经网络提取到的feature map，表现为一组矩阵，时空图卷积神经网络中的图卷积层对人体骨架时间序列进行图卷积，提取骨架坐标点在空间上的关系，得到空间中相邻关节的局部特征，由于骨架中关节个数固定，利用时空图卷积神经网络中的时间卷积层对空间中相邻关节的局部特征进行卷积，可以得到时间中关节变化的局部特征，两种局部特征组合，经过降维输出步态特征向量，通过充分利用人体关节的局部特征及其时空相关性，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，一种黑暗环境下热红外人体步态识别装置，包括：获取检测样本模块201、模型训练模块202、人体检测模块203、跟踪模块204、骨架提取模块205和人体步态识别模块206，其中：
获取检测样本模块201，用于采集黑暗环境下的热红外人体图像；对人体图像进行标注，得到人体区域检测样本；
模型训练模块202，用于利用人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
人体检测模块203，用于获取待识别视频图像；根据训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
跟踪模块204，用于采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列；
骨架提取模块205，用于根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列；
人体步态识别模块206，用于根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取；根据步态特征，进行人体步态识别。
在其中一个实施例中，模型训练模块202还用于从人体区域检测样本中获取行人对应的人体关键点序列，将人体关键点序列输入至时空图卷积神经网络进行网络训练，得到训练完成的时空图卷积神经网络；人体关键点序列为带有人体身份标签的拓扑序列。
在其中一个实施例中，跟踪模块204还用于采用跟踪算法对人体区域框进行跟踪，得到人体区域时间序列，包括：采用Deep SORT算法对人体区域进行跟踪，得到多帧时间序列中每个人的人体区域的人体对应关系；根据人体对应关系，确定每个人的人体区域时间序列。
在其中一个实施例中，骨架提取模块205还用于根据Top-down方法对人体区域时间序列进行骨架提取，得到人体骨架时间序列，包括：将人体区域时间序列输入HigherHRNet网络，得到热力图时间序列；对热力图时间序列中的热力图取局部最大值，得到人体骨架时间序列。。
在其中一个实施例中，人体步态识别模块206还用于根据预先训练的时空图卷积神经网络对人体骨架时间序列进行步态特征提取，包括；根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征；从空间中相邻关节的局部特征和时间中关节变化的局部特征进行步态特征提取。
在其中一个实施例中，人体步态识别模块206还用于根据预先训练完成的时空图卷积神经网络中对人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征，包括：根据预先训练完成的时空图卷积神经网络中的图卷积层对人体骨架时间序列进行图卷积，得到空间中相邻关节的局部特征；根据预先训练完成的时空图卷积神经网络中的时间卷积层对空间中相邻关节的局部特征进行卷积，得到时间中关节变化的局部特征。
关于一种黑暗环境下热红外人体步态识别装置的具体限定可以参见上文中对于一种黑暗环境下热红外人体步态识别方法的限定，在此不再赘述。上述一种黑暗环境下热红外人体步态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种黑暗环境下热红外人体步态识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种黑暗环境下热红外人体步态识别方法，其特征在于，所述方法包括：
采集黑暗环境下的热红外人体图像；
对所述人体图像进行标注，得到人体区域检测样本；
利用所述人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
获取待识别视频图像；根据所述训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列；
根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列；
根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取；根据所述步态特征，进行人体步态识别。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述人体区域检测样本中获取行人对应的人体关键点序列，将所述人体关键点序列输入至时空图卷积神经网络进行网络训练，得到训练完成的时空图卷积神经网络；所述人体关键点序列为带有人体身份标签的拓扑序列。
3.根据权利要求2所述的方法，其特征在于，采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列，包括：
采用Deep SORT算法对所述人体区域框进行跟踪，得到多帧时间序列中每个人的人体区域的人体对应关系；
根据所述人体对应关系，确定每个人的人体区域时间序列。
4.根据权利要求1-3任意一项所述的方法，其特征在于，根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列，包括：
将所述人体区域时间序列输入HigherHRNet网络，得到热力图时间序列；
对所述热力图时间序列中的热力图取局部最大值，得到人体骨架时间序列。
5.根据权利要求1所述的方法，其特征在于，所述时空图卷积神经网络包括注意力机制层、图卷积层、时间卷积层、池化层、全连接层以及输出层。
6.根据权利要求5所述的方法，其特征在于，根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取，包括；
根据预先训练完成的时空图卷积神经网络中对所述人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征；
从所述空间中相邻关节的局部特征和时间中关节变化的局部特征进行步态特征提取。
7.根据权利要求6所述的方法，其特征在于，根据预先训练完成的时空图卷积神经网络中对所述人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征，包括：
根据预先训练完成的时空图卷积神经网络中的图卷积层对所述人体骨架时间序列进行图卷积，得到空间中相邻关节的局部特征；
根据预先训练完成的时空图卷积神经网络中的时间卷积层对所述空间中相邻关节的局部特征进行卷积，得到时间中关节变化的局部特征。
8.一种黑暗环境下热红外人体步态识别装置，其特征在于，所述装置包括：
获取检测样本模块，用于采集黑暗环境下的热红外人体图像；对所述人体图像进行标注，得到人体区域检测样本；
模型训练模块，用于利用所述人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；
人体检测模块，用于获取待识别视频图像；根据所述训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；
跟踪模块，用于采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列；
骨架提取模块，用于根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列；
人体步态识别模块，用于根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取；根据所述步态特征，进行人体步态识别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111414009.3A CN114052726A (zh) | 2021-11-25 | 2021-11-25 | 一种黑暗环境下热红外人体步态识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111414009.3A CN114052726A (zh) | 2021-11-25 | 2021-11-25 | 一种黑暗环境下热红外人体步态识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114052726A true CN114052726A (zh) | 2022-02-18 |
Family
ID=80276426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111414009.3A Pending CN114052726A (zh) | 2021-11-25 | 2021-11-25 | 一种黑暗环境下热红外人体步态识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114052726A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251894A (zh) * | 2008-01-28 | 2008-08-27 | 天津大学 | 基于红外热成像的步态特征提取方法和步态识别方法 |
| CN111310668A (zh) * | 2020-02-18 | 2020-06-19 | 大连海事大学 | 一种基于骨架信息的步态识别方法 |
| CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
| CN112101176A (zh) * | 2020-09-09 | 2020-12-18 | 元神科技(杭州)有限公司 | 一种结合用户步态信息的用户身份识别方法及系统 |
| CN112307921A (zh) * | 2020-10-22 | 2021-02-02 | 桂林电子科技大学 | 一种车载端多目标识别跟踪预测方法 |
| CN112966628A (zh) * | 2021-03-17 | 2021-06-15 | 广东工业大学 | 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法 |
| CN113177501A (zh) * | 2021-05-12 | 2021-07-27 | 湖南国科锐承电子科技有限公司 | 一种基于深度学习的黑暗环境下人员身份识别方法 |
| CN113191230A (zh) * | 2021-04-20 | 2021-07-30 | 内蒙古工业大学 | 一种基于步态时空特征分解的步态识别方法 |
| CN113297919A (zh) * | 2021-04-29 | 2021-08-24 | 上海小芃科技有限公司 | 基于姿态识别的康复动作检测方法、装置、设备及介质 |
-
2021
- 2021-11-25 CN CN202111414009.3A patent/CN114052726A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251894A (zh) * | 2008-01-28 | 2008-08-27 | 天津大学 | 基于红外热成像的步态特征提取方法和步态识别方法 |
| CN111310668A (zh) * | 2020-02-18 | 2020-06-19 | 大连海事大学 | 一种基于骨架信息的步态识别方法 |
| CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
| CN112101176A (zh) * | 2020-09-09 | 2020-12-18 | 元神科技(杭州)有限公司 | 一种结合用户步态信息的用户身份识别方法及系统 |
| CN112307921A (zh) * | 2020-10-22 | 2021-02-02 | 桂林电子科技大学 | 一种车载端多目标识别跟踪预测方法 |
| CN112966628A (zh) * | 2021-03-17 | 2021-06-15 | 广东工业大学 | 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法 |
| CN113191230A (zh) * | 2021-04-20 | 2021-07-30 | 内蒙古工业大学 | 一种基于步态时空特征分解的步态识别方法 |
| CN113297919A (zh) * | 2021-04-29 | 2021-08-24 | 上海小芃科技有限公司 | 基于姿态识别的康复动作检测方法、装置、设备及介质 |
| CN113177501A (zh) * | 2021-05-12 | 2021-07-27 | 湖南国科锐承电子科技有限公司 | 一种基于深度学习的黑暗环境下人员身份识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860670B (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| Liu et al. | Matching-cnn meets knn: Quasi-parametric human parsing | |
| CN109325412B (zh) | 行人识别方法、装置、计算机设备及存储介质 | |
| US8406470B2 (en) | Object detection in depth images | |
| CN110619330A (zh) | 识别模型的训练方法、装置、计算机设备及识别方法 | |
| CN110490902B (zh) | 应用于智慧城市的目标跟踪方法、装置、计算机设备 | |
| Lim et al. | Dynamic appearance modeling for human tracking | |
| Zhou et al. | Class-guided feature decoupling network for airborne image segmentation | |
| CN113239874A (zh) | 基于视频图像的行为姿态检测方法、装置、设备及介质 | |
| CN112183252A (zh) | 视频的动作识别方法、装置、计算机设备和存储介质 | |
| CN110163864B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN114677633B (zh) | 基于多部件特征融合的行人检测多目标跟踪系统及方法 | |
| CN110580446A (zh) | 行为语义细分化理解方法、系统、计算机装置以及介质 | |
| CN113449586A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN111898566A (zh) | 姿态估计方法、装置、电子设备和存储介质 | |
| CN112001240B (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN110516559B (zh) | 适用于精准监控的目标跟踪方法及装置、计算机设备 | |
| JP6486084B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| CN114052726A (zh) | 一种黑暗环境下热红外人体步态识别方法及装置 | |
| US9659210B1 (en) | System and method for detecting and tracking facial features in images | |
| JP2013003861A (ja) | 物体形状推定装置 | |
| CN114037943A (zh) | 一种防脱岗睡岗检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231212 Address after: 410000 No. 96, tongzipo Road, Yuelu District, Changsha City, Hunan Province Applicant after: Hunan Zhongke Zhuying Intelligent Technology Research Institute Co.,Ltd. Applicant after: National University of Defense Technology Address before: 410000 No. 96, tongzipo Road, Yuelu District, Changsha City, Hunan Province Applicant before: Hunan Zhongke Zhuying Intelligent Technology Research Institute Co.,Ltd. |