CN117409476A - 一种基于事件相机的步态识别的方法 - Google Patents

一种基于事件相机的步态识别的方法 Download PDF

Info

Publication number
CN117409476A
CN117409476A CN202311347430.6A CN202311347430A CN117409476A CN 117409476 A CN117409476 A CN 117409476A CN 202311347430 A CN202311347430 A CN 202311347430A CN 117409476 A CN117409476 A CN 117409476A
Authority
CN
China
Prior art keywords
gait
time
event
point cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311347430.6A
Other languages
English (en)
Inventor
汪凯巍
印晓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Jiaxing Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Jiaxing Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Jiaxing Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202311347430.6A priority Critical patent/CN117409476A/zh
Publication of CN117409476A publication Critical patent/CN117409476A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于事件相机的步态识别的方法,包括步骤1:获取动态视觉传感器采集的实时事件流;步骤2:将所述实时事件流经栅格化处理为三维点云;步骤3:将所述点云输入到点云框架神经网络得到人体关键点的估计;步骤4:将二维人体骨架热图按时间维度拼接为三维人体关键点热图序列;步骤5:将三维热图序列输入到三维卷积网络提取步态特征,得到行人步态特征向量;步骤6:将提取到的特征向量与数据库进行相似度度量,完成特征匹配。本发明利用点云主干网络对事件相机进行人体姿态估计,然后经3D CNN从人体骨架热图中提取步态特征,能提高步态识别对于高动态范围场景、快速运动画面模糊等干扰的鲁棒性。

Description

一种基于事件相机的步态识别的方法
技术领域
本发明涉及深度学习技术领域,尤其涉及一种基于事件相机的步态识别的方法。
背景技术
步态识别技术旨在通过人的走路方式来实现人身份的识别,是近年来新兴的生物特征识别技术之一。与人脸识别等其他生物特征识别技术相比,步态识别具有远距离、非侵入、非接触等优点,在公共安全、智能安防、金融安全等领域具有巨大的应用潜力。但目前步态识别在应用时受较多因素的影响,如动态范围小、运动模糊、跨视角拍摄、衣着遮挡、携带物遮挡等干扰,导致在现实场景下识别精度较低。
事件相机的特性使得其在很多极端场景下有很大的应用潜力,可以为更多的极端复杂场景提供鲁棒可靠的算法处理结果。传统上利用事件相机进行人体姿态估计时,通常将实时事件流的固定数量事件累计成为二维事件帧,然后送入二维CNN进行学习。上述方法压缩掉了时间维度的信息,在某种程度上也是淹没了事件相机的高时间分辨率特性。如何保留更多的原始事件特征信息,同时规避掉不必要的冗余计算,设计推理速度快,准确率高的更高效的算法是发挥出事件相机优势的关键。
目前步态识别技术主要分为两类:基于步态剪影图的步态识别方法和基于人体骨架的步态识别方法。基于步态剪影图的步态识别方法旨在从人体外观提取步态特征,步态剪影图一般通过背景减除或分割算法从原始数据中将人体掩膜从背景中分离出来得到,进而利用深度学习方法从步态剪影图序列中提取步态特征。基于人体骨架的步态识别方法旨在为人体建立模型来提取步态特征,首先采用人体姿态估计算法提取人体关键点,得到人体骨架图,其次采用深度学习方法从其中提取步态特征。目前从人体骨架提取步态特征可以分为两种方式,一是将人体骨架采用矩阵表征,进而输入卷积神经网络或循环神经网络进行特征提取,二是直接将人体骨架图序列输入图卷积神经网络进行特征提取。
发明内容
为了解决背景技术中存在的问题,本发明的目的是提供一种基于事件相机的步态识别的方法,以解决相关技术中存在的传统相机受帧率限制和动态范围低的困难场景下步态识别。具体技术方案如下:
第一方面,本发明实施例公开了一种基于事件相机的步态识别的方法,其特征在于,包括获取动态视觉传感器采集的实时事件流;将所述实时事件流经栅格化处理为三维点云;将所述点云输入到点云框架神经网络得到人体关键点的估计;
第二方面,本发明实施例公开了一种基于事件相机的步态识别的方法,其特征在于,包括将二维人体骨架热图按时间维度拼接为三维人体关键点热图序列;将三维热图序列输入到三维卷积网络提取步态特征,得到行人步态特征向量;将提取到的特征向量与数据库进行相似度度量,完成特征匹配。本发明是采用如下技术方案来实现的:
本发明公开了一种基于事件相机的步态识别方法,包括:
S1获取动态视觉传感器采集的实时事件流;
S2将实时事件流经栅格化处理为三维点云;
S3将三维点云输入到点云框架神经网络得到人体关键点的估计;
S4将人体关键点的估计结果按时间维度拼接为三维人体关键点热图序列;
S5将三维人体关键点热图序列输入到三维卷积网络提取步态特征,得到行人步态特征向量;
S6将提取到的行人步态特征向量与数据库进行相似度度量,完成特征匹配。
S2具体为:将动态视觉传感器某时间窗口切分成K个时间切片,在每一个小的时间切片内,将同一个像素上发生的所有事件压缩聚合成一个新的事件,之后将全部K个切片中事件的时间数值归一化到[0,1]范围内,以保证每一组数据经过栅格化变换后时间戳维度的数据分布相同。
作为进一步地改进,本发明所述S3具体为:将原始的采集的实时事件流先进行归一栅格化处理,然后使用处理点云数据的骨干网络对事件点云进行特征提取。
作为进一步地改进,本发明所述的处理点云数据的骨干网络为PointNet,,DGCNN或Point Transformer。以适应本发明中的事件点云人体姿态估计任务。
作为进一步地改进,本发明所述S4具体为,对连续的人体关键点的估计在时间维度上进行均匀采样以减少3D热图序列中的冗余,即通过将连续的事件时间窗口划分为等长的N个片段并从每个片段中随机选择一个时间窗口内的人体骨架热图,从而组成含有n帧骨架热图的序列。
作为进一步地改进,本发明所述S5具体包括将人体关键点的估计输入至训练好的3D-CNN进行逐层卷积,提取热图序列中所包含的时空特征信息,在网络的末端进行时间空间聚合池化,使卷积网络所提取的特征得到充分融合,最后使用全连接层将特征图映射到特征空间,得到行人步态特征向量。
作为进一步地改进,本发明所述的S6中的特征匹配具体为:采用欧氏距离作为相似度度量,在超过得分阈值的基础上,距离最近的特征向量对应的注册人员即为识别结果,否则视为未注册人员。
本发明的有益效果如下:
本发明利用事件相机仅响应亮度变化且高时间分辨率的特点,实现了一种基于事件相机的步态识别的方法。通过动态视觉传感器获取实时事件流,并将实时事件流经栅格化处理为三维点云。将三维点云输入到点云框架神经网络得到人体关键点的估计,然后将二维人体骨架热图按时间维度拼接为三维人体关键点热图序列,再将三维热图序列输入到三维卷积网络提取步态特征,得到行人步态特征向量。最后将提取到的特征向量与数据库进行相似度度量,完成特征匹配。利用点云主干网络对事件相机进行人体姿态估计,然后经3D CNN从人体骨架热图中提取步态特征,提高步态识别对于高动态范围场景、快速运动画面模糊等干扰的鲁棒性。
附图说明
图1为一种基于事件相机的步态识别的方法的流程示意图;
图2为一种基于事件相机的步态识别的方法的基于三维事件点云的人体姿态估计算法框架示意图。
具体实施方式
为了使本发明技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
参阅图1,一种基于事件相机的步态识别的方法整体流程包括事件栅格归一化处理、网络训练以及步态特征提取与比对。事件栅格归一化处理在保留更多的原始事件特征信息的基础上规避不必要的冗余计算,充分利用事件相机异步稀疏的数据特性。激光雷达点云处理领域中三种常用模型结构PointNet,DGCNN和Point Transformer经过简单更改其解码器部分就可以进行人体姿态估计。回归好每一时间窗口内人体关键点热图后,将其按顺序随机采样生成三维热图序。将从事件相机中提取到的2D人体骨架热图沿时间维度拼接为3D的人体骨架热图序列。为了减少3D热图序列中的冗余,对连续的人体骨架热图序列在时间维度上进行均匀采样,即通过将连续的视频划分为等长的n个片段并从每个片段中随机选择一帧人体骨架热图,从而组成含有n帧骨架热图的序列,这样的采样策略能在时间维度上减少人体骨架特图序列的冗余,有益于后续特征的提取。将3D人体骨架热图序列输入到3D卷积神经网络进行训练,使用训练好的网络模型进行步态特征提取,得到行人步态特征向量。步态特征提取的模型使用3D卷积神经网络(3D-CNN),将人体骨架热图序列输入至训练好的3D-CNN进行逐层卷积,提取热图序列中所包含的时空特征信息,在网络的末端进行时间空间聚合池化,使卷积网络所提取的特征得到充分融合,最后使用全连接层将特征图映射到特征空间,得到行人步态特征向量。将提取到的待识别行人步态特征向量与数据库中已注册行人的特征向量进行相似性度量,完成特征匹配。识别过程中,将提取到待识别的行人步态特征向量与数据库中已注册行人的特征向量进行相似性度量,其中一种方式可采用欧氏距离作为距离度量,在超过得分阈值的基础上,距离最近的特征向量对应的注册人员即为识别结果,否则视为未注册人员。
参阅图2,将所述点云输入到点云框架神经网络得到人体关键点的估计以深度卷积神经网络为基础,并用监督学习的方法进行训练。将原始的事件点云数据先进行归一栅格化处理,其特征在于,首先将事件相机某时间窗口切分成K个时间切片,在每一个小的时间切片内,将同一个像素上发生的所有事件压缩聚合成一个新的事件。之后将全部K个切片中事件的时间数值归一化到[0,1]范围内,以保证每一组数据经过栅格化变换后时间戳维度的数据分布相同。经过栅格化操作后,事件的数量显著减少,同时最大程度地保留住了事件的原始信息。为了方便训练,需要对事件数据进行进一步采样到相同点数,以满足网络训练时数据长度的统一。点云一般有两种比较常见的采样方式,一种是最远点采样,另一种是随机点采样。本发明中,事件点的采样是一种预处理过程,主要考虑到对于整体算法实时性的速度要求,认为随机点采样是二者中更好的方式,其保留了快速高效的优势。然后使用处理点云数据的骨干网络对事件点云进行特征提取。在激光雷达点云处理领域的三种著名骨干网络PointNet,DGCNN以及Point Transformer可用于以适应本发明中的事件点云人体姿态估计任务,即使用两个全连接线性层结构对特征进行解码,生成两个一维向量,然后分别解算两个一维向量来得到x轴方向和y轴方向的关节点坐标。
以上内容结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而非限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (7)

1.一种基于事件相机的步态识别方法,其特征在于,包括:
S1获取动态视觉传感器采集的实时事件流;
S2将实时事件流经栅格化处理为三维点云;
S3将三维点云输入到点云框架神经网络得到人体关键点的估计;
S4将人体关键点的估计结果按时间维度拼接为三维人体关键点热图序列;
S5将三维人体关键点热图序列输入到三维卷积网络提取步态特征,得到行人步态特征向量;
S6将提取到的行人步态特征向量与数据库进行相似度度量,完成特征匹配。
2.根据权利要求1所述的基于事件相机的步态识别的方法,其特征在于,S2具体为:将动态视觉传感器某时间窗口切分成K个时间切片,在每一个小的时间切片内,将同一个像素上发生的所有事件压缩聚合成一个新的事件,之后将全部K个切片中事件的时间数值归一化到[0,1]范围内,以保证每一组数据经过栅格化变换后时间戳维度的数据分布相同。
3.根据权利要求1所述的基于事件相机的步态识别的方法,其特征在于,所述S3具体为:将原始的采集的实时事件流先进行归一栅格化处理,然后使用处理点云数据的骨干网络对事件点云进行特征提取。
4.根据权利要求3所述的基于事件相机的步态识别的方法,其特征在于,所述的处理点云数据的骨干网络为PointNet,,DGCNN或PointTransformer。
5.根据权利要求1或2或3或4所述的基于事件相机的步态识别的方法,其特征在于,所述S4具体为,对连续的人体关键点的估计在时间维度上进行均匀采样以减少3D热图序列中的冗余,即通过将连续的事件时间窗口划分为等长的N个片段并从每个片段中随机选择一个时间窗口内的人体骨架热图,从而组成含有n帧骨架热图的序列。
6.根据权利要求5所述的基于事件相机的步态识别的方法,其特征在于,所述S5具体包括将人体关键点的估计输入至训练好的3D-CNN进行逐层卷积,提取热图序列中所包含的时空特征信息,在网络的末端进行时间空间聚合池化,使卷积网络所提取的特征得到充分融合,最后使用全连接层将特征图映射到特征空间,得到行人步态特征向量。
7.根据权利要求1或2或3或4或6所述的基于事件相机的步态识别的方法,所述的S6中的特征匹配具体为:采用欧氏距离作为相似度度量,在超过得分阈值的基础上,距离最近的特征向量对应的注册人员即为识别结果,否则视为未注册人员。
CN202311347430.6A 2023-10-18 2023-10-18 一种基于事件相机的步态识别的方法 Pending CN117409476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311347430.6A CN117409476A (zh) 2023-10-18 2023-10-18 一种基于事件相机的步态识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311347430.6A CN117409476A (zh) 2023-10-18 2023-10-18 一种基于事件相机的步态识别的方法

Publications (1)

Publication Number Publication Date
CN117409476A true CN117409476A (zh) 2024-01-16

Family

ID=89495590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311347430.6A Pending CN117409476A (zh) 2023-10-18 2023-10-18 一种基于事件相机的步态识别的方法

Country Status (1)

Country Link
CN (1) CN117409476A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法
CN118068318A (zh) * 2024-04-17 2024-05-24 德心智能科技(常州)有限公司 基于毫米波雷达和环境传感器的多模态感知方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法
CN117739996B (zh) * 2024-02-21 2024-04-30 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法
CN118068318A (zh) * 2024-04-17 2024-05-24 德心智能科技(常州)有限公司 基于毫米波雷达和环境传感器的多模态感知方法及系统

Similar Documents

Publication Publication Date Title
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN112287940B (zh) 一种基于深度学习的注意力机制的语义分割的方法
WO2021098261A1 (zh) 一种目标检测方法与装置
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN117409476A (zh) 一种基于事件相机的步态识别的方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
CN114187665B (zh) 一种基于人体骨架热图的多人步态识别方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113343950B (zh) 一种基于多特征融合的视频行为识别方法
CN112749671A (zh) 一种基于视频的人体行为识别方法
CN112036379A (zh) 基于注意力时间池化图卷积的骨架动作识别方法
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN114565973A (zh) 一种动作识别系统、方法、装置及模型训练方法、装置
CN110825916A (zh) 一种基于形体识别技术的寻人方法
CN114783053A (zh) 基于空间注意力和分组卷积的行为识别方法及系统
CN111950496B (zh) 一种蒙面人身份识别方法
CN112487926A (zh) 一种基于时空图卷积网络的景区投喂行为识别方法
CN113111797A (zh) 一种结合自编码器与视角变换模型的跨视角步态识别方法
CN117173792A (zh) 一种基于三维人体骨架的多人步态识别系统
CN106022310B (zh) 基于htg-hog和stg特征的人体行为识别方法
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN114120076B (zh) 基于步态运动估计的跨视角视频步态识别方法
CN116092189A (zh) 一种基于rgb数据和骨骼数据的双模态人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination