CN113657169B - 一种步态识别方法、装置、系统和计算机可读存储介质 - Google Patents

一种步态识别方法、装置、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN113657169B
CN113657169B CN202110815448.9A CN202110815448A CN113657169B CN 113657169 B CN113657169 B CN 113657169B CN 202110815448 A CN202110815448 A CN 202110815448A CN 113657169 B CN113657169 B CN 113657169B
Authority
CN
China
Prior art keywords
gait
feature
preset
sequence
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110815448.9A
Other languages
English (en)
Other versions
CN113657169A (zh
Inventor
赵雷
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110815448.9A priority Critical patent/CN113657169B/zh
Publication of CN113657169A publication Critical patent/CN113657169A/zh
Application granted granted Critical
Publication of CN113657169B publication Critical patent/CN113657169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种步态识别方法、装置、系统和计算机可读存储介质,该方法包括:获取监控视频数据,从监控视频数据中提取出人体目标的第一步态序列;对第一步态序列进行特征提取处理,得到第一抓拍步态特征;确定与第一抓拍步态特征匹配的至少一个第一预设步态特征;基于图卷积神经网络模型,对第一抓拍步态特征与第一预设步态特征进行处理,得到预测特征;基于预测特征,从至少一个第一预设步态特征中,筛选出第二预设步态特征;响应于第二预设步态特征满足第一预设步态识别条件,生成预警消息,预警消息用于表示第一抓拍步态特征与第二预设步态特征对应的人体目标相同。通过上述方式,本申请能够提升步态识别的准确率。

Description

一种步态识别方法、装置、系统和计算机可读存储介质
技术领域
本申请涉及视频图像处理技术领域,具体涉及一种步态识别方法、装置、系统和计算机可读存储介质。
背景技术
步态识别是一种依赖人体行走过程中的姿态、人体的体型信息进行身份识别的技术,具有远距离不易伪装的优点,在刑侦或安防等领域具有广泛的应用前景。有些方案使用人脸特征、步态特征以及行人重识别特征进行比对检测,对结果进行加权后与阈值进行比较,以进行布控预警,在大规模数据的情况下,布控报警会很繁琐,需要大量人工进行核对;一些方案使用贝叶斯方法融合结果,但由于贝叶斯方法基于数据统计,需要统计先验概率,易受到样本的影响。
发明内容
本申请提供一种步态识别方法、装置、系统和计算机可读存储介质,能够提升步态识别的准确率。
为解决上述技术问题,本申请采用的技术方案是:提供一种步态识别方法,该方法包括:获取监控视频数据,从监控视频数据中提取出人体目标的第一步态序列;对第一步态序列进行特征提取处理,得到第一抓拍步态特征;确定与第一抓拍步态特征匹配的至少一个第一预设步态特征;基于图卷积神经网络模型,对第一抓拍步态特征与第一预设步态特征进行处理,得到预测特征;基于预测特征,从至少一个第一预设步态特征中,筛选出第二预设步态特征;响应于第二预设步态特征满足第一预设步态识别条件,生成预警消息,预警消息用于表示第一抓拍步态特征与第二预设步态特征对应的人体目标相同。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种步态识别装置,该步态识别装置包括互相连接的存储器和处理器,其中,存储器用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的步态识别方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种步态布控系统,该步态布控系统包括互相连接的摄像装置与步态识别装置,摄像装置用于对当前监控场景进行拍摄得到监控图像,并发送给步态识别装置,以使得步态识别装置进行步态识别,其中,步态识别装置为上述技术方案中的步态识别装置。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的步态识别方法。
通过上述方案,本申请的有益效果是:先从监控视频数据中提取出第一步态序列,再选出与第一步态序列相似的第一预设步态特征,以寻找潜在的人体目标;然后采用图卷积神经网络模型对第一预设步态特征与第一抓拍步态特征进行处理,得到预测特征;然后通过预测特征对第一预设步态特征进行筛选,得到第二预设步态特征;再判定第二预设步态特征是否满足第一预设步态识别条件,如果第二预设步态特征满足第一预设步态识别条件,则生成预警消息。本申请先进行潜在的人体目标筛选,再对初步筛选得到的步态特征进行处理,通过对步态特征的处理,实现了查找是否存在与已知人体相似的人体,通过多次特征筛选与对比实现了由粗到细的多级步态识别方案,提升了识别的准确率,且能够应用于基于步态进行预警的布控系统中,提升了布控的有效性,有助于降低后期人工核验的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的步态识别方法一实施例的流程示意图;
图2是本申请提供的步态识别方法另一实施例的流程示意图;
图3是本申请提供的步态识别装置一实施例的结构示意图;
图4是本申请提供的步态布控系统一实施例的结构示意图;
图5是本申请提供的步态识别装置与数据库的连接示意图;
图6是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
步态布控系统是基于步态识别技术、包含步态抓拍与步态比对的系统,能够针对黑名单内的重点人员进行实时监控,避免衣服、附属物变化造成的干扰,相较于基于人脸或重识别(Re-Identification,ReID)技术的布控系统具有更强的鲁棒性。但是常用的步态布控系统存在需要大量人工进行核对或受样本影响较大的问题,基于此,本申请提供了一种新的步态识别方案,下面对本申请所采用的技术方案进行详细说明。
请参阅图1,图1是本申请提供的步态识别方法一实施例的流程示意图,该方法包括:
步骤11:获取监控视频数据,从监控视频数据中提取出人体目标的第一步态序列。
可利用摄像装置对当前监控场景进行拍摄,得到监控视频数据,或者可从视频库中获取监控视频数据;然后对该监控视频数据进行提取处理,以将监控视频数据中满足设定的条件的图像提取出来,形成第一步态序列,即第一步态序列为监控视频数据中的一部分,其包括多张监控图像,步态为人体行走、跑动或脚移动的姿态。
例如,可以将监控视频数据中包含人体的所有图像提取出来,以作为第一步态序列中的监控图像;或者先对监控视频数据进行截取处理,以获取某个时间段(比如:白天)的视频数据,然后再从该视频数据中提取出包含人体的图像,以便降低处理的数据量,缩短提取所花费的时间。
步骤12:对第一步态序列进行特征提取处理,得到第一抓拍步态特征。
在获取到第一步态序列后,可以使用步态特征提取算法将第一步态序列提取为特征信息,实现将图像映射到特征空间,用一个多维的向量即可表征人体目标的步态信息,步态特征提取算法可以为常见的特征提取算法,比如:尺度不变特征变换(Scale-invariantfeature transform,SIFT)、方向梯度直方图(Histogram of Oriented Gradient,HOG)、加速鲁棒特征(Speed-up robust features,SURF)、局部二值模式(Local binary pattern,LBP)或卷积神经网络等。
步骤13:确定与第一抓拍步态特征匹配的至少一个第一预设步态特征。
在获取到第一抓拍步态特征之后,可将该第一抓拍步态特征与预先获取到的至少一个人体目标的步态特征进行比较,以判定第一抓拍步态特征对应的人体目标与已知的人体目标是否为同一个。具体地,可将第一抓拍步态特征与步态数据库进行比对,步态数据库为存储有多个预设步态特征的数据库,该预设步态特征为事先对不同人体目标对应的图像进行步态特征提取获取到的步态特征;在获取到第一抓拍步态特征之后,可将该第一抓拍步态特征与步态数据库中的预设步态特征进行比较,以检索到与该第一抓拍步态特征相近的预设步态特征,将这些预设步态特征记作第一预设步态特征,以在步态数据库中查找与第一抓拍步态特征对应的人体目标相似的人体目标(记作潜在人体目标)。
步骤14:基于图卷积神经网络模型,对第一抓拍步态特征与第一预设步态特征进行处理,得到预测特征。
将第一预设步态特征输入图卷积神经网络模型,以使得图卷积神经网络模型对该第一预设步态特征进行处理,生成预测特征,该预测特征可以为向量,向量中的数值用于表征第一抓拍步态特征与第一预设步态特征为同一人体目标的概率。可以理解地,该图卷积神经网络模型为现有的图卷积神经网络模型,其网络架构、实现原理与现有方案类似,在此不再赘述。
步骤15:基于预测特征,从至少一个第一预设步态特征中,筛选出第二预设步态特征。
预测特征包括至少一个预测特征值,在获取到预测特征后,可对预测特征值进行处理,选出满足设定的条件的预测特征值,并将这些预测特征值对应的第一预设步态特征作为第二预设步态特征,实现对第一步态特征的筛选。
进一步地,可从所有预测特征值中选出特征值最大的N1个预测特征值,将这N1个预测特征值对应的第一预设步态特征作为第二预设步态特征;或者比较每个预测特征值与设定值之间的大小关系,从所有预测特征值中选出大于设定值的N2个预测特征值,将这N2个预测特征值对应的第一预设步态特征作为第二预设步态特征。
步骤16:响应于第二预设步态特征满足第一预设步态识别条件,生成预警消息。
在获取到第二预设步态特征后,可判断第二预设步态特征是否满足第一预设步态识别条件,如果第二预设步态特征满足第一预设步态识别条件,则表明当前拍摄到的人体目标与已知的某一人体目标的步态特征的相似度较高,此时可生成一预警消息,该预警消息用于表示第一抓拍步态特征与第二预设步态特征对应的人体目标相同,即当前拍摄到与已知人体目标相同的人体目标;具体地,以第一预设步态特征为步态数据库中的特征为例,该预警消息用于表示监控视频数据中存在与步态数据库中相同的人体目标,以提醒相关人员(比如:警察或保安)有与步态数据库中相似的人出现,方便相关人员及时处理,加快找到失踪人员。
本实施例所采用的方案涉及计算机视觉、视频图像处理技术以及机器学习等领域,尤其涉及特征提取与比对技术。为了避免使用单一样本比对以及阈值判断进行布控,本实施例先利用第一抓拍步态特征筛选出第一预设步态特征,以寻找潜在人体目标;然后采用图卷积神经网络模型对第一预设步态特征与第一抓拍步态特征进行处理,以确定第一预设步态特征与第一抓拍步态特征的相似性,得到预测特征;然后通过预测特征对第一预设步态特征进行筛选,得到第二预设步态特征;再判定第二预设步态特征是否满足第一预设步态识别条件,如果第二预设步态特征满足第一预设步态识别条件,则生成预警消息。本实施例进行了潜在人体目标的筛选,执行了由粗到细的多级步态识别策略,提升了步态识别的有效性,降低后期人工核验的成本。
请参阅图2,图2是本申请提供的步态识别方法另一实施例的流程示意图,该方法包括:
步骤201:获取监控视频数据,对监控视频数据进行目标检测处理,得到监控视频数据中的人体目标。
监控视频数据包括多张监控图像,可使用常见的目标检测算法对监控视频数据中的人体目标进行检测。
步骤202:对人体目标进行跟踪,得到与人体目标对应的标识信息。
采用目标跟踪算法对目标检测算法输出的人体目标进行跟踪,得到人体目标的标识(identification,ID)信息,人体目标与ID信息一一对应;例如,假设监控视频数据中存在三个人:A-C,ID信息为:ID1-ID3,则A与ID1对应,B与ID2对应,C与ID3对应。
步骤203:基于人体目标与标识信息,生成与标识信息对应的第一步态序列。
获取监控视频数据中与人体目标、ID信息匹配的监控图像,以形成第二步态序列;然后对第二步态序列进行筛选处理,得到第一步态序列。
进一步地,对第二步态序列进行筛选处理的步骤如下:
1)判断第二步态序列中连续第二预设数量张监控图像是否满足预设步态识别条件。
先对第二步态序列中每张监控图像进行评分,得到评分值;然后将第二步态序列中连续第二预设数量张监控图像的评分值相加,得到评分总和;再计算出所有评分总和中的最大值,判断连续第二预设数量张监控图像的评分总和是否为最大值;若连续第二预设数量张监控图像的评分总和为最大值,则确定满足预设步态识别条件,即预设步态识别条件为连续第二预设数量张监控图像的评分总和是否为最大值。
可以理解地,第二预设数量可以调整,第二步态序列中的图像可以是监控视频数据中的连续视频帧或者是监控视频数据中间隔设定帧的视频帧;例如,假设帧率为15帧,第二步态序列中相邻两帧图像之间间隔一帧图像,即假设监控视频数据包括监控图像F1-F10,则第二步态序列包括监控图像F1、F3、F5、F7以及F9。
2)若第二步态序列中连续第二预设数量张监控图像满足预设步态识别条件,则将连续第二预设数量张监控图像作为第一步态序列。
在一具体的实施例中,假设每个人体目标的第二步态序列被表征为:Xi={x1,x2,…,xni},ni表示第二步态序列的长度,每个第二步态序列的长度不定,xi(1≤i≤ni)表示单帧监控图像,xi=(i,fi,lux,luy,rbx,rby),i表示ID序号,fi表示帧号,lux、luy、rbx以及rby分别表示人体检测框的左上角的x坐标、左上角的y坐标、右下角的x坐标以及右下角的y坐标。对第二步态序列进行优选,优选标准如下:
对第二步态序列中的每一帧xi,根据人体检测框内监控图像的清晰度、遮挡程度、人体目标的运动方向或速度等信息,对每帧监控图像进行评分,得到评分值si。根据评分结果选出其中最优的一段长度为N(N≤ni)的子序列Xsi={xj,xj+1,…,xj+N-1},j为子序列在总序列Xi中的起始帧号,最优序列(即第一步态序列)的选择方式如下:
Figure BDA0003169984490000071
其中,j=1,2,3,……,ni-N。
进一步地,可以采用神经网络来获取每张监控图像的信息(即清晰度、遮挡程度、人体目标的运动方向或速度等),清晰度可以包括:清晰、一般以及模糊,遮挡程度包括未遮挡和遮挡,运动方向包括是否转弯。
步骤204:对第一步态序列进行特征提取处理,得到第一抓拍步态特征。
步骤204与上述实施例中步骤12相同,在此不再赘述。
步骤205:确定与第一抓拍步态特征匹配的至少一个第一预设步态特征。
步态数据库包括多个预设步态特征,将第一抓拍步态特征与预设步态特征进行对比,以查找与第一抓拍步态特征相似的预设步态特征,记作第一预设步态特征。具体地,可以计算第一抓拍步态特征与每个预设步态特征之间的相似度;然后按照从大到小的顺序对相似度进行排序,得到相似度序列;再将相似度序列中前第一预设数量个相似度对应的预设步态特征作为第一预设步态特征。具体地,可以采用距离(比如:曼哈顿距离或切比雪夫距离)或余弦相似度等指标来衡量特征之间的相似度。可以理解地,还可采用其他方式来获取第一预设步态特征,比如:按照从小到大的顺序对相似度进行排序,得到一序列;再将该序列中从后向前数第一预设数量个相似度对应的预设步态特征作为第一预设步态特征。
在一具体的实施例中,假设第一预设步态特征记作Fi,步态数据库中预设步态特征表示为:FD={Fd1,Fd2,…,FdN},计算Fi与FD中每个特征Fdi之间的距离di-di
di-di=D(Fi,Fdi) (2)
其中,D(.)表示距离度量函数,D(.)∈[0,1]。
然后再对距离进行排序,寻找所有距离中最小的M个距离,并找到与这M个距离对应的特征
Figure BDA0003169984490000081
使用上述提取到的第一抓拍步态特征与步态数据库中的预设步态特征进行比对检索,得到与该第一抓拍步态特征最相近的M个预设步态特征。
在其他实施例例中,还可计算第一抓拍步态特征与预设步态之间的相似度,将相似度大于设定值的预设步态特征作为第一预设步态特征。
步骤206:采用图卷积神经网络模型对第一抓拍步态特征与第一预设步态特征进行处理,得到预测特征。
一级布控网络是一个基于图结构的布控模型(即图卷积神经网络模型),该模型是一个基于图卷积的神经网络,其设计如下:
1)获取训练数据,对训练数据进行处理,得到第二抓拍步态特征与第二预设步态特征。
2)对第二抓拍步态特征与第二预设步态特征进行特征融合处理,得到相关特征。
在目标检索后,可以得到与第二抓拍步态特征相似的S个第二预设步态特征,利用这些步态特征可以构建一个图结构,来进一步地建立这些样本间的关系。图结构的关节点V包含S个点,其为第二抓拍序列特征Ft以及在步态数据库中与Ft最相近的S个步态特征间的关系:
Figure BDA0003169984490000091
其中,关系f可以是特征间差值,也可以是特征融合(比如:采用Concat或sum等方式进行特征融合),即相关特征为第二抓拍步态特征与第二预设步态特征的特征差值、第二抓拍步态特征与第二预设步态特征的特征之和或由第二抓拍步态特征与第二预设步态特征拼接而成。
3)对第二预设步态特征进行处理,得到邻接矩阵。
图结构的邻接矩阵为第二预设步态特征之间的关系,该邻接矩阵表示为A,A为对称结构,其表达式如下所示:
Figure BDA0003169984490000092
其中,aii=1,aij=aji,且aij的计算公式如下:
Figure BDA0003169984490000093
或/>
Figure BDA0003169984490000094
其中,η0为设定阈值。
4)基于相关特征与邻接矩阵构建图卷积神经网络。
设计好图的连接结构后,可以设计图卷积神经网络,图卷积神经网络的输入是V、输出是一个S维的向量P=[p1,…,pS],pi∈[0,1],pi表示第一抓拍步态特征Ft与步态数据库中特征
Figure BDA0003169984490000095
为同一人体目标的概率。
5)对图卷积神经网络进行训练,得到图卷积神经网络模型。
在构建出图卷积神经网络后,可按照上述的方式获取输入至图卷积神经网络的输入数据(即相关特征),然后不断调整图卷积神经网络的参数,直至满足训练终止条件,获得训练好的图卷积神经网络模型。可以理解地,具体的训练方法与现有进行模型训练的方法类似,在此不再赘述。
步骤207:对第一抓拍步态特征与第一预设步态特征进行特征融合处理,得到第一相关特征。
将第一抓拍步态特征与第一预设步态特征相减/相加,生成第一相关特征;或者将第一抓拍步态特征与第一预设步态特征拼接,生成第一相关特征;例如,第一抓拍步态特征的维度为H1,第一预设步态特征的维度为H2,则第一相关特征的维度为(H1+H2)。
步骤208:将第一相关特征输入图卷积神经网络模型,得到预测特征。
预测特征包括多个预测特征值,预测特征值用于表示第一抓拍步态特征与第一预设步态特征为同一人体目标的概率。
步骤209:判断预测特征值是否满足第二预设步态识别条件。
在一级布控处设计一个预设特征阈值,然后判断预测特征中的每一个预测特征值是否大于预设特征阈值,若预测特征值大于预设特征阈值,则判定满足第二预设步态识别条件;若预测特征值小于/等于预设特征阈值,则判定不满足第二预设步态识别条件,即第二预设步态识别条件为预测特征值是否大于预设特征阈值。通过设置一级布控结构,将步态数据库中潜在样本间的关系纳入网络,使得布控结果更加精准。
可以理解地,在所有预测特征值均小于/等于预设特征阈值时,不生成预警信息,判定布控失败,即无法在步态数据库中找到与当前拍摄到的人体目标相似的人体目标。
步骤210:若预测特征值满足第二预设步态识别条件,则将预测特征值对应的第一预设步态特征作为第二预设步态特征。
如果判断出预测特征值大于预设特征阈值,则表明该预测特征值对应的第一抓拍步态特征与步态数据库中的某一预设步态特征可能匹配,此时可将该预设步态特征记作第二预设步态特征,进入二级布控网络,以便进一步验证特征之间的匹配性,即执行步骤211-步骤212。
步骤211:对第二预设步态特征进行处理,以检测是否存在满足第一预设步态识别条件的第二预设步态特征。
采用验证网络对第一抓拍步态特征与第二预设步态特征进行验证,以确定第一抓拍步态特征与第二预设步态特征为同一人体目标的概率,记作相似概率,该验证网络为验证特征之间的相似程度的网络,比如:孪生神经网络(Siamese neural network);验证网络可判断相似概率是否大于相似概率阈值;若相似概率大于相似概率阈值,则确定满足第一预设步态识别条件,即第一预设步态识别条件为相似概率是否大于相似概率阈值。
步骤212:若存在满足第一预设步态识别条件的第二预设步态特征,则将第二预设步态特征对应的人体目标作为与第一抓拍步态特征对应的人体目标,并生成预警消息。
如果第一抓拍步态特征与第二预设步态特征为同一人体目标的概率大于相似概率阈值,则可将第二预设步态特征记作待选步态特征;然后从所有待选步态特征中选择一个相似概率最大的作为匹配步态特征。在所有相似概率均小于/等于相似概率阈值时,判定布控失败。
可以理解地,在其他实施例中,还可先计算所有相似概率中的最大值(记作最大概率),然后判断该最大概率是否大于相似概率阈值,若最大概率大于相似概率阈值,则确定满足第一预设步态识别条件,生成报警信息;例如,经过一级布控网络后,输出五组第二预设步态特征,计算第一抓拍步态特征与这五组第二预设步态特征之间的相似概率,得到5个相似概率,从这5个相似概率中选出最大概率,然后比较该最大概率与相似概率阈值之间的大小关系,如果最大概率大于相似概率阈值,则进行报警,以提醒警方拍摄到与步态数据库中的人相似的人;如果最大概率小于/等于相似概率阈值,可发出布控失败的消息。
本实施例提供了一种多次核验的步态识别方案,首先挖掘出潜在人体目标,然后建立潜在人体目标间的图拓扑关系,能够将潜在人体目标之间的关系进行拓扑连接,进一步提升布控的准确率;同时使用验证网络进行核验,进一步减少了后期人工参与,降低人工成本与耗费的时间。
请参阅图3,图3是本申请提供的步态识别装置一实施例的结构示意图,步态识别装置30包括互相连接的存储器31和处理器32,存储器31用于存储计算机程序,计算机程序在被处理器32执行时,用于实现上述实施例中的步态识别方法。
本实施例中通过筛选潜在人体目标,执行由粗到细的多级布控策略,提升了布控的有效性,降低后期人工核验的成本。
请参阅图4,图4是本申请提供的步态布控系统一实施例的结构示意图,步态布控系统40包括互相连接的步态识别装置41与摄像装置42,摄像装置42用于对当前监控场景进行拍摄得到监控图像,并发送给步态识别装置41,以使得步态识别装置41进行步态识别,其中,步态识别装置41为上述实施例中的步态识别装置。
在一具体的实施例中,如图5所示,步态识别装置41包括步态序列提取模块411、步态特征提取模块412、目标检索模块413、一级识别模块414以及二级识别模块415。
步态序列提取模块411用于从监控视频数据中提取出人体目标的第一步态序列。
步态特征提取模块412与步态序列提取模块411连接,其用于对第一步态序列进行特征提取处理,得到第一抓拍步态特征。
目标检索模块413与步态特征提取模块412以及步态数据库43连接,其用于确定与第一抓拍步态特征匹配的至少一个第一预设步态特征。
一级识别模块414与目标检索模块413连接,其用于基于图卷积神经网络模型,对第一抓拍步态特征与第一预设步态特征进行处理,得到预测特征;基于预测特征,从至少一个第一预设步态特征中,筛选出第二预设步态特征。
二级识别模块415与一级识别模块414连接,其用于响应于第二预设步态特征满足第一预设步态识别条件,生成预警消息,该预警消息用于表示第一抓拍步态特征与第二预设步态特征对应的人体目标相同。
本实施例提供了一种多次核验的步态布控系统,首先从每路监控视频数据中提取出步态序列,然后使用步态特征提取算法提取该步态序列的特征表述,接下来将提取到的步态特征与预设步态特征进行特征比对,筛选出潜在人体目标,然后经过两个识别模块的处理得到最终的布控结论,能够通过执行由粗到细的多级布控策略,提升布控的有效性,使得识别的准确率较高,降低后期人工核验的成本。
请参阅图6,图6是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质60用于存储计算机程序61,计算机程序61在被处理器执行时,用于实现上述实施例中的步态识别方法。
计算机可读存储介质60可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种步态识别方法,其特征在于,包括:
获取监控视频数据,从所述监控视频数据中提取出人体目标的第一步态序列;
对所述第一步态序列进行特征提取处理,得到第一抓拍步态特征;
确定与所述第一抓拍步态特征匹配的至少一个第一预设步态特征;
基于图卷积神经网络模型,对所述第一抓拍步态特征与所述第一预设步态特征进行处理,得到预测特征;所述预测特征包括多个预测特征值;
判断所述预测特征值是否满足第二预设步态识别条件;若是,则将所述预测特征值对应的第一预设步态特征作为所述第二预设步态特征;
采用验证网络对所述第一抓拍步态特征与所述第二预设步态特征进行验证,以确定所述第一抓拍步态特征与所述第二预设步态特征为同一人体目标的概率,记作相似概率;
判断所述相似概率是否大于所述相似概率阈值;
若是,则确定满足第一预设步态识别条件,所述第一预设步态识别条件为相似概率是否大于相似概率阈值,将所述第二预设步态特征对应的人体目标作为与所述第一抓拍步态特征对应的人体目标,并生成预警消息,所述预警消息用于表示所述第一抓拍步态特征与所述第二预设步态特征对应的人体目标相同。
2.根据权利要求1所述的步态识别方法,其特征在于,所述确定与所述第一抓拍步态特征匹配的至少一个第一预设步态特征的步骤,包括:
计算所述第一抓拍步态特征与每个所述预设步态特征之间的相似度;
按照从大到小的顺序对所述相似度进行排序,得到相似度序列;
将所述相似度序列中前第一预设数量个相似度对应的预设步态特征作为所述第一预设步态特征。
3.根据权利要求1所述的步态识别方法,其特征在于,所述方法还包括:
对所述第一抓拍步态特征与所述第一预设步态特征进行特征融合处理,得到第一相关特征;
将所述第一相关特征输入所述图卷积神经网络模型,得到所述预测特征;所述预测特征值用于表示所述第一抓拍步态特征与所述第一预设步态特征为同一人体目标的概率。
4.根据权利要求3所述的步态识别方法,其特征在于,所述对所述第一抓拍步态特征与所述第一预设步态特征进行特征融合处理的步骤,包括:
将所述第一抓拍步态特征与所述第一预设步态特征相减/相加;
或者,将所述第一抓拍步态特征与所述第一预设步态特征拼接。
5.根据权利要求3所述的步态识别方法,其特征在于,所述将所述第一相关特征输入所述图卷积神经网络模型的步骤之前,包括:
获取训练数据,对所述训练数据进行处理,得到第二抓拍步态特征与所述第二预设步态特征;
对所述第二抓拍步态特征与所述第二预设步态特征进行特征融合处理,得到相关特征;
对所述第二预设步态特征进行处理,得到邻接矩阵;
基于所述相关特征与所述邻接矩阵构建图卷积神经网络;
对所述图卷积神经网络进行训练,得到所述图卷积神经网络模型。
6.根据权利要求3所述的步态识别方法,其特征在于,所述判断所述预测特征值是否满足第二预设步态识别条件的步骤,包括:
判断所述预测特征值是否大于预设特征阈值。
7.根据权利要求1所述的步态识别方法,其特征在于,所述方法还包括:
在所有所述预测特征值均小于/等于预设特征阈值或所有所述相似概率均小于/等于所述相似概率阈值时,不生成所述预警消息。
8.根据权利要求1所述的步态识别方法,其特征在于,所述监控视频数据包括多张监控图像,所述从所述监控视频数据中提取出人体目标的第一步态序列的步骤,包括:
对所述监控视频数据进行目标检测处理,得到所述监控视频数据中的人体目标;
对所述人体目标进行跟踪,得到与所述人体目标对应的标识信息;
基于所述人体目标与所述标识信息,生成与所述标识信息对应的第一步态序列。
9.根据权利要求8所述的步态识别方法,其特征在于,所述基于所述人体目标与所述标识信息,生成与所述标识信息对应的第一步态序列的步骤,包括:
获取所述监控视频数据中与所述人体目标、所述标识信息匹配的监控图像,以形成第二步态序列;
对所述第二步态序列进行筛选处理,得到所述第一步态序列。
10.根据权利要求9所述的步态识别方法,其特征在于,所述对所述第二步态序列进行筛选处理,得到所述第一步态序列的步骤,包括:
判断所述第二步态序列中连续第二预设数量张所述监控图像是否满足预设步态识别条件;
若是,则将所述连续第二预设数量张所述监控图像作为所述第一步态序列。
11.根据权利要求10所述的步态识别方法,其特征在于,所述判断所述第二步态序列中连续第二预设数量张所述监控图像是否满足预设步态识别条件的步骤,包括:
对所述第二步态序列中每张所述监控图像进行评分,得到评分值;
将所述第二步态序列中连续第二预设数量张所述监控图像的评分值相加,得到评分总和;
计算出所有所述评分总和中的最大值,判断所述连续第二预设数量张所述监控图像的评分总和是否为所述最大值;
若是,则确定满足所述预设步态识别条件。
12.一种步态识别装置,其特征在于,包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现权利要求1-11中任一项所述的步态识别方法。
13.一种步态布控系统,其特征在于,包括互相连接的摄像装置与步态识别装置,所述摄像装置用于对当前监控场景进行拍摄得到监控图像,并发送给所述步态识别装置,以使得所述步态识别装置进行步态识别,其中,所述步态识别装置为权利要求12所述的步态识别装置。
14.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理器执行时,用于实现权利要求1-11中任一项所述的步态识别方法。
CN202110815448.9A 2021-07-19 2021-07-19 一种步态识别方法、装置、系统和计算机可读存储介质 Active CN113657169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110815448.9A CN113657169B (zh) 2021-07-19 2021-07-19 一种步态识别方法、装置、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110815448.9A CN113657169B (zh) 2021-07-19 2021-07-19 一种步态识别方法、装置、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113657169A CN113657169A (zh) 2021-11-16
CN113657169B true CN113657169B (zh) 2023-06-20

Family

ID=78477665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110815448.9A Active CN113657169B (zh) 2021-07-19 2021-07-19 一种步态识别方法、装置、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113657169B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238032B (zh) * 2023-09-18 2024-06-21 以萨技术股份有限公司 一种步态特征对比方法、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042419A1 (zh) * 2018-08-29 2020-03-05 汉王科技股份有限公司 基于步态的身份识别方法、装置、电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377366A (zh) * 2012-04-26 2013-10-30 哈尔滨工业大学深圳研究生院 一种步态识别方法和系统
CN103870828B (zh) * 2012-12-17 2018-06-15 富泰华工业(深圳)有限公司 图像相似度判断系统及方法
CN106778604B (zh) * 2015-12-15 2020-04-14 西安电子科技大学 基于匹配卷积神经网络的行人再识别方法
CN110378170B (zh) * 2018-04-12 2022-11-08 腾讯科技(深圳)有限公司 视频处理方法及相关装置,图像处理方法及相关装置
CN109344688A (zh) * 2018-08-07 2019-02-15 江苏大学 一种基于卷积神经网络的监控视频中人的自动识别方法
CN112434655B (zh) * 2020-12-07 2022-11-08 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042419A1 (zh) * 2018-08-29 2020-03-05 汉王科技股份有限公司 基于步态的身份识别方法、装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张铎.《生物识别技术基础》.武汉大学出版社,2009,(第1版),第5.5.2节. *
焦李成.《现代神经网络教程》.西安电子科技大学出版社,2020,(第1版),第12.5.3节. *

Also Published As

Publication number Publication date
CN113657169A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN108470332B (zh) 一种多目标跟踪方法及装置
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及系统
Elhamod et al. Automated real-time detection of potentially suspicious behavior in public transport areas
US20170300744A1 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
Ullah et al. Hog based real-time multi-target tracking in bayesian framework
CN108932479A (zh) 一种人体异常行为检测方法
CN112668557B (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN111626194A (zh) 一种使用深度关联度量的行人多目标跟踪方法
CN107067413A (zh) 一种时空域统计匹配局部特征的运动目标检测方法
CN111145223A (zh) 多摄像头识别人员行为轨迹分析方法
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN114783037B (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
Xia et al. Face occlusion detection using deep convolutional neural networks
Yang et al. A method of pedestrians counting based on deep learning
CN110349188A (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN113657169B (zh) 一种步态识别方法、装置、系统和计算机可读存储介质
CN116580333A (zh) 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法
Wong et al. Multi-Camera Face Detection and Recognition in Unconstrained Environment
CN111105436B (zh) 目标跟踪方法、计算机设备及存储介质
Epshtein et al. Identifying semantically equivalent object fragments
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
CN114219828A (zh) 一种基于视频的目标关联方法、装置和可读存储介质
CN111738194A (zh) 一种用于人脸图像相似性的评价方法和装置
Barquero et al. Long-term face tracking for crowded video-surveillance scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant