CN113536267A - 一种基于人工智能的人体步态验证方法和云服务器 - Google Patents
一种基于人工智能的人体步态验证方法和云服务器 Download PDFInfo
- Publication number
- CN113536267A CN113536267A CN202110773136.6A CN202110773136A CN113536267A CN 113536267 A CN113536267 A CN 113536267A CN 202110773136 A CN202110773136 A CN 202110773136A CN 113536267 A CN113536267 A CN 113536267A
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- picture
- gait
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000005021 gait Effects 0.000 title claims abstract description 167
- 238000012795 verification Methods 0.000 title claims abstract description 85
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000000746 body region Anatomy 0.000 claims abstract description 51
- 230000005855 radiation Effects 0.000 claims description 107
- 238000001931 thermography Methods 0.000 claims description 55
- 239000013598 vector Substances 0.000 claims description 49
- 238000013136 deep learning model Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000006698 induction Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的人体步态验证方法和云服务器,通过对一个时间段内连续视频帧图像的人体图像质量进行评估,从而筛选出高质量人体图片生成图片序列,因而可以基于图片序列确定每幅图片的人体区域范围生成人体图片序列并进行人体步态特征识别,而后通过人工智能模型进行人体步态特征验证,从而能够实现在人员面部遮挡或脸部特征模糊的情况下通过人体步态进行人员身份识别,提高不同条件和场景下人体步态验证的准确性。
Description
技术领域
本发明属于人工智能技术领域,具体涉及一种基于人工智能的人体步态验证方法和云服务器。
背景技术
近年来,随着人工智能技术的不断发展,越来越多的生物特征可以被提取出来并用于身份验证,目前市场应用比较普遍的有人脸验证、指纹验证、声纹验证等,而门槛相对较高的人体步态验证技术则在落地应用中较为少见。
现有的生物验证技术,如人脸验证技术,只提取人的脸部特征信息且需要人员主动配合,在人员佩戴口罩、或者灯光黑暗、拍摄角度不佳、帽子遮挡等情况下,难以发挥效用,为人员管控和人员合法性验证带来困难。
发明内容
为了克服现有技术中的上述不足,本公开提供一种基于人工智能的人体步态验证方法和云服务器,通过对一个时间段内连续视频帧图像的人体图像质量进行评估,从而筛选出高质量人体图片生成图片序列,因而可以基于图片序列确定每幅图片的人体区域范围生成人体图片序列并进行人体步态特征识别,而后通过人工智能模型进行人体步态特征验证,从而能够实现在人员面部遮挡或脸部特征模糊的情况下通过人体步态进行人员身份识别,提高不同光照条件和天气条件下人体步态验证的准确性。
第一方面,本发明提供了一种基于人工智能的人体步态验证方法,应用于云服务器,所述云服务器与多个人体步态验证终端通信连接,所述方法包括:
获取所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,所述第一连续视频图像数据流包括可见光视频图像,所述第二连续视频图像数据流包括热成像视频图像;
对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列,所述第一图像序列为可见光图像序列,所述第二图像序列为热成像图像序列;
根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
获取目标人体步态图片序列;
使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值;
根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
在第一方面的一种可能的实现方式中,所述根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置的步骤,包括:
根据所述第二图像数据流以及所述目标监控区域的热辐射特性变化,确定具有第一热辐射特性信息的第一热成像信息和具有第二热辐射特性信息的第二热成像信息;
根据所述第一热成像信息判断是否有热辐射扰动,若存在热辐射扰动,则获取人体热辐射特征及所述人体热辐射特征对应的热成像信息;
根据所述人体热辐射特征对所述第二热成像信息进行人体热辐射特征匹配,得到具有第一热辐射特征匹配信息的第一热成像匹配结果,和具有第二热辐射特征匹配信息的第二热成像匹配结果,所述第一热成像匹配结果用于表示热辐射特征匹配度大于第一预设匹配度的热成像匹配结果,所述第二热成像匹配结果用于表示热辐射特征匹配度小于第二预设匹配度的热成像匹配结果;
获取所述第一特征匹配结果并组成第一匹配结果集合,以及所述第二特征匹配结果并组成第二匹配结果集合;
若所述第一匹配结果集合的特征匹配参数值域区间大小大于所述第二匹配结果集合的特征匹配参数值域大小,则将所述第一预设匹配度作为人体热辐射特征匹配阈值;
若所述第二匹配结果集合的特征匹配参数值域区间大小大于所述第一匹配结果集合的特征匹配参数值域大小,则将所述第二预设匹配度作为人体热辐射特征匹配阈值;
将所述人体热辐射特征匹配度大于所述人体热辐射特征匹配阈值且与所述人体热辐射特征对应的热成像信息相匹配的区域确定为候选人体区域,根据确定的候选人体区域,将第二热成像信息分割为多个待定区域,并根据所述分割的多个待定区域的热辐射特征与预设阈值之间的关系,将满足条件的候选人体区域确定为人体区域位置。
在第一方面的一种可能实现方式中,所述根据所述第一热成像信息判断是否有热辐射扰动的步骤,包括:
获取所述目标监控区域环境的热辐射信息参数值,所述热辐射信息参数值表示所述目标监控区域的热辐射信号强度大小;
获取所述目标监控区域内预设的多个关键点的热辐射信号强度值,并对所述预设的多个关键点的热辐射信号强度值进行拟合得到热辐射信号强度特征拟合公式;
获取感应基准因子表示在所述目标监控区域内预设的多个关键区域的热辐射信号强度的平均强度值通过所述热辐射信号强度特征拟合公式得到热辐射信号的感应基准因子;
计算当前目标监控区域内热辐射信号强度平均值,并与所述热辐射信号的感应基准因子比较,若所述热辐射信号强度平均值与所述热辐射信号的感应基准因子的差值大于第一差值或小于第二差值,则确定存在有热辐射扰动。
在第一方面的一种可能实现方式中,所述使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分的步骤,包括:
获取所述第一连续视频图像数据流和所述第二连续视频图像数据流对应的第一视频参数和第二视频参数,所述第一视频参数和第二视频参数包括视频帧率,视场大小以及分辨率;
结合所述第一视频参数和第二视频参数对所述第一图像序列和第二图像序列进行图片校准得到所述第一图像序列和第二图像序列的图片关联关系;
根据所述图片关联关系以及所述确定的人体区域位置,截取第一图像序列和第二图像序列的人体区域图像并对图像进行融合得到可见光和热辐射融合图像序列;
根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果。
在第一方面的一种可能实现方式中,所述根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果的步骤,包括:
根据所述融合图像序列,对所述融合图像序列中的图片进行图像尺寸变换,使其与所述深度学习模型输入图片尺寸相同;
加载预设深度学习模型,以所述尺度变化后的图片为输入进行前向推理得到图片质量特征向量;
根据图片质量特征向量,使用预设的图片质量评分公式,获取图片质量评分结果。
在第一方面的一种可能实现方式中,所述图片质量评分深度学习模型的训练步骤,包括:
获取第一图像集合,所述第一图像集合中包含多个图像样本,所述多个图像样本包括各种不同图片质量的图像;
获取所述第一图像数据集中每个图像样本的质量标签,所述质量标签包括对应所述图像样本的图片质量评分以及不同维度图像质量权重因子,所述不同维度图像质量权重因子表示影响图片质量评分的不同维度所占的权重大小;
对所述图像数据集的影响图片质量评分的不同维度进行人工打分得到所述不同维度分数,然后结合所述图像质量权重因子得到人工评定图片质量的加权平均分数;
根据图片质量的加权平均分数对所述图片质量标签进行更新,得到第一训练数据集;
以所述第一训练数据集的图像样本为输入,以所述更新后的图片质量分数为输出,对深度学习网络进行训练,得到第一深度学习模型;
利用训练完成的第一深度学习模型对第二图像集合中的每个第二图像样本进行处理,得到所述第二图像集合中的每个第二图像样本的第二图片质量分数;
获取所述第二图像集合中的每个第二图像样本的图片质量评分标签,与所述第二图片质量分数进行比较,若分数差值大于预设值,则将其判定为困难样本,对其进行人工打分并更新对应的图片质量评分标签;若分数差值小于预设值,则将对应的图片质量评分标签替换为第二图片质量分数,形成第二训练数据集;
将所述第一训练数据集和所述第二训练数据集合并,并对所述合并后的训练数据集进行图片镜像操作得到镜像图片数据集,所述镜像图片质量评分标签与对应的原图片相同;合入镜像图片数据集,得到第三训练数据集;
以所述第一深度学习模型为预训练模型,以所述第三训练数据集图片为输入对深度学习模型进行增量训练得到图片质量评分深度学习模型。
在第一方面的一种可能实现方式中,所述获取目标人体步态图片序列的步骤,包括:
根据所述图片质量评分结果,对所述融合图像序列进行筛选,保留质量评分符合预设要求的图片;
获取预设数量的图片,根据所述质量评分结果进行排序得到目标人体步态图片序列。
在第一方面的一种可能实现方式中,所述使用3D卷积神经网络进行特征提取得到人体步态特征向量的步骤,包括:
根据所述人体步态二值化图片序列,采用第一特征提取层进行图片处理,得到多个通道信息,然后对多个通道分别处理;
将所述分别处理后的多个通道信息重新组合,得到最终特征描述信息,所述特征描述信息表示3D卷积神经网络对图片特征的先验知识;
根据所述特征描述信息,使用3D卷积操作和3D池化操作进行下采样并将得到的下采样特征图进行全连接操作得到预设维度的人体步态特征向量。
第二方面,本发明实施例还提供一种基于人工智能的人体步态验证系统,所述基于人工智能的人体步态验证系统包括云服务器以及与所述云服务器通信连接的人体步态验证终端;
所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,所述第一连续视频图像数据流包括可见光视频图像,所述第二连续视频图像数据流包括热成像视频图像;
所述云服务器,用于对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列,所述第一图像序列为可见光图像序列,所述第二图像序列为热成像图像序列;
所述云服务器,用于根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
所述云服务器,用于使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
所述云服务器,用于获取目标人体步态图片序列,并使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值;
所述云服务器,用于根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
所述云服务器,用于根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
第三方面,本发明实施例还提供一种基于人工智能的人体步态验证装置,应用于云服务器,所述云服务器与多个人体步态验证终端通信连接,所述装置包括:
获取模块,用于获取所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,并对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列;
确定模块,用于根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
评价模块,用于使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
提取模块,用于获取目标人体步态图片序列,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值,最后根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
验证模块,用于根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
第四方面,本发明实施例还提供一种云服务器,所述云服务器包括深度学习并行计算加速芯片、处理器、机器可读存储介质和网络接口,所述深度学习并行计算加速芯片、所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述深度学习并行计算加速芯片用于深度学习模型和3D卷积神经网络前向推理计算加速、所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的设计中的基于人工智能的人体步态验证方法。
基于上述任意一个方面,本发明通过对一个时间段内连续视频帧图像的人体图像质量进行评估,从而筛选出高质量人体图片生成图片序列,因而可以基于图片序列确定每幅图片的人体区域范围生成人体图片序列并进行人体步态特征识别,而后通过人工智能模型进行人体步态特征验证,从而能够实现在人员面部遮挡或脸部特征模糊以及人员非配合的情况下通过人体步态进行人员身份识别,弥补现有人员身份验证方法中的不足,提高不同条件下人体步态验证的准确性。
附图说明
图1为本发明实施例提供的基于人工智能的人体步态验证系统应用场景示意图;
图2为本发明实施例基于人工智能的人体步态验证方法的流程示意图;
图3为本发明实施例提供的基于人工智能的人体步态验证装置的功能模块示意图;
图4为本发明实施例提供的云服务器的结构示意框图;
具体实施方式
下面结合说明书附图对本发明进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本发明实施例提供的基于人工智能的人体步态验证系统应用场景示意图。基于人工智能的人体步态验证系统可以包括云服务器100以及与云服务器100通信连接的人体步态验证终端200组成。所述云服务器100可以是单个服务器,也可以是服务器组成的计算集群,包括深度学习并行计算加速芯片、处理器、机器可读存储介质和网络接口。图1所示的基于人工智能的人体步态验证系统仅为一种可行的示例,在其它可行的实施例中,该基于人工智能的人体步态验证系统也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中,人体步态验证终端200可以包括可拆卸设摄像机、固定摄像机、机载光电探测设备、增强视景设备等或其任意组合。在一些实施例中,可拆卸摄像机可以包括可穿戴相机、智能头盔、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,固定摄像机可以包括热成像相机,可见光相机,红外线相机,光电球等,或其任意组合。
本实施例中,基于人工智能的人体步态验证系统的云服务器100和人体步态验证终端200可以通过配合执行以下实施例所描述的基于人工智能的人体步态验证方法,具体云服务器100和人体步态验证终端200的执行步骤部分可以参照以下方法实施例的详细描述。
为了解决前述背景技术中的技术问题,图2为本发明实施例提供的基于人工智能的人体步态验证方法的流程示意图,本实施例提供的基于人工智能的人体步态验证方法可以由图1中所示的云服务器100执行,下面对该基于人工智能的人体步态验证方法进行详细介绍。
步骤S110,获取人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,并对第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列。
步骤S120,根据第二图像序列确定与第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域。
步骤S130,使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果。
步骤S140,获取目标人体步态图片序列,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,然后使用3D卷积神经网络进行特征提取得到人体步态特征向量。
步骤S150,根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
本实施例中,人体步态验证终端200可以在系统启用后,检测到人员出现时采集到的目标监控区域在预设时间段内的视频图像数据流,视频图像数据流可以包括可见光视频数据流和热成像数据流。其中,人体步态验证终端200的目标监控区域可以是路口、小区、门禁等区域,视频图像采集时间段可以根据不同的需求进行灵活设置,例如可以设置1分钟为一个预设时间段采集视频数据流,也可以设置30秒、20秒等时间段,也可以设计为固定的时间段,如7:00至18:00之间,本实施例在此不作具体限制。
可以理解,基于上述步骤S110至步骤S140,通过对一个时间段内连续视频帧图像的人体图像质量进行评估,从而筛选出高质量人体图片生成图片序列,因而可以基于图片序列确定每幅图片的人体区域范围生成人体图片序列并进行人体步态特征识别,而后通过人工智能模型进行人体步态特征验证,从而能够实现在人员面部遮挡或脸部特征模糊的情况下通过人体步态进行人员身份识别,提高不同条件和场景下人体步态验证的准确性。
在具体实施过程中,为了提高人员人体区域定位的准确度,同时获取可见光视频数据流和热成像视频数据流,然后对视频数据流进行解码获取可见光和热成像图像序列,然后在热成像图像序列中确定人体区域的位置,针对步骤S120中,所述根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置的步骤,具体可以包括以下内容。
步骤S1201,根据所述第二图像数据流以及所述目标监控区域的热辐射特性变化,确定具有第一热辐射特性信息的第一热成像信息和具有第二热辐射特性信息的第二热成像信息。
步骤S1202,根据所述第一热成像信息判断是否有热辐射扰动,若存在热辐射扰动,则获取人体热辐射特征及所述人体热辐射特征对应的热成像信息。
步骤S1203,根据所述人体热辐射特征对所述第二热成像信息进行人体热辐射特征匹配,得到具有第一热辐射特征匹配信息的第一热成像匹配结果,和具有第二热辐射特征匹配信息的第二热成像匹配结果,所述第一热成像匹配结果用于表示热辐射特征匹配度大于第一预设匹配度的热成像匹配结果,所述第二热成像匹配结果用于表示热辐射特征匹配度小于第二预设匹配度的热成像匹配结果。
步骤S1204,获取所述第一特征匹配结果并组成第一匹配结果集合,以及所述第二特征匹配结果并组成第二匹配结果集合。
步骤S1205,若所述第一匹配结果集合的特征匹配参数值域区间大小大于所述第二匹配结果集合的特征匹配参数值域大小,则将所述第一预设匹配度作为人体热辐射特征匹配阈值。
步骤S1206,若所述第二匹配结果集合的特征匹配参数值域区间大小大于所述第一匹配结果集合的特征匹配参数值域大小,则将所述第二预设匹配度作为人体热辐射特征匹配阈值。
步骤S1207,将所述人体热辐射特征匹配度大于所述人体热辐射特征匹配阈值且与所述人体热辐射特征对应的热成像信息相匹配的区域确定为候选人体区域,根据确定的候选人体区域,将第二热成像信息分割为多个待定区域,并根据所述分割的多个待定区域的热辐射特征与预设阈值之间的关系,将满足条件的候选人体区域确定为人体区域位置。
在本实施例中,基于上述步骤,能够基于获取到的可见光视频数据流和热成像视频数据流,然后对视频数据流进行解码获取可见光和热成像图像序列并确定人体区域的位置,提高人体区域的判别置信度,为后续人体步态验证提供基础。
在上述基础上,为了对人体区域进行准确定位,减少误检,首先需要判断是否存在热辐射扰动,从而确定目标监控区域确实存在人员活动,针对步骤S1202根据所述第一热成像信息判断是否有热辐射扰动,具体可以包括以下内容。
步骤S12021,获取所述目标监控区域环境的热辐射信息参数值,所述热辐射信息参数值表示所述目标监控区域的热辐射信号强度大小。
步骤S12022,获取所述目标监控区域内预设的多个关键点的热辐射信号强度值,并对所述预设的多个关键点的热辐射信号强度值进行拟合得到热辐射信号强度特征拟合公式。
步骤S12023,获取感应基准因子表示在所述目标监控区域内预设的多个关键区域的热辐射信号强度的平均强度值,通过所述热辐射信号强度特征拟合公式得到热辐射信号的感应基准因子。
步骤S12024,计算当前目标监控区域内热辐射信号强度平均值,并与所述热辐射信号的感应基准因子比较,若所述热辐射信号强度平均值与所述热辐射信号的感应基准因子的差值大于第一差值或小于第二差值,则确定存在有热辐射扰动。
基于上述内容,能够准确判断目标监控区域是否存在热辐射扰动,从而确定目标监控区域范围内出现人员活动。
在上述基础上,为了得到更好的人体步态验证结果,需从上述图片序列中选取图片质量较高的图片作为基础,过滤掉例如画面模糊不清,存在遮挡等情况的低质量图片。
本实施例中,采用深度学习模型对上述图片序列进行图片质量评分,其中评分越高,表明图片质量越好,针对步骤S130,使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分得到图片质量评分结果,具体可以包括以下内容。
步骤S1301,获取所述第一连续视频图像数据流和所述第二连续视频图像数据流对应的第一视频参数和第二视频参数,所述第一视频参数和第二视频参数包括视频帧率,视场大小以及分辨率。
步骤S1302,结合所述第一视频参数和第二视频参数对所述第一图像序列和第二图像序列进行图片校准得到所述第一图像序列和第二图像序列的图片关联关系,例如第一视频参数中的视频帧率为30fps,第二视频参数中的帧率为15fps,则在第一图像序列中的图片与第二图像序列中的图片进行隔帧对应匹配。
步骤S1303,根据所述图片关联关系以及所述确定的人体区域位置,截取第一图像序列和第二图像序列的人体区域图像并对图像进行融合得到可见光和热辐射融合图像序列。
步骤S1304,根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果。
基于上述步骤,便能根据图片质量对每张图片进行评分。
本实施例中,考虑到人工对图片评分具有较强的主观性,由于每个人的认知存在差异无法对所有图片进行客观评价,因此,本实施例采用深度学习模型对图片进行打分,针对步骤S1304,根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果,包括深度学习模型的训练和推理,具体可以包括以下内容。
步骤S13041,获取第一图像集合,所述第一图像集合中包含多个图像样本,所述多个图像样本包括各种不同图片质量的图像。
步骤S13042,获取所述第一图像数据集中每个图像样本的质量标签,所述质量标签包括对应所述图像样本的图片质量评分以及不同维度图像质量权重因子,所述不同维度图像质量权重因子表示影响图片质量评分的不同维度所占的权重大小。
步骤S13043,对所述图像数据集的影响图片质量评分的不同维度进行人工打分得到所述不同维度分数,然后结合所述图像质量权重因子得到人工评定图片质量的加权平均分数。
步骤S13044,根据图片质量的加权平均分数对所述图片质量标签进行更新,得到第一训练数据集。
步骤S13045,以所述第一训练数据集的图像样本为输入,以所述更新后的图片质量分数为输出,对深度学习网络进行训练,得到第一深度学习模型。
步骤S13046,利用训练完成的第一深度学习模型对第二图像集合中的每个第二图像样本进行处理,得到所述第二图像集合中的每个第二图像样本的第二图片质量分数。
步骤S13047,获取所述第二图像集合中的每个第二图像样本的图片质量评分标签,与所述第二图片质量分数进行比较,若分数差值大于预设值,则将其判定为困难样本,对其进行人工打分并更新对应的图片质量评分标签;若分数差值小于预设值,则将对应的图片质量评分标签替换为第二图片质量分数,形成第二训练数据集。
步骤S13048,将所述第一训练数据集和所述第二训练数据集合并,并对所述合并后的训练数据集进行图片镜像操作得到镜像图片数据集,所述镜像图片质量评分标签与对应的原图片相同;合入镜像图片数据集,得到第三训练数据集。
步骤S13049,以所述第一深度学习模型为预训练模型,以所述第三训练数据集图片为输入对深度学习模型进行增量训练得到图片质量评分深度学习模型。
然后根据所述融合图像序列,对所述融合图像序列中的图片进行图像尺寸变换,使其与所述深度学习模型输入图片尺寸相同;
接着,加载预设深度学习模型,以所述尺度变化后的图片为输入进行前向推理得到图片质量特征向量;
最后,根据图片质量特征向量,使用预设的图片质量评分公式,获取图片质量评分结果。
本实施例中,对图片质量进行评分以后滤除低质量图片,然后结合上述人体区域位置,得到人体步态图片序列,针对步骤S140,获取目标人体步态图片序列,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,然后使用3D卷积神经网络进行特征提取得到人体步态特征向量,具体可以包括以下内容。
步骤S1401,根据所述图片质量评分结果,对所述融合图像序列进行筛选,保留质量评分符合预设要求的图片。
步骤S1402,获取预设数量的图片,根据所述质量评分结果进行排序得到目标人体步态图片序列。
步骤S1403,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值。
如此,便能最大程度排除人体着装、发型、配饰以及背景环境等干扰,使人体步态特征更为突出。
步骤S1404,根据所述人体步态二值化图片序列,采用第一特征提取层进行图片处理,得到多个通道信息,然后对多个通道分别处理。
步骤S1405,将所述分别处理后的多个通道信息重新组合,得到最终特征描述信息,所述特征描述信息表示3D卷积神经网络对图片特征的先验知识。
步骤S1406,根据所述特征描述信息,使用3D卷积和3D池化操作进行下采样并将得到的下采样特征图进行全连接操作得到预设维度的人体步态特征向量。
最后,根据获取的人体步态特征向量,与云服务器中存储的人体步态特征向量进行比对,在本实施例中,可以采用计算特征向量间的余弦距离作为人体步态特征相似度比对的依据,取相似度最大值最为最佳匹配结果,与预设相似度阈值进行比较,若大于阈值则验证通过。
可以理解,基于上述内容,便能通过人体步态验证人员身份信息,从而识别非法人员闯入,提高目标监控区域的安全性。
在上述的基础上,结合图3,为本发明实施例提供的基于人工智能的人体步态验证装置的功能模块示意图,包括以下模块。
获取模块310,用于获取所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,并对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列;
确定模块320,用于根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
评价模块330,用于使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
提取模块340,用于获取目标人体步态图片序列,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值,最后根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
验证模块350,用于根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,提取模块340可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上提取模块340的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。
本发明实施例还提供了一种云服务器,云服务器可以是单台服务器,也可以是由多台服务器组成的服务器集群,图4示出了本发明实施例提供的单台云服务器100的结构示意框图,如图4所示,云服务器100可包括处理器130、机器可读存储介质150、总线140、网络接口110以及深度学习加速芯片120。
在具体实现过程中,至少一个处理器130执行所述机器可读存储介质150存储的计算机执行指令,使得处理器130可以执行如上方法实施例的基于人工智能人体步态验证方法,其中,处理器130、机器可读存储介质150以及网络接口110通过总线140连接,处理器130可以用于控制网络接口110的收发动作,从而可以与前述的人体步态验证终端200通过网络进行数据收发,深度学习加速芯片120实现深度学习网络前线推理计算的并行处理,加快计算速度。
处理器130的具体实现过程可参见上述基于人工智能人体步态验证方法执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图4所示的实施例中,应理解,处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
机器可读存储介质150可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
总线140可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线140可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
深度学习加速芯片120可以是通用图形处理器(Graphics Processing Unit,GPU),还可以是其他具备数据并行计算能力的专用芯片专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)或者商业公司出品的成熟商用加速芯片。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人工智能的人体步态验证方法,其特征在于,应用于云服务器,所述云服务器与多个人体步态验证终端通信连接,所述方法包括:
获取所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,所述第一连续视频图像数据流包括可见光视频图像,所述第二连续视频图像数据流包括热成像视频图像;
对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列,所述第一图像序列为可见光图像序列,所述第二图像序列为热成像图像序列;
根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
获取目标人体步态图片序列;
使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值;
根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
2.根据权利要求1所述的一种基于人工智能的人体步态验证方法,其特征在于,所述根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置的步骤,包括:
根据所述第二图像数据流以及所述目标监控区域的热辐射特性变化,确定具有第一热辐射特性信息的第一热成像信息和具有第二热辐射特性信息的第二热成像信息;
根据所述第一热成像信息判断是否有热辐射扰动,若存在热辐射扰动,则获取人体热辐射特征及所述人体热辐射特征对应的热成像信息;
根据所述人体热辐射特征对所述第二热成像信息进行人体热辐射特征匹配,得到具有第一热辐射特征匹配信息的第一热成像匹配结果,和具有第二热辐射特征匹配信息的第二热成像匹配结果,所述第一热成像匹配结果用于表示热辐射特征匹配度大于第一预设匹配度的热成像匹配结果,所述第二热成像匹配结果用于表示热辐射特征匹配度小于第二预设匹配度的热成像匹配结果;
获取所述第一特征匹配结果并组成第一匹配结果集合,以及所述第二特征匹配结果并组成第二匹配结果集合;
若所述第一匹配结果集合的特征匹配参数值域区间大小大于所述第二匹配结果集合的特征匹配参数值域大小,则将所述第一预设匹配度作为人体热辐射特征匹配阈值;
若所述第二匹配结果集合的特征匹配参数值域区间大小大于所述第一匹配结果集合的特征匹配参数值域大小,则将所述第二预设匹配度作为人体热辐射特征匹配阈值;
将所述人体热辐射特征匹配度大于所述人体热辐射特征匹配阈值且与所述人体热辐射特征对应的热成像信息相匹配的区域确定为候选人体区域,根据确定的候选人体区域,将第二热成像信息分割为多个待定区域,并根据所述分割的多个待定区域的热辐射特征与预设阈值之间的关系,将满足条件的候选人体区域确定为人体区域位置。
3.根据权利要求2所述的一种基于人工智能的人体步态验证方法,其特征在于,所述根据所述第一热成像信息判断是否有热辐射扰动的步骤,包括:
获取所述目标监控区域环境的热辐射信息参数值,所述热辐射信息参数值表示所述目标监控区域的热辐射信号强度大小;
获取所述目标监控区域内预设的多个关键点的热辐射信号强度值,并对所述预设的多个关键点的热辐射信号强度值进行拟合得到热辐射信号强度特征拟合公式;
获取感应基准因子表示在所述目标监控区域内预设的多个关键区域的热辐射信号强度的平均强度值,通过所述热辐射信号强度特征拟合公式得到热辐射信号的感应基准因子;
计算当前目标监控区域内热辐射信号强度平均值,并与所述热辐射信号的感应基准因子比较,若所述热辐射信号强度平均值与所述热辐射信号的感应基准因子的差值大于第一差值或小于第二差值,则确定存在有热辐射扰动。
4.根据权利要求1所述的一种基于人工智能的人体步态验证方法,其特征在于,所述使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分的步骤,包括:
获取所述第一连续视频图像数据流和所述第二连续视频图像数据流对应的第一视频参数和第二视频参数,所述第一视频参数和第二视频参数包括视频帧率,视场大小以及分辨率;
结合所述第一视频参数和第二视频参数对所述第一图像序列和第二图像序列进行图片校准得到所述第一图像序列和第二图像序列的图片关联关系;
根据所述图片关联关系以及所述确定的人体区域位置,截取第一图像序列和第二图像序列的人体区域图像并对图像进行融合得到可见光和热辐射融合图像序列;
根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果。
5.根据权利要求4所述的一种基于人工智能的人体步态验证方法,其特征在于,所述根据所述融合图像序列,使用深度学习模型对图片进行前向推理得到图片质量评分结果的步骤,包括:
根据所述融合图像序列,对所述融合图像序列中的图片进行图像尺寸变换,使其与所述深度学习模型输入图片尺寸相同;
加载预设深度学习模型,以所述尺度变化后的图片为输入进行前向推理得到图片质量特征向量;
根据图片质量特征向量,使用预设的图片质量评分公式,获取图片质量评分结果。
6.根据权利要求4所述的一种基于人工智能的人体步态验证方法,其特征在于,所述图片质量评分深度学习模型的训练步骤,包括:
获取第一图像集合,所述第一图像集合中包含多个图像样本,所述多个图像样本包括各种不同图片质量的图像;
获取所述第一图像数据集中每个图像样本的质量标签,所述质量标签包括对应所述图像样本的图片质量评分以及不同维度图像质量权重因子,所述不同维度图像质量权重因子表示影响图片质量评分的不同维度所占的权重大小;
对所述图像数据集的影响图片质量评分的不同维度进行人工打分得到所述不同维度分数,然后结合所述图像质量权重因子得到人工评定图片质量的加权平均分数;
根据图片质量的加权平均分数对所述图片质量标签进行更新,得到第一训练数据集;
以所述第一训练数据集的图像样本为输入,以所述更新后的图片质量分数为输出,对深度学习网络进行训练,得到第一深度学习模型;
利用训练完成的第一深度学习模型对第二图像集合中的每个第二图像样本进行处理,得到所述第二图像集合中的每个第二图像样本的第二图片质量分数;
获取所述第二图像集合中的每个第二图像样本的图片质量评分标签,与所述第二图片质量分数进行比较,若分数差值大于预设值,则将其判定为困难样本,对其进行人工打分并更新对应的图片质量评分标签;若分数差值小于预设值,则将对应的图片质量评分标签替换为第二图片质量分数,形成第二训练数据集;
将所述第一训练数据集和所述第二训练数据集合并,并对所述合并后的训练数据集进行图片镜像操作得到镜像图片数据集,所述镜像图片质量评分标签与对应的原图片相同;合入镜像图片数据集,得到第三训练数据集;
以所述第一深度学习模型为预训练模型,以所述第三训练数据集图片为输入对深度学习模型进行增量训练得到图片质量评分深度学习模型。
7.根据权利要求1所述的一种基于人工智能的人体步态验证方法,其特征在于,所述获取目标人体步态图片序列的步骤,包括:
根据所述图片质量评分结果,对所述融合图像序列进行筛选,保留质量评分符合预设要求的图片;
获取预设数量的图片,根据所述质量评分结果进行排序得到目标人体步态图片序列。
8.根据权利要求1所述的一种基于人工智能的人体步态验证方法,其特征在于,所述使用3D卷积神经网络进行特征提取得到人体步态特征向量的步骤,包括:
根据所述人体步态二值化图片序列,采用第一特征提取层进行图片处理,得到多个通道信息,然后对多个通道分别处理;
将所述分别处理后的多个通道信息重新组合,得到最终特征描述信息,所述特征描述信息表示3D卷积神经网络对图片特征的先验知识;
根据所述特征描述信息,使用3D卷积和3D池化操作进行下采样并将得到的下采样特征图进行全连接操作得到预设维度的人体步态特征向量。
9.一种基于人工智能的人体步态验证装置,其特征在于,应用于云服务器,所述云服务器与多个人体步态验证终端通信连接,所述装置包括:
获取模块,用于获取所述人体步态验证终端在检测到人员出现时采集到的目标监控区域在预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流,并对所述预设时间段内的第一连续视频图像数据流和第二连续视频图像数据流进行视频解码和预处理,得到第一图像序列和第二图像序列;
确定模块,用于根据所述第二图像序列确定与所述第二图像序列中图像的人体区域位置以及从第一图像序列中确定与所述第二图像序列中图像的人体区域存在对应关系的对应区域,其中,所述人体区域之外的区域为背景区域;
评价模块,用于使用深度学习模型对所述第一图像序列和第二图像序列进行图片质量评分,得到图片质量评分结果;
提取模块,用于获取目标人体步态图片序列,使用预设模型对所述目标人体步态图片序列进行人体检测和分割,得到人体步态二值化图片序列,其中,所述人体步态二值化图片序列包含二值化图片,所述二值化图片人体部分像素值为最大取值,非人体部分像素值为最小值,最后根据所述人体步态二值化图片序列,使用3D卷积神经网络进行特征提取得到人体步态特征向量,其中,所述人体步态特征向量反映人体步态抽象特征和光流特征;
验证模块,用于根据所述人体步态特征向量,与人体步态特征向量数据库中的特征向量进行匹配得到所述人体步态验证结果。
10.一种云服务器,其特征在于,包括深度学习并行计算加速芯片、处理器、机器可读存储介质和网络接口,所述深度学习并行计算加速芯片、所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述深度学习并行计算加速芯片用于深度学习模型和3D卷积神经网络前向推理计算加速、所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行权利要求1-8中任意一项所述的基于人工智能的人体步态验证方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773136.6A CN113536267A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能的人体步态验证方法和云服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773136.6A CN113536267A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能的人体步态验证方法和云服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113536267A true CN113536267A (zh) | 2021-10-22 |
Family
ID=78127151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110773136.6A Withdrawn CN113536267A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能的人体步态验证方法和云服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536267A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114760074A (zh) * | 2022-06-13 | 2022-07-15 | 中广(绍兴上虞)有线信息网络有限公司 | 一种基于大数据安全的身份认证方法及系统 |
CN114821814A (zh) * | 2022-06-27 | 2022-07-29 | 中建安装集团有限公司 | 一种融合可见光、红外、结构光的步态识别方法 |
CN117078976A (zh) * | 2023-10-16 | 2023-11-17 | 华南师范大学 | 动作评分方法、装置、计算机设备以及存储介质 |
-
2021
- 2021-07-08 CN CN202110773136.6A patent/CN113536267A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114760074A (zh) * | 2022-06-13 | 2022-07-15 | 中广(绍兴上虞)有线信息网络有限公司 | 一种基于大数据安全的身份认证方法及系统 |
CN114760074B (zh) * | 2022-06-13 | 2022-09-02 | 中广(绍兴上虞)有线信息网络有限公司 | 一种基于大数据安全的身份认证方法及系统 |
CN114821814A (zh) * | 2022-06-27 | 2022-07-29 | 中建安装集团有限公司 | 一种融合可见光、红外、结构光的步态识别方法 |
CN117078976A (zh) * | 2023-10-16 | 2023-11-17 | 华南师范大学 | 动作评分方法、装置、计算机设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113536267A (zh) | 一种基于人工智能的人体步态验证方法和云服务器 | |
US10719954B2 (en) | Method and electronic device for extracting a center position of an infrared spot | |
KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
CN108416291B (zh) | 人脸检测识别方法、装置和系统 | |
CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
KR20210142177A (ko) | 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리 | |
US10311583B2 (en) | Eye motion detection method, program, program storage medium, and eye motion detection device | |
CN110930446B (zh) | 一种眼底图像定量分析的前置处理方法及存储设备 | |
CN109661668B (zh) | 用于虹膜识别的图像处理方法和系统 | |
CN111080577A (zh) | 眼底影像质量评估方法和系统、设备及存储介质 | |
CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
CN112396011B (zh) | 一种基于视频图像心率检测及活体检测的人脸识别系统 | |
CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
Monwar et al. | Pain recognition using artificial neural network | |
Saif et al. | Robust drowsiness detection for vehicle driver using deep convolutional neural network | |
CN111105368B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
Li et al. | Detecting and tracking human faces in videos | |
CN114745592A (zh) | 基于人脸识别的弹幕消息的显示方法及系统、设备及介质 | |
CN114565531A (zh) | 一种图像修复方法、装置、设备和介质 | |
CN112907206B (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
WO2022120532A1 (en) | Presentation attack detection | |
Amjed et al. | Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database | |
CN112907454B (zh) | 获取图像的方法、装置、计算机设备和存储介质 | |
Mariappan et al. | A labVIEW design for frontal and non-frontal human face detection system in complex background |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230525 Address after: 520, 1st Floor, Building 7, No. 666 Ganggang Road, Qiandaohu Town, Chun'an County, Hangzhou City, Zhejiang Province, 311700 Applicant after: Hangzhou Yinpei Technology Co.,Ltd. Address before: 271000 room 1206-1, Huijing International Plaza, Congdian street, Daiyue district, Tai'an City, Shandong Province Applicant before: Taian Yujie Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211022 |
|
WW01 | Invention patent application withdrawn after publication |