CN112784740A - 步态数据的采集与标注方法及应用 - Google Patents

步态数据的采集与标注方法及应用 Download PDF

Info

Publication number
CN112784740A
CN112784740A CN202110084467.9A CN202110084467A CN112784740A CN 112784740 A CN112784740 A CN 112784740A CN 202110084467 A CN202110084467 A CN 202110084467A CN 112784740 A CN112784740 A CN 112784740A
Authority
CN
China
Prior art keywords
gait
face
feature information
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110084467.9A
Other languages
English (en)
Other versions
CN112784740B (zh
Inventor
刘民
王茜
李榕
黄永祯
周瑞凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Criminal Investigation Brigade Of Shanghai Public Security Bureau
Watrix Technology Beijing Co Ltd
Original Assignee
Criminal Investigation Brigade Of Shanghai Public Security Bureau
Watrix Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Criminal Investigation Brigade Of Shanghai Public Security Bureau, Watrix Technology Beijing Co Ltd filed Critical Criminal Investigation Brigade Of Shanghai Public Security Bureau
Priority to CN202110084467.9A priority Critical patent/CN112784740B/zh
Publication of CN112784740A publication Critical patent/CN112784740A/zh
Application granted granted Critical
Publication of CN112784740B publication Critical patent/CN112784740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Abstract

本发明公开了步态数据的采集与标注方法及应用,涉及生物特征识别技术领域。所述方法包括步骤:获取目标监控区域中的视频采集单元采集的图像数据;通过预设的步态人脸识别模型识别前述图像数据中的步态特征信息和人脸特征信息;所述步态人脸识别模型被配置为,在识别步态特征信息时优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时优先识别近处的人脸图像;判断前述识别的步态特征信息和人脸特征信息是否符合预设的采集标准,对符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储。本发明提高了步态数据的采集和标注效率,尤其适用于对小范围区域内的目标人员实现快速准确的分析和识别。

Description

步态数据的采集与标注方法及应用
技术领域
本发明涉及生物特征识别技术领域,尤其涉及一种步态数据的采集与标注方法及应用。
背景技术
在安防技术领域中,视频监控具有悠久的历史。随着智能化技术的发展,有效地提高了监控系统本身的功能和效率。其中,通过采集并识别生物特征中的人脸图像后,比对人脸图像数据库,从而确定检查是否通过或者确定目标人员的行动路线是较为常用的技术方案。然而,现有的人脸比对、以图搜图方法有许多局限性,存在大量背景、光照、角度、距离等因素导致无法正确、准确和精确的采集人脸特征信息并进行身份识别的问题。
步态是指身体体型(从头到脚整体的生理特征,包括头型、躯干、腿型等)和行走姿态,步态分析是对人体行走时的肢体和关节活动进行运动学观察和动力学分析,提供一系列时间、几何、力学等参数值和曲线,从而对人体步态功能做客观、定量的评定。步态信息具有高防伪、跨穿着、跨视角等特征,尤其适合25米以外的人员特征捕捉,能很好弥补人脸无法长距离获取的缺陷。基于上述背景,现有技术中提供了各种结合步态特征和人脸特征的目标识别方案以提高人员身份识别准确率和安全检查效率。以中国申请CN 201611091654.5为例,其提供了一种基于动态人脸识别和步态识别融合的智能身份识别系统,包括:至少一个动态人脸采集模块,用于采集经过所述智能身份识别系统的人员的脸部特征数据;至少一个步态采集模块,用于采集经过所述智能身份识别系统的人员的步态特征数据;和数据处理单元,用于将所述动态人脸采集模块和所述步态采集模块采集到的所述脸部特征数据和所述步态特征数据与预先建立的数据库中的人脸和步态信息进行比较以生成识别结果;其中,当所述识别结果显示所述脸部特征数据和所述步态特征数据与数据库中的指定人脸和步态信息的相似度超过预定阈值时,则所述识别结果被确定为可匹配结果,并且将所述识别结果传送至操作人员。再比如中国专利申请CN201910434698 .0,其公开了一种基于步态识别与人脸识别建立特征库的方法:首先获取监控视频,从监控视频中筛选出每一个行人特征的监控图像;然后提取行人的人脸特征,并确定行人特征的监控图像在监控视频中的出现时间;再通过监控图像在监控视频中的出现时间、以及预设时间段,确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频,提取步态特征视频中行人的步态特征;最后针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征,建立特征库。上述技术方案通过融合动态人脸识别和步态识别,提高了识别的效率、精度和以及应用的便捷性。
由于需要同时进行人脸数据和步态数据的采集、分析和识别,对步态人脸识别模型提出了更高的要求。然而,现有的步态人脸识别模型在识别步态特征和人脸特征时,通常是无差别的从监控视频中筛选出每一个行人的图像数据后在提取人脸特征信息和步态特征信息,分析和识别效率难以满足特定人员的快速准确识别需求。
综上所述,如何提供一种能够对小范围区域内的目标人员实现快速准确的分析和识别的步态数据的采集与标注方法是亟需解决的技术问题。
发明内容
本发明的目的在于:克服现有技术的不足,提供了一种步态数据的采集与标注方法及应用。本发明提供的步态数据的采集与标注方法,步态人脸识别模型在识别步态特征信息时能够优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时能够优先识别近处的人脸图像,同时能够对识别的符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储,使得步态完整且干扰少的步态图像、近处清晰的人脸图像能够被优先采集和识别,采集和标注效率高,尤其适用于对小范围区域内的目标人员实现快速准确的分析和识别。
为实现上述目标,本发明提供了如下技术方案:
一种步态数据的采集与标注方法,包括步骤:
获取目标监控区域中的视频采集单元采集的图像数据;
通过预设的步态人脸识别模型识别前述图像数据中的步态特征信息和人脸特征信息;所述步态人脸识别模型被配置为,在识别步态特征信息时优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时优先识别近处的人脸图像;
判断前述识别的步态特征信息和人脸特征信息是否符合预设的采集标准,对符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储;其中,将符合采集标准的同一目标人员的步态特征信息和人脸特征信息进行对应存储。
进一步,所述步态人脸识别模型被配置为按如下步骤优先识别步态更完整且干扰更少的步态图像:
根据步态人脸识别模型的输入图像尺寸要求,对采集的包含步态图像的图像数据进行处理,获取包含步态图像的矩形的标准尺寸图像;
当前述标准尺寸图像包含的步态图像为N个时,其中N为大于等于2的整数,对于每个步态图像,计算该步态图像距离标准尺寸图像的四边的距离值Li,其中,i=1,……,4,获取Li中最小的距离值计为Lmin作为完整判断指标;以及计算该步态图像距离其它步态图像的距离值Mj,其中,j=1,……,N-1,获取Mj中最小的距离值Mmin作为干扰判断指标;
对于每个步态图像,基于预设的权重系数,将前述完整判断指标Lmin与干扰判断指标Mmin进行加权平均后得到优先级指标K,所述K=(Lmin*a1+Mmin*a2)/2,其中,a1表示完整判定指标的权重系数,a2表示干扰判断指标的权重系数;
按照优先级识别K值的大小对前述标准尺寸图像中的N个步态图像进行排序,在识别步态特征时,优先识别K值更大的步态图像。
进一步,所述完整判定指标的权重系数a1大于干扰判断指标的权重系数a2;
以及,对于K值相同的多个步态图像,优先识别Lmin>0且Mmin>0的步态图像,然后识别Lmin>0的步态图像,随后识别Mmin>0步态图像。
进一步,所述步态人脸识别模型被配置为按如下步骤优先识别近处的人脸图像:
根据步态人脸识别模型的输入图像尺寸要求,对采集的包含人脸图像的图像数据进行处理,获取包含人脸图像的矩形的标准尺寸图像;
当前述标准尺寸图像包含的人脸图像为S个时,其中S为大于等于2的整数,对于每个人脸图像, 计算该人脸图像占整个标准尺寸图像的占图面积比例;
按照占图面积比例的大小对前述标准尺寸图像中的S个人脸图像进行排序,在识别人脸特征时,优先识别占图面积比例更大的人脸图像。
进一步,还包括设置目标监控区域的步骤,通过采集用户的自主选择来设置目标监控区域,或者基于系统的默认设置来设置目标监控区域。
进一步,所述视频采集单元为具有自动变频调焦功能的步态人脸抓拍相机,所述步态人脸抓拍相机拍摄图像数据时被配置为:
根据步态人脸抓拍相机中拍摄的视频图像中人员数量控制摄像头自动变焦;
以及,根据预设的人员数量与图像分辨率等级的映射关系,调整拍摄的图像分辨率等级,当拍摄的视野中人员数量增多或即将增多时,调高图像分辨率。
进一步,进行步态特征信息和/或人脸特征信息标注和存储时,
当只识别到符合采集标准的步态特征信息时,对该步态特征信息进行单独标注并存储;
当只识别到符合采集标准的人脸特征信息时,标注并存储该人脸特征信息,并自动跟踪该人脸特征信息,直到找到与该人脸特征信息对应的同一目标人员的步态特征信息,将该步态特征信息与前述人脸特征信息对应存储。
进一步,所述步态特征信息的采集标准为,从头到脚的全身特征出现的范围大于等于90%。
本发明还提供了一种建立步态数据库的方法,包括如下步骤:
接收步态数据,所述步态数据为通过前述任一项所述方法获取的步态数据;
将步态数据中的步态特征信息、人脸特征信息与其他身份信息相关联;
将关联后的步态特征信息、人脸特征信息与其他身份信息上传至步态数据库。
本发明还提供了一种总步态数据底库系统,包括至少一个采集点,每个采集点对应有一个步态数据库,所述步态数据库通过前述的方法建立;各个采集点的步态数据库相互独立,且通过步态识别互联系统进行网络互连构成总步态数据底库;
所述总步态数据底库被配置为:根据各个采集点的步态数据库的步态数据更新信息,对新接收的步态数据进行比对去重后进行底库数据更新;和/或,
通过底库管理模块创建和导入人员或人群的步态数据库,并将底库人员配置到关联的步态报警库中;和/或,
获取步态识别互联系统设置的需要报警的人员或人群信息,当视频图像中的人员或人群的步态特征与前述需要报警的人员或人群的步态特征相似度的阈值超过设定阈值时,输出提醒消息。
本发明由于采用以上技术方案,与现有技术相比,作为举例,具有以下的优点和积极效果:本发明提出的步态数据的采集与标注方法,步态人脸识别模型在识别步态特征信息时能够优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时能够优先识别近处的人脸图像,同时能够对识别的符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储,使得步态完整且干扰少的步态图像、近处清晰的人脸图像能够被优先采集和识别,采集和标注效率高,尤其适用于对小范围区域内的目标人员实现快速准确的分析和识别。
另一方面,可以自动选择不同的监控区域。区别于以往视频系统先要加载地图图层导致的易卡顿、速度慢等问题,仅先向用户展示可链接的探头设备(监控区域),用户可以通过简单勾选所需的探头,然后再触发信息加载和传输。使得系统负荷大大减低,相应速度提高,进而提高识别效率。
另一方面,可以自动根据所属摄像头拍摄的视频图像内人员数量从而控制摄像头自动变焦,调整分辨率级别,人员数量越多,自动调焦使得视频图像分辨率越高。
另一方面,可以基于采集点采集的步态数据建立步态数据库,进一步基于多个采集点的步态数据库构建一个总步态数据底库。所述总步态数据底库可以根据各个采集点的步态数据库实时更新,在增加新的步态数据的同时自动检测并剔除其中的重复数据,使得总步态数据底库最精简、最高效的运行。所述总步态数据底库还可以与其他的安防数据库、安防系统等进行网络互连以实现信息交互。
附图说明
图1为本发明实施例提供的步态数据的采集与标注方法的流程图。
图2为本发明实施例提供的识别步态特征信息的流程示意图。
图3为本发明实施例提供的优先识别近处人脸图像的工作原理图。
图4为本发明实施例提供的总步态数据底库的系统结构图。
附图标记说明:
近处人脸F1,较远处人脸F2,更远处人脸F3。
具体实施方式
以下结合附图和具体实施例对本发明公开的步态数据的采集与标注方法及应用作进一步详细说明。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中,各附图所出现的相同标号代表相同的特征或者部件,可应用于不同实施例中。因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需说明的是,本说明书所附图中所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响发明所能产生的功效及所能达成的目的下,均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现,其中可以不按所述的或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
实施例
参见图1所示,为本发明提供的一种步态数据的采集与标注方法。所述方法包括如下步骤:
,获取目标监控区域中的视频采集单元采集的图像数据。
监控区域中安装有探头设备作为视频采集单元以拍摄监控视频,所述目标监控区域是指用户希望获取的监控视频所对应的一个或多个监控区域——比如某些小范围区域。目标监控区域也是进行步态数据采集和分析识别的区域。
所述目标监控区域,可以由工作人员通过监控区域选择界面进行手动选择;也可以基于预设选择模型进行自动选择——作为举例而非而非限制,比如所述预设选择模型被配置为根据前一次选择的目标监控区域来设置下一次目标监控区域,或者所述预设选择模型被配置为基于系统的默认设置来选择目标监控区域。
本实施例中,在S100步骤之前,还可以包括设置目标监控区域的步骤。具体的,可以通过采集用户的自主选择来设置目标监控区域,或者基于系统的默认设置来设置目标监控区域。如此,避免每一个探头设备都上传监控视频,区别于以往视频系统先要加载地图图层导致的易卡顿、速度慢等问题。进一步,可以通过操作界面向用户展示可链接的探头设备(监控区域),用户通过简单勾选所需的探头,然后再触发信息加载和传输。这样,使得系统负荷大大减低,相应速度提高,进而可以提高识别效率。
,通过预设的步态人脸识别模型识别前述图像数据中的步态特征信息和人脸特征信息;所述步态人脸识别模型被配置为,在识别步态特征信息时优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时优先识别近处的人脸图像。
本实施例中,所述步态人脸识别模型可以配置在视频采集单元中,使得视频采集单元在拍摄监控图像数据时能够同时提取、分析和识别人脸和步态特征;也可以配置在与视频采集单元关联的服务器中,服务器接收视频采集单元采集的图像数据后,通过服务器中的步态人脸识别模型提取、分析和识别人脸和步态特征。
优选的,所述的视频采集单元中配置有步态人脸识别模型,使得在拍摄图像时可同时提取、分析和识别人脸特征信息和步态特征信息,并能够将有用的步态人脸特征数据结构化并存储。具体设置时,所述视频采集单元可以为具有自动变频调焦功能的步态人脸抓拍相机,所述步态人脸抓拍相机拍摄图像数据时被配置为:根据步态人脸抓拍相机中拍摄的视频图像中人员数量控制摄像头自动变焦;以及,根据预设的人员数量与图像分辨率等级的映射关系,调整拍摄的图像分辨率等级,当拍摄的视野中人员数量增多或即将增多时,调高图像分辨率。
如此,能够自动根据摄像头拍摄的视频图像内的人员数量控制摄像头自动变焦,调整分辨率级别。在人员数量增多时自动调焦使得视频图像分辨率升高,在人员数量减小时则自动调焦使得视频图像分辨率降低,通过上述自适应调焦,达到降低数据处理量、提高处理效率的目的。
优选的,所述视频采集单元的步态人脸抓拍相机的内部嵌入有步态人脸识别系统,步态人脸识别系统包含前述步态人脸识别模型算法,可同时提取、分析和识别人脸和步态特征,并将有用的步态人脸特征数据结构化并存储。
所述步态人脸识别模型被配置为:在识别步态特征信息时优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时优先识别近处的人脸图像。
具体的,参见图2所示,在识别步态特征时,可以按如下步骤优先识别步态更完整且干扰更少的步态图像:
,根据步态人脸识别模型的输入图像尺寸要求,对采集的包含步态图像的图像数据进行处理,获取包含步态图像的矩形的标准尺寸图像。
所述标准尺寸图像的尺寸等于输入图像尺寸要求,作为举例而非限制,比如摄像头采集的原始图像数据的尺寸为1280*720像素(长*宽),输入图像尺寸要求为640*360(长*宽),则需要对1280x720像素的原始图像数据按比例1/2进行缩放处理后,得到符合输入图像尺寸要求的标准尺寸图像640*360(长*宽)。
,判断当前述标准尺寸图像包含的步态图像为多个时,假设包含N个步态图像,其中N为大于等于2的整数,则对于N个步态图像中的每个步态图像,计算该步态图像距离标准尺寸图像的四边的距离值Li,其中,i=1,……,4,获取Li中最小的距离值计为Lmin作为完整判断指标;以及计算该步态图像距离其它步态图像的距离值Mj,其中,j=1,……,N-1,获取Mj中最小的距离值Mmin作为干扰判断指标。
可以理解的是,如果前述标准尺寸图像仅包含1个步态图像,则可以直接进行步态特征识别。
所述步态图像为包含一个人员的步态信息的最小矩形区域,可以对应有一个矩形边框,矩形边框中的图像区域即为需要识别的步态图像。
作为举例而非限制,比如某个标准尺寸图像包含的步态图像为2个。对于第1个步态图像,获取该步态图像的矩形边框在标准尺寸图像中的位置信息,然后基于前述矩形边框的位置信息,分别计算矩形边框的四边(包括左侧边aa1、右侧边bb1、上侧边cc1和下侧边dd1)距离标准尺寸图像的四边(包括左侧边AA、右侧边BB、上侧边CC和下侧边DD)的距离值Li,i=1,……,4;具体的,L1为 aa1边与AA边的距离,L2为 bb1边与BB边的距离,L3为 cc1边与CC边的距离,L4为 dd1边与DD边的距离, 完整判断指标 Lmin=MIN(L1, L2, L3, L4)。同理的,对于第2个步态图像,获取该步态图像的矩形边框在标准尺寸图像中的位置信息,然后基于前述矩形边框的位置信息,分别计算矩形边框的四边(包括左侧边aa2、右侧边bb2、上侧边cc2和下侧边dd2)距离标准尺寸图像的四边(包括左侧边AA、右侧边BB、上侧边CC和下侧边DD)的距离值Li,i=1,……,4;具体的,L1为 aa2边与AA边的距离,L2为 bb2边与BB边的距离,L3为 cc2边与CC边的距离,L4为 dd2边与DD边的距离, 完整判断指标 Lmin=MIN(L1,L2, L3, L4)。
步态图像距离其它步态图像的距离值Mj,优选的基于步态图像对应的矩形边框的中心点来计算,即任意两个步态图像的距离值等于其对应的矩形边框的中心点之间的距离。
,对于每个步态图像,基于预设的权重系数,将前述完整判断指标Lmin与干扰判断指标Mmin进行加权平均后得到优先级指标K,所述K=(Lmin*a1+Mmin*a2)/2,其中,a1表示完整判定指标的权重系数,a2表示干扰判断指标的权重系数。
所述权重系数a1和a2的值可以系统自动设置,也可以由用户进行个性化设置,在此不做限制。优选的,所述权重系数a1和a2均为大于0小于1的数,且a1+a2=1。
,按照优先级识别K值的大小对前述标准尺寸图像中的N个步态图像进行排序,在识别步态特征时,优先识别K值更大的步态图像。
进一步优选的,在设置权重系数系数,使完整判定指标的权重系数a1大于干扰判断指标的权重系数a2。以及,在S214步骤中,对于K值相同的多个步态图像,可以优先识别Lmin>0且Mmin>0的步态图像,然后识别Lmin>0的步态图像,随后识别Mmin>0步态图像。
根据监控摄像头的光学原理,同一被摄物体在摄像机ccd(charge coupleddevice,电荷耦合器件)靶面上成像的尺度(长/宽)和被摄物体至镜头的距离成反比,即其在被拍摄的视频画面中的大小,遵循与物体至镜头的距离成反比的原理。这种“近大远小”的现象也是摄像机的内在原理。参见图3所示,示例了采用人脸作为检测目标时,在监控图像中显示的3张人脸,分别为距离为L1的大尺寸近处人脸F1,距离为L2的中尺寸较远处人脸F2和距离为L3的小尺寸更远处人脸F3,三者距离摄像头的距离依次增大。通常来说,同一场景中,人脸越近,人脸特征相对更清晰和完整,也更利于人脸特征信息的采集。本实施例中,考虑到人脸采集和识别效率,优先识别近处的人脸图像。
具体的,在识别人脸特征时,可以按如下步骤优先识别近处的人脸图像:
,根据步态人脸识别模型的输入图像尺寸要求,对采集的包含人脸图像的图像数据进行处理,获取包含人脸图像的矩形的标准尺寸图像。
所述人脸图像为包含一个人员的人脸信息的最小矩形区域,可以对应有一个矩形边框,矩形边框中的图像区域即为需要识别的人脸图像。比如图3中的分别对应大尺寸近处人脸F1、中尺寸较远处人脸F2和小尺寸更远处人脸F3设置的矩形边框。
,当前述标准尺寸图像包含的人脸图像为S个时,其中S为大于等于2的整数,对于每个人脸图像, 计算该人脸图像占整个标准尺寸图像的占图面积比例。
作为举例而非限制,参见图3所示,近处人脸F1的占图面积比例等于近处人脸F1对应的矩形边框的面积(像素长度*像素宽度)除以标准尺寸图像的尺寸大小(像素长度*像素宽度);较远处人脸F2的占图面积比例等于较远处人脸F2对应的矩形边框的面积(像素长度*像素宽度)除以标准尺寸图像的尺寸大小(像素长度*像素宽度);更远处人脸F3的占图面积比例等于更远处人脸F3对应的矩形边框的面积(像素长度*像素宽度)除以标准尺寸图像的尺寸大小(像素长度*像素宽度)。
显然,在标准尺寸图像的尺寸(面积)固定的情况下,占图面积比例越大,人脸越大,往往也意味着该人脸特征更完整清晰。
,按照占图面积比例的大小对前述标准尺寸图像中的S个人脸图像进行排序,在识别人脸特征时,优先识别占图面积比例更大的人脸图像。
比对和判断每个人脸的占图面积比例的大小,对于图3中的3张人脸,占图面积比例大小顺序为F1>F2>F3。优先分割并识别占图面积比例最大的人脸,即F1,然后依次识别F2和F3,识别顺序为F1>F2>F3。
,判断前述识别的步态特征信息和人脸特征信息是否符合预设的采集标准,对符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储;其中,将符合采集标准的同一目标人员的步态特征信息和人脸特征信息进行对应存储。
对于步态特征信息,所述步态特征信息的采集标准优选为:从头到脚的全身特征出现的范围大于等于90%。即,全身特征只要出现90%,即可准确识别目标。
对于人脸特征信息,可以通过如下方法判断是否符合采集标准:获取人脸图像的人脸特征项,所述人脸特征项包括但不限于:左眼、右眼、鼻尖、左嘴角、右嘴角;基于预设的全卷积网络算法分别得到左眼、右眼、鼻尖、左嘴角、右嘴角的评分,当所有人脸特征项的评分之和超过预设评分阈值时,判定该人脸图像满足人脸特征采集标准;否则判定该人脸特征不满足采集标准。
优选的,进行步态特征信息和/或人脸特征信息标注和存储时,当只识别到符合采集标准的步态特征信息时,对该步态特征信息进行单独标注并存储。当只识别到符合采集标准的人脸特征信息时,标注并存储该人脸特征信息,并自动跟踪该人脸特征信息,直到找到与该人脸特征信息对应的同一目标人员的步态特征信息,将该步态特征信息与前述人脸特征信息对应存储。当同时识别到符合采集标准的同一目标人员的步态和人脸信息时,进行标注并存储该步态与人脸信息。
在本发明的另一实施例中,在存储前述标注后的步态数据后,就可以形成步态数据库。具体的,建立步态数据库的步骤可以如下:接收前述步态数据,将步态数据中的步态特征信息、人脸特征信息与其他身份信息相关联,将关联后的步态特征信息、人脸特征信息与其他身份信息上传至步态数据库。
其中,步态数据库里的步态数据可以是通过采集点自动采集的,即采集点采集步态数据后再传输至步态数据库;也可以是直接由外部导入。外部导入的可以是带标注的步态数据特征,也可以是包含步态数据特征的视频图像或图片集。
所述其他身份信息,作为举例而非限制,比如可以包括身份证号、姓名、性别、年龄、手机号码、其他生物特征、学历等。根据需要,还可以包括用户的各类通信账号信息、消费信息等。
在本发明的另一实施例中,还可以将各个采集点的前述步态数据库通过网络互连,构成一个总步态数据底库系统。
参见图4所示,所述总步态数据底库系统,可以包括至少一个采集点,图4中示例了x个采集点;每个采集点对应有一个步态数据库,图4中包括X个步态数据库。所述x,X均为大于等于1的整数,X的值等于x的值。
各个采集点的步态数据库相互独立,且通过步态识别互联系统进行网络互连,构成总步态数据底库。
一方面,所述总步态数据底库可以根据各个采集点的步态数据库的步态数据更新信息,对新接收的步态数据进行比对去重后进行底库数据进行更新。
如此,使得总步态数据底库可以根据各个采集点的步态数据库实时更新;同时,在增加新的步态数据的同时,还可以自动检测并剔除其中的重复数据,使得总步态数据底库最精简、最高效的运行。
另一方面,通过底库管理模块创建和导入人员或人群的步态数据库,并将底库人员配置到关联的步态报警库中。
所述人员的信息可以设置为仅包括姓名、性别、身份证号、底库照片剪影等基本信息,使得数据设计简单且易于辨认。
再一方面,总步态数据底库还可以用于实时预警。
具体的,获取步态识别互联系统设置的需要报警的人员或人群信息,当视频图像中的人员或人群的步态特征与前述需要报警的人员或人群的步态特征相似度的阈值超过设定阈值时,输出提醒消息。
又一方面,总步态数据底库还可以与大屏出警系统进行通信,在判定采集点中出现目标人员或人群的步态特征时,通过声音报警和/或预警提示信息的方式提醒用户,从而实现报警提醒功能。
可选的,在系统完成设置后,可以将系统任务缩小隐藏至任务栏,仅通过任务栏图标显示其已启动正在工作中。
可选的,可以通过手机小程序关联监控室的实时大屏出警系统中,在出现目标人员时通过声音报警和预警提示信息的方式提醒用户查看预警详情,点开预警详情后,用户还可以打开小程序进行警情调阅处理。上述小程序设计可以尽量减小对大屏资源的占用,降低对其他的监控查看工具的影响。
其它技术特征参考在前实施例,在此不再赘述。
本发明提供的上述技术方案,能够对小范围区域内的目标人员实现快速准确的分析和识别,进一步还可以及时报警提醒。提高了步态数据采集的效率和准确率,节省了人力和时间成本。
在上面的描述中,本发明的公开内容并不旨在将其自身限于这些方面。而是,在本公开内容的目标保护范围内,各组件可以以任意数目选择性地且操作性地进行合并。另外,像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的,而不是排他性的或封闭性,除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义,除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释,除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (10)

1.一种步态数据的采集与标注方法,其特征在于包括步骤:
获取目标监控区域中的视频采集单元采集的图像数据;
通过预设的步态人脸识别模型识别前述图像数据中的步态特征信息和人脸特征信息;所述步态人脸识别模型被配置为,在识别步态特征信息时优先识别步态更完整且干扰更少的步态图像,在识别人脸特征信息时优先识别近处的人脸图像;
判断前述识别的步态特征信息和人脸特征信息是否符合预设的采集标准,对符合采集标准的步态特征信息和/或人脸特征信息进行标注和存储;其中,将符合采集标准的同一目标人员的步态特征信息和人脸特征信息进行对应存储。
2.根据权利要求1所述的方法,其特征在于:所述步态人脸识别模型被配置为按如下步骤优先识别步态更完整且干扰更少的步态图像:
根据步态人脸识别模型的输入图像尺寸要求,对采集的包含步态图像的图像数据进行处理,获取包含步态图像的矩形的标准尺寸图像;
当前述标准尺寸图像包含的步态图像为N个时,其中N为大于等于2的整数,对于每个步态图像,计算该步态图像距离标准尺寸图像的四边的距离值Li,其中,i=1,……,4,获取Li中最小的距离值计为Lmin作为完整判断指标;以及计算该步态图像距离其它步态图像的距离值Mj,其中,j=1,……,N-1,获取Mj中最小的距离值Mmin作为干扰判断指标;
对于每个步态图像,基于预设的权重系数,将前述完整判断指标Lmin与干扰判断指标Mmin进行加权平均后得到优先级指标K,所述K=(Lmin*a1+Mmin*a2)/2,其中,a1表示完整判定指标的权重系数,a2表示干扰判断指标的权重系数;
按照优先级识别K值的大小对前述标准尺寸图像中的N个步态图像进行排序,在识别步态特征时,优先识别K值更大的步态图像。
3.根据权利要求2所述的方法,其特征在于:所述完整判定指标的权重系数a1大于干扰判断指标的权重系数a2;
以及,对于K值相同的多个步态图像,优先识别Lmin>0且Mmin>0的步态图像,然后识别Lmin>0的步态图像,随后识别Mmin>0步态图像。
4.根据权利要求3所述的方法,其特征在于:所述步态人脸识别模型被配置为按如下步骤优先识别近处的人脸图像:
根据步态人脸识别模型的输入图像尺寸要求,对采集的包含人脸图像的图像数据进行处理,获取包含人脸图像的矩形的标准尺寸图像;
当前述标准尺寸图像包含的人脸图像为S个时,其中S为大于等于2的整数,对于每个人脸图像, 计算该人脸图像占整个标准尺寸图像的占图面积比例;
按照占图面积比例的大小对前述标准尺寸图像中的S个人脸图像进行排序,在识别人脸特征时,优先识别占图面积比例更大的人脸图像。
5.根据权利要求1-4中任一项所述的方法,其特征在于:还包括设置目标监控区域的步骤,通过采集用户的自主选择来设置目标监控区域,或者基于系统的默认设置来设置目标监控区域。
6.根据权利要求1-4中任一项所述的方法,其特征在于:所述视频采集单元为具有自动变频调焦功能的步态人脸抓拍相机,所述步态人脸抓拍相机拍摄图像数据时被配置为:
根据步态人脸抓拍相机中拍摄的视频图像中人员数量控制摄像头自动变焦;
以及,根据预设的人员数量与图像分辨率等级的映射关系,调整拍摄的图像分辨率等级,当拍摄的视野中人员数量增多或即将增多时,调高图像分辨率。
7.根据权利要求1-4中任一项所述的方法,其特征在于:进行步态特征信息和/或人脸特征信息标注和存储时,
当只识别到符合采集标准的步态特征信息时,对该步态特征信息进行单独标注并存储;
当只识别到符合采集标准的人脸特征信息时,标注并存储该人脸特征信息,并自动跟踪该人脸特征信息,直到找到与该人脸特征信息对应的同一目标人员的步态特征信息,将该步态特征信息与前述人脸特征信息对应存储。
8.根据权利要求7中任一项所述的方法,其特征在于:所述步态特征信息的采集标准为,从头到脚的全身特征出现的范围大于等于90%。
9.一种建立步态数据库的方法,其特征在于包括步骤:
接收步态数据,所述步态数据为通过权利要求1-8中任一项所述方法获取的步态数据;
将步态数据中的步态特征信息、人脸特征信息与其他身份信息相关联;
将关联后的步态特征信息、人脸特征信息与其他身份信息上传至步态数据库。
10.一种总步态数据底库系统,其特征在于:包括至少一个采集点,每个采集点对应有一个步态数据库,所述步态数据库通过权利要求9所述的方法建立;各个采集点的步态数据库相互独立,且通过步态识别互联系统进行网络互连构成总步态数据底库;
所述总步态数据底库被配置为:根据各个采集点的步态数据库的步态数据更新信息,对新接收的步态数据进行比对去重后进行底库数据更新;和/或,
通过底库管理模块创建和导入人员或人群的步态数据库,并将底库人员配置到关联的步态报警库中;和/或,
获取步态识别互联系统设置的需要报警的人员或人群信息,当视频图像中的人员或人群的步态特征与前述需要报警的人员或人群的步态特征的相似度的阈值超过设定阈值时,输出提醒消息。
CN202110084467.9A 2021-01-21 2021-01-21 步态数据的采集与标注方法及应用 Active CN112784740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110084467.9A CN112784740B (zh) 2021-01-21 2021-01-21 步态数据的采集与标注方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110084467.9A CN112784740B (zh) 2021-01-21 2021-01-21 步态数据的采集与标注方法及应用

Publications (2)

Publication Number Publication Date
CN112784740A true CN112784740A (zh) 2021-05-11
CN112784740B CN112784740B (zh) 2022-10-04

Family

ID=75758383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110084467.9A Active CN112784740B (zh) 2021-01-21 2021-01-21 步态数据的采集与标注方法及应用

Country Status (1)

Country Link
CN (1) CN112784740B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553965A (zh) * 2021-07-27 2021-10-26 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法
CN113625603A (zh) * 2021-07-27 2021-11-09 金鹏电子信息机器有限公司 基于大数据的安防监控管理系统及管理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110152726A1 (en) * 2009-12-18 2011-06-23 Paul Edward Cuddihy System and method for monitoring the gait characteristics of a group of individuals
CN104299003A (zh) * 2014-11-02 2015-01-21 天津理工大学 一种基于相似规则高斯核函数分类器的步态识别方法
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN109145742A (zh) * 2018-07-19 2019-01-04 银河水滴科技(北京)有限公司 一种行人识别方法及系统
US20190156113A1 (en) * 2017-11-22 2019-05-23 King Fahd University Of Petroleum And Minerals Multi-kernel fuzzy local gabor feature extraction method for automatic gait recognition
CN110175553A (zh) * 2019-05-23 2019-08-27 银河水滴科技(北京)有限公司 基于步态识别与人脸识别建立特征库的方法及装置
WO2019242330A1 (zh) * 2018-06-19 2019-12-26 华为技术有限公司 一种监控方法、识别方法、相关装置及系统
CN111104873A (zh) * 2019-12-02 2020-05-05 广州极泽科技有限公司 一种多图像处理装置协同的人脸识别方法、系统、设备和介质
CN111401167A (zh) * 2020-03-06 2020-07-10 上海掌腾信息科技有限公司 基于人脸识别和掌静脉识别实现生物识别处理的方法及相应的系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110152726A1 (en) * 2009-12-18 2011-06-23 Paul Edward Cuddihy System and method for monitoring the gait characteristics of a group of individuals
CN104299003A (zh) * 2014-11-02 2015-01-21 天津理工大学 一种基于相似规则高斯核函数分类器的步态识别方法
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
US20190156113A1 (en) * 2017-11-22 2019-05-23 King Fahd University Of Petroleum And Minerals Multi-kernel fuzzy local gabor feature extraction method for automatic gait recognition
WO2019242330A1 (zh) * 2018-06-19 2019-12-26 华为技术有限公司 一种监控方法、识别方法、相关装置及系统
CN109145742A (zh) * 2018-07-19 2019-01-04 银河水滴科技(北京)有限公司 一种行人识别方法及系统
CN110175553A (zh) * 2019-05-23 2019-08-27 银河水滴科技(北京)有限公司 基于步态识别与人脸识别建立特征库的方法及装置
CN111104873A (zh) * 2019-12-02 2020-05-05 广州极泽科技有限公司 一种多图像处理装置协同的人脸识别方法、系统、设备和介质
CN111401167A (zh) * 2020-03-06 2020-07-10 上海掌腾信息科技有限公司 基于人脸识别和掌静脉识别实现生物识别处理的方法及相应的系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553965A (zh) * 2021-07-27 2021-10-26 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法
CN113625603A (zh) * 2021-07-27 2021-11-09 金鹏电子信息机器有限公司 基于大数据的安防监控管理系统及管理方法
CN113553965B (zh) * 2021-07-27 2023-09-12 重庆电子工程职业学院 一种结合人脸识别和人体识别的人物身份识别方法

Also Published As

Publication number Publication date
CN112784740B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
JP5175852B2 (ja) 映像解析装置、映像解析による人物間の評価値算出方法
CN104091176B (zh) 人像比对在视频中的应用技术
CN105631439A (zh) 人脸图像处理方法和装置
CN109766779B (zh) 徘徊人员识别方法及相关产品
US10614293B2 (en) Facial recognition apparatus, recognition method and program therefor, and information device
CN110543867A (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN104143086B (zh) 人像比对在移动终端操作系统上的应用方法
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
JP5669082B2 (ja) 照合装置
CN112784740B (zh) 步态数据的采集与标注方法及应用
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN108537910A (zh) 一种基于人脸识别的员工考勤方法、装置和考勤管理系统
KR20080065532A (ko) 얼굴 인식 방법 및 시스템
CN110348444A (zh) 基于深度学习的错题收集方法、装置及设备
CN110414381A (zh) 追踪式人脸识别系统
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN110363087A (zh) 一种长基线双目人脸活体检测方法及系统
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN110543813B (zh) 一种基于场景的人脸画像、目光计数方法及系统
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN214151721U (zh) 一种基于人脸算法的识别一体机系统
CN115116136A (zh) 一种异常行为检测方法、装置、介质
CN111209860B (zh) 基于深度学习与强化学习的视频考勤系统及方法
CN112883863A (zh) 密集人流口罩佩戴率智能检测方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant