CN112084811A - 身份信息的确定方法、装置及存储介质 - Google Patents
身份信息的确定方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112084811A CN112084811A CN201910505669.9A CN201910505669A CN112084811A CN 112084811 A CN112084811 A CN 112084811A CN 201910505669 A CN201910505669 A CN 201910505669A CN 112084811 A CN112084811 A CN 112084811A
- Authority
- CN
- China
- Prior art keywords
- user
- features
- human body
- feature
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 claims abstract description 125
- 230000000875 corresponding Effects 0.000 claims description 112
- 230000006399 behavior Effects 0.000 claims description 97
- 230000004927 fusion Effects 0.000 claims description 27
- 230000001815 facial Effects 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000002093 peripheral Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K9/00—Methods or arrangements for recognising patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Abstract
本申请公开了一种身份信息的确定方法、装置及存储介质,属于图像处理技术领域。所述方法包括:获取目标用户的多维用户特征,所述多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;根据所述多维用户特征获取多组特征,所述多组特征与所述多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;根据所述多组特征确定所述目标用户的身份信息。本申请可以提高确定身份信息的可靠性和准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种身份信息的确定方法、装置及存储介质。
背景技术
目前,大部分区域均安装有监控设备,以对用户进行抓拍,进而基于抓拍到的图像确定用户的人脸特征,进而基于人脸特征对用户的身份信息进行确定。然而用户为了逃避监控设备的抓拍,通常会对脸部进行遮挡,这样就会很难根据监控设备抓拍到的图像对用户的身份信息进行确定。
发明内容
本申请提供了一种身份信息的确定方法、装置及存储介质,可以解决相关技术中难以确定用户的身份信息的问题。所述技术方案如下:
一方面,提供了一种身份信息的确定方法,所述方法包括:
获取目标用户的多维用户特征,所述多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;
根据所述多维用户特征获取多组特征,所述多组特征与所述多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;
根据所述多组特征确定所述目标用户的身份信息。
可选地,所述根据所述多维用户特征获取多组特征之前,还包括:
获取目标空间范围和目标时间范围;
所述根据所述多维用户特征获取多组特征,包括:
根据所述多维用户特征、所述目标空间范围和所述目标时间范围,获取所述多组特征。
可选地,所述根据所述多维用户特征、所述目标空间范围和所述目标时间范围,获取所述多组特征,包括:
当所述多维用户特征包括人脸特征时,获取与所述目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人脸特征;
当所述多维用户特征包括人体特征时,获取与所述目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人体特征;
当所述多维用户特征包括步态特征时,获取与所述目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个步态特征。
可选地,所述根据所述多组特征确定所述目标用户的身份信息,包括:
根据所述多组特征获取多个历史行为检索结果,每个历史行为检索结果对应所述多组特征中的一个特征,或者对应所述多组特征中的至少两个特征,所述至少两个特征是属于不同维度的,且每个历史行为检索结果包括历史拍摄到的人体图像和/或视频段;
根据所述多个历史行为检索结果,确定所述目标用户的身份信息。
可选地,所述根据所述多个历史行为检索结果,确定所述目标用户的身份信息,包括:
获取所述多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与所述多维用户特征中相应维度的特征之间的相似度;
将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度;
根据所述多个历史行为检索结果对应的融合相似度,确定所述目标用户的身份信息。
可选地,所述根据所述多个历史行为检索结果对应的融合相似度,确定所述目标用户的身份信息,包括:
按照所述多个历史行为检索结果分别对应的融合相似度,通过终端展示所述多个历史行为检索结果,以确定所述目标用户的身份信息;或者
将所述多个历史行为检索结果中融合相似度最大的历史行为检索结果对应的身份信息,确定为所述目标用户的身份信息。
可选地,所述根据所述多维用户特征获取多组特征之前,还包括:
获取视频流,所述视频流是对至少一个用户进行拍摄得到的;
根据所述视频流,确定所述至少一个用户中每个用户的人脸特征、人体特征和步态特征;
将所述至少一个用户的人脸特征、人体特征和步态特征进行存储。
可选地,所述根据所述视频流,确定所述至少一个用户中每个用户的人脸特征、人体特征和步态特征,包括:
对所述视频流中的第一用户进行检测和跟踪,以得到所述第一用户的图像序列,所述图像序列包括连续多帧图像,所述第一用户为所述至少一个用户中的任一用户;
根据所述第一用户的图像序列,确定所述第一用户的人脸特征、人体特征和步态特征。
可选地,所述根据所述第一用户的图像序列,确定所述第一用户的人脸特征,包括:
根据所述第一用户的图像序列,确定所述第一用户的多张人脸图像;
确定所述多张人脸图像中每张人脸图像的人脸质量评分;
如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,则按照所述最大人脸质量评分对应的人脸图像,确定所述第一用户的人脸特征。
可选地,所述根据所述第一用户的图像序列,确定所述第一用户的人体特征,包括:
根据所述第一用户的图像序列,确定所述第一用户的多张人体图像;
确定所述多张人体图像中每张人体图像的人体质量评分;
如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,则按照所述最大人体质量评分对应的人体图像,确定所述第一用户的人体特征。
可选地,所述根据所述第一用户的图像序列,确定所述第一用户的步态特征,包括:
将所述第一用户的多张人体图像中身体部位不完整的人体图像剔除;
如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,则按照剔除后剩余的人体图像,确定所述第一用户的步态特征;
其中,所述最大帧数跳变是指剔除后剩余的人体图像中不连续的两帧人体图像之间间隔的最大帧数,所述第二数量阈值小于所述第一数量阈值。
可选地,所述将所述至少一个用户的人脸特征、人体特征和步态特征进行存储之前,还包括:
获取所述视频流的拍摄位置和拍摄时间区间;
根据所述视频流的拍摄时间区间,确定所述至少一个用户中每个用户的拍摄时间;
所述将所述至少一个用户的人脸特征、人体特征和步态特征进行存储,包括:
根据所述拍摄位置和所述至少一个用户中每个用户的拍摄时间,将所述至少一个用户的人脸特征、人体特征和步态特征对应存储。
一方面,提供了一种身份信息的确定装置,所述装置包括:
第一获取模块,用于获取目标用户的多维用户特征,所述多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;
第二获取模块,用于根据所述多维用户特征获取多组特征,所述多组特征与所述多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;
第一确定模块,用于根据所述多组特征确定所述目标用户的身份信息。
可选地,所述装置还包括:
第三获取模块,用于获取目标空间范围和目标时间范围;
所述第二获取模块包括:
第一获取子模块,用于根据所述多维用户特征、所述目标空间范围和所述目标时间范围,获取所述多组特征。
可选地,所述第一获取子模块主要用于:
当所述多维用户特征包括人脸特征时,获取与所述目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人脸特征;
当所述多维用户特征包括人体特征时,获取与所述目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人体特征;
当所述多维用户特征包括步态特征时,获取与所述目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个步态特征。
可选地,所述第一确定模块包括:
第二获取子模块,用于根据所述多组特征获取多个历史行为检索结果,每个历史行为检索结果对应所述多组特征中的一个特征,或者对应所述多组特征中的至少两个特征,所述至少两个特征是属于不同维度的,且每个历史行为检索结果包括历史拍摄到的人体图像和/或视频段;
第一确定子模块,用于根据所述多个历史行为检索结果,确定所述目标用户的身份信息。
可选地,所述第一确定子模块包括:
获取单元,用于获取所述多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与所述多维用户特征中相应维度的特征之间的相似度;
运算单元,用于将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度;
确定单元,用于根据所述多个历史行为检索结果对应的融合相似度,确定所述目标用户的身份信息。
可选地,所述确定单元主要用于:
按照所述多个历史行为检索结果分别对应的融合相似度,通过终端展示所述多个历史行为检索结果,以确定所述目标用户的身份信息;或者
将所述多个历史行为检索结果中融合相似度最大的历史行为检索结果对应的身份信息,确定为所述目标用户的身份信息。
可选地,所述装置还包括:
第四获取模块,用于获取视频流,所述视频流是对至少一个用户进行拍摄得到的;
第二确定模块,用于根据所述视频流,确定所述至少一个用户中每个用户的人脸特征、人体特征和步态特征;
存储模块,用于将所述至少一个用户的人脸特征、人体特征和步态特征进行存储。
可选地,所述第二确定模块包括:
跟踪子模块,用于对所述视频流中的第一用户进行检测和跟踪,以得到所述第一用户的图像序列,所述图像序列包括连续多帧图像,所述第一用户为所述至少一个用户中的任一用户;
第二确定子模块,用于根据所述第一用户的图像序列,确定所述第一用户的人脸特征、人体特征和步态特征。
可选地,所述第二确定子模块主要用于:
根据所述第一用户的图像序列,确定所述第一用户的多张人脸图像;
确定所述多张人脸图像中每张人脸图像的人脸质量评分;
如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,则按照所述最大人脸质量评分对应的人脸图像,确定所述第一用户的人脸特征。
可选地,所述第二确定子模块还用于:
根据所述第一用户的图像序列,确定所述第一用户的多张人体图像;
确定所述多张人体图像中每张人体图像的人体质量评分;
如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,则按照所述最大人体质量评分对应的人体图像,确定所述第一用户的人体特征。
可选地,所述第二确定子模块还用于:
将所述第一用户的多张人体图像中身体部位不完整的人体图像剔除;
如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,则按照剔除后剩余的人体图像,确定所述第一用户的步态特征;
其中,所述最大帧数跳变是指剔除后剩余的人体图像中不连续的两帧人体图像之间间隔的最大帧数,所述第二数量阈值小于所述第一数量阈值。
可选地,所述装置还包括:
第五获取模块,用于获取所述视频流的拍摄位置和拍摄时间区间;
第三确定模块,用于根据所述视频流的拍摄时间区间,确定所述至少一个用户中每个用户的拍摄时间;
所述存储模块包括:
存储子模块,用于根据所述拍摄位置和所述至少一个用户中每个用户的拍摄时间,将所述至少一个用户的人脸特征、人体特征和步态特征对应存储。
一方面,提供了一种身份信息的确定装置,所述装置包括:
处理器和存储器;
其中,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上述所述身份信息的确定方法。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述所述的身份信息的确定方法。
一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的身份信息的确定方法。
本申请提供的技术方案至少可以带来以下有益效果:
在本申请中,目标用户的身份信息主要是通过目标用户的多维用户特征来确定的,且目标用户的多维用户特征包括人脸特征、人体特征和步态特征中的至少两个。也即是,本申请实施例是将多个维度的特征进行结合来确定目标用户的身份信息,这样在缺失一个特征的情况下,仍然可以确定出目标用户的身份信息,提高确定身份信息的方法的可靠性。而且,通过将多个维度的特征进行结合之后确定出的身份信息的准确性较高,从而避免通过单个特征确定出的身份信息不准确的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种身份信息的确定方法的流程图;
图2是本申请实施例提供的一种身份信息的确定装置的结构示意图;
图3是本申请实施例提供的另一种身份信息的确定装置的结构示意图;
图4是本申请实施例提供的一种终端的结构示意图;
图5是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的身份信息的确定方法进行详细解释说明之前,先对本申请实施例涉及的应用场景和实施环境进行介绍。
在用户观看视频的过程中,当需要确定视频中的目标用户的身份信息时,可以按照本申请实施例提供的方法,确定针对目标用户历史拍摄到的人体图像和/或视频段,进而通过历史拍摄到的人体图像和/或视频段确定目标用户的身份信息。示例性地,假设用户当前正在观看家里的监控视频,如果监控视频中出现一个陌生人,那么,可以按照本申请实施例提供的方法确定针对这个陌生人历史拍摄到的人体图像和/视频段,通过历史拍摄到的人体图像和/视频段可以确定这个陌生人历史都做了什么,进而确定这个陌生人的身份信息。
需要说明的是,不仅可以按照上述方法在观看视频的过程中选择目标用户,也可以直接输入一张关于目标用户的人体图像或者视频段,进而通过直接输出的人体图像或者视频段,确定目标用户的身份信息。
在一些实施例中,本申请实施例提供的方法可以应用于计算机设备中,该计算机设备可以为终端或者服务器。示例性地,以终端为例,终端可以事先获取多个视频流,然后通过对该多个视频流进行处理,从而存储多个用户的人脸特征、人体特征和步态特征,以及针对每个用户历史拍摄到的人体图像和视频段。之后,可以按照存储的这些特征、人体图像和视频段,确定目标用户的身份信息。对于服务器也是同理,本申请实施例对此不再赘述。
在另一些实施例中,本申请实施例提供的方法可以应用于终端和服务器中。作为一种示例,服务器可以事先获取多个视频流,然后通过对该多个视频流进行处理,从而存储多个用户的人脸特征、人体特征和步态特征,以及针对每个用户历史拍摄到的人体图像和视频段。之后,终端可以向服务器发送关于目标用户的人体图像或者视频段,服务器可以根据终端发送的人体图像或者视频段,按照存储的这些特征、人体图像和视频段,确定目标用户的身份信息。
需要说明的是,该终端可以为平板电脑、台式计算机等,该服务器可以为一台服务器,可以为多台服务器构成的服务器集群,本申请实施例对此不做限定。
基于上述描述,本申请实施例提供的方法可以由终端或者服务器单独来执行,也可以为终端和服务器配合来执行。接下来,以终端和服务器配合来执行为例,对本申请实施例提供的身份信息的确定方法进行解释说明。
请参见图1,图1是根据一示例性实施例示出的一种身份信息的确定方法的流程图,该方法可以包括如下几个步骤。
步骤101:服务器获取目标用户的多维用户特征,该多维用户特征包括人脸特征、人体特征和步态特征中的至少两个。
在一些实施例中,终端可以向服务器发送身份信息确定请求,该身份信息确定请求中携带针对目标用户拍摄到的人体图像或者视频段。当服务器接收到该身份信息确定请求时,可以根据该身份信息确定请求中携带的人体图像或者视频段,确定目标用户的多维用户特征。
作为一种示例,当该身份信息确定请求中携带针对目标用户拍摄到的人体图像时,服务器可以从该人体图像中提取目标用户的人脸特征和人体特征。此时,目标用户的多维用户特征包括目标用户的人脸特征和人体特征。
当该身份信息确定请求中携带针对目标用户拍摄到的视频段时,服务器可以根据该视频段确定目标用户的步态特征,以及从该视频段中获取目标用户的多张人脸图像和多张人体图像。然后,确定该多张人脸图像中每张人脸图像的人脸质量评分。从该多张人脸图像中选择最大人脸质量评分对应的人脸图像。从选择的人脸图像中提取目标用户的人脸特征。服务器还可以确定该多张人体图像中每张人体图像的人体质量评分。从该多张人体图像中选择最大人体质量评分对应的人体图像。从选择的人体图像中提取目标用户的人体特征。此时,目标用户的多维用户特征包括目标用户的人脸特征、人体特征和步态特征。
需要说明的是,当该身份信息确定请求中携带针对目标用户拍摄到的视频段时,关于目标用户的人脸特征和人体特征,服务器不仅可以按照上述方法选择最大人脸质量评分对应的人脸图像和最大人体质量评分对应的人体图像来确定。当然,服务器也可以按照其他的方式选择一张人脸图像和人体图像来确定,比如,服务器可以随机选择一张人脸图像来确定目标用户的人脸特征,也可以随机选择一张人体图像来确定目标用户的人脸特征。或者,服务器可以判断该多张人脸图像的人脸质量评分中的最大人脸质量评分是否大于第一评分阈值,如果大于,那么可以按照最大人脸质量评分对应的人脸图像确定目标用户的人脸特征,如果不大于,则确定目标用户不存在人脸特征。同理,服务器可以判断该多张人体图像的人体质量评分中的最大人体质量评分是否大于第二评分阈值,如果大于,那么可以按照最大人体质量评分对应的人体图像确定目标用户的人体特征,如果不大于,则确定目标用户不存在人体特征。
值得注意的是,第一评分阈值和第二评分阈值可以相同,也可以不同,本申请实施例对此不做限定。另外,服务器提取人脸特征、人体特征和步态特征的方法可以参考相关技术,本申请实施例对此不再赘述。
在另一些实施例中,终端可以向服务器发送身份信息确定请求,该身份信息确定请求中直接携带目标用户的多维用户特征。
作为一种示例,终端可以从针对目标用户拍摄到的人体图像中,提取目标用户的人脸特征和人体特征,将提取的人脸特征和人体特征携带在身份信息确定请求中。当然,终端也可以从针对目标用户拍摄到的视频段中,提取目标用户的人脸特征、人体特征和步态特征,将提取的人脸特征、人体特征和步态特征携带在身份信息确定请求中。
需要说明的是,终端提取人脸特征、人体特征和步态特征的方法,可以参考上述服务器提取的方法,本申请实施例对此不再赘述。
步骤102:服务器根据目标用户的多维用户特征获取多组特征,该多组特征与目标用户的多维用户特征一一对应,且每组特征包括同一维度的至少一个特征。
在一些实施例中,当该多维用户特征包括人脸特征时,服务器可以获取与目标用户的人脸特征之间的相似度大于第一相似度阈值的至少一个人脸特征,将该至少一个人脸特征作为一组特征。当该多维用户特征包括人体特征时,服务器可以获取与目标用户的人体特征之间的相似度大于第二相似度阈值的至少一个人体特征,将该至少一个人体特征作为一组特征。当该多维用户特征包括步态特征时,服务器可以获取与目标用户的步态特征之间的相似度大于第三相似度阈值的至少一个步态特征,将该至少一个步态特征作为一组特征。
其中,当该目标用户的多维用户特征是指人脸特征和人体特征时,该多组特征是指上述至少一个人脸特征构成的一组特征和上述至少一个人体特征构成的一组特征。当该目标用户的多维用户特征是指人脸特征和步态特征时,该多组特征是指上述至少一个人脸特征构成的一组特征和上述至少一个步态特征构成的一组特征。当该目标用户的多维用户特征是指人体特征和步态特征时,该多组特征是指上述至少一个人体特征构成的一组特征和上述至少一个步态特征构成的一组特征。当该目标用户的多维用户特征是指人脸特征、人体特征和步态特征时,该多组特征是指上述至少一个人脸特征构成的一组特征、上述至少一个人体特征构成的一组特征,以及上述至少一个步态特征构成的一组特征。
需要说明的是,服务器中事先存储有人脸特征数据库、人体特征数据库和步态特征数据库。当服务器获取上述多组特征时,可以从人脸特征数据库中获取与目标用户的人脸特征之间的相似度大于第一相似度阈值的至少一个人脸特征,从人体特征数据库中获取与目标用户的人体特征之间的相似度大于第二相似度阈值的至少一个人体特征,以及从步态特征数据库中获取与目标用户的步态特征之间的相似度大于第三相似度阈值的至少一个步态特征。
另外,第一相似度阈值、第二相似度阈值和第三相似度阈值可以相同,也可以不同,本申请实施例对此不做限定。
在另一些实施例中,服务器还可以获取目标空间范围和目标时间范围。然后根据目标用户的多维用户特征、目标空间范围和目标时间范围,获取多组特征。作为一种示例,当该多维用户特征包括人脸特征时,服务器可以获取与目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人脸特征,将获取的至少一个人脸特征作为一组特征。当该多维用户特征包括人体特征时,服务器可以获取与目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人体特征,将该至少一个人体特征作为一组特征。当该多维用户特征包括步态特征时,服务器可以获取与目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个步态特征,将该至少一个步态特征作为一组特征。
作为一种示例,终端向服务器发送的身份信息确定请求中可以携带目标空间范围和目标时间范围。另外,人脸特征数据库中存储有多个用户的人脸特征,以及每个用户的拍摄位置和拍摄时间。人体特征数据库中存储有多个用户的人体特征,以及每个用户的拍摄位置和拍摄时间。步态特征数据库中存储有多个用户的步态特征,以及每个用户的拍摄位置和拍摄时间。这样,服务器可以从人脸特征数据库中获取与目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人脸特征,从人体特征数据库中获取与目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人体特征,以及从步态特征数据库中获取与目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个步态特征。
需要说明的是,服务器可以存储多个人脸特征数据库、多个人体特征数据库和多个步态特征数据库,该多个人脸特征数据库对应多个不同的身份类别,该多个人体特征数据库也对应多个不同的身份类别,该多个步态特征数据库也对应多个不同的身份类别。示例性地,服务器中可以存储在逃疑犯的人脸特征数据库、人体特征数据库和步态特征数据库,也可以存储非疑犯的人脸特征数据库、人体特征数据库和步态特征数据库等等。
在一些实施例中,终端向服务器发送的身份信息确定请求中还可以携带目标身份类别。这样,服务器可以按照目标身份类别,从存储的多个人脸特征数据库中确定对应的人脸特征数据库,从存储的多个人体特征数据库中确定对应的人体特征数据库,从存储的多个步态特征数据库中确定对应的步态特征数据库。然后,按照上述方法,从确定的人脸特征数据库、人体特征数据库和步态特征数据库中获取多组特征。
当服务器根据上述步骤101-102获取多组特征之后,可以按照下述步骤103-104,根据该多组特征确定目标用户的身份信息。
步骤103:服务器根据该多组特征获取多个历史行为检索结果,每个历史行为检索结果对应该多组特征中的一个特征或者对应该多组特征中的至少两个特征,该至少两个特征是属于不同维度的,且每个历史行为检索结果包括历史拍摄到的人体图像和/或视频段。
在一些实施例中,服务器存储的人脸特征数据库不仅存储有人脸特征,还可以存储该人脸特征对应的人体图像和/或视频段,同理,人体特征数据库中不仅存储有人体特征,还可以存储该人体特征对应的人体图像和/或视频段。步态特征数据库中不仅存储有步态特征,还可以存储该步态特征对应的人体图像和/或视频段。这样,当该多组特征中包括人脸维度的特征时,服务器可以根据人脸维度的至少一个特征,从人脸特征数据库中获取对应的至少一个人体图像和/或视频段。当该多组特征中包括人体维度的特征时,服务器可以根据人体维度的至少一个特征,从人体特征数据库中获取对应的至少一个人体图像和/或视频段。当该多组特征中包括步态维度的特征时,服务器可以根据步态维度的至少一个特征,从步态特征数据库中获取对应的至少一个人体图像和/或视频段。
由于人脸特征、人体特征和步态特征可能对应同一个人体图像和/或视频段,也即是,上述获取的人体图像和/或视频段中可能存在重复的人体图像和/或视频段,因此,服务器可以将获取的人体图像和/或视频段中的重复人体图像和/或视频段筛选掉,剩余的人体图像和/或视频段可以作为上述多个历史行为检索结果。这样,一个历史行为检索结果可以对应人脸特征、人体特征和步态特征中的至少一个,也即是,一个历史行为检索结果可以对应该多组特征中的一个特征,也可以对应该多组特征中属于不同维度的至少两个特征。
步骤104:服务器根据该多个历史行为检索结果,确定目标用户的身份信息。
在一些实施例中,服务器可以获取该多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与目标用户的多维用户特征中相应维度的特征之间的相似度。将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度。按照该多个历史行为检索结果分别对应的融合相似度,通过终端展示该多个历史行为检索结果,以确定目标用户的身份信息。也即是,服务器可以将该多个历史行为检索结果和每个历史行为检索结果对应的融合相似度发送给终端,这样,终端可以按照该多个历史行为检索结果对应的融合相似度展示该多个历史行为检索结果。
作为一种示例,终端可以按照该多个历史行为检索结果对应的融合相似度从大到小的顺序,展示该多个历史行为检索结果。这样,用户通过查看该多个历史行为检索结果,可以快速地确定目标用户的身份信息。
由于一个历史行为检索结果对应多组特征中的一个特征,或者对应该多组特征中不同维度的至少两个特征,且这个历史检索结果对应的至少一个特征与目标用户的多维用户特征中相应维度的特征之间具有一定的相似度,例如,某一历史行为检索结果对应一个人脸特征和一个人体特征,那么,这个历史行为检索结果对应的人脸特征与目标用户的人脸特征之间具有一定的相似度,这个历史行为检索结果对应的人体特征与目标用户的人体特征之间具有一定的相似度。因此,当服务器针对每个历史行为检索结果获取到对应的至少一个相似度之后,可以将每个历史行为检索结果对应的至少一个相似度进行加权运算,得到每个历史行为检索结果的融合相似度。
需要说明的是,可以事先设置人脸维度、人体维度和步态维度的权重,且这三个权重之和为1,这样,即可通过每个历史行为检索结果对应的至少一个特征,以及这三个权重确定每个历史行为检索结果的融合相似度。另外,一个历史行为检索结果可能对应人脸特征、人体特征和步态特征中的部分特征,此时,对于缺失的特征,可以设置对应的相似度为0。
在另一些实施例中,服务器中可以存储每个历史行为检索结果对应的身份信息,这样,服务器可以按照该多个历史行为检索结果确定出多个身份信息。之后,服务器可以获取该多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与目标用户的多维用户特征中相应维度的特征之间的相似度。将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度。将该多个历史行为检索结果中融合相似度最大的历史行为检索结果对应的身份信息确定为目标用户的身份信息。之后,服务器还可以将目标用户的身份信息以及对应的历史行为检索结果发送给终端。这样,终端可以展示接收到的身份信息,以及对应的历史行为检索结果,从而用户可以按照展示的历史行为检索结果进一步确认目标用户的身份信息是否准确。
至此,已完成目标用户的身份信息的确定过程。但是,基于上述描述,服务器中存储有人脸特征数据、人体特征数据库和步态特征数据库,接下来通过如下步骤(1)-(3)对这几个特征数据库的构建方法进行介绍。
(1)服务器获取视频流,该视频流是对至少一个用户进行拍摄得到的。
在一些实施例中,服务器可以获取监控设备发送的视频流。该视频流是监控设备对其监控范围内的物体进行拍摄得到。其中,处于监控范围内的物体可能包括至少一个用户。也即是,该视频流中可能包括至少一个用户对应的视频帧图像。
(2)服务器根据该视频流,确定该至少一个用户中每个用户的人脸特征、人体特征和步态特征。
由于每个用户的人脸特征、人体特征和步态特征的提取方法相同,因此,接下来以第一用户为例进行说明。其中,第一用户为该至少一个用户中的任一用户。服务器根据该视频流确定第一用户的人脸特征、人体特征和步态特征的操作可以为:服务器可以对该视频流中的第一用户进行检测和跟踪,以得到第一用户的图像序列,该图像序列包括连续多帧图像。根据第一用户的图像序列,确定第一用户的人脸特征、人体特征和步态特征。
需要说明的是,服务器对该视频流中的第一用户进行检测和跟踪的操作可以参考相关技术,本申请实施例对此不做限定。
另外,图像序列包括的多帧图像可以为视频流中的原始视频帧图像进行处理后得到的图像。示例性地,可以是将视频流中的原始视频帧图像中的其他用户的信息进行遮挡处理后得到的图像,也可以为原始视频帧图像中第一用户的人体所在的图像区域,即第一用户的人体图像。
在一些实施例中,服务器根据第一用户的图像序列,确定第一用户的人脸特征的操作可以为:根据第一用户的图像序列,确定第一用户的多张人脸图像。确定该多张人脸图像中每张人脸图像的人脸质量评分。如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,则按照最大人脸质量评分对应的人脸图像,确定第一用户的人脸特征。
不论图像序列中的图像是什么样的图像,在确定第一用户的人脸特征时,服务器都需要从第一用户的图像序列包括的每张图像中获取第一用户的人脸图像,从而得到多张人脸图像。
需要说明的是,如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,那么,可以表明该多张人脸图像中存在人脸质量较高的人脸图像,此时,按照最大人脸质量评分对应的人脸图像确定的人脸特征的准确性较高。如果确定的人脸质量评分中的最大人脸质量评分不大于第一评分阈值,那么,可以表明该多张人脸图像中不存在人脸质量较高的人脸图像,此时,可以不确定第一用户的人脸特征。也即是,第一用户的人脸特征为空。另外,服务器确定每张人脸图像的人脸质量评分的方法,以及从人脸图像中确定人脸特征的方法,均可以参考相关技术,本申请实施例对此不做限定。
在一些实施例中,服务器根据第一用户的图像序列,确定第一用户的人体特征的操作可以为:根据第一用户的图像序列,确定第一用户的多张人体图像。确定该多张人体图像中每张人体图像的人体质量评分。如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,则按照最大人体质量评分对应的人体图像,确定第一用户的人体特征。
由于图像序列中的图像可能是将视频流中的原始视频帧图像中的其他用户的信息进行遮挡处理后得到的图像,也可能是第一用户的人体图像。当图像序列中的图像是将视频流中的原始视频帧图像中的其他用户的信息进行遮挡处理后得到的图像时,可以从第一用户的图像序列包括的多张图像中,获取第一用户的多张人体图像。然后确定该多张人体图像中每张人体图像的人体质量评分。当图像序列中的图像是第一用户的人体图像时,可以直接确定第一用户的图像序列包括的多张人体图像中每张人体图像的人体质量评分。
需要说明的是,如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,那么,可以表明该多张人体图像中存在人体质量较高的人体图像,此时,按照最大人体质量评分对应的人体图像确定的人体特征的准确性较高。如果确定的人体质量评分中的最大人体质量评分不大于第二评分阈值,那么,可以表明该多张人体图像中不存在人体质量较高的人体图像,此时,可以不确定第一用户的人体特征。也即是,第一用户的人体特征为空。另外,服务器确定每张人体图像的人体质量评分的方法,以及从人体图像中确定人体特征的方法,均可以参考相关技术,本申请实施例对此不做限定。
在一些实施例中,服务器根据第一用户的图像序列,确定第一用户的步态特征的操作可以为:将第一用户的多张人体图像中身体部位不完整的人体图像剔除。如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,则按照剔除后剩余的人体图像,确定第一用户的步态特征。
其中,最大帧数跳变是指剔除后剩余的人体图像中不连续的两帧人体图像之间间隔的最大帧数,第二数量阈值小于第一数量阈值。示例性地,假设剔除后剩余50张人体图像,且这50张人体图像的帧编号有不连续的情况。比如,这50张人体图像中缺少帧编号为20和21这两张人体图像,以及缺少帧编号为31的人体图像。此时,最大帧数跳变即为2。
由于第一用户的多张人体图像中可能包括身体部位不完整的人体图像,如果直接根据第一用户的多张人体图像确定第一用户的步态特征,那么可能会存在步态特征不准确的问题,因此,可以将第一用户的多张人体图像中身体部位不完整的人体图像剔除。又由于通过连续的多张人体图像才能确定出准确度较高的步态特征,因此,还需要确定剔除后剩余的人体图像的总帧数是否大于第一数量阈值,以及剔除后剩余的人体图像中的最大帧数跳变是否小于第二数量阈值。如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,那么可以表明通过剔除后剩余的人体图像能够确定出准确度较高的步态特征。也即是,根据剔除后剩余的人体图像确定出的步态特征的准确度较高。如果剔除后剩余的人体图像的总帧数不大于第一数量阈值,或者剔除后剩余的人体图像中最大帧数跳变不小于第二数量阈值,那么可以不确定第一用户的步态特征。也即是,第一用户的步态特征为空。
需要说明的是,服务器根据剔除后剩余的人体图像确定步态特征的方法可以参考相关技术,本申请实施例对此不做限定。
(3)服务器将该至少一个用户的人脸特征、人体特征和步态特征进行存储。
由于服务器将该至少一个用户中每个用户的人脸特征、人体特征和步态特征进行存储的操作相同,因此,接下来以第一用户为例进行说明。其中,第一用户为该至少一个用户中的任一用户。
在一些实施例中,服务器可以将第一用户的人脸特征、人体特征和步态特征作为一个数据项存储在特征数据库中。当然,服务器也可以将第一用户的人脸特征存储至人脸特征数据库中,将第一用户的人体特征存储至人体特征数据库中,将第一用户的步态特征存储至步态特征数据库中。
在一些实施例中,服务器还可以获取该视频流的拍摄位置和拍摄时间区间。根据该视频流的拍摄时间区间,确定第一用户的拍摄时间。将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的人脸特征作为一个数据项存储至人脸数据库中。将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的人体特征作为一个数据项存储至人体数据库中。将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的步态特征作为一个数据项存储至步态数据库中。
由于该视频流中可能包括多张关于第一用户的视频帧图像,每个视频帧图像对应不同的时间,因此,作为一种示例,服务器可以从该视频流中随机选择一张关于第一用户的视频帧图像,从该视频流的拍摄时间区间中,确定选择的视频帧图像的拍摄时间,将选择的视频帧图像的拍摄时间确定为第一用户的拍摄时间。另外,该视频流的拍摄位置可以为用于提供该视频流的监控设备的安装位置。
在一些实施例中,由于服务器中可能包括多个人脸特征数据库、多个人体特征数据库和多个步态特征数据库,且该多个人脸特征数据库、多个人体特征数据库和多个步态特征数据库对应多个不同的身份类别,因此,服务器还可以确定第一用户的身份类别,然后从存储的多个人脸特征数据库、多个人体特征数据库和多个步态特征数据库中,确定与第一用户的身份类别对应的人脸特征数据库、人体特征数据库以及步态特征数据库。之后,再将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的人脸特征作为一个数据项存储至确定的人脸数据库中。将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的人体特征作为一个数据项存储至确定的人体数据库中。将该视频流的拍摄位置、第一用户的拍摄时间和第一用户的步态特征作为一个数据项存储至确定的步态数据库中。
在本申请实施例中,目标用户的身份信息主要是通过目标用户的多维用户特征来确定的,且目标用户的多维用户特征包括人脸特征、人体特征和步态特征中的至少两个。也即是,本申请实施例是将多个维度的特征进行结合来确定目标用户的身份信息,这样在缺失一个特征的情况下,仍然可以确定出目标用户的身份信息,提高确定身份信息的方法的可靠性。而且,通过将多个维度的特征进行结合之后确定出的身份信息的准确性较高,从而避免通过单个特征确定出的身份信息不准确的问题。
请参考图2,图2是根据一示例性实施例示出的一种身份信息的确定装置的结构示意图,该装置可以由软件、硬件或者两者的结合实现身份信息的确定方法。参见图2,该装置包括:第一获取模块201、第二获取模块202、第三获取模块203和第一确定模块204。
第一获取模块201,用于获取目标用户的多维用户特征,多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;
第二获取模块202,用于根据该多维用户特征获取多组特征,该多组特征与该多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;
第一确定模块203,用于根据该多组特征确定目标用户的身份信息。
可选地,该装置还包括:
第三获取模块,用于获取目标空间范围和目标时间范围;
第二获取模块202包括:
第一获取子模块,用于根据该多维用户特征、目标空间范围和目标时间范围,获取多组特征。
可选地,第一获取子模块主要用于:
当该多维用户特征包括人脸特征时,获取与目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人脸特征;
当该多维用户特征包括人体特征时,获取与目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个人体特征;
当该多维用户特征包括步态特征时,获取与目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于目标空间范围且对应的拍摄时间处于目标时间范围内的至少一个步态特征。
可选地,第一确定模块203包括:
第二获取子模块,用于根据该多组特征获取多个历史行为检索结果,每个历史行为检索结果对应该多组特征中的一个特征,或者对应该多组特征的至少两个特征,该至少两个特征是属于不同维度的,且每个历史行为检索结果包括历史拍摄到的人体图像和/或视频段;
第一确定子模块,用于根据该多个历史行为检索结果,确定目标用户的身份信息。
可选地,第一确定子模块包括:
获取单元,用于获取该多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与该多维用户特征中相应维度的特征之间的相似度;
运算单元,用于将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度;
确定单元,用于根据该多个历史行为检索结果对应的融合相似度,确定目标用户的身份信息。
可选地,确定单元主要用于:
按照该多个历史行为检索结果分别对应的融合相似度,通过终端展示该多个历史行为检索结果,以确定目标用户的身份信息;或者
将该多个历史行为检索结果中融合相似度最大的历史行为检索结果对应的身份信息,确定为目标用户的身份信息。
可选地,参见图3,该装置还包括:
第四获取模块204,用于获取视频流,该视频流是对至少一个用户进行拍摄得到的;
第二确定模块205,用于根据该视频流,确定该至少一个用户中每个用户的人脸特征、人体特征和步态特征;
存储模块206,用于将该至少一个用户的人脸特征、人体特征和步态特征进行存储。
可选地,第二确定模块205包括:
跟踪子模块,用于对该视频流中的第一用户进行检测和跟踪,以得到第一用户的图像序列,该图像序列包括连续多帧图像,第一用户为该至少一个用户中的任一用户;
第二确定子模块,用于根据第一用户的图像序列,确定第一用户的人脸特征、人体特征和步态特征。
可选地,第二确定子模块主要用于:
根据第一用户的图像序列,确定第一用户的多张人脸图像;
确定该多张人脸图像中每张人脸图像的人脸质量评分;
如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,则按照最大人脸质量评分对应的人脸图像,确定第一用户的人脸特征。
可选地,第二确定子模块还用于:
根据第一用户的图像序列,确定第一用户的多张人体图像;
确定多张人体图像中每张人体图像的人体质量评分;
如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,则按照最大人体质量评分对应的人体图像,确定第一用户的人体特征。
可选地,第二确定子模块还用于:
将第一用户的多张人体图像中身体部位不完整的人体图像剔除;
如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,则按照剔除后剩余的人体图像,确定第一用户的步态特征;
其中,最大帧数跳变是指剔除后剩余的人体图像中不连续的两帧人体图像之间间隔的最大帧数,第二数量阈值小于第一数量阈值。
可选地,该装置还包括:
第五获取模块,用于获取该视频流的拍摄位置和拍摄时间区间;
第三确定模块,用于根据该视频流的拍摄时间区间,确定该至少一个用户中每个用户的拍摄时间;
存储模块包括:
存储子模块,用于根据拍摄位置和至少一个用户中每个用户的拍摄时间,将至少一个用户的人脸特征、人体特征和步态特征对应存储。
在本申请实施例中,目标用户的身份信息主要是通过目标用户的多维用户特征来确定的,且目标用户的多维用户特征包括人脸特征、人体特征和步态特征中的至少两个。也即是,本申请实施例是将多个维度的特征进行结合来确定目标用户的身份信息,这样在缺失一个特征的情况下,仍然可以确定出目标用户的身份信息,提高确定身份信息的方法的可靠性。而且,通过将多个维度的特征进行结合之后确定出的身份信息的准确性较高,从而避免通过单个特征确定出的身份信息不准确的问题。
需要说明的是:上述实施例提供的身份信息确定装置在确定身份信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的身份信息确定装置与身份信息确定方法的实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图4示出了本申请一个示例性实施例提供的终端400的结构框图。该终端400可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端400包括有:处理器401和存储器402。
处理器401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的身份信息的确定方法。
在一些实施例中,终端400还可选包括有:外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地,外围设备包括:射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中,处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上;在一些其他实施例中,处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时,显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时,显示屏405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏405可以为一个,设置终端400的前面板;在另一些实施例中,显示屏405可以为至少两个,分别设置在终端400的不同表面或呈折叠设计;在再一些实施例中,显示屏405可以是柔性显示屏,设置在终端400的弯曲表面上或折叠面上。甚至,显示屏405还可以设置成非矩形的不规则图形,也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地,摄像头组件406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器401进行处理,或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于:加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号,控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度,陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时,可以检测用户对终端400的握持信号,由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时,由处理器401根据用户对触摸显示屏405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹,由处理器401根据指纹传感器414采集到的指纹识别用户的身份,或者,由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时,指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中,处理器401可以根据光学传感器415采集的环境光强度,控制触摸显示屏405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏405的显示亮度;当环境光强度较低时,调低触摸显示屏405的显示亮度。在另一个实施例中,处理器401还可以根据光学传感器415采集的环境光强度,动态调整摄像头组件406的拍摄参数。
接近传感器416,也称距离传感器,通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中,当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时,由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态;当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时,由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图4中示出的结构并不构成对终端400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图5是本申请实施例提供的一种服务器的结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)501和一个或一个以上的存储器502,其中,所述存储器502中存储有至少一条指令,所述至少一条指令由该处理器501加载并执行,以实现上述实施例中身份信息确定方法。当然,该服务器500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器500还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由计算机设备中的处理器执行以完成上述实施例中身份信息确定方法。例如,所述计算机可读存储介质可以是ROM(read-only memory,只读存储器)、RAM(randomaccess memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
值得注意的是,本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种身份信息的确定方法,其特征在于,所述方法包括:
获取目标用户的多维用户特征,所述多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;
根据所述多维用户特征获取多组特征,所述多组特征与所述多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;
根据所述多组特征确定所述目标用户的身份信息。
2.如权利要求1所述的方法,其特征在于,所述根据所述多维用户特征获取多组特征之前,还包括:
获取目标空间范围和目标时间范围;
所述根据所述多维用户特征获取多组特征,包括:
根据所述多维用户特征、所述目标空间范围和所述目标时间范围,获取所述多组特征。
3.如权利要求2所述的方法,其特征在于,所述根据所述多维用户特征、所述目标空间范围和所述目标时间范围,获取所述多组特征,包括:
当所述多维用户特征包括人脸特征时,获取与所述目标用户的人脸特征之间的相似度大于第一相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人脸特征;
当所述多维用户特征包括人体特征时,获取与所述目标用户的人体特征之间的相似度大于第二相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个人体特征;
当所述多维用户特征包括步态特征时,获取与所述目标用户的步态特征之间的相似度大于第三相似度阈值、对应的拍摄位置处于所述目标空间范围且对应的拍摄时间处于所述目标时间范围内的至少一个步态特征。
4.如权利要求1-3任一所述的方法,其特征在于,所述根据所述多组特征确定所述目标用户的身份信息,包括:
根据所述多组特征获取多个历史行为检索结果,每个历史行为检索结果对应所述多组特征中的一个特征,或者对应所述多组特征中的至少两个特征,所述至少两个特征是属于不同维度的,且每个历史行为检索结果包括历史拍摄到的人体图像和/或视频段;
根据所述多个历史行为检索结果,确定所述目标用户的身份信息。
5.如权利要求4所述的方法,其特征在于,所述根据所述多个历史行为检索结果,确定所述目标用户的身份信息,包括:
获取所述多个历史行为检索结果中每个历史行为检索结果对应的至少一个特征与所述多维用户特征中相应维度的特征之间的相似度;
将针对每个历史行为检索结果获取的至少一个相似度进行加权运算,得到每个历史行为检索结果对应的融合相似度;
根据所述多个历史行为检索结果对应的融合相似度,确定所述目标用户的身份信息。
6.如权利要求5所述的方法,其特征在于,所述根据所述多个历史行为检索结果对应的融合相似度,确定所述目标用户的身份信息,包括:
按照所述多个历史行为检索结果分别对应的融合相似度,通过终端展示所述多个历史行为检索结果,以确定所述目标用户的身份信息;或者
将所述多个历史行为检索结果中融合相似度最大的历史行为检索结果对应的身份信息,确定为所述目标用户的身份信息。
7.如权利要求1所述的方法,其特征在于,所述根据所述多维用户特征获取多组特征之前,还包括:
获取视频流,所述视频流是对至少一个用户进行拍摄得到的;
根据所述视频流,确定所述至少一个用户中每个用户的人脸特征、人体特征和步态特征;
将所述至少一个用户的人脸特征、人体特征和步态特征进行存储。
8.如权利要求7所述的方法,其特征在于,所述根据所述视频流,确定所述至少一个用户中每个用户的人脸特征、人体特征和步态特征,包括:
对所述视频流中的第一用户进行检测和跟踪,以得到所述第一用户的图像序列,所述图像序列包括连续多帧图像,所述第一用户为所述至少一个用户中的任一用户;
根据所述第一用户的图像序列,确定所述第一用户的人脸特征、人体特征和步态特征。
9.如权利要求8所述的方法,其特征在于,所述根据所述第一用户的图像序列,确定所述第一用户的人脸特征,包括:
根据所述第一用户的图像序列,确定所述第一用户的多张人脸图像;
确定所述多张人脸图像中每张人脸图像的人脸质量评分;
如果确定的人脸质量评分中的最大人脸质量评分大于第一评分阈值,则按照所述最大人脸质量评分对应的人脸图像,确定所述第一用户的人脸特征。
10.如权利要求8所述的方法,其特征在于,所述根据所述第一用户的图像序列,确定所述第一用户的人体特征,包括:
根据所述第一用户的图像序列,确定所述第一用户的多张人体图像;
确定所述多张人体图像中每张人体图像的人体质量评分;
如果确定的人体质量评分中的最大人体质量评分大于第二评分阈值,则按照所述最大人体质量评分对应的人体图像,确定所述第一用户的人体特征。
11.如权利要求10所述的方法,其特征在于,所述根据所述第一用户的图像序列,确定所述第一用户的步态特征,包括:
将所述第一用户的多张人体图像中身体部位不完整的人体图像剔除;
如果剔除后剩余的人体图像的总帧数大于第一数量阈值,且剔除后剩余的人体图像中最大帧数跳变小于第二数量阈值,则按照剔除后剩余的人体图像,确定所述第一用户的步态特征;
其中,所述最大帧数跳变是指剔除后剩余的人体图像中不连续的两帧人体图像之间间隔的最大帧数,所述第二数量阈值小于所述第一数量阈值。
12.如权利要求7-11任一所述的方法,其特征在于,所述将所述至少一个用户的人脸特征、人体特征和步态特征进行存储之前,还包括:
获取所述视频流的拍摄位置和拍摄时间区间;
根据所述视频流的拍摄时间区间,确定所述至少一个用户中每个用户的拍摄时间;
所述将所述至少一个用户的人脸特征、人体特征和步态特征进行存储,包括:
根据所述拍摄位置和所述至少一个用户中每个用户的拍摄时间,将所述至少一个用户的人脸特征、人体特征和步态特征对应存储。
13.一种身份信息的确定装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标用户的多维用户特征,所述多维用户特征包括人脸特征、人体特征和步态特征中的至少两个;
第二获取模块,用于根据所述多维用户特征获取多组特征,所述多组特征与所述多维用户特征一一对应,且每组特征包括同一维度的至少一个特征;
确定模块,用于根据所述多组特征确定所述目标用户的身份信息。
14.一种身份信息的确定装置,其特征在于,所述装置包括:
处理器和存储器;
其中,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1-12任意一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-12任意一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505669.9A CN112084811A (zh) | 2019-06-12 | 2019-06-12 | 身份信息的确定方法、装置及存储介质 |
PCT/CN2020/095452 WO2020249025A1 (zh) | 2019-06-12 | 2020-06-10 | 身份信息的确定方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505669.9A CN112084811A (zh) | 2019-06-12 | 2019-06-12 | 身份信息的确定方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112084811A true CN112084811A (zh) | 2020-12-15 |
Family
ID=73733327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910505669.9A Pending CN112084811A (zh) | 2019-06-12 | 2019-06-12 | 身份信息的确定方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112084811A (zh) |
WO (1) | WO2020249025A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597976A (zh) * | 2021-03-02 | 2021-04-02 | 北京数字政通科技股份有限公司 | 一种目标对象的智能防控方法及智能防控系统 |
CN113516003A (zh) * | 2021-03-10 | 2021-10-19 | 武汉特斯联智能工程有限公司 | 一种应用于智慧安防的基于识别模型的识别方法及装置 |
CN115083004A (zh) * | 2022-08-23 | 2022-09-20 | 浙江大华技术股份有限公司 | 一种身份识别方法、装置和计算机可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783037B (zh) * | 2022-06-17 | 2022-11-22 | 浙江大华技术股份有限公司 | 目标重识别方法、目标重识别装置和计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711146B2 (en) * | 2006-03-09 | 2010-05-04 | General Electric Company | Method and system for performing image re-identification |
CN105787440A (zh) * | 2015-11-10 | 2016-07-20 | 深圳市商汤科技有限公司 | 一种基于人脸特征和步态特征的安保管理方法及系统 |
CN107590452A (zh) * | 2017-09-04 | 2018-01-16 | 武汉神目信息技术有限公司 | 一种基于步态与人脸融合的身份识别方法及装置 |
CN108108693B (zh) * | 2017-12-20 | 2019-02-19 | 深圳市安博臣实业有限公司 | 基于3d高清vr全景的智能识别监控装置及识别方法 |
-
2019
- 2019-06-12 CN CN201910505669.9A patent/CN112084811A/zh active Pending
-
2020
- 2020-06-10 WO PCT/CN2020/095452 patent/WO2020249025A1/zh active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597976A (zh) * | 2021-03-02 | 2021-04-02 | 北京数字政通科技股份有限公司 | 一种目标对象的智能防控方法及智能防控系统 |
CN112597976B (zh) * | 2021-03-02 | 2021-06-25 | 北京数字政通科技股份有限公司 | 一种目标对象的智能防控方法及智能防控系统 |
CN113516003A (zh) * | 2021-03-10 | 2021-10-19 | 武汉特斯联智能工程有限公司 | 一种应用于智慧安防的基于识别模型的识别方法及装置 |
CN115083004A (zh) * | 2022-08-23 | 2022-09-20 | 浙江大华技术股份有限公司 | 一种身份识别方法、装置和计算机可读存储介质 |
CN115083004B (zh) * | 2022-08-23 | 2022-11-22 | 浙江大华技术股份有限公司 | 一种身份识别方法、装置和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020249025A1 (zh) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112084811A (zh) | 身份信息的确定方法、装置及存储介质 | |
CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
CN110933468A (zh) | 播放方法、装置、电子设备及介质 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN108132790B (zh) | 检测无用代码的方法、装置及计算机存储介质 | |
CN111931712A (zh) | 人脸识别方法、装置、抓拍机及系统 | |
CN111753784A (zh) | 视频的特效处理方法、装置、终端及存储介质 | |
CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN112749590A (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
CN111428080A (zh) | 录像文件的存储方法、搜索方法及装置 | |
CN110677713B (zh) | 视频图像处理方法及装置、存储介质 | |
CN107944024B (zh) | 一种确定音频文件的方法和装置 | |
CN111083513A (zh) | 直播画面处理方法、装置、终端及计算机可读存储介质 | |
CN112990424A (zh) | 神经网络模型训练的方法和装置 | |
CN111611414A (zh) | 车辆检索方法、装置及存储介质 | |
CN111027490A (zh) | 人脸属性识别方法及装置、存储介质 | |
CN112308104A (zh) | 异常识别方法、装置及计算机存储介质 | |
CN111860064A (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN111127509A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN111723615A (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
CN112135256A (zh) | 移动轨迹的确定方法、装置、设备及可读存储介质 | |
CN111988664B (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 | |
CN110263695B (zh) | 人脸部位的位置获取方法、装置、电子设备及存储介质 | |
CN113961729A (zh) | 一种基于浏览器的检索结果截屏的方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |