CN115223226A - 生物识别的方法和系统 - Google Patents

生物识别的方法和系统 Download PDF

Info

Publication number
CN115223226A
CN115223226A CN202210881810.7A CN202210881810A CN115223226A CN 115223226 A CN115223226 A CN 115223226A CN 202210881810 A CN202210881810 A CN 202210881810A CN 115223226 A CN115223226 A CN 115223226A
Authority
CN
China
Prior art keywords
feature
cloud
local
biological
biometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210881810.7A
Other languages
English (en)
Inventor
刘贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210881810.7A priority Critical patent/CN115223226A/zh
Publication of CN115223226A publication Critical patent/CN115223226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书提供的生物识别的方法和系统,通过获取存储在云侧的云侧特征集合,该云侧特征集合对应于存储在本地的本地特征集合,并将目标生物特征与预设特征集合中的特征进行特征比对,得到目标生物特征对应的特征比对信息,该预设特征集合包括所述本地特征集合和所述云侧特征集合,以及基于特征对比信息、本地特征集合和云侧特征集合,识别出目标对象,使得云侧特征集合可以补充本地特征集合的不足,另外,通过云侧数据下发来支持端侧决策,进一步提升端侧决策的准确率,因此,可以提升生物识别的准确率。

Description

生物识别的方法和系统
技术领域
本说明书涉及生物识别领域,尤其涉及一种生物识别的方法和系统。
背景技术
近年来,随着互联网技术的飞速发展,生物识别的应用领域也越来越广泛,比如,在支付或安全等场景下往往就需要对对象进行面部识别或者其他生物特征的识别。针对这些场景,现有的生物识别方法往往是通过终端采集生物图像后直接在端侧进行生物识别。
在对现有技术的研究和实践过程中,本发明的发明人发现受限于端侧本地计算能力和存储空间,使得生物识别的识别精度降低,因此,导致生物识别的准确率降低。
发明内容
本说明书提供一种准确率更高的生物识别的方法和系统。
第一方面,本说明书提供一种生物识别法,包括:获取存储在云侧的云侧特征集合,所述云侧特征集合对应于存储在本地的本地特征集合;获取目标对象的目标生物图像,并基于所述目标生物图像,确定所述目标对象的目标生物特征;将所述目标生物特征与预设特征集合中的特征进行特征比对,得到所述目标生物特征对应的特征比对信息,所述预设特征集合包括所述本地特征集合和所述云侧特征集合;以及基于所述特征对比信息、所述本地特征集合和所述云侧特征集合,识别出所述目标对象。
在一些实施例中,所述将所述目标生物特征与预设特征集合中的特征进行特征比对,得到所述目标生物特征对应的特征比对信息,包括:在所述本地特征集合中筛选出本地候选对象对应的生物特征,得到本地候选生物特征集合;在所述云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合,所述云侧候选对象与所述本地候选对象存在关联关系;以及将所述目标生物特征与目标生物特征集合中的生物特征进行比对,得到所述目标生物特征对应的特征比对信息,所述目标生物特征集合包括所述本地候选生物特征集合所述云侧关联生物特征集合。
在一些实施例中,所述关联关系包括相貌相似度、血缘关系、亲属关系、社交关系以及预设的责权关系中的至少一种。
在一些实施例中,所述在所述云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合,包括:获取关联对象信息;基于所述关联对象信息,确定所述本地候选对象对应的云侧候选对象;以及在所述云侧特征集合中筛选出所述云侧候选对象对应的生物特征,得到云侧关联生物特征集合。
在一些实施例中,所述基于所述关联对象信息,确定所述本地候选对象对应的云侧候选对象,包括:在所述关联对象信息中提取出至少一个关联对象对,所述关联对象对包括存在关联关系的任意两个关联对象;以及在所述至少一个关联对象对中筛选出所述本地候选对象对应的关联对象,得到云侧候选对象。
在一些实施例中,所述将所述目标生物特征与目标生物特征集合中的生物特征进行比对,得到所述目标生物特征对应的特征比对信息,包括:将所述目标生物特征与所述本地候选生物特征集合中的生物特征进行比对,得到本地比对信息;将所述目标生物特征与所述云侧关联生物特征集合中的生物特征进行比对,得到云侧比对信息;以及将所述本地比对信息和所述云侧比对信息进行融合,得到所述目标生物特征对应的特征比对信息。
在一些实施例中,所述基于所述特征比对信息、所述本地特征集合和所述云侧特征集合,识别出所述目标对象,包括:基于所述特征比对信息和所述本地特征集合,确定本地目标特征;以及基于所述本地目标特征和所述云侧特征集合,识别出所述目标对象。
在一些实施例中,所述基于所述特征比对信息和所述本地特征集合,确定本地目标特征,包括:在所述本地特征集合中提取出本地当前特征;以及将所述本地当前特征与所述特征比对信息进行融合,得到本地目标特征。
在一些实施例中,所述基于所述本地目标特征和所述云侧特征集合,识别出所述目标对象,包括:在所述云侧特征集合中提取出所述本地候选对象的历史行为特征;将所述历史行为特征与所述本地目标特征进行特征融合,得到所述目标对象对应的端侧决策特征;以及基于所述端侧决策特征,确定所述目标对象的生物识别结果。
在一些实施例中,所述获取存储在云侧的云侧特征集合,包括:向云服务器发送特征获取请求,所述特征获取请求包括本地候选对象的标识信息;接收所述云服务器返回的基于所述标识信息生成的关联对象信息和所述本地特征集合对应的云侧特征集合。
第二方面,本说明书提供一种生物识别方法,应用于与本地设备通信连接的运程服务器,包括:接收所述本地设备发出的特征获取请求,所述特征获取请求包括本地候选对象的标识信息,所述本地设备存储有所述本地候选对象的生物特征信息以及所述标识信息;基于所述标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合,所述云侧关联生物特征集合包括与所述本地候选对象相关联的对象的生物特征;以及将所述云侧关联生物特征集合作为云侧特征集合发送至所述本地设备,用于所述本地设备执行本说明书第一方面所述的生物识别方法,基于所述云侧特征集合识别出所述目标对象。
在一些实施例中,所述基于所述标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合,包括:基于所述预设生物特征集合,确定关联对象信息;基于所述标识信息和所述关联对象信息,确定所述本地候选对象对应的云侧候选对象;以及在所述预设生物特征集合中筛选出所述云侧候选对象对应的生物特征,得到所述云侧关联生物特征集合。
在一些实施例中,所述基于所述预设生物特征集合,确定关联对象信息,包括:获取所述预设生物特征集合中生物特征之间的特征相似度;在所述预设生物特征集合中筛选出至少一个生物特征对,所述生物特征对为所述相似度超过预设相似度阈值的任意两个生物特征;以及基于所述至少一个生物特征对,确定关联对象信息。
在一些实施例中,所述基于所述至少一个生物特征对,确定关联对象信息,包括:获取所述至少一个生物特征对对应的至少一个候选对象的目标对象标识;基于所述目标对象标识,确定至少一个关联对象对,所述至少一个关联对象对对应于所述至少一个生物特征对;以及将所述至少一个关联对象对进行融合,得到所述关联对象信息。
在一些实施例中,所述基于所述标识信息和所述关联对象信息,确定所述本地候选对象对应的云侧候选对象,包括:获取所述关联对象信息对应的对象标识对集合;将所述标识信息中的对象标识与所述对象标识对集合中的对象标识进行对比,得到关联对象标识;以及基于所述关联对象标识,确定所述本地候选对象对应的云侧候选对象。
在一些实施例中,所述将所述标识信息中的对象标识与所述对象标识对集合中对象标识进行对比,得到关联对象标识,包括:在所述标识信息中提取出所述本地候选对象的本地对象标识;在所述对象标识对集合中筛选出所述本地对象标识对应的至少一个对象标识,得到候选关联对象标识集合;以及基于所述本地对象标识,对所述候选关联对象标识集合中的对象标识进行去重,得到所述关联对象标识。
在一些实施例中,所述接收所述本地设备发出的特征获取请求之后,还包括:基于所述标识信息,生成所述本地候选对象的历史行为特征;以及所述将所述云侧关联生物特征集合作为云侧特征集合发送至所述本地设备,包括:将所述历史行为特征和所述云侧关联生物特征集合作为所述云侧特征集合发送至所述本地设备。
第三方面,本说明书还提供一种生物识别系统,包括:至少一个存储介质,存储有至少一个指令集,用于进行生物识别;以及至少一个处理器,同所述至少一个存储介质通信连接,其中,当所述生物识别系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行本说明书第一方面和第二方面所述的生物识别的方法。
由以上技术方案可知,本说明书提供的生物识别的方法和系统,获取存储在云侧的云侧特征集合,该云侧特征集合对应于存储在本地的本地特征集合,然后,获取目标对象的目标生物图像,并基于该目标生物图像,确定目标对象的目标生物特征,然后,将目标生物特征与预设特征集合中的特征进行特征比对,得到目标生物特征对应的特征比对信息,该预设特征集合包括所述本地特征集合和所述云侧特征集合,以及基于特征对比信息、本地特征集合和云侧特征集合,识别出目标对象;由于该方案可以从云侧获取云侧特征集合,而且该云侧特征集合对应于本地特征集合,使得云侧特征集合可以补充本地特征集合的不足,另外,通过云侧数据下发来支持端侧决策,进一步提升端侧决策的准确率,因此,可以提升生物识别的准确率。
本说明书提供的生物识别的方法和系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的生物识别的方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种生物识别的系统的应用场景示意图;
图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图;
图3示出了根据本说明书的实施例提供的一种生物识别的方法流程图;
图4示出了根据本说明书的实施例提供的另一种生物识别的方法流程图;以及
图5示出了根据本说明书的实施例提供的一种人脸识别场景下的人脸识别方法的流程示意图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
在任意需要人脸识别的场景下,比如,门禁场景下的人脸识别、支付场景下的人脸识别、解锁场景下的人脸识别,等等。本地端侧进行人脸采集、人脸特征提取后,直接在端侧人脸特征库中检索;检索到的特征对应用户ID作为最终识别决策结果。但是受限于端侧本地计算和存储空间,端侧的人脸特征提取算法的性能较云侧会有较大性能下降。整体纯本地检索决策的识别准确率也不高。如果可以引入云侧数据特征,就可以补充端侧数据特征有限和缺失的问题,进一步提升决策模型的能力,从而提升人脸识别的准确率。
为了方便描述,本说明书将对以下描述将会出现的术语进行如下解释:
决策:在进行目标对象的生物识别过程中,基于采集到的目标对象的生物特征在生物特征库中进行检索的检索结果,判断最终的目标对象的对象标识或身份的环节称为决策。以人脸识别场景为例,就可以为线下人脸识别过程中,基于人脸特征在人脸业务库中的检索结果,判断最终识别人ID的环节。
端侧:生物识别设备(机具)本地的能力。本地识别情况下,本地设备(机具)完成目标对象的生物图像采集、生物特征提取、特征对比(特征检索)和识别决策等。
云侧:生物识别在云端的能力。全链路识别情况下,本地设备(机具)在本地采集目标对象的生物图像之后,在云端完成生物特征提取、特征对比(特征检索)和识别决策等。
端侧特征库:端侧存储的本地候选对象的生物特征库。受限于端侧实际内存空间,端侧特征库通常较小,容量有限。
云侧特征库:云侧存储的全量生物特征库。云侧特征库中可以存在存储业务中全量的候选对象的生物特征。
需要说明的是,上述人脸场景只是本说明是提供的多个使用场景中的一个,本说明书所述的生物识别方法和系统不仅可以应用于人脸识别场景,还可以应用于生物识别的所有场景,比如,人体识别、动物识别,或者,其他生物的识别,等等。本领域技术人员应当明白,本说明书所述的生物识别方法和系统应用于其他使用场景也在本说明书的保护范围内。
图1示出了根据本说明书的实施例提供的一种生物识别的系统001的应用场景示意图。生物识别的系统001(以下简称系统001)可以应用于任意场景的生物识别,比如,人脸识别场景下的人脸识别、人体识别、动物识别、其他生物识别,等等,如图1所示,系统001可以包括目标对象100、客户端(端侧)200、服务器(云侧)300以及网络400。
目标对象100可以为等待进行生物识别的对象或者正在进行生物识别的对象,以人脸识别场景为例,目标对象就可以为登录进行人脸识别的用户或正在进行人脸识别的用户。目标对象100可以在客户端200上进行生物识别。
客户端200可以为对目标对象100进行生物图像采集的设备。在一些实施例中,所述生物识别的方法可以在客户端200上执行。此时,客户端200可以存储有执行本说明书描述的生物识别的方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示,客户端200可以与服务器300进行通信连接。在一些实施例中,服务器300可以与多个客户端200进行通信连接。在一些实施例中,客户端200可以通过网络400与服务器300交互,以接收或发送消息等,比如接收或发送目标生物图像或目标生物特征。在一些实施例中,客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容,或其任意组合。在一些实施例中,所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备,或其任意组合。在一些实施例中,所述智能家居装置可包括智能电视、台式电脑等,或任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等,或其任意组合。在一些实施例中,所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容,或其中的任何组合。例如,所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中,所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中,客户端200可以包括图像采集设备,用于采集目标对象100的生物图像,从而获取目标生物图像。在一些实施例中,所述图像采集设备可以是二维图像采集设备(比如RGB摄像头),也可以是二维图像采集设备(比如RGB摄像头)和深度图像采集设备(比如3D结构光摄像头、激光探测器,等等)。在一些实施例中,客户端200可以是具有定位技术的设备,用于定位客户端200的位置。
在一些实施例中,客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标对象100提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于:网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中,客户端200上可以安装有目标APP。所述目标APP能够为客户端200采集目标空间内的视频或图像信息,从而得到目标图像。在一些实施例中,所述目标对象100还可以通过所述目标APP触发生物识别请求。所述目标APP可以响应于所述生物识别请求,执行本说明书描述的生物识别的方法。所述生物识别的方法将在后面的内容中详细介绍。
服务器300可以是提供各种服务的服务器,例如对客户端200上采集的目标生物图像提供支持的后台服务器,也可以称之为云服务器。在一些实施例中,所述生物识别的方法可以在服务器300上执行。此时,服务器300可以存储有执行本说明书描述的生物识别的方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接,并接收客户端200发送的数据。
网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示,客户端200和服务器300可以同网络400连接,并且通过网络400互相传输信息或数据。在一些实施例中,网络400可以是任何类型的有线或无线网络,也可以是其组合。比如,网络400可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,网络400可以包括一个或多个网络接入点。例如,网络400可以包括有线或无线网络接入点,如基站或互联网交换点,通过该接入点,客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。
应该理解,图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要,可以具有任意数目的客户端200、服务器300和网络400。
需要说明的是,所述生物识别的方法可以完全在客户端200上执行,也可以完全在服务器300上执行,还可以部分在客户端200上执行,部分在服务器300上执行。
图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的生物识别的方法。所述生物识别的方法在本说明书中的其他部分介绍。当所述生物识别的方法在客户端200上执行时,计算设备600可以是客户端200。当所述生物识别的方法在服务器300上执行时,计算设备600可以是服务器300。当所述生物识别的方法可以部分在客户端200上执行,部分在服务器300上执行时,计算设备600可以是客户端200和服务器300。
如图2所示,计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中,计算设备600还可以包括通信端口650和内部通信总线610。同时,计算设备600还可以包括I/O组件660。
内部通信总线610可以连接不同的系统组件,包括存储介质630、处理器620和通信端口650。
I/O组件660支持计算设备600和其他组件之间的输入/输出。
通信端口650用于计算设备600同外界的数据通信,比如,通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。
存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的生物识别的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时,至少一个处理器620读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的生物识别的方法。处理器620可以执行生物识别的方法包含的所有步骤。处理器620可以是一个或多个处理器的形式,在一些实施例中,处理器620可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中计算设备600中仅描述了一个处理器620。然而,应当注意,本说明书中计算设备600还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中计算设备600的处理器620执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图3示出了根据本说明书的实施例提供的一种生物识别的方法P100的流程图。如前,计算设备600可以执行本说明书的生物识别的方法P100。具体地,处理器620可以读取存储在其本地存储介质中的指令集,然后根据指令集的规定,执行本说明书的生物识别的方法P100。如图3所示,方法P100可以包括:
S110:获取存储在云侧的云侧特征集合。
其中,云侧特征集合对应于存储在本地的本地特征集合。云侧特征集合可以为存储在云侧的用于生物识别的特征集合。所谓云侧可以理解为相对于本地来说的远程服务器,也可以称之为云服务器。
其中,获取存在云侧的云侧特征集合的方式可以有多种,具体可以如下:
例如,处理器620可以直接从云侧获取云侧特征集合,或者,还可以间接从云侧获取云侧特征集合,具体可以如下:
(1)处理器620直接从云侧获取云侧特征集合。
例如,处理器620可以向云服务器(服务器300)发送特征获取请求,该特征获取请求包括本地候选对象的标识信息,接收云服务器(服务器300)返回的基于标识信息生成的关联对象信息和本地特征集合对应的云侧特征集合。
其中,云服务器(300)在接收到特征获取请求之后,便可以在云侧生成云侧特征集合,并将云侧特征集合发送至本地设备,使得本地设备进行生物识别,因此,针对云侧,还可以提供另一种生物识别方法,图4出示了本说明书的实施例提供的另一种生物识别的方法P200的流程图,如前,计算设备600可以执行本说明书的生物识别的方法P200。具体地,处理器620可以读取存储在其本地存储介质中的指令集,然后根据指令集的规定,执行本说明书的生物识别的方法P200。如图4所示,方法P200可以包括:
S210:接收本地设备发出的特征获取请求。
其中,特征获取请求包括本地候选对象的标识信息,所谓本地候选对象可以为本地存储的用于生物识别的生物(对象)对应的候选对象。标识信息可以为指示本地候选对象的对象标识或者身份标识的信息。
其中,本地设备可以为对应于云侧的设备,该本地设备可以为客户端200,也可以为本地其他用于生物识别的设备。
其中,接收本地设备发出的特征获取请求的方式可以有多种,具体可以如下:
例如,处理器620可以直接接收本地设备发送的特征获取请求,或者,还可以间接接收本地设备发送的特征获取请求。
其中,间接接收本地设备发送的特征获取请求的方式可以有多种,比如,处理器620接收第三方设备发送的生物识别请求,在生物识别请求中提取出特征获取请求,或者,当本地候选对象的标识信息数量较多或者内存较大时,还可以接收第三方设备发送的存储地址,处理器620基于该存储地址,获取本地设备发出的特征获取请求。
S220:基于标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合。
其中,预设生物特征集合就可以为云侧特征库,用于存储云侧的全量候选对象的生物特征。所谓生物特征可以为从生物学角度表征该对象的特征信息,生物特征的类型可以有多种,比如,可以包括面部特征、肢体特征、血液特征、体态特征、毛发特征、声音特征、气味特征和器官特征等等中的至少一种。
其中,云侧关联生物特征集合为与本地候选对象存在关联关系的云侧存储的候选对象的生物特征的集合。所谓关联关系用于指示候选对象之间存在特定的关系。该关联关系的类型可以有多种,比如,可以包括相貌相似度、血缘关系、亲属关系、预设的责权关系、社会关系、社交关系等等中的至少一种。
其中,基于标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合的方式可以有多种,具体可以如下:
例如,处理器620基于所述预设生物特征集合,确定关联对象信息,基于标识信息和关联对象信息,确定本地候选对象对于的云侧候选对象,以及在预设生物特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合。
其中,关联对象信息可以为指示预设生物特征集合中生物特征对应的候选对象之间的关联关系的信息。关联对象信息中可以包括存在关联关系的至少一个候选对象对或该候选对象对的标识信息。基于预设生物特征集合,确定关联对象信息的方式可以有多种,比如,处理器620可以获取预设生物特征集合中生物特征之间的特征相似度,在预设生物特征集合中筛选出至少一个生物特征对,该生物特征对为相似度超过相似度阈值的任意两个生物特征,以及基于至少一个生物特征对,确定关联对象信息。
其中,获取预设生物特征集合中生物特征之间的特征相似度的方式可以有多种,比如,处理器620可以在预设生物特征集合中,采用全量生物特征或部分生物特征进行互相比对,然后,计算任意两个生物特征之间的相似度,从而得到预设生物特征集合中生物特征之间的特征相似度。
在获取预设生物特征集合中的生物特征之间的特征相似度之后,便可以在预设生物特征集合中筛选出至少一个生物特征对。该生物特征对为相似度阈值超过预设相似度阈值的任意两个生物特征。筛选出至少一个生物特征对的方法可以有多种,比如,处理器620可以在特相似度中筛选出超过预设相似度阈值的特征相似度,得到至少一个目标特征相似度,然后,在预设生物特征集合中筛选出至少一个目标特征相似度对应的生物特征,得到至少一个生物特征对。
在筛选出至少一个生物特征对之后,便可以基于至少一个生物特征对,确定关联对象信息。确定关联对象信息的方式可以有多种,比如,处理器620获取至少一个生物特征对对应的至少一个候选对象的目标对象标识,基于目标对象标识,确定至少一个关联对象对,该至少一个关联对象对对应与自身一个生物特征对,以及将至少一个关联对象进行融合,得到关联对象信息。
其中,关联对象对可以理解为存在关联关系的两个候选对象组成的对象对。基于目标对象标识,确定至少一个关联对象对的方式可以有多种,比如,处理器620在目标对象标识中筛选出每一生物特征对对应的对象标识对,将对象标识对对应的两个候选对象作为一个关联对象对。此时,可以发现关联对象对于生物特征对是一一对应的关系。
在确定关联对象信息之后,便可以基于标识信息和关联对象信息,确定本地候选对象对应的云侧候选对象,确定云侧候选对象的方式可以有多种,比如,处理器620可以获取关联对象信息对应的对象标识对集合,将标识信息中的对象标识与对象标识对集合中的对象标识进行对比,得到关联对象标识,以及基于关联对象标识,确定本地候选对象对应的云侧候选对象。
其中,对象标识对集合可以为关联对象信息中每一关联对象对对应的对象标识对组成的集合。将标识信息中的对象标识与对象标识对集合中的对象标识进行对比的方式可以有多种,比如,处理器620可以在标识信息中提取出本地候选对象的本地对象标识,在对象标识集合中筛选出本地对象标识对应的至少一个对象标识,得到候选关联对象标识集合,以及基于本地对象标识,对候选关联对象标识集合中的对象标识进行去重,得到关联对象标识。
其中,关联对象信息也可以理解为是一个端侧对比指令,这个端侧对比指令的形式就是关联对象对的信息,也就是云侧存储的全量候选对象之间存在关联关系的关联对象对信息。候选关联对象标识集合就可以理解为云侧全量候选对象中与端侧的本地候选对象存在关联关系的云侧候选对象的对象标识组成的集合。比如,以本地候选对象标识为A为例,关联对象信息指示A的关联对象的标识为B和C,则此时,候选关联对象标识集合中就包括B和C。
其中,关联对象标识可以理解为与本地候选对象存在关联关系的云侧候选对象的对象标识,这里需要说明的是云侧候选对象为与本地候选对象存在关联关系,且未存储在本地的候选对象。基于本地对象标识,对候选关联对象标识集合中的对象标识进行去重的方式可以有多种,比如,在候选关联对象标识集合中删除与本地对象标识相同的对象标识,从而得到关联对象标识。在此需要说明的是,端侧特征库的规模远小于云侧特征库的大小,因此,端侧特征库中的关联对象可能不在端侧特征库中,因此,需要补充下发。在这个过程中,首选需要检索出与本地候选对象存在关联关系的全部云侧的候选对象,但是检索出的云侧的候选对象,本地特征库中也可能存在,因此,再通过本地对象标识进行去重,就可以得到与本地候选对象存在关联,且未存储在本地的候选对象。
在确定出关联对象标识之后,便可以基于关联对象标识,确定本地候选对应的云侧候选对象,确定云侧候选对象的方式可以有多种,比如,处理器620获取预设生物特征集合对应的云侧候选对象集合,在云侧候选对象集合中筛选出关联对象标识对应的候选对象,从而得到本地候选对象对应的云侧候选对象。
在确定出云侧候选对象之后,便可以在预设生物特征集合中筛选出云侧候选对象对应的生物特征,筛选出云侧候选对象对应的生物特征的方式可以有多种,比如,处理器620在预设生物特征集合中筛选出云侧候选对象对应的生物特征,并将筛选出的生物特征进行融合,从而得到云侧关联生物特征集合。
其中,以生物识别场景为人脸识别场景为例,人脸识别的误识别主要来源于长相相似的用户之间的误检。云侧人脸特征户包含了业务全量的用户人脸特征,在全量用户库中进行相似脸的发现覆盖率更加全面。因此,在全量人脸特征中筛选出的云侧关联人脸特征集合可以为端侧提供全局业务视角下的相似脸信息,充分考量了用户在全量库中的高危误识别风险,从而可以大大降低端侧的误识别概率,进而提升人脸识别的准确率。
S230:将云侧关联生物特征集合作为云侧特征集合发送至本地设备。
例如,处理器620可以直接将云侧关联生物特征集合作为云侧特征集合发送至本地设备,或者,可以向第三方发送云侧关联生物特征集合,以便第三方将云侧关联生物特征集合发送至本地设备,或者,还可以向本地设备发送云侧关联生物特征集合的存储地址,以便本地设备基于该存储地址,获取云侧关联生物特征集合,并将该云侧关联生物特征集合作为云侧特征集合。
在一些实施例中,云侧还可以给端侧下发本地候选对象在云侧的行为数据作为生物识别的补充特征,云侧特征集合还可以包括本地候选对象在云侧的行为数据。因此,在接收本地设备发出的特征获取请求之后,处理器620还可以基于标识信息,生成本地候选对象的历史行为特征,以及将历史行为特征和云侧关联生物特征作为云侧特征集合发送至本地设备。
其中,历史行为特征可以为本地候选对象在历史区间内的行为特征信息,历史行为特征的类型可以有多种,比如,以人脸识别场景为例,就可以包括用户历史的属性信息、历史刷脸行为、空间行为等等。基于标识信息,生成本地候选对象的历史行为特征的方式可以有多种,比如,处理器620可以在预设历史行为特征集合中筛选出标识信息对应的历史行为特征,从而得到本地候选对象的历史行为特征,或者,可以基于标识信息,获取本地候选对象的历史行为信息,对历史行为信息进行多维特征提取,从而得到本地候选对象的历史行为特征,或者,可以基于标识信息,获取本地候选对象的历史行为信息,对历史行为信息进行多维特征提取,然后,在提取出的初始历史行为特征中筛选出至少一个类型的历史行为特征,得到本地候选对象对应的历史行为特征,或者,还可以采用其他方式生成本地候选对象的历史行为特征。
在生成本地候选对象的历史行为特征之后,便可以将历史行为特征和云侧关联生物特征集合作为云侧特征集合发送至本地设备,从而补充了端侧数据特征有限和缺失的问题,进一步提升了决策模型的能力。
其中,还需要说明的是,云侧特征集合中可以包括历史行为特征和云侧关联生物特征集合,也可以包括历史行为特征和云侧关联生物特征集合中的至少一种。
(2)处理器620间接从云侧获取云侧特征集合。
例如,处理器620可以将本地候选对象的标识信息发送至第三方,以便第三方基于本地候选对象的标识信息生成特征获取请求,该特征获取请求包括端侧的地址,第三方将特征获取请求发送至云服务器(服务器300),然后,接收云服务器(服务器300)返回的基于标识信息生成的关联对象信息和本地特征集合对应的云侧特征集合。
其中,云服务器(服务器300)基于标识信息生成的关联对象信息和本地特征集合对应的云侧特征集合的方式参见上文所述,在此就不再一一赘述。
在获取到存储在云侧的云侧特征集合之后,如图3所示,方法P100还可以包括:
S120:获取目标对象的目标生物图像,并基于所述目标生物图像,确定所述目标对象的目标生物特征。
其中,目标生物图像可以为表征目标对象的生物信息的生物图像,所谓生物图像可以包括对象的生物信息的图像,生物图像的类型可以为有多种,比如,可以包括面部图像、躯体图像、器官图像或其他生物信息图像,等等。
其中,目标生物特征可以为表征目标对象的生物信息的生物特征,所谓生物特征可以理解为表征生物特征的特征信息,生物特征的类型可以有多种,比如,可以包括面部特征、躯体特征、器官特征或者其他生物信息的特征,等等。
其中,获取目标对象的目标生物图像的方式可以有多种,具体可以如下:
例如,处理器620可以直接通过图像采集设备采集目标对象的生物图像,从而得到目标对象的目标生物图像,或者,可以接收第三方发送的目标对象的目标生物图像,或者,可以在网络或图像数据库中获取目标对象的目标生物图像,或者,还可以在网络上爬取原始图像,在原始图像中筛选出包含生物信息的图像,从而得到目标对象的目标生物图像,等等。
其中,图像采集设备可以集成在客户端200上,也可以集成在服务器300上。以目标生物图像为人脸为例,客户端200的类型就可以有多种,比如,可以包括超市中的结算机具、门禁设备、目标用户100的移动终端,等等。图像采集设备可以包括二维图像采集设备、深度图像采集设备或者其他类型的图像采集设备中的至少一种。所谓二维图像采集设备可以理解为采集二维图像的设备,比如,RGB摄像头、红外摄像头、可见光摄像头或者其他颜色空间对应的摄像头。所谓深度图像采集设备可以理解为采集三维图像的图像设备,比如,可以包括3D结构光摄像头、激光探测器和3D扫描仪等等。深度图像采集设备采集的图像可以包括深度图像,所谓深度图像可以理解为带有深度信息的图像,在一些实施例中,深度图像可以是带有深度信息的灰度图像。其中,像素点的灰度高低反映了深度及其变化情况。需要说明的是,带有深度信息的灰度图像只是深度图像的形式之一。在一些实施例中,还可以直接用三维坐标来呈现深度图像,如此更加准确。在一些实施例中,深度图像也可以是二维图像与深度信息结合生成的立体图像,其能够存储并向用户展示目标用户100的人脸在三维空间内各个方向上的形状。此时深度图像存储有在各个面上的深度信息。在一些实施例中,深度图像可以是携带有深度信息的二维图像的形式,此时,不仅能够满足三维图像的识别、计算需求,同时可以减少占用的存储空间和计算资源。
在获取目标对象的目标生物图像之后,便可以基于目标生物图像,确定目标对象的目标生物特征。目标生物特征可以为目标生物图像中提取出的目标对象的生物特征,所谓生物特征可以为表征对象的生物信息的特征信息,生物特征的类型可以有多种,比如,可以包括面部特征(人脸特征)、躯体特征、血液特征、器官特征、毛发特征或肤色特征等的至少一种。确定目标对象的目标生物特征的方式可以有多种,比如,处理器620可以采用生物特征提取模型在目标生物图像中提取出目标对象的目标生物特征,或者,还可以将目标生物图像发送至特征提取服务器,以便特征提取服务器在目标生物图像中提取出生物特征,然后,接收特征提取服务器返回的生物特征,并将该生物特征作为目标对象的目标生物特征。
其中,生物特征特征提取模型可以为在生物图像中提取出生物特征信息的模型,该生物特征提取模型的结构或类型可以有多种,比如,可以包括卷积网络、残差网络或各种可以进行特征提取的网络,等等。
S130:将目标生物特征与预设特征集合中的特征进行特征比对,得到目标生物特征对应的特征比对信息。
其中,预设特征集合包括本地特征集合和云侧特征集合。
其中,特征比对信息可以理解为目标生物特征与预设特征集合中每一生物特征之间的比对结果所组成的信息。所谓比对结果可以为生物特征之间的相似度,也可以理解为生物特征之间的特征距离或角度,等等。
其中,将目标生物特征与预设特征集合中的特征进行特征比对的方式可以有多种,具体可以如下:
例如,处理器620可以在本地特征集合中筛选出本地候选对象对应的生物特征,得到本地候选生物特征集合,在云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合,将目标生物特征与目标生物特征集合中的生物特征进行比对,得到目标生物特征对应的特征比对信息,该目标生物特征集合包括本地候选生物特征和云侧关联生物特征集合。
其中,本地候选生物特征集合可以理解为存储在本地的端侧特征库,该本地候选生物特征集合包括本地候选对象对应的生物特征。
其中,云侧候选对象与本地候选对象存在关联关系。所谓关联关系用于表征本地候选对象与云侧候选对象之间存在的一种或多种特征关系。关联关系的类型可以有多种,比如,可以包括相貌相似度、血缘关系、亲属关系、社交关系、社会关系以及预设的责权关系等等中的至少一种。在云侧特征集合中筛选出云侧候选对象对应的生物特征的方式可以有多种,比如,处理器620可以获取关联对象信息,基于关联对象信息,确定本地候选对象对应的云侧候选对象,以及在云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合。
其中,基于关联对象信息,确定本地候选对象对应的云侧候选对象的方式可以有多种,比如,处理器620可以在关联对象信息中提取出至少一个关联对象对,该关联对象对包括存在关联关系的任意两个关联对象,以及在至少一个关联对象对中筛选出本地候选对象对应的关联对象,得到云侧候选对象。
在筛选出云侧候选对象之后,便可以直接在云侧特征集合中筛选出云侧候选对象对应的生物特征,从而得到云侧关联生物特征集合。
在筛选出云侧关联生物特征集合之后,将本地候选生物特征和云侧关联生物特征集合作为目标生物特征集合,便可以将目标生物特征与目标生物特征集合中的生物特征进行比对。将目标生物特征与目标生物特征集合中的生物特征进行比对的方式可以有多种,比如,处理器620可以将目标生物特征与本地候选生物特征集合中的生物特征进行比对,得到本地比对信息,将目标生物特征与云侧关联生物特征集合中的生物特征进行比对,得到云侧比对信息,以及将本地比对信息和云侧比对信息进行融合,得到目标生物特征对应的特征比对信息。
其中,本地比对信息可以理解为目标生物特征与端侧的本地候选生物特征集合中的生物特征进行比对的结果信息。将目标生物特征与本地候选生物特征集合中的生物特征进行比对的方式可以有多种,比如,处理器620在本地候选生物特征集合中检索出任意一个生物特征,并将检索出的生物特征与目标生物特征进行特征比对,直至将本地候选生物特征集合中的生物特征全部检索为止,从而就可以得到本地候选生物特征集合中的每一生物特征与目标生物特征之间的特征比对结果,将这些特征比对结果作为本地特征比对信息。
其中,将检索出的生物特征与目标生物特征进行特征比对的方式可以有多种,比如,处理器620可以计算检索出的生物特征与目标生物特征之间的特征相似度,或者,还可以计算检索出的生物特征与目标生物特征之间的特征距离或者角度等等,从而得到检索出的生物特征与目标生物特征之间的特征比对结果。
其中,云侧比对信息可以理解为目标生物特征与云侧下发至端侧的云侧关联生物特征集合中的生物特征进行比对的结果信息,需要说明的是云侧比对信息并非在云侧进行特征比对,依然是在端侧进行特征比对,只是比对的云侧关联生物特征集合来自于云侧的预下发或者实时下发等。将目标生物特征与云侧关联生物特征集合中的生物特征进行比对的方式与将目标生物特征与本地候选生物特征集合中的生物特征进行比对的方式相同,详见上文所述,在此就不再一一赘述。
其中,需要说明的是,处理器620可以将目标生物特征同时与本地候选生物特征集合和云侧关联生物特征集合中的生物特征进行比对,也可以分开进行特征比对。在分开比对的过程中,并没有时序的要求,可以先将目标生物特征与本地候选生物特征集合中的生物特征进行比对,也可以先将目标生物特征与云侧关联生物特征集合中的生物特征进行比对。
在得到本地比对信息和云侧比对信息之后,便可以将本地比对信息和云侧比对信息进行融合,从而得到目标生物特征对应的特征比对信息。将本地比对信息和云侧比对信息进行融合的方式可以有多种,比如,处理器620可以将本地比对信息和云侧比对信息进行拼接,从而得到目标生物特征对应的特征比对信息,或者,可以按照预设组合规则,将本地比对信息和云侧比对信息进行组合或者融合,从而得到目标生物特征对应的特征比对信息,或者,还可以分别获取本地比对信息和云侧比对信息对应的加权系数,基于该加权系数,分别对本地比对信息和云侧比对信息进行加权,将加权后的本地比对信息和加权后的云侧比对信息进行融合,从而得到目标生物特征对应的特征比对信息。
其中,在进行特征比对时,可以发现除了与端侧的本地候选生物特征集合中的生物特征进行特征比对,还可以与云侧下发的云侧关联生物特征集合中的生物特征进行特征比对,而且,云侧关联生物特征集合中生物特征均为与端侧的本地候选对象存在关联关系的候选对象的生物特征,从而可以实现从全局业务视角下,通过端侧的融合检索,充分考量了目标对象在全量库中的高危误识风险。
S140:基于特征比对信息、本地特征集合和云侧特征集合,识别出目标对象。
例如,处理器620可以基于特征比对信息和本地特集合,确定本地目标特征,以及基于本地目标特征和云侧特征集合,识别出目标对象。
其中,本地目标特征可以理解为当前本地生成的用于进行目标对象识别的特征信息,也可以理解为针对目标对象识别的端侧实时特征。基于特征比对信息和本地特征集合,确定本地目标特征的方式可以有多种,比如,处理器620可以在本地特征集合中提取出本地当前特征,以及将本地当前特征与特征比对信息进行融合,得到本地目标特征。
其中,本地当前特征是指不依赖于检索(特征比对),可在端侧实时获取的其他特征,也可以称之为本地实时特征,本地当前特征的类型可以有多种,比如,可以包括端侧本地设备(机具)的实时地理位置、目标生物图像的采集时间或者本地候选生物特征集合(库)大小等等。在提取出本地当前特征之后,便可以将本地当前特征与特征比对信息进行融合,融合的方式可以有多种,比如,处理器620可以将特征比对信息与本地当前特征进行拼接,从而得到本地目标特征,或者,可以按照预设组合规则,将本地当前特征与特征比对信息进行组合或融合,从而得到本地目标特征,或者,还可以分别获取本地当前特征和特征比对信息对应的加权系数,基于该加权系数,分别对本地当前特征和特征比对信息进行加权,并将加权后本地当前特征和加权后特征比对信息进行融合,从而得到本地目标特征。
在确定出本地目标特征之后,便可以基于本地目标特征和云侧特征集合,识别出目标对象,识别目标对象的方式可以有多种,比如,处理器620可以在云侧特征集合中提取出本地候选对象的历史行为特征,将历史行为特征与本地目标特征进行特征融合,得到目标对象对应的端侧决策特征,以及基于端侧决策特征,确定目标对象的生物识别结果。
其中,历史行为特征可以为本地候选对象在历史区间内的行为特征信息,历史行为特征的类型可以有多种,比如,以人脸识别场景为例,就可以包括用户历史的属性信息、历史刷脸行为、空间行为等等。该历史行为特征可以为云侧预下发的特征,该历史行为特征与云侧关联生物特征集合不一样的地方在于,该历史行为特征为云侧基于端侧的本地候选对象,在云侧进行预加工生成的历史行为特征。而云侧关联生物特征集合中的生物特征为云侧全量特征生物特征中与本地候选对象存在关联关系的候选对象的生物特征。
其中,端侧决策特征为用于根据检索结果决策最终识别出目标对象的识别结果的特征信息。该端侧决策特征也可以理解为输入至生物识别模型或者识别决策模型的特征信息。将历史行为特征与本地目标特征进行特征融合的方式可以有多种,比如,处理器620可以将历史行为特征与本地目标特征进行拼接,从而得到目标对象对应的端侧决策特征,或者,可以按照预设组合规则,将本地目标特征与历史行为特征进行组合或者融合,从而得到目标对象对应的端侧决策特征,或者,还可以分别获取本地目标特征和历史行为特性对应的加权系数,基于该加权系数,分别对本地目标特征和历史行为特征进行加权,并将加权后的本地目标特征和加权后的历史行为特征进行融合,得到目标对象对应的端侧决策特征。
在得到目标对象对应的端侧决策特征之后,便可以基于目标对象的端侧决策特征,确定目标对象的生物识别结果。这里的生物识别结果可以理解为目标对象本次进行生物识别而产生的识别结果,该生物识别结果的类型可以有多种,比如,可以直接识别出目标对象的身份信息或者面部信息,或者,以生物识别为人脸识别场景为例,还可以包括人脸识别是否通过,等等。确定目标对象的生物识别结果的方式可以有多种,比如,处理器620可以使用端侧决策特征建模,得到端侧决策模型,并将端侧决策特征输入至端侧决策模型,然后,通过端侧决策模型输出目标对象的生物识别结果,或者,还可以将端侧决策特征输入至预设的训练后生物识别模型,通过该训练后生物识别模型基于端侧决策模型进行生物识别决策,从而输出目标对象的生物识别结果。这里的决策的形式可以有多种,譬如,处理器620通过端侧决策模型或者训练后生物识别模型可以基于端侧决策特征中的特征比对信息,确定目标对象的候选生物识别结果,基于端侧决策特征中的其他特征,在候选生物识别结果中筛选出目标对象的生物识别结果,或者,还可以基于端侧决策模型,直接映射出目标对象对应的每一候选生物识别结果的候选概率,基于该候选概率,在候选生物识别结果中决策出该目标对象对应的生物识别结果。以人脸识别为例,当目标对象为本地存储的本地候选对象或者云侧存储的与本地候选对象存在关联关系的候选对象时,就可以决策目标对象的人脸识别通过,反之,则决策目标对象的人脸识别不通过,从而得到目标对象的人脸识别结果。
其中,端侧决策模型或训练后生物识别模型的模型结构可以有多种,比如,CNN网络、GNN网络、残差网络或者其他任何可以进行生物识别(人脸识别)的网络结构。在本方案包含独立的决策模型环节,在生物特征之外考虑检索数据和行为数据信息,通过模型进行决策,可进一步提升决策准确率,从而提升生物识别的准确率。
其中,在此需要说明的是,在对目标对象进行生物识别时,可以采用云侧的特征,也可以不采用云侧预下发的特征,因此,端侧决策特征内包含的特征的类型就可以有多种,比如,可以包括本地目标特征和历史行为特征,或者,可以仅包括本地目标特征,或者,还可以仅包括本地对比信息和本地当前特征组成的本地目标特征,等等。
其中,以生物识别的场景为人脸识别场景为例,本方案的人脸识别的流程可以如图5所示,在人脸识别流程中,主要包括端侧和云侧两个部分。在云侧可以生成端侧特征库内的用户在云侧行为数据的补充特征,从而得到本地候选对象的历史行为特征,在云侧还可以在云侧全量人脸库范围内,使用全量人脸特征互比或部分人脸特征互比,计算两两之间相似度,达到一定阈值的用户关系对定义为关联用户,从而得到关联用户信息,将该关联用户信息作为端侧比对指令发送至端侧,另外,还可以基于该关联用户信息,在全量人脸库筛选出本地候选对象对应的关联账号生物特征,从而得到云侧关联生物特征集合。在云侧将云侧关联生物特征、关联用户信息以及预加工的本地候选对象的历史行为特征预下发至端侧。当用户在端侧触发人脸识别时,端侧可以采集用户的人脸图像,并在人脸图像中提取出生物特征,将提取出的用户的生物特征分别与本地生物特征集合和云侧预下发的云侧关联生物特征集合进行融合检索,这里的融合检索就可以理解为分别在本地生物特征集合和云侧关联生物特征集合进行检索和比对,然后,将比对信息进行融合,从而得到特征比对信息(融合检索特征)。将特征比对信息与其他的本地实时特征进行融合,得到本地目标特征(端侧实时特征)。将本地目标特征与云侧预下发的本地候选对象的历史行为特征进行融合,从而得到端侧决策特征。将端侧决策特征输入至端侧决策模型(训练后生物识别模型)进行决策,输出目标对象的人脸识别结果。在进行人脸识别过程中,本方案采用的端侧设备本地进行人脸识别决策的架构方案,支持本地进行检索,而且在识别过程中,云侧数据下发能力,支持将云侧的历史经验数据作为补充下发到端侧,支持端侧决策,可进一步提升端侧决策准确率,另外,引入了本地候选对象的关联对象,将端侧库中用户的高危误识风险在云侧全量人脸特征库中进行充分挖掘,并通过本地比对指令的方式下发到端侧;端侧采用融合检索的方式,在本地特征库检索之外,对检索中每一次比对根据关联用户信息同时与关联对象的生物特征比对,将高危误识风险转化为融合检索特征,可进一步提升决策准确率,最后,在进行决策时,采用独立的决策模型(训练后生物识别模型),在人脸特征之外考虑检索数据和行为数据信息,通过模型进行决策,可进一步提升决策准确率,从而大大提升了人脸识别的准确率。
由以上技术方案可知,本说明书提供的生物识别的方法和系统,获取存储在云侧的云侧特征集合,该云侧特征集合对应于存储在本地的本地特征集合,然后,获取目标对象的目标生物图像,并基于该目标生物图像,确定目标对象的目标生物特征,然后,将目标生物特征与预设特征集合中的特征进行特征比对,得到目标生物特征对应的特征比对信息,该预设特征集合包括所述本地特征集合和所述云侧特征集合,以及基于特征对比信息、本地特征集合和云侧特征集合,识别出目标对象;由于该方案可以从云侧获取云侧特征集合,而且该云侧特征集合对应于本地特征集合,使得云侧特征集合可以补充本地特征集合的不足,另外,通过云侧数据下发来支持端侧决策,进一步提升端侧决策的准确率,因此,可以提升生物识别的准确率。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行生物识别的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的生物识别的方法P100的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在计算设备600上运行时,所述程序代码用于使计算设备600执行本说明书描述的生物识别的方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在计算设备600上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (18)

1.一种生物识别方法,包括:
获取存储在云侧的云侧特征集合,所述云侧特征集合对应于存储在本地的本地特征集合;
获取目标对象的目标生物图像,并基于所述目标生物图像,确定所述目标对象的目标生物特征;
将所述目标生物特征与预设特征集合中的特征进行特征比对,得到所述目标生物特征对应的特征比对信息,所述预设特征集合包括所述本地特征集合和所述云侧特征集合;以及
基于所述特征对比信息、所述本地特征集合和所述云侧特征集合,识别出所述目标对象。
2.根据权利要求1所述的生物识别方法,其中,所述将所述目标生物特征与预设特征集合中的特征进行特征比对,得到所述目标生物特征对应的特征比对信息,包括:
在所述本地特征集合中筛选出本地候选对象对应的生物特征,得到本地候选生物特征集合;
在所述云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合,所述云侧候选对象与所述本地候选对象存在关联关系;以及
将所述目标生物特征与目标生物特征集合中的生物特征进行比对,得到所述目标生物特征对应的特征比对信息,所述目标生物特征集合包括所述本地候选生物特征集合所述云侧关联生物特征集合。
3.根据权利要求2所述的生物识别方法,其中,所述关联关系包括相貌相似度、血缘关系、亲属关系、社交关系以及预设的责权关系中的至少一种。
4.根据权利要求2所述的生物识别方法,其中,所述在所述云侧特征集合中筛选出云侧候选对象对应的生物特征,得到云侧关联生物特征集合,包括:
获取关联对象信息;
基于所述关联对象信息,确定所述本地候选对象对应的云侧候选对象;以及
在所述云侧特征集合中筛选出所述云侧候选对象对应的生物特征,得到云侧关联生物特征集合。
5.根据权利要求4所述的生物识别方法,其中,所述基于所述关联对象信息,确定所述本地候选对象对应的云侧候选对象,包括:
在所述关联对象信息中提取出至少一个关联对象对,所述关联对象对包括存在关联关系的任意两个关联对象;以及
在所述至少一个关联对象对中筛选出所述本地候选对象对应的关联对象,得到云侧候选对象。
6.根据权利要求2所述的生物识别方法,其中,所述将所述目标生物特征与目标生物特征集合中的生物特征进行比对,得到所述目标生物特征对应的特征比对信息,包括:
将所述目标生物特征与所述本地候选生物特征集合中的生物特征进行比对,得到本地比对信息;
将所述目标生物特征与所述云侧关联生物特征集合中的生物特征进行比对,得到云侧比对信息;以及
将所述本地比对信息和所述云侧比对信息进行融合,得到所述目标生物特征对应的特征比对信息。
7.根据权利要求1所述的生物识别方法,其中,所述基于所述特征比对信息、所述本地特征集合和所述云侧特征集合,识别出所述目标对象,包括:
基于所述特征比对信息和所述本地特征集合,确定本地目标特征;以及
基于所述本地目标特征和所述云侧特征集合,识别出所述目标对象。
8.根据权利要求7所述的生物识别方法,其中,所述基于所述特征比对信息和所述本地特征集合,确定本地目标特征,包括:
在所述本地特征集合中提取出本地当前特征;以及
将所述本地当前特征与所述特征比对信息进行融合,得到本地目标特征。
9.根据权利要求7所述的生物识别方法,其中,所述基于所述本地目标特征和所述云侧特征集合,识别出所述目标对象,包括:
在所述云侧特征集合中提取出所述本地候选对象的历史行为特征;
将所述历史行为特征与所述本地目标特征进行特征融合,得到所述目标对象对应的端侧决策特征;以及
基于所述端侧决策特征,确定所述目标对象的生物识别结果。
10.根据权利要求1所述的生物识别方法,其中,所述获取存储在云侧的云侧特征集合,包括:
向云服务器发送特征获取请求,所述特征获取请求包括本地候选对象的标识信息;
接收所述云服务器返回的基于所述标识信息生成的关联对象信息和所述本地特征集合对应的云侧特征集合。
11.一种生物识别方法,应用于与本地设备通信连接的运程服务器,包括:
接收所述本地设备发出的特征获取请求,所述特征获取请求包括本地候选对象的标识信息,所述本地设备存储有所述本地候选对象的生物特征信息以及所述标识信息;
基于所述标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合,所述云侧关联生物特征集合包括与所述本地候选对象相关联的对象的生物特征;以及
将所述云侧关联生物特征集合作为云侧特征集合发送至所述本地设备,用于所述本地设备执行权利要求1至10中任一项所述的生物识别方法,基于所述云侧特征集合识别出所述目标对象。
12.根据权利要求11所述的生物识别方法,其中,所述基于所述标识信息,在预设生物特征集合中筛选出云侧关联生物特征集合,包括:
基于所述预设生物特征集合,确定关联对象信息;
基于所述标识信息和所述关联对象信息,确定所述本地候选对象对应的云侧候选对象;以及
在所述预设生物特征集合中筛选出所述云侧候选对象对应的生物特征,得到所述云侧关联生物特征集合。
13.根据权利要求12所述的生物识别方法,其中,所述基于所述预设生物特征集合,确定关联对象信息,包括:
获取所述预设生物特征集合中生物特征之间的特征相似度;
在所述预设生物特征集合中筛选出至少一个生物特征对,所述生物特征对为所述相似度超过预设相似度阈值的任意两个生物特征;以及
基于所述至少一个生物特征对,确定关联对象信息。
14.根据权利要求13所述的生物识别方法,其中,所述基于所述至少一个生物特征对,确定关联对象信息,包括:
获取所述至少一个生物特征对对应的至少一个候选对象的目标对象标识;
基于所述目标对象标识,确定至少一个关联对象对,所述至少一个关联对象对对应于所述至少一个生物特征对;以及
将所述至少一个关联对象对进行融合,得到所述关联对象信息。
15.根据权利要求12所述的生物识别方法,其中,所述基于所述标识信息和所述关联对象信息,确定所述本地候选对象对应的云侧候选对象,包括:
获取所述关联对象信息对应的对象标识对集合;
将所述标识信息中的对象标识与所述对象标识对集合中的对象标识进行对比,得到关联对象标识;以及
基于所述关联对象标识,确定所述本地候选对象对应的云侧候选对象。
16.根据权利要求15所述的生物识别方法,其中,所述将所述标识信息中的对象标识与所述对象标识对集合中对象标识进行对比,得到关联对象标识,包括:
在所述标识信息中提取出所述本地候选对象的本地对象标识;
在所述对象标识对集合中筛选出所述本地对象标识对应的至少一个对象标识,得到候选关联对象标识集合;以及
基于所述本地对象标识,对所述候选关联对象标识集合中的对象标识进行去重,得到所述关联对象标识。
17.根据权利要求11所述的生物识别方法,其中,所述接收所述本地设备发出的特征获取请求之后,还包括:
基于所述标识信息,生成所述本地候选对象的历史行为特征;以及
所述将所述云侧关联生物特征集合作为云侧特征集合发送至所述本地设备,包括:将所述历史行为特征和所述云侧关联生物特征集合作为所述云侧特征集合发送至所述本地设备。
18.一种生物识别系统,包括:
至少一个存储介质,存储有至少一个指令集,用于进行生物识别;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中,当所述生物识别系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行权利要求1-17中任一项所述的生物识别的方法。
CN202210881810.7A 2022-07-26 2022-07-26 生物识别的方法和系统 Pending CN115223226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881810.7A CN115223226A (zh) 2022-07-26 2022-07-26 生物识别的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881810.7A CN115223226A (zh) 2022-07-26 2022-07-26 生物识别的方法和系统

Publications (1)

Publication Number Publication Date
CN115223226A true CN115223226A (zh) 2022-10-21

Family

ID=83612979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881810.7A Pending CN115223226A (zh) 2022-07-26 2022-07-26 生物识别的方法和系统

Country Status (1)

Country Link
CN (1) CN115223226A (zh)

Similar Documents

Publication Publication Date Title
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN110490078B (zh) 监控视频处理方法、装置、计算机设备和存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN111242097A (zh) 一种人脸识别方法、装置、计算机可读介质及电子设备
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
CN116012612A (zh) 内容检测方法和系统
CN113673308B (zh) 对象识别方法、装置和电子系统
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN115984977A (zh) 活体检测方法和系统
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN116468113A (zh) 活体检测模型的训练方法、活体检测方法和系统
CN114581978A (zh) 人脸识别的方法和系统
CN115862158A (zh) 活体检测方法及系统
CN115578768A (zh) 图像检测网络的训练方法、图像检测方法和系统
CN115223226A (zh) 生物识别的方法和系统
CN113221766B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN116110136A (zh) 活体检测方法和系统
CN115497176A (zh) 活体检测模型训练方法、活体检测方法和系统
CN115953709A (zh) 对抗攻击的检测方法和系统
CN116110132A (zh) 活体检测方法和系统
CN115909511A (zh) 活体检测方法和系统
CN116071795A (zh) 表情识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination