CN110580754A - 一种人脸认证的方法、装置及系统 - Google Patents

一种人脸认证的方法、装置及系统 Download PDF

Info

Publication number
CN110580754A
CN110580754A CN201810594242.6A CN201810594242A CN110580754A CN 110580754 A CN110580754 A CN 110580754A CN 201810594242 A CN201810594242 A CN 201810594242A CN 110580754 A CN110580754 A CN 110580754A
Authority
CN
China
Prior art keywords
user
authentication
model
user information
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810594242.6A
Other languages
English (en)
Inventor
魏人杰
陈齐云
陈昌凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810594242.6A priority Critical patent/CN110580754A/zh
Publication of CN110580754A publication Critical patent/CN110580754A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请是关于一种人脸认证的方法、装置及系统,属于视频监控领域。所述方法包括:第一设备在检测到人脸图像时,获取所述人脸图像的第一人脸模型;所述第一设备根据第一模型库和所述第一人脸模型对所述人脸图像对应的第一用户进行认证,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;如果认证未通过,所述第一设备向第二设备发送携带所述第一人脸模型的认证请求,所述认证请求用于所述第二设备根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。本申请能够降低对用户认证的错误率和减小对用户认证的时间。

Description

一种人脸认证的方法、装置及系统
技术领域
本申请涉及视频监控领域,特别涉及一种人脸认证的方法、装置及系统。
背景技术
人脸认证技术可以应用于安防等领域。例如在安防领域中,人脸认证技术可以用于控制通道的开启,在实际使用时,可以使用人脸认证技术认证需要通过通道的用户,如果认证通过,则打开通道放行,如果认证不通过,则禁止打开通道。
目前存在如下两种认证方法,分别为:
第一种方法,前端设备中包括人脸模型库,前端设备拍摄用户的人脸图像,获取该人脸图像对应的人脸模型,根据该人脸模型和该人脸模型库对用户进行认证,如果认证通过,控制通道打开,如果认证不通过,禁止打开通道。
第二种方法,后台的中心服务器中包括人脸模型库,前端设备拍摄用户的人脸图像,获取该人脸图像对应的人脸模型,向中心服务器发送该人脸模型;中心服务器根据该人脸模型和人脸模型库对用户进行认证,向前端设备发送认证结果;前端设备接收该认证结果,如果该认证结果为认证通过,控制通道打开,如果该认证结果为认证不通过,禁止打开通道。
发明人在实现本申请的过程中,发现上述方式至少存在如下缺陷:
在上述第一种方法中,由于前端设备的计算能力和内存空间有限,当前端设备中的人脸模型库的容量较大时,导致内存空间不足,系统可用性下降,对用户认证的错误率上升。
在上述第二种方法中,由于前端设备将用户的人脸模型发送到中心服务器,再接收中心服务器认证后发送的认证结果,增加对用户认证所需要的时间。
发明内容
为了降低对用户认证的错误率和减小对用户认证的时间,本申请实施例提供了一种人脸认证的方法、装置及系统。所述技术方案如下:
第一方面,本申请实施例提供了一种人脸认证的方法,所述方法包括:
第一设备在检测到人脸图像时,获取所述人脸图像的第一人脸模型;
所述第一设备根据第一模型库和所述第一人脸模型对所述人脸图像对应的第一用户进行认证,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
如果认证未通过,所述第一设备向第二设备发送携带所述第一人脸模型的认证请求,所述认证请求用于所述第二设备根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
可选的,所述方法还包括:
如果认证通过,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中;或者,
如果认证通过,向所述第二设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第二设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述方法还包括:
接收所述第二设备发送的对所述第一用户认证的认证结果;
当所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述方法还包括:
接收第二用户的用户信息,所述第二用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率超过所述频率阈值的用户;
在根据所述第二用户的用户信息确定所述第一模型库中不包括所述第二用户的第二人脸模型时,从所述第二设备中获取所述第二用户的第二人脸模型;
将所述第二人脸模型添加到所述第一模型库中。
可选的,所述方法还包括:
接收第三用户的用户信息,所述第三用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率未超过所述频率阈值的用户;
在根据所述第三用户的用户信息确定所述第一模型库中包括所述第三用户的第二人脸模型时,从所述第一模型库中删除所述第三用户对应的第二人脸模型。
可选的,所述方法还包括:
接收用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是保存有所述对应关系表的设备根据所述对应关系表获取的;
根据所述用户信息表,更新所述第一模型库。
可选的,所述方法还包括:
如果认证通过,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作。
可选的,所述方法还包括:
接收所述第二设备发送的对所述第一用户认证的认证结果;
当所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;
当所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
第二方面,本申请实施例提供了一种人脸认证的方法,所述方法包括:
接收携带第一人脸模型的认证请求消息,所述认证请求消息是所述第一设备在检测到人脸图像后,根据第一模型库和所述人脸图像对应的第一人脸模型对所述人脸图像对应的第一用户认证不通过时发送的,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
可选的,所述方法还包括:
在对所述第一用户认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述方法还包括:
在对所述第一用户认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;
在对所述第一用户认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
可选的,,所述方法还包括:
向所述第一设备发送对所述第一用户进行认证的认证结果,以使得所述第一设备在所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中,和/或,以使得所述第一设备在所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作,和/或,以使得所述第一设备在所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
可选的,所述方法还包括:
在对所述第一用户认证通过,将所述第一用户的用户信息和对所述第一用户认证的认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述方法还包括:
根据所述对应关系表获取第二用户的用户信息,所述第二用户是认证通过频率超过所述频率阈值的用户,向所述第一设备发送所述第二用户的用户信息,使所述第一设备确定所述第一模型库是否包括所述第二用户的第二人脸模型。
可选的,所述方法还包括:
在所述第一设备确定出所述第一模型库不包括所述第二用户的第二人脸模型时,向所述第一设备发送所述第二用户的第二人脸模型,使所述第一设备将所述第二用户的第二人脸模型添加到所述第一模型库中。
可选的,所述方法还包括:
根据所述对应关系表获取第三用户的用户信息,所述第三用户是认证通过频率未超过所述频率阈值的用户,向所述第一设备发送所述第三用户的用户信息,使所述第一设备在确定所述第一模型库包括所述第三用户的第二人脸模型时从所述第一模型库中删除所述第三用户的第二人脸模型。
可选的,所述方法还包括:
根据所述对应关系表获取用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是根据所述对应关系表获取的;
向所述第一设备发送所述用户信息表,使所述第一设备根据所述用户信息表更新所述第一人脸模型。
第三方面,本申请实施例提供了一种人脸认证的装置,所述装置包括:处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现第一方面或第一方面中的任一种可选的所述的人脸认证的方法。
第四方面,本申请实施例提供了一种人脸认证的装置,所述装置包括:处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现第二方面或第二方面中的任一种可选的所述的人脸认证的方法。
第五方面,本申请实施例提供了一种人脸认证的系统,所述系统包括:第三方面所述的装置和第四方面所述的装置。
第六方面,本申请提实施例供了一种非易失性计算机可读存储介质,用于存储计算机程序,所述计算机程序通过处理器进行加载来执行第一方面、第一方面的任意可选的实现方式、第二方面或第二方面的任意可选的实现方式的方法的指令。
本申请实施例提供的技术方案可以包括以下有益效果:
由于第一设备中的第一模型库是第二设备中的第二模型库中的子集,且第一模型库中包括认证通过频率超过频率阈值的用户的第二人脸模型,所以可以减小第一模型库的容量。这样对于经常参与认证的部分用户,第一设备可以使用第一模型库快速且准确地对该部分用户进行认证,减小认证所需要的时间以及降低认证的错误率。以及,对于不经常参与认证的另一部分,使用第二设备对该另一部分用户进行认证,从而保证能够成功对该另一部分用户进行认证,进一步降低认证错误率,还可以减小第一模型库的容量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1-1是本申请实施例提供的一种人脸认证的系统结构示意图;
图1-2是本申请实施例提供的另一种人脸认证的系统结构示意图;
图2是本申请实施例提供的一种人脸认证的方法流程图;
图3是本申请实施例提供的另一种人脸认证的方法流程图;
图4是本申请实施例提供的另一种人脸认证的方法流程图;
图5是本申请实施例提供的另一种人脸认证的方法流程图;
图6是本申请实施例提供的一种人脸认证的装置结构示意图;
图7是本申请实施例提供的另一种人脸认证的装置结构示意图;
图8是本申请实施例提供的一种人脸认证的系统结构示意图;
图9是本申请实施例提供的一种设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
参见图1-1,本申请实施例提供了一种人脸认证的系统,包括:
第一设备1、第二设备2、第三设备3和第四设备4。
其中,第一设备1用于控制第四设备4,第二设备2的计算能力和存储器容量分别大于第一设备1的计算能力和存储器容量;第一设备1中的存储器和第二设备2中的存储器可以为内存和/或硬盘等。
第一设备1中保存有第一模型库,第一模型库中包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;第二设备2中保存有第二模型库,第一模型库是第二模型库的子集。
第一设备1,用于在检测到人脸图像,获取该人脸图像对应的第一人脸模型,根据第一模型库和第一人脸模型对该人脸图像对应的第一用户进行认证,如果认证通过,可以控制第四设备4执行预设操作,如果认证未通过,向第二设备2发送携带第一人脸模型的认证请求消息;
第二设备2,用于接收该认证请求消息,根据该认证请求消息中的第一人脸模型和第二模型库对第一用户进行认证。第二设备2还可以用于向第一设备1发送对第一用户认证的认证结果。
第一设备1,还用于在接收该认证结果,在该认证结果为认证通过时,控制第四设备4执行预设操作,在该认证结果为认证未通过时,不控制第四设备4执行预设操作。
可选的,第一设备1可以向第四设备4发送执行预设操作的请求,以使第四设备4执行该预设操作。
可选的,第一设备1可以为摄像设备或与摄像设备相连的终端,第四设备4可以是通道或显示设备等;相应的,第一设备1控制第四设备4执行预设操作可以为控制通道打开闸门或者控制显示设备开启等。第二设备2可以为服务器或为计算能力较高以及存储器容量较大的终端。第三设备3可以为服务器等。
例如,该系统可以应用于大厦的安防领域中,第四设备4可以为通道,第一设备1为设置在该通道上方的摄像设备。通常大厦有多个门,在大厦的每个门中可以设置第一设备1和第四设备4。在大厦中的每个第一设备1可以与第二设备2之间建立有网络连接。且此时的第二设备2可以为位于网络侧的服务器或可以为部署在大厦中的计算能力较强和存储器容量较大的计算机等终端。
可选的,当第一设备1为摄像设备时,第一设备1拍摄视频图片,检测拍摄的视频图片,如果从拍摄的视频图片中检测到人脸图像,执行获取该人脸图像对应的第一人脸模型的操作。或者,
当第一设备1为与摄像设备相连的终端,第一设备1获取摄像设备拍摄的视频图片,检测获取的视频图片,如果从获取的视频图片中检测到人脸图像,执行获取该人脸图像对应的第一人脸模型的操作。
第一模型库用于保存用户信息与第二人脸模型的对应关系,第一模型库中的每条对应关系包括一个用户的用户信息和第二人脸模型。第二模型库用于保存用户信息与第二人脸模型的对应关系,第二模型库中的每条对应关系包括一个用户的用户信息和第二人脸模型。
可选的,在本实施例中,第三设备3中可以保存有用户信息与认证时间的对应关系表。该对应关系表的获取方式可以为:
第一设备1,还可以用于在对第一用户认证通过时获取第一用户的用户信息和认证时间,向第三设备3发送第一用户的用户信息和该认证时间;或者,在接收到第二设备2发送的认证结果且认证结果为认证通过时,获取第一用户的用户信息和认证时间,向第三设备3发送第一用户的用户信息和认证时间。或者,
第二设备2,还可以用于在对第一用户认证通过时获取第一用户的用户信息和认证时间,向第三设备3发送第一用户的用户信息和该认证时间。
第三设备3,可以用于接收第一用户的用户信息和该认证时间,将第一用户的用户信息和该认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,第三设备3,还可以用于根据用户信息与认证时间的对应关系表,统计出该对应关系表中各用户信息对应的用户的认证通过频率。
可选的,第三设备3可以周期性地统计或在该对应关系表发生变化时统计。第三设备3可以根据该对应关系表统计在离当前最近且时长为预设时长的预设时间段内各用户信息对应的用户的认证通过频率。
第三设备3可以在每个周期的预设时间点进行统计,预设时间段可以为一个周期,例如以一天为一个周期时,可以在每天的预设时间点进行统计,如在每天的晚上八点钟进行统计。
为了便于说明,将认证通过频率超过频率阈值的用户称为第二用户,将认证通过频率未超过阈值的用户称为第三用户。
在统计出各用户的认证通过频率后,第三设备3可以触发第一设备1检测第一模型库中是否包括第二用户的第二人脸模型,如果不包括,可以控制第一设备1向第一模型库添加第二用户的第二人脸模型,实现过程可以为:
第三设备3,还用于向第一设备1发送第二用户的用户信息。
第一设备1,还用于接收第二用户的用户信息,检测第一模型库中是否保存有第二用户的用户信息对应的第二人脸模型,如果检测出没有保存,则从第二设备2的第二模型库中获取第二用户信息对应的第二人脸模型,将包括第二用户的用户信息和第二人脸模型的对应关系添加到第一模型库中。
第三设备3可以触发第一设备1检测第一模型库中是否包括第三用户的第二人脸模型,如果包括,可以控制第一设备1从第一模型库中删除第三用户的第二人脸模型,实现过程可以为:
第三设备3,还用于向第一设备1发送第三用户的用户信息。
第一设备1,还用于接收第三用户的用户信息,检测第一模型库中是否保存有第三用户的用户信息对应的第二人脸模型,如果检测出有保存,则从第一模型库中删除包括第三用户的用户信息和第三用户的第二人脸模型的对应关系。
可选的,第三设备3还可以根据该对应关系表确定用户信息表,向第一设备1发送该用户信息表,该用户信息表包括预设时间段内的不超过预设数量个认证通过频率超过频率阈值的用户的用户信息和第二人脸模型。
第一设备1可以接收该用户信息表,根据用户信息表更新第一模型库,即可以将第一模型库中保存的内容更新为该用户信息表中保存的内容。
可选的,参见图1-2,在该系统中,第二设备2和第三设备3可以集成为一个设备,即该系统可以包括第一设备1、第二设备2和第四设备4。
这样,第三设备的功能可以由第二设备2来实现。详细描述可以如下:
第一设备1,还可以用于在对第一用户认证通过时获取第一用户的用户信息和认证时间,向第二设备2发送第一用户的用户信息和该认证时间;相应的,第二设备2,还可以用于接收第一用户的用户信息和该认证时间,将第一用户的用户信息和该认证时间对应保存在用户信息与认证时间的对应关系表中。或者,
第二设备2,还可以用于在对第一用户认证通过时获取第一用户的用户信息和认证时间,将第一用户的用户信息和该认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,第二设备2也可以用于根据用户信息与认证时间的对应关系表,统计出该对应关系表中各用户信息对应的用户的认证通过频率。
可选的,第二设备2可以周期性的统计或在该对应关系表发生变化时统计。第二设备2可以根据该对应关系表统计在离当前最近且时长为预设时长的预设时间段内各用户信息对应的用户的认证通过频率。该预设时间段可以为一个周期。
同样为了便于说明,将认证通过频率超过频率阈值的用户称为第二用户,将认证通过频率未超过阈值的用户称为第三用户。
这样在统计出各用户的认证通过频率后,第二设备2也可以触发第一设备1检测第一模型库中是否包括第二用户的第二人脸模型,如果不包括,可以控制第一设备1向第一模型库添加第二用户的第二人脸模型,实现过程可以为:
第二设备2,还用于向第一设备1发送第二用户的用户信息。
第一设备1,还用于接收第二用户的用户信息,检测第一模型库中是否保存有第二用户的用户信息对应的第二人脸模型,如果检测出没有保存,则从第二设备2的第二模型库中获取第二用户信息对应的第二人脸模型,将包括第二用户的用户信息和第二人脸模型的对应关系添加到第一模型库中。
第二设备2也可以触发第一设备1检测第一模型库中是否包括第三用户的第二人脸模型,如果包括,可以控制第一设备1从第一模型库中删除第三用户的第二人脸模型,实现过程可以为:
第二设备2,还用于向第一设备1发送第三用户的用户信息。
第一设备1,还用于接收第三用户的用户信息,检测第一模型库中是否保存有第三用户的用户信息对应的第二人脸模型,如果检测出有保存,则从第一模型库中删除包括第三用户的用户信息和第三用户的第二人脸模型的对应关系。
其中,需要说明的是,由于第二设备2或第三设备3可以周期性地根据用户信息与认证时间的对应关系表统计出各用户的认证通过频率,这样第一设备1也可以周期性地接收到第二设备2或第三设备3发送的第二用户的用户信息和第三用户的用户信息,并根据第二用户的用户信息和第三用户的用户信息更新第一模型库,实现周期性地更新第一模型库。
参见图2,本申请实施例提供了一种人脸认证的方法,所述方法包括:
步骤201:第一设备在检测到人脸图像时,获取该人脸图像的第一人脸模型。
步骤202:第一设备根据第一模型库和第一人脸模型对该人脸图像对应的第一用户进行认证,第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型。
步骤203:如果认证未通过,第一设备向第二设备发送携带第一人脸模型的认证请求,该认证请求用于第二设备根据第二模型库和第一人脸模型对第一用户进行认证,第一模型库是第二模型库的子集。
在本申请实施例中,由于第一设备中的第一模型库是第二设备中的第二模型库中的子集,且第一模型库中包括认证通过频率超过频率阈值的用户的第二人脸模型,所以可以减小第一模型库的容量。这样对于第一模型库中各第二人脸模型对应的部分用户,第一设备可以使用第一模型库快速且准确地对该部分用户进行认证,减小认证所需要的时间以及降低认证的错误率。以及,对于第一设备无法认证出的用户,第二设备对该用户进行认证,从而保证能够成功对该另一部分用户进行认证,进一步降低认证错误率。
参见图3,本申请实施例提供了一种人脸认证的方法,所述方法包括:
步骤301:接收携带第一人脸模型的认证请求消息,该认证请求消息是第一设备在检测到人脸图像后,根据第一模型库和该人脸图像对应的第一人脸模型对该人脸图像对应的第一用户认证不通过时发送的,第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型。
步骤302:根据第二模型库和第一人脸模型对第一用户进行认证,第一模型库是第二模型库的子集。
在本申请实施例中,由于第一设备中的第一模型库是第二设备中的第二模型库中的子集,且第一模型库中包括认证通过频率超过频率阈值的用户的第二人脸模型,所以可以减小第一模型库的容量。这样对于第一模型库中各第二人脸模型对应的部分用户,第一设备可以使用第一模型库快速且准确地对该部分用户进行认证,减小认证所需要的时间以及降低认证的错误率。以及,对于第一设备无法认证出的用户,第二设备对该用户进行认证,从而保证能够成功对该另一部分用户进行认证,进一步降低认证错误率。
参见图4,本申请实施例提供了一种人脸认证的方法,所述方法可以应用于图1-1所示的系统,在该系统中第二设备和第三设备可以不集成在一起。如图4所示,该方法包括:
步骤401:第一设备在检测到人脸图像,获取该人脸图像对应的第一人脸模型。
当第一设备为摄像设备时,第一设备拍摄视频图片,检测拍摄的视频图片,如果从拍摄的视频图片中检测到人脸图像,通过对该人脸图像进行建模,获取该人脸图像对应的第一人脸模型。或者,
当第一设备为与摄像设备相连的终端,第一设备获取摄像设备拍摄的视频图片,检测拍摄的视频图片,如果从拍摄的视频图片中检测到人脸图像,通过对该人脸图像进行建模,获取该人脸图像对应的第一人脸模型。
步骤402:第一设备根据第一模型库和第一人脸模型对该人脸图像对应的第一用户进行认证,如果认证通过执行步骤403,如果认证不通过,执行步骤404。
第一模型库用于保存用户信息与第二人脸模型的对应关系,且第一模型库中保存是认证通过频率超过频率阈值的用户的第二人脸模型。
本步骤可以为:第一设备计算第一模型库中的每个第二人脸模型与第一人脸模型之间的相似度,如果计算的最大相似度超过预设相似度阈值,则对第一用户认证通过,如果计算的最大相似度未超过预设相似度阈值,则对第一用户认证未通过。
可选的,如果认证通过,第一设备还根据最大相似度对应的第二人脸模型从第一模型库中获取对应的用户信息,将该用户信息确定为第一用户的用户信息。
可选的,第一设备在认证通过后,还可以显示第一用户的用户信息,第一用户的用户信息可以包括第一用户的用户标识、姓名、公司、部门和/或职位等信息,第一用户的用户标识可以是第一用户的身份证号或工号等。
步骤403:第一设备控制第四设备执行预设操作,以及向第三设备发送第一用户的用户信息和对第一用户认证的认证时间,执行步骤408。
可选的,第一设备可以向第四设备发送执行预设操作的请求,第四设备接收该请求,根据该请求执行预设操作。或者,
第四设备中保存有用户信息列表,该用户信息列表中包括的用户信息与第二设备中的第二模型库中包括的用户信息相同。这样在本步骤中,第一设备可以向第四设备发送第一用户的用户信息,第四设备检测到该用户信息列表中包括第一用户的用户信息时执行预设操作。
可选的,第一设备可以不向第三设备发送第一用户的用户信息和对第一用户认证的认证时间,而是由第四设备在检测到该用户信息列表中包括第一用户的用户信息时,向第三设备发送第一用户的用户信息和对第一用户认证的认证时间。
可选的,当第四设备为通道时,第一设备可以控制通道打开闸门。当第四设备为显示设备时,第一设备可以控制显示设备开启。
可选的,第一设备可以获取当前时间,将当前时间作为对第一用户认证的认证时间。
步骤404:第一设备向第二设备发送携带第一人脸模型的认证请求消息。
可选的,该认证请求消息还可以携带第一用户的人脸图像。
步骤405:第二设备接收该认证请求消息,根据该认证请求消息中的第一人脸模型和第二模型库对第一用户进行认证。
第二模型库用于保存用户信息与第二人脸模型的对应关系,且第一模型库是第二模型库的子集。
本步骤可以为:第二设备计算第二模型库中的每个第二人脸模型与第一人脸模型之间的相似度,如果计算的最大相似度超过预设相似度阈值,则对第一用户认证通过,如果计算的最大相似度未超过预设相似度阈值,则对第一用户认证未通过。
可选的,如果认证通过,第二设备还根据最大相似度对应的第二人脸模型从第二模型库中获取对应的用户信息,将该用户信息确定为第一用户的用户信息。
步骤406:第二设备向第一设备发送对第一用户认证的认证结果,如果该认证结果为认证通过,则向第三设备发送第一用户的用户信息和对第一用户认证的认证时间。
可选的,第二设备可以获取当前时间,将当前时间作为对第一用户认证的认证时间。
如果该认证结果为认证未通过且第一设备发送认证请求消息携带第一用户的人脸图像时,第二设备还可以向第三设备发送携带该人脸图像的认证不通过信息。第三设备接收该认证不通过信息,保存该认证不通过信息携带的该人脸图像。
步骤407:第一设备接收该认证结果,如果该认证结果为认证通过,则控制第四设备执行预设操作。
如果该认证结果为认证未通过,则不控制第四设备执行预设操作。
如果该认证结果为认证未通过且在第二设备没有向第三设备发送第一用户的人脸图像时,第一设备还可以向第三设备发送携带该人脸图像的认证不通过信息。第三设备接收该认证不通过信息,保存该认证不通过信息携带的该人脸图像。
可选的,如果该认证结果为认证通过,第一设备可以向第四设备发送执行预设操作的请求,第四设备接收该请求,根据该控制指令执行预设操作。或者,该认证结果可以包括第一用户的用户信息,第一设备可以向第四设备发送第一用户的用户信息,第四设备检测到该用户信息列表中包括第一用户的用户信息时执行预设操作。
可选的,第二设备可以不向第三设备发送第一用户的用户信息和对第一用户认证的认证时间,而是由第四设备在检测到该用户信息列表中包括第一用户的用户信息时,向第三设备发送第一用户的用户信息和对第一用户认证的认证时间。
可选的,在本申请实施列中,第二设备得到的认证结果为认证通过时,也可以由第二设备直接向第四设备发送执行预设操作的请求,使第四设备根据该请求执行预设操作。
其中,第二设备中可以保存有第一设备的设备标识和第四设备的设备标识之间的对应关系,这样在认证结果为认证通过时,第二设备根据第一设备的设备标识,从第一设备的设备标识和第四设备的设备标识之间的对应关系中获取对应的第四设备的设备标识,根据第四设备的设备标识,向第四设备发送执行预设操作的请求。
可选的,在本申请实施列中,第二设备得到的认证结果为认证通过时,也可以不向第三设备发送第一用户的用户信息和认证时间,而是可以由第一设备在接收到该认证结果并检测出该认证结果为认证通过时向第三设备发送第一用户的用户信息和认证时间。
步骤408:第三设备接收第一用户的用户信息和认证时间,将第一用户的用户信息和该认证时间对应保存在用户信息与认证时间的对应关系表中。
步骤409:第三设备根据该对应关系表,统计出该对应关系表中各用户信息对应的用户的认证通过频率。
可选的,第三设备可以周期性的统计或在该对应关系表发生变化时统计。
第三设备可以统计该对应关系表中的同一用户信息的数目,从该用户信息对应的各认证时间中获取最早的认证时间,根据该数目和最早的认证时间与当前时间之间的时间差计算该用户信息对应的认证通过频率。或者,
第三设备可以从该对应关系表中获取认证时间位于一预设时间段内的各用户信息,从该各用户信息中统计同一用户信息的数目,根据该数目和该预设时间段的时间长度计算该用户信息对应的认证通过频率,或者,将该数目作为该用户信息对应的用户的认证通过频率。其中,该预设时间段为离当前最近且时间长度为预设时长的时间段,从而统计出在离当前最近且时间长度为预设时长的预设时间段内各用户信息对应的用户的认证通过频率。
步骤410:第三设备向第一设备发送第二用户的用户信息和第三用户的用户信息,第二用户是认证通过频率超过频率阈值的用户,第三用户是认证通过频率未超过频率阈值的用户。
步骤411:第一设备接收第二用户的用户信息和第三用户的用户信息,根据第二用户的用户信息确定第一模型库中是否包括第二用户的第二人脸模型。
可选的,第一设备根据第二用户的用户信息,查找第一模型库,如果从第一模型库中查找出对应的第二人脸模型,则确定第一模型库包括第二用户的第二人脸模型,如果从第一模型库中没有查找出对应的第二人脸模型,则确定第一模型库不包括第二用户的第二人脸模型。
步骤412:如果第一模型库不包括第二用户的第二人脸模型,第一设备从第二设备中获取第二用户的第二人脸模型,将第二人脸模型添加到第一模型库中。
可选的,第一设备可以向第二设备发送携带第二用户的用户信息的查询请求。第二设备接收该查询请求,根据该查询请求携带的第二用户的用户信息,从第二模型库中查找出第二用户的第二人脸模型,向第一设备发送第二用户的第二人脸模型。第一设备接收第二用户的第二人脸模型,将第二用户的用户信息和第二人脸模型对应保存在第一模型库中。
步骤413:第一设备根据第三用户的用户信息确定第一模型库中是否包括第三用户的第二人脸模型,如果包括,从第一模型库中删除第三用户对应的第二人脸模型。
可选的,第一设备根据第三用户的用户信息,查找第一模型库,如果从第一模型库中查找出对应的第二人脸模型,则确定第一模型库包括第三用户的第二人脸模型,从第一模型库中删除包括第二用户的用户信息和第二人脸模型的对应关系;如果从第一模型库中没有查找出对应的第二人脸模型,则确定第一模型库不包括第三用户的第二人脸模型。
可选的,对于上述确定第一模型库中是否包括第二用户的第二人脸模型的操作和上述确定第一模型库中是否包括第三用户的第二人脸模型的操作,该两个操作的执行先后顺序没有限制,两个操作可以同时执行,也可以不同时执行,即可以先执行前一个操作再执行后一个操作,或者,先执行后一个操作再执行前一个操作。
可选的,在本申请实施列中也可以不用执行步骤410至413的操作,这样可以由第三设备根据该对应关系表确定用户信息表,该用户信息表包括该预设时间段内的认证通过频率超过频率阈值的用户的用户信息和第二人脸模型,向第一设备发送该用户信息表。可选的,该用户信息表可以包括不超过预设数量个用户的用户信息和第二人脸模型,即当该预设时间段内的认证通过频率超过频率阈值的用户数目超过预设数量,则可以从该预设时间段内的认证通过频率超过频率阈值的用户中选择部分用户的用户信息和第二人脸模型并组成该用户信息表,选择的用户数目小于或等于预设数量。
第一设备可以接收该用户信息表,根据用户信息表更新第一模型库,即可以将第一模型库中保存的内容更新为该用户信息表中保存的内容。
在本申请实施例中,第三设备根据用户信息与认证时间的对应关系表统计出认证通过频率超过频率阈值的第二用户和认证通过频率未超过频率阈值的第三用户,如果第一设备的第一模型库中不包括第二用户的第二人脸模型时,控制第一设备将第二用户的第二人脸模型添加到第一模型库中,如果第一设备的第一模型库中包括第三用户的第二人脸模型,则从第一模型库中删除第三用户的第二人脸模型,这样可以减小第一模型库的容量,从而减小第一模型库对第一设备的存储空间的占用,避免降低系统可用性,进而可以减小第一设备在人脸认证时的错误率,由于第一设备是前端设备,从而可以减小对人脸认证的时间。另外,第三设备中还保存用户信息与认证时间的对应关系表,根据该对应关系表确定认证通过频率超过频率阈值的第二用户和认证通过频率未超过频率阈值的第三用户,在第一模型库中不包括第二用户的第二人脸模型,控制第一设备向第一模型库中添加第二用户的第二人脸模型,在第一模型库中包括第三用户的第二人脸模型,控制第一设备从第一模型库中删除第三用户的第二人脸模型,保证第一模型库中保存的第二人脸模型为认证通过频率超过频率阈值的用户的第二人脸模型。
参见图5,本申请实施例提供了一种人脸认证的方法,所述方法可以应用于图1-2所示的系统,在该系统中第二设备和第三设备可以集成在一起。如图5所示,该方法包括:
步骤501-502:分别与步骤401-402相同,在此不再详细说明。
步骤503:第一设备控制第四设备执行预设操作,以及向第二设备发送第一用户的用户信息和对第一用户认证的认证时间,执行步骤508。
可选的,第一设备可以向第四设备发送执行预设操作的请求,第四设备接收该请求,根据该请求执行预设操作。或者,
第四设备中保存有用户信息列表,该用户信息列表中包括的用户信息与第二设备中的第二模型库中包括的用户信息相同。这样在本步骤中,第一设备可以向第四设备发送第一用户的用户信息,第四设备检测到该用户信息列表中包括第一用户的用户信息时执行预设操作。
可选的,第一设备可以不向第二设备发送第一用户的用户信息和对第一用户认证的认证时间,而是由第四设备在检测到该用户信息列表中包括第一用户的用户信息时,向第二设备发送第一用户的用户信息和对第一用户认证的认证时间。
可选的,当第四设备为通道时,第一设备可以控制通道打开闸门。再例如,当第四设备为显示设备时,第一设备可以控制显示设备开启。
可选的,第一设备可以获取当前时间,将当前时间作为对第一用户认证的认证时间。
步骤504-505:分别与步骤404-405相同,在此不再详细说明。
步骤506:第二设备向第一设备发送对第一用户认证的认证结果,如果该认证结果为认证通过,将第一用户的用户信息和对第一用户认证的认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,第二设备可以获取当前时间,将当前时间作为对第一用户认证的认证时间。
步骤507:第一设备接收该认证结果,如果该认证结果为认证通过,则控制第四设备执行预设操作。
如果该认证结果为认证未通过,则不控制第四设备执行预设操作。
可选的,如果该认证结果为认证通过,第一设备可以向第四设备发送执行预设操作的请求,第四设备接收该请求,根据该请求执行预设操作。或者,该认证结果可以包括第一用户的用户信息,第一设备可以向第四设备发送第一用户的用户信息,第四设备检测到该用户信息列表中包括第一用户的用户信息时执行预设操作。
可选的,第二设备在认证通过时,可以先不将第一用户的用户信息和对第一用户认证的认证时间对应保存在用户信息与认证时间的对应关系表中,而是由第四设备在检测到该用户信息列表中包括第一用户的用户信息时,向第二设备发送第一用户的用户信息和对第一用户认证的认证时间。此时第二设备接收第一用户的用户信息和认证时间,将第一用户的用户信息和认证时间对应保存在用户信息与认证时间的对应关系表中。
步骤508:第二设备接收第一用户的用户信息和认证时间,将第一用户的用户信息和该认证时间对应保存在用户信息与认证时间的对应关系表中。
步骤509:第二设备根据该对应关系表,统计出该对应关系表中各用户信息对应的用户的认证通过频率。
可选的,第二设备可以周期性的统计或在该对应关系表发生变化时统计。
第二设备可以统计该对应关系表中的同一用户信息的数目,从该用户信息对应的各认证时间中获取最早的认证时间,根据该数目和最早的认证时间与当前时间之间的时间差计算该用户信息对应的认证通过频率。或者,
第二设备可以从该对应关系表中获取认证时间位于一预设时间段内的各用户信息,从该各用户信息中统计同一用户信息的数目,根据该数目和该预设时间段的时间长度计算该用户信息对应的认证通过频率,或者,将该数目作为该用户信息对应的用户的认证通过频率。其中,该预设时间段为离当前最近且时间长度为预设时长的时间段,从而统计出在离当前最近且时间长度为预设时长的预设时间段内各用户信息对应的用户的认证通过频率。
步骤510:第二设备向第一设备发送第二用户的用户信息和第三用户的用户信息,第二用户是认证通过频率超过频率阈值的用户,第三用户是认证通过频率未超过频率阈值的用户。
步骤511-513:分别与步骤411-413相同,在此不再详细说明。
在本申请实施例中,第二设备根据用户信息与认证时间的对应关系表统计出认证通过频率超过频率阈值的第二用户和认证通过频率未超过频率阈值的第三用户,如果第一设备的第一模型库中不包括第二用户的第二人脸模型时,控制第一设备将第二用户的第二人脸模型添加到第一模型库中,如果第一设备的第一模型库中包括第三用户的第二人脸模型,则从第一模型库中删除第三用户的第二人脸模型,这样可以减小第一模型库的容量,从而减小第一模型库对第一设备的存储空间的占用,避免降低系统可用性,进而可以减小第一设备在人脸认证时的错误率,由于第一设备是前端设备,从而可以减小对人脸认证的时间。另外,第二设备中还保存用户信息与认证时间的对应关系表,根据该对应关系表确定认证通过频率超过频率阈值的第二用户和认证通过频率未超过频率阈值的第三用户,在第一模型库中不包括第二用户的第二人脸模型,控制第一设备向第一模型库中添加第二用户的第二人脸模型,在第一模型库中包括第三用户的第二人脸模型,控制第一设备从第一模型库中删除第三用户的第二人脸模型,保证第一模型库中保存的第二人脸模型为认证通过频率超过频率阈值的用户的第二人脸模型。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
参见图6,本申请实施例提供了一种人脸认证的装置600,所述装置600包括:
获取模块601,用于在检测到人脸图像时,获取所述人脸图像的第一人脸模型;
认证模块602,用于根据第一模型库和所述第一人脸模型对所述人脸图像对应的第一用户进行认证,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
发送模块603,用于如果认证未通过,向第二设备发送携带所述第一人脸模型的认证请求,所述认证请求用于所述第二设备根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
可选的,所述发送模块603,还用于:
如果认证通过,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中;或者,
如果认证通过,向所述第二设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第二设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述装置600还包括:接收模块,
所述接收模块,用于接收所述第二设备发送的对所述第一用户认证的认证结果;
所述发送模块603,还用于当所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述装置600还包括:添加模块;
所述接收模块604,还用于接收第二用户的用户信息,所述第二用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率超过所述频率阈值的用户;
所述获取模块601,还用于在根据所述第二用户的用户信息确定所述第一模型库中不包括所述第二用户的第二人脸模型时,从所述第二设备中获取所述第二用户的第二人脸模型;
所述添加模块,用于将所述第二人脸模型添加到所述第一模型库中。
可选的,所述装置还包括:删除模块;
所述接收模块604,还用于接收第三用户的用户信息,所述第三用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率未超过所述频率阈值的用户;
所述删除模块,用于在根据所述第三用户的用户信息确定所述第一模型库中包括所述第三用户的第二人脸模型时,从所述第一模型库中删除所述第三用户对应的第二人脸模型。
可选的,所述装置600还包括更新模块,
所述接收模块,还用于接收用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是保存有所述对应关系表的设备根据所述对应关系表获取的;
所述更新模块,用于根据所述用户信息表,更新所述第一模型库。
可选的,所述发送模块603,还用于如果认证通过,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作。
可选的,所述接收模块,还用于接收所述第二设备发送的对所述第一用户认证的认证结果;
所述发送模块603,还用于当所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;当所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
在本申请实施例中,由于第一设备中的第一模型库是第二设备中的第二模型库中的子集,且第一模型库中包括认证通过频率超过频率阈值的用户的第二人脸模型,所以可以减小第一模型库的容量。这样对于第一模型库中各第二人脸模型对应的部分用户,第一设备可以使用第一模型库快速且准确地对该部分用户进行认证,减小认证所需要的时间以及降低认证的错误率。以及,对于第一设备无法认证出的用户,第二设备对该用户进行认证,从而保证能够成功对该另一部分用户进行认证,进一步降低认证错误率。
参见图7,本申请实施例提供了一种人脸认证的装置700,所述装置700包括:
接收模块701,用于接收携带第一人脸模型的认证请求消息,所述认证请求消息是所述第一设备在检测到人脸图像后,根据第一模型库和所述人脸图像对应的第一人脸模型对所述人脸图像对应的第一用户认证不通过时发送的,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
认证模块702,用于根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
可选的,所述装置700还包括:发送模块,
所述发送模块,用于在对所述第一用户认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述发送模块,还用于在对所述第一用户认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;在对所述第一用户认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
可选的,所述发送模块,还用于向所述第一设备发送对所述第一用户进行认证的认证结果,以使得所述第一设备在所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中,和/或,以使得所述第一设备在所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作,和/或,以使得所述第一设备在所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
可选的,所述装置还包括:
保存模块,用于在对所述第一用户认证通过,将所述第一用户的用户信息和对所述第一用户认证的认证时间对应保存在用户信息与认证时间的对应关系表中。
可选的,所述发送模块,还用于:
根据所述对应关系表获取第二用户的用户信息,所述第二用户是认证通过频率超过所述频率阈值的用户,向所述第一设备发送所述第二用户的用户信息,使所述第一设备确定所述第一模型库是否包括所述第二用户的第二人脸模型。
可选的,所述发送模块,还用于:
在所述第一设备确定出所述第一模型库不包括所述第二用户的第二人脸模型时,向所述第一设备发送所述第二用户的第二人脸模型,使所述第一设备将所述第二用户的第二人脸模型添加到所述第一模型库中。
可选的,所述发送模块,还用于:
根据所述对应关系表获取第三用户的用户信息,所述第三用户是认证通过频率未超过所述频率阈值的用户,向所述第一设备发送所述第三用户的用户信息,使所述第一设备在确定所述第一模型库包括所述第三用户的第二人脸模型时从所述第一模型库中删除所述第三用户的第二人脸模型。
可选的,所述装置700还包括获取模块,
所述获取模块,用于根据所述对应关系表获取用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是根据所述对应关系表获取的;
所述发送模块,还用于向所述第一设备发送所述用户信息表,使所述第一设备根据所述用户信息表更新所述第一人脸模型。
在本申请实施例中,由于第一设备中的第一模型库是第二设备中的第二模型库中的子集,且第一模型库中包括认证通过频率超过频率阈值的用户的第二人脸模型,所以可以减小第一模型库的容量。这样对于第一模型库中各第二人脸模型对应的部分用户,第一设备可以使用第一模型库快速且准确地对该部分用户进行认证,减小认证所需要的时间以及降低认证的错误率。以及,对于第一设备无法认证出的用户,第二设备对该用户进行认证,从而保证能够成功对该另一部分用户进行认证,进一步降低认证错误率。
参见图8,本申请实施例提供了一种人脸认证的系统800,所述系统包括:
如图6所述的装置和如图7所述的装置,如图6所示的装置可以为前端设备,如图7所示的装置可以为服务器。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9示出了本发明一个示例性实施例提供的设备900的结构框图。该设备900可以是摄像设备或与摄像设备连接的终端,该终端便携式移动终端,比如:智能手机、平板电脑、笔记本电脑或台式电脑。设备900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,设备900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现上述任一实施例中的方法。
在一些实施例中,设备900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置设备900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在设备900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在设备900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位设备900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以设备900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测设备900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在设备900的侧边框时,可以检测用户对设备900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置设备900的正面、背面或侧面。当设备900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在设备900的前面板。接近传感器916用于采集用户与设备900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与设备900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与设备900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对设备900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (19)

1.一种人脸认证的方法,其特征在于,所述方法包括:
第一设备在检测到人脸图像时,获取所述人脸图像的第一人脸模型;
所述第一设备根据第一模型库和所述第一人脸模型对所述人脸图像对应的第一用户进行认证,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
如果认证未通过,所述第一设备向第二设备发送携带所述第一人脸模型的认证请求,所述认证请求用于所述第二设备根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
如果认证通过,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中;或者,
如果认证通过,向所述第二设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第二设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述第二设备发送的对所述第一用户认证的认证结果;
当所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
4.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
接收第二用户的用户信息,所述第二用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率超过所述频率阈值的用户;
在根据所述第二用户的用户信息确定所述第一模型库中不包括所述第二用户的第二人脸模型时,从所述第二设备中获取所述第二用户的第二人脸模型;
将所述第二用户的第二人脸模型添加到所述第一模型库中。
5.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
接收第三用户的用户信息,所述第三用户是保存有所述对应关系表的设备根据所述对应关系表确定的认证通过频率未超过所述频率阈值的用户;
在根据所述第三用户的用户信息确定所述第一模型库中包括所述第三用户的第二人脸模型时,从所述第一模型库中删除所述第三用户的第二人脸模型。
6.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
接收用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是保存有所述对应关系表的设备根据所述对应关系表获取的;
根据所述用户信息表,更新所述第一模型库。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
如果认证通过,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述第二设备发送的对所述第一用户认证的认证结果;
当所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;
当所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
9.一种人脸认证的方法,其特征在于,所述方法包括:
接收携带第一人脸模型的认证请求消息,所述认证请求消息是所述第一设备在检测到人脸图像后,根据第一模型库和所述人脸图像对应的第一人脸模型对所述人脸图像对应的第一用户认证不通过时发送的,所述第一模型库包括认证通过频率超过频率阈值的至少一个用户的第二人脸模型;
根据第二模型库和所述第一人脸模型对所述第一用户进行认证,所述第一模型库是所述第二模型库的子集。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
在对所述第一用户认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中。
11.如权利要求9所述的方法,其特征在于,所述方法还包括:
在对所述第一用户认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作;
在对所述第一用户认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
12.如权利要求9所述的方法,其特征在于,所述方法还包括:
向所述第一设备发送对所述第一用户进行认证的认证结果,以使得所述第一设备在所述认证结果为认证通过时,向第三设备发送所述第一用户的用户信息和对所述第一用户认证的认证时间,使所述第三设备将所述第一用户的用户信息和所述认证时间对应保存在用户信息与认证时间的对应关系表中,和/或,以使得所述第一设备在所述认证结果为认证通过时,向第四设备发送执行预设操作的请求,以使得所述第四设备执行所述预设操作,和/或,以使得所述第一设备在所述认证结果为认证不通过时,向所述第三设备发送携带所述人脸图像的认证不通过信息。
13.如权利要求9所述的方法,其特征在于,所述方法还包括:
在对所述第一用户认证通过,将所述第一用户的用户信息和对所述第一用户认证的认证时间对应保存在用户信息与认证时间的对应关系表中。
14.如权利要求13所述的方法,其特征在于,所述方法还包括:
根据所述对应关系表获取第二用户的用户信息,所述第二用户是认证通过频率超过所述频率阈值的用户,向所述第一设备发送所述第二用户的用户信息,使所述第一设备确定所述第一模型库是否包括所述第二用户的第二人脸模型;
在所述第一设备确定出所述第一模型库不包括所述第二用户的第二人脸模型时,向所述第一设备发送所述第二用户的第二人脸模型,使所述第一设备将所述第二用户的第二人脸模型添加到所述第一模型库中。
15.如权利要求13所述的方法,其特征在于,所述方法还包括:
根据所述对应关系表获取第三用户的用户信息,所述第三用户是认证通过频率未超过所述频率阈值的用户,向所述第一设备发送所述第三用户的用户信息,使所述第一设备在确定所述第一模型库包括所述第三用户的第二人脸模型时从所述第一模型库中删除所述第三用户的第二人脸模型。
16.如权利要求13所述的方法,其特征在于,所述方法还包括:
根据所述对应关系表获取用户信息表,所述用户信息表包括在预设时间段内的认证通过频率超过所述频率阈值的用户的用户信息和第二人脸模型,所述用户信息表是根据所述对应关系表获取的;
向所述第一设备发送所述用户信息表,使所述第一设备根据所述用户信息表更新所述第一人脸模型。
17.一种人脸认证的装置,其特征在于,所述装置包括:处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8任一项所述的人脸认证的方法。
18.一种人脸认证的装置,其特征在于,所述装置包括:处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求9至16任一项所述的人脸认证的方法。
19.一种人脸认证的系统,其特征在于,所述系统包括:
如权利要求17所述的装置和如权利要求18所述的装置。
CN201810594242.6A 2018-06-11 2018-06-11 一种人脸认证的方法、装置及系统 Pending CN110580754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810594242.6A CN110580754A (zh) 2018-06-11 2018-06-11 一种人脸认证的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810594242.6A CN110580754A (zh) 2018-06-11 2018-06-11 一种人脸认证的方法、装置及系统

Publications (1)

Publication Number Publication Date
CN110580754A true CN110580754A (zh) 2019-12-17

Family

ID=68809653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810594242.6A Pending CN110580754A (zh) 2018-06-11 2018-06-11 一种人脸认证的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110580754A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582305A (zh) * 2020-03-26 2020-08-25 平安科技(深圳)有限公司 生物特征识别方法、装置、计算机设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810206A (zh) * 2005-01-24 2006-08-02 柯尼卡美能达商用科技株式会社 人物核对装置、人物核对系统以及人物核对方法
CN201755231U (zh) * 2010-08-05 2011-03-09 北京海鑫智圣技术有限公司 便携式多生物特征采集设备
CN102930243A (zh) * 2012-09-18 2013-02-13 深圳市中联创新自控系统有限公司 一种特殊人员人脸信息的识别方法和系统
CN103345616A (zh) * 2013-06-19 2013-10-09 武汉世纪金桥安全技术有限公司 基于行为分析的指纹存储比对的系统
CN104240342A (zh) * 2014-08-25 2014-12-24 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种门禁控制方法及门禁控制装置
WO2016030857A1 (en) * 2014-08-28 2016-03-03 Telezygology Inc System for accessing a secure delivery
CN106504376A (zh) * 2016-10-19 2017-03-15 厦门中控生物识别信息技术有限公司 一种门禁数据鉴权方法及门禁系统
CN106657606A (zh) * 2016-11-16 2017-05-10 努比亚技术有限公司 一种照片处理方法、装置及终端
CN106780909A (zh) * 2016-12-30 2017-05-31 通号通信信息集团有限公司 闸机设备的控制方法及装置
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
CN107292228A (zh) * 2017-05-05 2017-10-24 珠海数字动力科技股份有限公司 一种加快人脸识别搜索速度的方法
CN108009530A (zh) * 2017-12-27 2018-05-08 欧普照明股份有限公司 一种身份标定系统和方法
CN108022352A (zh) * 2017-12-27 2018-05-11 北京洪泰同创信息技术有限公司 门禁控制方法、门禁终端及门禁系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810206A (zh) * 2005-01-24 2006-08-02 柯尼卡美能达商用科技株式会社 人物核对装置、人物核对系统以及人物核对方法
CN201755231U (zh) * 2010-08-05 2011-03-09 北京海鑫智圣技术有限公司 便携式多生物特征采集设备
CN102930243A (zh) * 2012-09-18 2013-02-13 深圳市中联创新自控系统有限公司 一种特殊人员人脸信息的识别方法和系统
CN103345616A (zh) * 2013-06-19 2013-10-09 武汉世纪金桥安全技术有限公司 基于行为分析的指纹存储比对的系统
CN104240342A (zh) * 2014-08-25 2014-12-24 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种门禁控制方法及门禁控制装置
WO2016030857A1 (en) * 2014-08-28 2016-03-03 Telezygology Inc System for accessing a secure delivery
CN106504376A (zh) * 2016-10-19 2017-03-15 厦门中控生物识别信息技术有限公司 一种门禁数据鉴权方法及门禁系统
CN106657606A (zh) * 2016-11-16 2017-05-10 努比亚技术有限公司 一种照片处理方法、装置及终端
CN106780909A (zh) * 2016-12-30 2017-05-31 通号通信信息集团有限公司 闸机设备的控制方法及装置
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
CN107292228A (zh) * 2017-05-05 2017-10-24 珠海数字动力科技股份有限公司 一种加快人脸识别搜索速度的方法
CN108009530A (zh) * 2017-12-27 2018-05-08 欧普照明股份有限公司 一种身份标定系统和方法
CN108022352A (zh) * 2017-12-27 2018-05-11 北京洪泰同创信息技术有限公司 门禁控制方法、门禁终端及门禁系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘晓敏: "《基于虹膜识别的商务会馆管理系统的实现》", 31 August 2015 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582305A (zh) * 2020-03-26 2020-08-25 平安科技(深圳)有限公司 生物特征识别方法、装置、计算机设备及存储介质
CN111582305B (zh) * 2020-03-26 2023-08-18 平安科技(深圳)有限公司 生物特征识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11517099B2 (en) Method for processing images, electronic device, and storage medium
WO2019128592A1 (zh) 进行直播的方法和装置
CN111897465B (zh) 弹窗显示方法、装置、设备及存储介质
CN110290191B (zh) 资源转移结果处理方法、装置、服务器、终端及存储介质
CN109783176B (zh) 切换页面的方法和装置
CN112738475B (zh) 播放视频的方法、装置及电子设备
CN111586279A (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111881423A (zh) 限制功能使用授权方法、装置、系统
CN108683699B (zh) 转发业务请求的方法和装置
CN111008083A (zh) 页面通信方法、装置、电子设备及存储介质
CN110825465A (zh) 日志数据处理方法、装置、电子设备及存储介质
CN112181915A (zh) 执行业务的方法、装置、终端和存储介质
CN110580754A (zh) 一种人脸认证的方法、装置及系统
CN110971692B (zh) 开通服务的方法、装置及计算机存储介质
CN111669611B (zh) 图像处理方法、装置、终端及存储介质
CN112015612B (zh) 一种获取卡顿信息的方法及装置
CN110717365B (zh) 一种获取图片的方法及装置
CN110471613B (zh) 存储数据的方法、读取数据的方法、装置及系统
CN112765571A (zh) 权限管理方法、系统、装置、服务器及存储介质
CN113099378A (zh) 定位方法、装置、设备及存储介质
CN107948171B (zh) 一种用户账号管理的方法和装置
CN111158791A (zh) 配置文件更新方法、装置及系统、存储介质
CN110942426A (zh) 图像处理的方法、装置、计算机设备和存储介质
CN111158780A (zh) 存储应用数据的方法、装置、电子设备及介质
CN112749583A (zh) 人脸图像分组方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217