CN110008673B - 一种基于人脸识别的身份鉴权方法和装置 - Google Patents

一种基于人脸识别的身份鉴权方法和装置 Download PDF

Info

Publication number
CN110008673B
CN110008673B CN201910166328.3A CN201910166328A CN110008673B CN 110008673 B CN110008673 B CN 110008673B CN 201910166328 A CN201910166328 A CN 201910166328A CN 110008673 B CN110008673 B CN 110008673B
Authority
CN
China
Prior art keywords
face image
target face
image
user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910166328.3A
Other languages
English (en)
Other versions
CN110008673A (zh
Inventor
江璇
林述民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910166328.3A priority Critical patent/CN110008673B/zh
Publication of CN110008673A publication Critical patent/CN110008673A/zh
Application granted granted Critical
Publication of CN110008673B publication Critical patent/CN110008673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书实施例提供一种基于人脸识别的身份鉴权方法和装置,其中,所述方法包括:采集连续的多个帧,并分别确定每一帧的目标人脸图像;其中,对于正在采集的当前帧,在确定当前帧的目标人脸图像之后,将当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果由当前帧的目标人脸图像和上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;在检测到帧采集结束信息时,确定待鉴权用户的人脸图像,以根据该人脸图像识别待鉴权用户的用户身份信息。

Description

一种基于人脸识别的身份鉴权方法和装置
技术领域
本公开涉及生物识别技术领域,特别涉及一种基于人脸识别的身份鉴权方法和装置。
背景技术
在对不同用户提供差别化服务的场景中,提供服务之前对用户进行准确的身份鉴权尤为重要。例如,在金融场景通过智能终端为用户提供取款、支付等账户资产相关的服务时,需要准确识别当前用户的身份后,才能进行服务的触达和账户的链接,否则存在账户信息泄漏甚至资产盗取等风险。
目前在智能终端上普遍存在的鉴权方式包括物理介质(银行卡、身份证等)、短信验证码、二维码、人脸识别等。其中,人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,人脸识别相比于其他鉴权方式的优点在于不依赖其他介质,通过用户自身的生物特征即可完成身份识别。
发明内容
有鉴于此,本说明书一个或多个实施例提供一种基于人脸识别的身份鉴权方法和装置,以提高身份鉴权的准确性。
具体地,本说明书一个或多个实施例是通过如下技术方案实现的:
第一方面,提供一种基于人脸识别的身份鉴权方法,所述方法包括:
采集连续的多个帧,并分别确定每一帧的目标人脸图像,所述每一帧包括至少一个人脸图像;
其中,对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,执行如下处理:将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
在检测到帧采集结束信息时,确定所述待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息。
第二方面,提供一种基于人脸识别的身份鉴权装置,所述装置包括:
图像处理模块,用于采集连续的多个帧,并分别确定每一帧的目标人脸图像,所述每一帧包括至少一个人脸图像;其中,对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,执行如下处理:将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
目标确定模块,用于在检测到帧采集结束信息时,确定所述待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息。
第三方面,提供一种基于人脸识别的身份鉴权设备,所述设备包括存储器、处理器,以及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行指令时实现本说明书至少一个实施例所述的方法步骤。
本说明书一个或多个实施例的基于人脸识别的身份鉴权方法和装置,通过对采集帧进行连续的跟踪判断,在相邻上一帧和当前帧中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像,使得对待鉴权用户的识别更加准确。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的一种身份鉴权应用系统的示意图;
图2为本说明书一个或多个实施例提供的一种人脸识别的注册流程;
图3为本说明书一个或多个实施例提供的一种人脸选择的流程示意图;
图4为本说明书一个或多个实施例提供的一种人脸跟踪的流程示意图;
图5为本说明书一个或多个实施例提供的一种基于人脸识别的身份鉴权装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
本说明书至少一个实施例提供的方法,可以用于用户身份鉴权,并且是持续性鉴权。如下以对金融场景中的终端用户进行持续性鉴权为例,描述该基于人脸识别的身份鉴权方法,但是可以理解的是,该方法并不局限于此场景。
图1为本说明书至少一个实施例提供的一种身份鉴权应用系统的示意图,如图1所示,该系统中可以包括智能终端11和服务器12。其中,智能终端11可以包括摄像头111、人脸检测模块112、人脸选择模块113、人脸跟踪模块114和数据存储模块115。该智能终端11例如可以是ATM机、自动收款设备。智能终端11可以通过网络13连接至服务器12。
智能终端11可以与服务器12配合,实现本说明书至少一个实施例中的基于人脸识别的身份鉴权。在执行对用户的身份鉴权之前,用户可以先通过智能终端11进行人脸识别的注册,经过注册后再可以使用人脸识别功能进行身份鉴权。例如,用户已经注册拥有一个支付账户,该支付账户可以用于购物支付、取款、转账等资金相关的业务。用户可以对应该支付账户开通人脸识别功能,那么后续用户就可以在购物支付、取款等业务操作时使用人脸识别进行身份鉴权,这种生物识别方法可以使得用户不用携带银行卡等物理介质,更加方便。
人脸识别的注册
该人脸识别的注册流程,可以由智能终端11侧的人脸识别管理应用116与服务器12侧的人脸识别业务处理模块121、人脸识别模块122和账户管理模块123共同配合实现。
需要说明的是,图1中所示例的智能终端侧的各个模块,以及服务器侧的各个模块,这种各个模块在智能终端和服务器的分配方式,仅是一个示例,实际实施中并不局限于此。比如,智能终端可以只有一个摄像头和人脸识别管理应用等作为接口和采集功能的模块,其他模块可以都设置在服务器侧。
注册流程可以参见图2的示例:
在步骤200中,用户通过智能终端的人脸识别管理应用,开启注册。
例如,智能终端11中安装有人脸识别管理应用116,该应用中可以有一项是“注册人脸识别”。用户可以在智能终端11的屏幕上点击该注册人脸识别的选项,触发人脸识别注册流程的开启。
例如,在上述点击触发人脸识别注册流程之前,用户可以先登录自己的支付系统账户,使得支付系统获得当前操作用户的支付账户。登录支付账户的流程可以由智能终端与服务器侧交互验证实现。
在步骤202中,智能终端采集用户的人脸图像,并向人脸识别业务处理模块发送人脸识别签约请求。
例如,智能终端可以通过摄像头111采集用户的人脸图像。并且,人脸识别管理应用116可以向服务器侧的人脸识别业务处理模块121发送人脸识别签约请求,该请求用于请求支付系统对该用户进行人脸识别签约。
所述的人脸识别签约请求可以携带:采集的用户人脸图像。还可以包括当前登录的支付账户。
在步骤204中,人脸识别业务处理模块向人脸识别模块发送人脸认证请求。
例如,该人脸认证请求用于请求人脸识别模块对步骤202中的人脸图像进行人脸检测,并分配一个对应的人脸ID。该人脸认证请求中可以携带人脸图像。
在步骤206中,人脸识别模块向人脸识别业务处理模块反馈人脸认证结果。
例如,该人脸认证结果可以是人脸识别模块根据人脸检测算法得到的脸部特征、以及该脸部特征对应的人脸ID。不同的用户具有不同的脸部特征,可以分配不同的ID。
在步骤208中,人脸识别业务处理模块向账户管理模块发送账户签约请求。
例如,该账户签约请求中可以携带:人脸ID、支付账户。
在步骤210中,账户管理模块向人脸识别业务处理模块返回账户签约结果。
例如,账户管理模块可以建立人脸ID和支付账户的绑定关系,并向人脸识别业务处理模块返回签约成功的结果通知。
在步骤212中,人脸识别业务处理模块向人脸识别管理应用返回注册结果。
例如,人脸识别业务处理模块可以向人脸识别管理应用反馈注册成功的通知。
此外,上述的步骤204至步骤210中,是以服务器建立人脸ID与支付账户的绑定关系为例,但是实际实施中并不局限于此。比如,在另一种方式中还可以是,人脸识别模块对人脸图像进行人脸检测,并将检测得到的脸部特征作为人脸认证结果返回给人脸识别业务处理模块,再由人脸识别业务处理模块将该脸部特征发送至账户管理模块,账户管理模块建立脸部特征与支付账户的绑定关系。这样后续步骤中,在智能终端确定了跟踪的人脸图像后,可以将该人脸图像发送至后端服务器进行人脸认证,此时可以由服务器的人脸识别模块检测识别该人脸图像的脸部特征,并由账户管理模块根据预先建立的绑定关系,获得与该脸部特征对应的支付账户。
本例子以及后续鉴权应用的例子,仍以账户管理模块建立人脸ID与支付账户的绑定关系为例进行描述。
在步骤214中,人脸识别管理应用可以展示注册结果,例如,注册成功。
经过图2所示的注册流程后,用户的人脸图像已经被分配了对应的人脸ID,并且,支付系统还建立了该人脸ID与用户的支付账户之间的绑定关系。接下来用户在进行支付业务处理时,就可以基于人脸识别进行身份鉴权。
人脸识别的鉴权应用
在应用人脸识别进行身份鉴权时,有一种应用情况是:多人排队,多人并排围观,服务员引导等,此时智能终端摄像头拍摄的图像中的人脸图像的数量将多于一个,并且多人围观等情况将使得摄像头拍摄的图像较为复杂,如何准确的从中识别真正的执行业务的用户,尤为重要。如下描述通过本实施例的方法识别待鉴权用户的方法,但是可以理解的是,即使是图像中只有一个人脸图像,本方法同样适用。
该方法可以包括四个阶段:人脸检测、人脸选择、人脸跟踪和人脸认证。
【人脸检测】
该人脸检测模块可以是通过摄像头进行图片帧采集,并且识别出图片帧中的各个人脸的人脸图像。
例如,智能终端可以通过摄像头111拍摄图片帧,该图片帧的拍摄可以是连续的拍摄,每一个图片帧都可以进行“人脸检测”、“人脸选择”和“人脸跟踪”的处理。连续图片帧的采集和处理是对鉴权用户进行持续性鉴权,以保证当前用户一直处于智能终端面前,提高鉴权的安全性。
可以通过人脸检测模块112执行人脸检测算法,得到图片帧中每一个人脸的脸部特征。并且,智能终端可以为检测到的脸部特征分配一个临时ID,该临时ID与图2流程中提到的人脸识别模块分配的人脸ID不同,该临时ID可以用于后续步骤中的人脸跟踪的比对,比如用于判断两个帧中的人脸图像是否是同一个图像,上一帧中的人脸图像是否仍然存在于当前帧。脸部特征和该临时ID的绑定关系可以存储在数据存储模块115中,根据人脸检测模块112得到的每个脸部特征,可以分别为不同人脸的脸部特征分配一个对应的临时ID。
【人脸选择】
在检测到一张图片帧中的多个人脸图像后,本步骤可以由该多个人脸图像中选择哪个人脸图像最有可能是真正执行业务的用户。比如,有一个用户在ATM机前要进行购物付款业务,该用户的旁边有多个人在围观,或者有业务员在引导用户操作,那么摄像头拍摄的图片帧中就包括多个人脸图像,哪个人脸图像才是真正在执行购物付款业务的人脸图像,这就是本步骤的人脸选择的任务。
本例子中,可以按照图3的流程进行人脸选择:
在步骤300中,对于当前帧中的每个人脸图像,采集所述人脸图像的至少两个评估因子,所述评估因子用于参与评估人脸图像对应的用户的业务意愿。
本步骤中的评估因子,可以是能够用于评估人脸图像对应的用户的业务意愿的因素。如下列举几个评估因子,包括但不限于:
例如,人脸图像与屏幕之间的距离,所述屏幕是人脸图像采集设备的屏幕。通常来说,真正执行业务的用户离屏幕会比较近,围观用户或者引导员离屏幕会稍远,因此,人脸图像与屏幕之间的距离是一个能够用于衡量是否真正业务用户的因素。真正的执行业务的用户,可以称为其业务意愿较强,而其他的用户比如围观用户或者引导员,可以称为其业务意愿较弱。
又例如,人脸图像与图片帧中心的距离。其中,检测出的人脸图像的所在区域,会有一个区域中心,可以获取该人脸图像的区域中心与图片帧中心之间的距离。通常来说,真正执行业务的用户,都会站在屏幕前相对中间的位置,而围观用户等其他非业务用户会站在旁边的位置。因此,该人脸图像与图片帧中心的距离是一个能够用于衡量是否真正业务用户的因素。
再例如,人脸图像的区域面积。如上面两个例子所说,真正执行业务的用户,会靠近屏幕更近的位置,并且还位于屏幕较为中间的位置,那么该用户在图片帧中的人脸图像的面积就会相比其他用户更大。因此,通过人脸图像的区域面积也能够用于衡量是否真正业务用户。
还例如,人脸图像的区域面积占图片帧面积的比例。
又例如,人脸注视智能终端屏幕的凝视时长。
在步骤302中,根据至少两个评估因子,确定人脸图像的人脸衡量参数。
本步骤中,为了更准确的确定业务意愿强的真正业务用户,可以采用至少两个评估因子。示例性的,可以结合上述的“人脸图像与屏幕之间的距离”、“人脸图像与图片帧中心的距离”、“人脸图像的区域面积”和“人脸图像的区域面积占图片帧面积的比例”,综合确定一个人脸图像对应的人脸衡量参数。例如,该人脸衡量参数可以是一个数值,称为人脸选择分值。
例如,为了描述方便,可以给上述提到的各个参数表示如下:
人脸图像与屏幕之间的距离:x
人脸图像与图片帧中心的距离:y
人脸图像的区域面积:s
人脸图像的区域面积占图片帧面积的比例:z
人脸选择分值:fs
例如:x=70mm,y=10mm,s=100mm2,z=0.4,综合判定Fs=0.1。
而对于如何根据x、y、s和z,综合确定人脸选择分值fs,可以有多种方式。例如,可以设定一个由上述x、y、s和z得到fs的函数关系式,根据该函数关系式计算得到fs。或者,还可以是利用决策组合确定fs。例如,该决策组合可以是,对于每一种类型的参数,为多个参数取值范围赋予一定的分值,再综合各类型参数的分值得到Fs。
示例性的,比如,上述的参数x可以包括多个取值参数,取值范围{x1~x2}、{x2~x3}等,对于某一个人脸图像来说,如果该人脸图像的x的取值落入了{x2~x3}的取值范围,则可以赋予该人脸图像的x以对应该取值范围的分值。同理,各个参数都可以获得一定的分值,再将各分值加和得到Fs。
或者,也可以采用其他的决策组合方式,比如,综合各类型参数的取值范围而确定Fs。如,可以设定当某一个人脸图像的x落入取值范围{x1~x2},并且y落入取值范围{y1~y2}等的情况下,确定一个对应该组合的分值Fs。
此外,如果通过函数关系式限定上述的x、y、s和z与fs的关系,该函数例如可以是通过模型训练得到的函数。例如,可以通过已有的训练数据训练一个用于评价人脸选择分值fs的模型,后续可以直接将上述的x、y、s等参数输入该模型,就可以输出人脸选择分值。
在步骤304中,将各个人脸图像的人脸衡量参数进行比较,选择最大的人脸衡量参数对应的人脸图像确定为所述目标人脸图像。
例如,假设一个图片帧中包括多个人脸图像,每个人脸图像都计算得到一个对应的人脸选择分值fs,可以选择分值最大的人脸图像,作为目标人脸图像。该目标人脸图像是当前的图片帧中最有可能是真正业务用户的图像。比如,在一个图片帧中,某个人脸图像距离屏幕最近,人脸图像与图片帧中心的距离最近,人脸图像的区域面积最大,并且该人脸区域面积占图片帧面积的比例最大,该人脸图像的fs最大,可以得到该人脸图像对应的用户是业务意愿最强的真正执行业务的用户。
智能终端的摄像头采集的每一个图片帧,都可以按照上述流程进行人脸选择。并且,该人脸选择的逻辑流程可以由图1中的人脸选择模块113执行。
【人脸跟踪】
本步骤中,可以由图1中的人脸跟踪模块114执行人脸跟踪的流程。该人脸跟踪流程是一个持续性的跟踪流程,人脸跟踪的目的是在连续采集的各个图片帧中,判断确定的跟踪对象是否有变化。比如,如果只进行人脸选择,而真正业务用户可能会一时低头、或者转身跟旁人说话等操作,导致在某个图片帧中不再是人脸选择分值最高的人脸图像,而如果据此直接切换了跟踪对象为其他用户,显然不准确。因此,人脸跟踪可以通过持续性的跟踪使得对跟踪对象的识别更加准确,从而使鉴权的安全性更高。
图4示例了一个人脸跟踪的流程:
在步骤400中,获取当前帧中的目标人脸图像。
例如,通过人脸选择步骤,得到当前帧中的fs最大的人脸图像,作为目标人脸图像。
在步骤402中,判断当前帧相邻的上一帧中的目标人脸图像,在当前帧中是否还继续存在。
本步骤判断时,可以结合前面描述时提到的临时ID,每一个脸部特征都可以对应一个分配的临时ID。可以判断当前帧相邻的上一帧中的目标人脸图像对应的临时ID在当前帧中是否继续存在。如果判断结果为否,即上一帧中的目标人脸图像在当前帧中不存在,消失了,则继续执行步骤404。
如果判断结果为是,继续执行步骤406。
在步骤404中,将当前帧中的目标人脸图像作为跟踪对象。
本步骤中,作为跟踪对象,即将该目标人脸图像的用户作为真正执行业务的用户,或许要对该用户进行身份鉴权。
在步骤406中,将第一人脸衡量参数与第二人脸衡量参数比较。
其中,所述第一人脸衡量参数用于表示当前帧中的目标人脸图像对应用户的业务意愿程度,所述第二人脸衡量参数用于表示当前帧相邻的上一帧的目标人脸图像对应用户的业务意愿程度。
例如,该第一人脸衡量参数或第二人脸衡量参数都可以是人脸选择分值fs,当前帧的目标人脸图像的fs可以称为第一人脸衡量参数,相邻的上一帧的目标人脸图像的fs可以称为第二人脸衡量参数。
在步骤408中,判断第一人脸衡量参数是否优于第二人脸衡量参数。
比如,第一人脸衡量参数可以是Fs(ID1),表示是当前帧中的目标人脸图像的临时ID(即ID1)对应的分值Fs;同理,第二人脸衡量参数可以是Fs(ID2),表示是当前帧相邻的上一帧中的目标人脸图像的临时ID(即ID2)对应的分值Fs。本步骤可以判断Fs(ID1)和Fs(ID2)哪个分值高,如果Fs(ID1)高于Fs(ID2),可以认为第一人脸衡量参数优于第二人脸衡量参数。
若判断结果为是,比如,第一人脸衡量参数fs大于第二人脸衡量参数fs,则可以表明当前帧的目标人脸图像的用户的业务意愿更强,则执行步骤404。
若判断结果为否,比如,第一人脸衡量参数fs小于或等于第二人脸衡量参数fs,则执行步骤410。
在步骤410中,获取所述当前帧中的所述目标人脸图像的持续时长。
本步骤中获取的持续时长,可以用帧来计数,也可以用时间来计数。例如可以是,当前帧的目标人脸图像持续了十帧,或者,当前帧的目标人脸图像持续了1秒。其中,以当前帧的目标人脸图像持续了十帧为例,在当前帧以及后续十帧的每一帧中,在检测到每一图片帧中的目标人脸图像后,都可以根据该人脸图像的脸部特征得到对应的人脸ID,发现这些帧中的人脸ID都是相同的,那就是同一个人脸ID持续了十帧。
在步骤412中,判断所述持续时长是否达到预设的时长阈值。
例如,该时长阈值可以用帧来计数,也可以用时间来计数。比如,时长阈值可以是十帧。
若达到阈值,比如,持续时长等于或者大于十帧,则执行步骤404。若所述持续时长超过预设的时长阈值,则将所述当前帧的目标人脸图像作为跟踪对象。但是在所述持续时长内,其实是在对当前帧的目标人脸图像进行观察的阶段,暂时还未进行跟踪对象的切换,所以可以仍然将所述上一帧的目标人脸图像作为跟踪对象。
否则,若在持续时长内,目标人脸图像发生了变化,则返回继续执行步骤402。比如,由于主业务用户的低头,导致当前帧的目标人脸图像相当于上一帧的目标人脸图像发生了变化,但是,当前帧的目标人脸图像的fs仍然低于上一帧的目标人脸图像的fs,这种情况可能是上述低头导致。那么就很可能在短时间内的目标人脸图像又切换回原来的用户,此时可以通过步骤408的比较,就可以将跟踪对象又切换回原来的用户。
【人脸认证】
经过持续人脸选择和跟踪的逻辑处理,智能终端可以将当前的跟踪对象的人脸图像发送至服务器侧,由服务器侧根据该人脸图像得到对应的用户支付账户。比如,服务器可以先由人脸识别模块识别到该人脸图像对应的人脸ID,再由账户管理模块根据人脸ID获得对应的支付账户。或者,在另一种方案中,还可以是服务器存储的是人脸图像的脸部特征和支付账户的绑定关系,可以直接根据人脸图像获得对应的支付账户。
此外,还需要说明的是,人脸选择和人脸跟踪是一个持续的过程。比如,某一个图片帧时,执行步骤404时,确定了跟踪对象,此时还不能立刻根据该跟踪对象识别用户的身份,还要判断是否检测到帧采集结束信息。
比如,该帧采集结束信息可以是用户点击了智能终端界面中的“下一步”,则根据确定的跟踪对象,识别所述跟踪对象对应的用户身份信息;若未检测到所述帧采集结束信息,继续采集下一帧的目标人脸图像,继续进行下一个图片帧的人脸选择和人脸跟踪流程。
由以上例子可以看到,本说明书至少一个实施例提供的基于人脸识别的身份鉴权方法,可以包括如下的处理:
可以采集连续的多个帧,所述每一帧包括至少一个人脸图像,比如,有多个人同时站在采集设备的镜头前,那么采集的帧中,每一帧中可以有多个人脸图像。可以分别确定每一帧的目标人脸图像,该目标人脸图像对应所述每一帧中的待鉴权用户,即由每一帧的多个人脸图像中确定哪个人才是待鉴权的用户,该待鉴权的用户就是真正要办业务的用户,当然,在具体确定某一帧中的待鉴权用户时,该确定的待鉴权用户也可能是错误的识别,后续步骤中通过人脸跟踪可以切换回真正的待鉴权用户。
其中,对于上述连续的多个帧中目标人脸图像的确定,这是一个连续的人脸选择和跟踪的过程。对于一帧中的多个人脸图像,要从中选择哪个是该帧中的待鉴权用户,即人脸选择;对于连续的多个帧,要注意判断相邻帧中的待鉴权用户是否要发生切换,即人脸跟踪。
所述的人脸跟踪可以按照如下处理:对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
上述连续的人脸选择和人脸跟踪处理,可以一直执行,直至在检测到帧采集结束信息时,可以结束人脸跟踪,确定此时的待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息。
上述的基于人脸识别的身份鉴权方法,通过对连续的相邻帧中的目标人脸图像进行切换的判断,可以使得人脸识别的准确度得到提高,有效降低误识别。
图5提供了一种基于人脸识别的身份鉴权装置,如图5所示,该装置可以包括:图像处理模块51和目标确定模块52。
图像处理模块51,用于采集连续的多个帧,并分别确定每一帧的目标人脸图像,所述每一帧包括至少一个人脸图像;其中,对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,执行如下处理:将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
目标确定模块52,用于在检测到帧采集结束信息时,确定所述待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息。
其中,上述的图像处理模块51中可以至少包括本说明书至少一个实施例中提到的人脸检测模块、人脸选择模块和人脸跟踪模块。
在一个例子中,图像处理模块51,在用于由每一帧确定目标人脸图像时,包括:对于当前帧中的每个人脸图像,采集所述人脸图像的至少两个评估因子,所述评估因子用于参与评估所述人脸图像对应的用户的业务意愿;根据所述至少两个评估因子,确定所述人脸图像的人脸衡量参数;将各个人脸图像的人脸衡量参数进行比较,选择最大的人脸衡量参数对应的人脸图像确定为所述目标人脸图像。上述处理例如可以是由图像处理模块51中的人脸选择模块执行。
在一个例子中,图像处理模块51,在用于将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较时,具体包括:将第一人脸衡量参数与第二人脸衡量参数比较;所述第一人脸衡量参数用于表示当前帧中的目标人脸图像对应用户的业务意愿程度,所述第二人脸衡量参数用于表示当前帧相邻的上一帧的目标人脸图像对应用户的业务意愿程度。上述处理例如可以是由图像处理模块51中的人脸跟踪模块执行。
在一个例子中,图像处理模块51,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述第一人脸衡量参数优于第二人脸衡量参数,则将待鉴权用户的图像由上一帧的目标人脸图像切换为当前帧中的目标人脸图像。
在一个例子中,图像处理模块51,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述第二人脸衡量参数优于第一人脸衡量参数,获取所述当前帧中的所述目标人脸图像的持续时长;若所述持续时长超过预设的时长阈值,则将所述当前帧的目标人脸图像作为待鉴权用户的人脸图像;若所述持续时长在所述时长阈值内,仍将所述上一帧的目标人脸图像作为待鉴权用户的人脸图像。
在一个例子中,图像处理模块51,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述上一帧中的目标人脸图像在当前帧中不存在,则将当前帧中的目标人脸图像作为待鉴权用户的图像。
上述实施例阐明的装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述图中所示流程中的各个步骤,其执行顺序不限制于流程图中的顺序。此外,各个步骤的描述,可以实现为软件、硬件或者其结合的形式,例如,本领域技术人员可以将其实现为软件代码的形式,可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时,所述的可执行指令可以存储在存储器中,并被设备中的处理器执行。
本说明书实施例还提供一种基于人脸识别的身份鉴权设备,所述设备包括存储器、处理器,以及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行指令时实现本说明书至少一个实施例描述的基于人脸识别的身份鉴权方法的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (11)

1.一种基于人脸识别的身份鉴权方法,所述方法包括:
采集连续的多个帧,并分别确定每一帧的目标人脸图像,所述每一帧包括至少一个人脸图像;
其中,对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,执行如下处理:将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
在检测到帧采集结束信息时,确定所述待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息;
所述分别确定每一帧的目标人脸图像,包括:
对于当前帧中的每个人脸图像,采集所述人脸图像的至少两个评估因子,所述评估因子用于参与评估所述人脸图像对应的用户的业务意愿;
根据所述至少两个评估因子,确定所述人脸图像的人脸衡量参数;
将各个人脸图像的人脸衡量参数进行比较,选择最大的人脸衡量参数对应的人脸图像确定为所述目标人脸图像;
所述评估因子包括如下至少一项:
所述人脸图像与屏幕之间的距离,所述屏幕是人脸图像采集设备的屏幕;
所述人脸图像与图片帧中心的距离;
所述人脸图像的区域面积;
所述人脸图像的区域面积占图片帧面积的比例。
2.根据权利要求1所述的方法,所述将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,包括:
将第一人脸衡量参数与第二人脸衡量参数比较;
所述第一人脸衡量参数用于表示当前帧中的目标人脸图像对应用户的业务意愿程度,所述第二人脸衡量参数用于表示当前帧相邻的上一帧的目标人脸图像对应用户的业务意愿程度。
3.根据权利要求2所述的方法,所述根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像,包括:
若所述第一人脸衡量参数优于第二人脸衡量参数,则将待鉴权用户的图像由上一帧的目标人脸图像切换为当前帧中的目标人脸图像。
4.根据权利要求3所述的方法,所述根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像,包括:
若所述第二人脸衡量参数优于第一人脸衡量参数,获取所述当前帧中的所述目标人脸图像的持续时长;
若所述持续时长超过预设的时长阈值,则将所述当前帧的目标人脸图像作为待鉴权用户的人脸图像;
若所述持续时长在所述时长阈值内,仍将所述上一帧的目标人脸图像作为待鉴权用户的人脸图像。
5.根据权利要求1所述的方法,所述根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像,包括:
若所述上一帧中的目标人脸图像在当前帧中不存在,则将当前帧中的目标人脸图像作为待鉴权用户的图像。
6.一种基于人脸识别的身份鉴权装置,所述装置包括:
图像处理模块,用于采集连续的多个帧,并分别确定每一帧的目标人脸图像,所述每一帧包括至少一个人脸图像;其中,对于正在采集的所述多个帧中的当前帧,在确定所述当前帧的目标人脸图像之后,执行如下处理:将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较,根据比较结果,由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的人脸图像;
目标确定模块,用于在检测到帧采集结束信息时,确定所述待鉴权用户的人脸图像,以根据该人脸图像识别所述待鉴权用户的用户身份信息;
所述图像处理模块,在用于分别确定每一帧的目标人脸图像时,包括:对于当前帧中的每个人脸图像,采集所述人脸图像的至少两个评估因子,所述评估因子用于参与评估所述人脸图像对应的用户的业务意愿;根据所述至少两个评估因子,确定所述人脸图像的人脸衡量参数;将各个人脸图像的人脸衡量参数进行比较,选择最大的人脸衡量参数对应的人脸图像确定为所述目标人脸图像;
所述评估因子包括如下至少一项:
所述人脸图像与屏幕之间的距离,所述屏幕是人脸图像采集设备的屏幕;
所述人脸图像与图片帧中心的距离;
所述人脸图像的区域面积;
所述人脸图像的区域面积占图片帧面积的比例。
7.根据权利要求6所述的装置,
所述图像处理模块,在用于将所述当前帧中的目标人脸图像与相邻上一帧中的目标人脸图像进行比较时,具体包括:将第一人脸衡量参数与第二人脸衡量参数比较;所述第一人脸衡量参数用于表示当前帧中的目标人脸图像对应用户的业务意愿程度,所述第二人脸衡量参数用于表示当前帧相邻的上一帧的目标人脸图像对应用户的业务意愿程度。
8.根据权利要求7所述的装置,
所述图像处理模块,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述第一人脸衡量参数优于第二人脸衡量参数,则将待鉴权用户的图像由上一帧的目标人脸图像切换为当前帧中的目标人脸图像。
9.根据权利要求7所述的装置,
所述图像处理模块,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述第二人脸衡量参数优于第一人脸衡量参数,获取所述当前帧中的所述目标人脸图像的持续时长;若所述持续时长超过预设的时长阈值,则将所述当前帧的目标人脸图像作为待鉴权用户的人脸图像;若所述持续时长在所述时长阈值内,仍将所述上一帧的目标人脸图像作为待鉴权用户的人脸图像。
10.根据权利要求6所述的装置,
所述图像处理模块,在用于根据比较结果由所述当前帧的目标人脸图像和所述上一帧的目标人脸图像中选择业务意愿更强的目标人脸图像作为待鉴权用户的图像时,包括:若所述上一帧中的目标人脸图像在当前帧中不存在,则将当前帧中的目标人脸图像作为待鉴权用户的图像。
11.一种基于人脸识别的身份鉴权设备,所述设备包括存储器、处理器,以及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行指令时实现权利要求1至5任一所述的方法步骤。
CN201910166328.3A 2019-03-06 2019-03-06 一种基于人脸识别的身份鉴权方法和装置 Active CN110008673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910166328.3A CN110008673B (zh) 2019-03-06 2019-03-06 一种基于人脸识别的身份鉴权方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910166328.3A CN110008673B (zh) 2019-03-06 2019-03-06 一种基于人脸识别的身份鉴权方法和装置

Publications (2)

Publication Number Publication Date
CN110008673A CN110008673A (zh) 2019-07-12
CN110008673B true CN110008673B (zh) 2022-02-18

Family

ID=67166468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910166328.3A Active CN110008673B (zh) 2019-03-06 2019-03-06 一种基于人脸识别的身份鉴权方法和装置

Country Status (1)

Country Link
CN (1) CN110008673B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443620A (zh) * 2019-08-06 2019-11-12 中国工商银行股份有限公司 刷脸支付方法和装置
CN110570200B (zh) * 2019-08-16 2020-08-25 阿里巴巴集团控股有限公司 一种支付方法及装置
CN114648713B (zh) * 2020-12-18 2024-10-29 抖音视界有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN113887451A (zh) * 2021-10-09 2022-01-04 支付宝(杭州)信息技术有限公司 图片处理方法及装置
CN117079378B (zh) * 2023-10-16 2024-01-09 八维通科技有限公司 站点通行中多人脸过闸处理方法和系统、计算机程序介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567043A (zh) * 2009-05-31 2009-10-28 中山大学 基于分类识别的人脸跟踪方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102592147A (zh) * 2011-12-30 2012-07-18 深圳市万兴软件有限公司 一种人脸检测的方法和装置
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN106951866A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸认证方法及装置
CN108022274A (zh) * 2017-11-29 2018-05-11 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技(深圳)有限公司 一种人脸图像识别方法、装置及存储介质
CN109033955A (zh) * 2018-06-15 2018-12-18 中国科学院半导体研究所 一种人脸跟踪方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200809700A (en) * 2006-08-15 2008-02-16 Compal Electronics Inc Method for recognizing face area
KR102324468B1 (ko) * 2017-03-28 2021-11-10 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567043A (zh) * 2009-05-31 2009-10-28 中山大学 基于分类识别的人脸跟踪方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102592147A (zh) * 2011-12-30 2012-07-18 深圳市万兴软件有限公司 一种人脸检测的方法和装置
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN106951866A (zh) * 2017-03-21 2017-07-14 北京深度未来科技有限公司 一种人脸认证方法及装置
CN108022274A (zh) * 2017-11-29 2018-05-11 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109033955A (zh) * 2018-06-15 2018-12-18 中国科学院半导体研究所 一种人脸跟踪方法和系统
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技(深圳)有限公司 一种人脸图像识别方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《A fast wavelet packet and PCA based image indexing and authentication method》;S. AlZahir等;《2015 IEEE 28th Canadian Conference on Electrical and Computer Engineering (CCECE)》;20150625;第1228-1233页 *
《基于监控视频的实时人脸检测与跟踪算法研究》;曾龙龙;《万方数据》;20120531;全文 *
《目标跟踪方法总结》;六月的雨唯你;《https://blog.csdn.net/u013187057/article/details/83866127》;20181108;第1-11页 *

Also Published As

Publication number Publication date
CN110008673A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110008673B (zh) 一种基于人脸识别的身份鉴权方法和装置
CN107093066B (zh) 业务实现方法和装置
CN110166438B (zh) 账户信息的登录方法、装置、计算机设备及计算机存储介质
CN111539740B (zh) 一种支付方法、装置及设备
CN110033293B (zh) 获取用户信息的方法、装置及系统
CN109345375B (zh) 一种可疑洗钱行为识别方法及装置
CN111414119A (zh) 用于生物特征认证系统的方法、系统和装置
EP2523149A2 (en) A method and system for association and decision fusion of multimodal inputs
CN109063977B (zh) 一种无感式交易风险监测方法及装置
CA2792688C (en) Biometric matching system
WO2022007559A1 (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN110223158B (zh) 一种风险用户的识别方法、装置、存储介质和服务器
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN106529255B (zh) 基于笔迹指纹的用户身份识别方法和装置
CA3177992A1 (en) Methods and systems for detecting head motion during an authentication transaction
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
JP6028453B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Beton et al. Biometric secret path for mobile user authentication: A preliminary study
CN115906028A (zh) 用户身份验证方法、装置和自助服务终端
CN115840931A (zh) 基于人脸滑屏互动的身份验证的方法及相关产品
CN115204893A (zh) 用于电子支付的人脸识别方法、装置、计算机设备
CN110533297B (zh) 一种识别异常设备的方法及装置
CN115829575A (zh) 支付验证方法、装置、终端、服务器及存储介质
CN113705428A (zh) 活体检测方法及装置、电子设备及计算机可读存储介质
CN101582115B (zh) 认证装置、认证方法、登记装置和登记方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40010714

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant