CN113537993A - 一种基于脸部支付的数据检测方法及装置 - Google Patents

一种基于脸部支付的数据检测方法及装置 Download PDF

Info

Publication number
CN113537993A
CN113537993A CN202010880227.5A CN202010880227A CN113537993A CN 113537993 A CN113537993 A CN 113537993A CN 202010880227 A CN202010880227 A CN 202010880227A CN 113537993 A CN113537993 A CN 113537993A
Authority
CN
China
Prior art keywords
image
face
data
target image
payment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010880227.5A
Other languages
English (en)
Other versions
CN113537993B (zh
Inventor
唐惠忠
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010880227.5A priority Critical patent/CN113537993B/zh
Publication of CN113537993A publication Critical patent/CN113537993A/zh
Application granted granted Critical
Publication of CN113537993B publication Critical patent/CN113537993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于脸部支付的数据检测方法及装置;本申请实施例可以获取待检测的脸部支付图像数据,所述脸部支付图像数据包括至少一个图像模式上的原始图像;从原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;基于目标图像中的脸部信息特征,确定目标图像中的脸部区域;参照目标图像的脸部区域,对目标图像以及参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;将加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。该方案可以提高基于脸部支付的数据检测效率。

Description

一种基于脸部支付的数据检测方法及装置
技术领域
本申请涉及计算机技术领域,具体涉及一种基于脸部支付的数据检测方法及装置。
背景技术
脸部支付作为一种生物特征识别技术,可以通过非接触的方式进行识别,并能有效地避免个人信息的泄露。在如今的支付场景中,脸部支付占据了越来越大的比例,给人们的生活带来了很大的便利。
在对相关技术的研究和实践过程中,本申请的发明人发现,传统金融类终端设备能够满足低成本场景下的交易数据检测的需求,但由于脸部支付的数据检测依赖于对图像数据的处理,如加密和传输等复杂步骤,且图像数据相较于传统交易数据具有更大的数据量与更复杂的处理流程,因而导致在满足传统金融类设备的规范时,对脸部支付的图像数据进行检测需要花费更长的时间,使得基于脸部支付的数据检测效率低下,并影响了最终的使用体验。
发明内容
本申请实施例提供一种基于脸部支付的数据检测方法及装置,可以提高基于脸部支付的数据检测效率。
本申请实施例提供一种基于脸部支付的数据检测方法,包括:
获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;
从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;
基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;
参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;
对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;
将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
相应的,本申请实施例还提供另一种基于脸部支付的数据检测方法,包括:
接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;
对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;
基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;
向终端发送所述检测结果;
当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
相应的,本申请实施例还提供一种基于脸部支付的数据检测装置,包括:
获取单元,用于获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;
选取单元,用于从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;
确定单元,用于基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;
提取单元,用于参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;
加密单元,用于对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;
图像发送单元,用于将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
在一实施例中,在对所述提取后的脸部区域图像进行加密处理后,所述基于脸部支付的数据检测装置,还可以包括:
原始图像加密单元,用于对所述原始图像进行加密处理,得到加密后的原始图像;
原始图像发送单元,用于将所述加密后的原始图像发送到服务器;
校验请求发送单元,用于当检测到针对所述加密后的脸部区域图像的检测异常信息时,向服务器发送针对所述加密后原始图像的校验请求。
在一实施例中,所述基于脸部支付的数据检测装置,还可以包括:
校验结果获取单元,用于获取所述加密后原始图像的校验结果;
检测结果确定单元,用于基于所述校验结果,确定所述脸部支付图像数据的检测结果。
在一实施例中,所述确定单元,包括:
特征确定子单元,用于确定所述目标图像中的脸部信息特征;
参数计算子单元,用于基于所述脸部信息特征,计算所述目标图像中的脸部区域位置参数;
区域确定子单元,用于基于所述脸部区域位置参数,确定所述目标图像中的脸部区域。
在一实施例中,所述特征确定子单元,用于:确定计算所述脸部信息特征需要的特征原型;利用所述特征原型,计算所述目标图像中的候选脸部信息特征;对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
在一实施例中,所述特征确定子单元,用于:基于所述目标图像中的像素分布,建立所述目标图像对应的像素积分图;对所述特征原型进行特征增强操作,得到至少一个增强后的特征提取模板;通过所述像素积分图,计算所述特征提取模板在所述目标图像中对应的候选脸部信息特征。
在一实施例中,所述特征确定子单元,用于:训练进行特征筛选需要的基本分类器,得到训练后的基本分类器;对所述训练后的基本分类器进行级联操作,得到级联后的层级分类器;将所述候选脸部信息特征输入所述级联后的层级分类器,得到针对所述候选脸部信息特征的分类结果;基于所述分类结果,对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
在一实施例中,所述特征确定子单元,用于:
将训练数据输入所述基本分类器,得到针对所述训练数据的预测结果;基于所述预测结果,确定所述基本分类器在当前迭代的训练误差;基于所述训练误差,更新所述子分类器对应的分类器权重、以及所述训练数据对应的样本权重;基于所述更新后的分离器权重与样本权重,通过对所述基本分类器进行迭代训练,得到训练后的基本分类器。
在一实施例中,所述提取单元,包括:
参数确定子单元,用于确定所述脸部区域在所述目标图像中对应的位置参数;
第一提取子单元,用于基于所述位置参数,从所述目标图像中提取第一脸部区域图像;
第二提取子单元,用于基于所述目标图像与所述参照图像之间的映射关系,参照所述位置参数,从所述参照图像中提取第二脸部区域图像;
图像组合子单元,用于对所述提取后的第一脸部区域图像以及所述提取后的第二脸部区域图像进行组合处理,得到组合后的脸部区域图像。
在一实施例中,所述第二提取子单元,用于:基于所述目标图像与所述参照图像之间的映射关系,确定所述位置参数在所述参照图像中的参数映射值;基于所述参数映射值,确定待提取的第二脸部区域图像;从所述参照图像中提取所述第二脸部区域图像。
相应的,本申请实施例还提供另一种基于脸部支付的数据检测装置,包括:
接收单元,用于接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;
解密单元,用于对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;
检测单元,用于基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;
结果发送单元,用于向终端发送所述检测结果;
生成单元,用于当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
在一实施例中,所述检测单元,包括:
活体识别子单元,用于通过所述解密后的脸部区域图像执行活体识别操作,得到活体识别结果;
脸部识别子单元,用于基于所述活体识别结果,对所述解密后的脸部区域图像进行脸部识别操作,得到脸部识别结果;
结果生成子单元,用于基于所述活体识别结果与所述脸部识别结果,生成所述解密后脸部区域图像的检测结果。
在一实施例中,所述第二数据检测装置,还包括:
原始接收单元,用于接收终端发送的加密后原始图像;
原始解密单元,用于当检测到针对所述加密后原始图像的校验请求时,对所述加密后原始图像进行解密处理,得到解密后的原始图像;
原始校验单元,用于基于所述校验请求,对所述解密后的原始图像进行校验,得到校验结果;
校验发送单元,用于向终端发送所述校验结果。
相应的,本申请实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如本申请实施例所示的基于脸部支付的数据检测方法的步骤。
相应的,本申请实施例还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如本申请实施例所示的基于脸部支付的数据检测方法的步骤。
本申请实施例可以获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
该方案在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据检测方法的场景示意图;
图2是本申请实施例提供的数据检测方法的流程图;
图3是本申请实施例提供的数据检测方法的脸部支付流程示意图;
图4是本申请实施例提供的数据检测方法的脸部识别检测图;
图5是本申请实施例提供的数据检测方法的特征原型示意图;
图6是本申请实施例提供的数据检测方法的另一特征原型示意图;
图7是本申请实施例提供的数据检测方法的候选脸部信息特征示意图;
图8是本申请实施例提供的数据检测方法的像素积分图像示意图;
图9是本申请实施例提供的数据检测方法的另一像素积分图像示意图;
图10是本申请实施例提供的数据检测方法的另一像素积分图像示意图;
图11是本申请实施例提供的数据检测方法的分类器训练示意图;
图12是本申请实施例提供的数据检测方法的另一分类器训练示意图;
图13是本申请实施例提供的数据检测方法的另一流程示意图;
图14是本申请实施例提供的数据检测方法的数据检测流程示意图;
图15是本实施例提供的第一数据检测装置的结构示意图;
图16是本实施例提供的第一数据检测装置的另一结构示意图;
图17是本实施例提供的第一数据检测装置的另一结构示意图;
图18是本实施例提供的第一数据检测装置的另一结构示意图;
图19是本实施例提供的第一数据检测装置的另一结构示意图;
图20是本实施例提供的第二数据检测装置的结构示意图;
图21是本实施例提供的第二数据检测装置的另一结构示意图;
图22是本实施例提供的第二数据检测装置的另一结构示意图;
图23是本实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种基于脸部支付的数据检测方法及装置。具体地,本申请实施例提供适用于第一计算机设备的数据检测装置(为区分,可以称为第一数据检测装置),该第一计算机设备可以为终端等设备,该终端可以为手机、平板电脑以及笔记本电脑等设备,可选地,可以为脸部支付设备。本申请实施例还提供适用于第二计算机设备的数据检测装置(为区分,可以称为第二数据检测装置),该第二计算机设备可以为服务器等网络侧设备,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群,可以是实体的服务器,也可是虚拟服务器。
比如,第一数据检测装置可以集成在终端中,第二数据检测装置可以集成在服务器。
本申请实施例将以第一计算机设备为终端,第二计算机设备为服务器为例,来介绍基于脸部支付的数据处理方法。
参考图1,本申请实施例提供了基于脸部支付的数据检测系统包括终端10和服务器20等;终端10与服务器20之间通过网络连接,比如,通过有线或无线网络连接等,其中,第一数据检测装置集成在终端中,比如,以客户端的形式集成在终端中,并且,该终端可以为脸部支付设备。
其中,终端10可以获取待检测的脸部支付图像数据,其中,该脸部支付图像数据包括至少一个图像模式上的原始图像。进一步地,终端10可以从该原始图像中选取待进行脸部区域定位的目标图像、以及需要参照该目标图像的参照图像。随后,终端10可以基于该目标图像中的脸部信息特征,确定该目标图像中的脸部区域,并参照该目标图像的脸部区域,对该目标图像以及该参照图像进行脸部区域图像提取,得到提取后的脸部区域图像。而后,终端10可以对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像。并将加密后的脸部区域图像发送到服务器,以通过该加密后的脸部区域图像对脸部支付图像数据进行检测。
相应地,服务器20可以接收终端发送的检测请求,其中,该检测请求携带与原始图像对应的加密后脸部区域图像。进一步地,服务器20可以对该加密后的脸部区域图像进行解密处理,得到解密后的脸部区域图像。随后,服务器20可以基于接收到的检测请求,对该解密后的脸部区域图像进行检测,并在得到检测结果后发送给终端10,以使终端10可以获取针对提取后的脸部区域图像的检测结果,并基于该检测结果,确定脸部支付图像的检测结果。值得注意的是,当针对加密后的脸部区域图像的检测结果为检测异常时,服务器20可以生成针对原始图像的校验请求。
在另一实施例中,终端10在将加密后的脸部区域图像发送到服务器后,还可以对原始图像进行加密处理,并在得到加密后的原始图像后,将加密后的原始图像发送到服务器。若检测到了针对之前的加密后的脸部区域图像的检测异常信息时,终端10可以进一步地向服务器发送针对加密后原始图像的校验请求。
而相应地,服务器20可以接收终端发送的加密后原始图像,并在检测到针对该加密后原始图像的校验请求时,对该加密后原始图像进行解密处理,得到解密后的原始图像;服务器20还可以基于针对该加密后原始图像的校验请求,对该解密后的原始图像进行校验,并在得到校验结果后向终端10发送该校验结果。
终端10则可以获取该加密后原始图像的校验结果,并基于该校验结果,确定脸部支付图像数据的检测结果。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的一种基于脸部支付的数据检测方法,该方法涉及人工智能的计算机视觉等技术,本申请实施例将从第一数据检测装置的角度进行描述,该第一数据检测装置具体可以集成在终端中,具体地,该终端可以为脸部支付设备。本申请实施例提供的一种基于脸部支付的数据检测方法,该方法可以由终端的处理器执行,如图2所示,该基于脸部支付的数据检测方法的具体流程可以如下:
101、获取待检测的脸部支付图像数据,其中,该脸部支付图像数据包括至少一个图像模式上的原始图像。
其中,脸部支付可以为基于脸部信息特征进行支付的一种方式,例如,刷脸支付可以为脸部支付的一种。具体地,刷脸支付是基于人工智能、机器视觉、3D传感、大数据等技术实现的新型支付方式,具备更便捷、更安全、体验好等优势。
实现脸部支付的方法可以有多种,例如,可以通过常见的终端设备,如手机、平板电脑等来采集脸部信息特征,以便后续可以基于采集到的脸部信息特征进行支付;又如,在线下支付的场景中,可以通过脸部支付设备来采集用户的脸部信息特征,以便后续可以基于采集到的脸部信息特征进行支付;等等。
其中,获取脸部信息特征的方式可以有多种,例如,可以通过摄像机或摄像头采集含有脸部的图像或视频流,并自动在图像中检测和跟踪脸部,进而对检测到的脸部进行脸部识别的一系列相关步骤。因此,可以通过检测脸部支付过程中产生的脸部支付图像数据,来实现不同脸部支付在不同场景下的任务需求,如,活体识别、身份验证,等等。
其中,脸部支付设备可以为支持脸部支付的设备,该设备可以包括至少一个摄像头、至少一个屏幕、扫码器、键盘、传感器,等等零件;可选的,该脸部支付设备还可以支持扫码支付、密码支付等多种支付方式。
其中,图像模式可以用于描述不同成像方式的图像,在本实施例中,待检测的脸部支付图像数据可以包括不同图像模式下的原始图像,例如,可以包括原始的彩色图像、原始的深度图像和原始的红外图像,等等。
对于彩色图像,彩色图像中内容的显示与人眼感应外界时生成的视觉一致,在计算机中,彩色图像可以有不同的色彩模式,例如,若彩色图像中的每个像素都包括红色(R,Red)、绿色(G,Green)、蓝色(B,Blue)分量上对应的像素值,那么该彩色图像即为RGB色彩模式;又如,若彩色图像中的每个像素都包括在R、G、B和透明(A,Alpha)分量上对应的像素值,那么该彩色图像即为RGBA色彩模式;等等。
对于深度图像,其被称为距离影像,是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。
而对于红外图像,是指通过接收地物反射或自身发射的红外线而形成的图像。在实际应用中,可以通过红外辐射源照射物体,利用被反射的红外辐射摄取物体的像;也可以仅依靠目标和背景的不同辐射成像。
在一实施例中,脸部支付的应用场景可以为用户在线下商铺进行消费的情境,其中,当触发了脸部支付后,即可通过脸部支付设备获取用户的待检测的脸部支付图像数据,其中,该脸部支付图像数据中可以包括脸部支付设备采集到的原始的彩色图像、原始的深度图像、以及原始的红外图像;等等。
在另一实施例中,脸部支付的应用场景可以为用户在网上商城进行消费的情境,其中,当触发了脸部支付后,即可通过用户的终端设备,如手机或平板电脑,来获取该用户的待检测的脸部支付图像数据,其中,该脸部支付图像数据中可以包括用户终端采集到的原始的彩色图像、原始的深度图像、以及原始的红外图像;等等。
在另一实施例中,参考图3,可以在脸部支付设备上展示“请面向屏幕刷脸”的提示文本来引导用户进入脸部支付程序,并在采集到用户的脸部支付图像数据后,在脸部支付设备上展示“你好,C***a”的欢迎文本。其中,具体地,采集到的脸部支付图像数据可以包括用户脸部的原始彩色图像、原始红外图像以及原始深度图像。
102、从原始图像中选取待进行脸部区域定位的目标图像、以及需要参照该目标图像的参照图像。
在一实施例中,采集到的脸部支付图像数据的原始图像可以包括原始彩色图像、原始红外图像、以及原始深度图像。因此,要对脸部支付图像数据中的原始图像进行脸部区域定位,即需要对原始彩色图像、原始红外图像、以及原始深度图像进行脸部区域定位。
对原始图像进行脸部区域定位的实现方式可以有多种,例如,可以对原始彩色图像、原始红外图像、以及原始深度图像分别进行脸部区域定位,以便后续可以基于各图像中定位得到的脸部区域,分别对各图像进行脸部区域图像提取;又如,可以从原始图像中选取目标图像,并对目标图像进行脸部区域定位,而其他的原始图像即可直接通过参照目标图像的定位结果来确定其中的脸部区域,以便后续可以同样地基于目标图像的定位结果,在各原始图像中进行脸部区域图像提取。
其中,目标图像的选取方法可以有多种,具体可以基于业务需求进行调整。例如,由于原始彩色图像中包括较多的便于识别的脸部信息特征,因此,可以选取原始彩色图像作为待进行脸部区域定位的目标图像;又如,在能见度很低的环境中,原始彩色图像的图像质量较低、不足以支持脸部信息特征的识别,因此,可以选取原始红外图像或原始深度图像作为待进行脸部区域定位的目标图像;等等。
在一实施例中,可以将原始深度图像作为待进行脸部区域定位的目标图像,而将原始彩色图像、原始红外图像等作为需要参考目标图像的参照图像。
在另一实施例中,可以将原始红外图像作为待进行脸部区域定位的目标图像,而将原始彩色图像、原始深度图像等作为需要参考目标图像的参照图像。
在本实施例中,可以将原始彩色图像作为待进行脸部区域定位的目标图像,而将原始红外图像、原始深度图像等作为需要参考目标图像的参照图像。
值得注意的是,目标图像的数量可以为一个或多个,在本申请中不对此作限制。
103、基于目标图像中的脸部信息特征,确定目标图像中的脸部区域。
其中,脸部信息特征可以为表征脸部信息的特征,例如,脸部信息特征可以为表征眼睛、鼻子和嘴等面部特征之间的几何关系的几何特征,譬如,距离、面积和角度等;又如,脸部信息特征可以为基于脸部图像的灰度信息,通过一些算法提取的全局或局部特征;等等。
在进行基于脸部支付的数据检测时,主要依赖的数据为脸部区域图像数据,而由于采集到的原始图像中可能包括与数据检测无关的图像数据,例如,背景图像数据等;因此,可以基于目标图像中的脸部信息特征,确定目标图像中的脸部区域,以便后续可以基于该确定的脸部区域,从原始图像中提取脸部区域图像。
基于脸部信息特征确定目标图像中的脸部区域的方式可以有多种,例如,可以通过脸部信息特征确定脸部区域在目标图像中的位置范围,进而确定目标图像中的脸部区域,具体地,步骤“基于目标图像中的脸部信息特征,确定目标图像中的脸部区域”,可以包括:
确定目标图像中的脸部信息特征;
基于该脸部信息特征,计算目标图像中的脸部区域位置参数;
基于该脸部区域位置参数,确定目标图像中的脸部区域。
其中,确定目标图像中的脸部信息特征的方法可以有多种,例如,可以将目标图像输入到神经网络中,以从该目标图像中提取脸部信息特征;又如,可以通过利用特征原型、或者特征模板,在目标图像中进行扩展来提取该目标图像中的脸部信息特征;等等。
具体地,确定目标图像中的脸部信息特征的过程可以参考后面实施例的介绍。
其中,脸部区域位置参数可以为表征脸部区域在图像中的位置的参数。脸部区域位置参数的形式可以有多种,例如,若使用方框来定位脸部区域时,脸部区域位置参数可以包括该方框的坐标;又如,若使用圆圈来定位脸部区域时,脸部区域位置参数可以包括该圆圈的圆心坐标、半径值;等等。
其中,要确定的脸部区域中可以包括用于识别个体需要的脸部信息特征,例如,包括表征眼睛、鼻子和嘴等面部特征之间的几何关系的几何特征,譬如,距离、面积和角度等;又如,包括基于脸部图像的灰度信息,通过一些算法提取的全局或局部特征;等等。
可以通过脸部区域位置参数来描述脸部区域在目标图像中的位置范围,值得注意的是,该位置范围可以为最小范围,如包括目标图像中各脸部信息特征的最小位置范围;也可以是,既包括了目标图像中各脸部信息特征、又最适于进行活体识别、脸部识别等步骤的最适范围;等等。
在一实施例中,如图4的201所示,在该目标图像中,基于该目标图像中的脸部信息特征,可以计算出该目标图像对应的脸部区域位置参数,并通过可视化工具,将各脸部区域位置参数的脸部区域以方框的形式展示出来。可以看到,如图4的201所示,由于基于脸部信息特征计算出的脸部区域位置参数可能存在多个结果,因此,可以基于该脸部区域位置参数,进一步地确定目标图像中的脸部区域。
其中,基于计算出的脸部区域位置参数,进一步确定目标图像中的脸部区域的方法可以有多种,在一实施例中,为了确保方框能够完整地截取脸部区域,可以对得到的方框进行放大,例如,可以从计算出的脸部区域位置参数中,选择包括了所有脸部信息特征的最小范围,并以该最小范围所对应的方框中心点为基准点,将该方框的宽及高进行放大后,将放大后的方框内的图像区域确定为目标图像的脸部区域。又如,可以从计算出的脸部区域位置参数中,选择包括脸部信息特征的最大范围,并以该最大范围所对应的图像区域确定为目标图像的脸部区域,等等。具体调整方法可以基于业务需求进行调整。
在一实施例中,参考图4,可以通过可视化工具,将计算出来的目标图像的各脸部区域位置参数对应的脸部区域以方框的形式展示出来,如201所示,由于基于脸部信息特征计算出的脸部区域位置参数可能存在多个结果,因此,可以从中选择包括括脸部信息特征的最小范围,并以该最小范围所对应的方框中心点为基准点,将该方框放大1.8倍得到图4中202所示的结果,并将放大后方框内的图像区域作为确定目标图像中的脸部区域。
由此可见,确定目标图像中的脸部区域信息特征,有利于进一步地在后续确定目标图像中的脸部区域。而脸部区域特征的确定方法可以有多种,例如,可以通过特征原型、或者特征模板,在目标图像中进行扩展来提取该目标图像中的脸部信息特征。具体地,步骤“确定目标图像中的脸部信息特征”,可以包括:
确定计算脸部信息特征需要的特征原型;
利用该特征原型,计算目标图像中的候选脸部信息特征;
对该候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
由于脸部具有一些特征,例如,对于人脸的正脸图像来说,人眼睛区域会比脸颊区域暗,嘴唇区域也会比四周的区域暗,但鼻子区域会比两边脸颊要亮。这些特征有利于我们识别人脸,并进一步地基于识别到的人脸进行其他操作,如,图像检测与校验、活体识别,等等。因此,可以将这些特征作为表征脸部信息的脸部信息特征。
并且,由于脸部图像中包括的模式特征十分丰富,如直方图特征、颜色特征、模板特征、结构特征及哈尔特征(Haar-likefeatures,Haar特征)等,因此,要确定目标图像中的脸部信息特征,可以首先确定计算脸部信息特征需要的模式特征,以便基于该模式特征,来进一步确定计算脸部信息特征需要的特征原型。
例如,可以选择Haar特征,作为计算脸部信息特征需要的模式特征。Haar特征中包括多个特征原型,例如,广泛使用的是图5所示的四种特征原型,即203与204所示的边缘特征原型、205所示的线性特征原型、以及206所示的对角特征原型。
在另一实施例中,还可以对Haar特征作进一步扩展,例如,可以通过加入旋转45°角的的变换操作、或增加新的样式等,来生成更多可选的特征原型。譬如,参考图6,对Haar特征作进一步的扩展后,扩展后的特征原型可以包括如下四种类型:边缘特征原型、线性特征原型、圆心环绕特征原型、以及特定方向的特征原型,使得在对各种类的特征原型扩展后,生成了更加多样可选的特征原型。
在确定了计算脸部信息特征需要的特征原型后,即可利用该特征原型,计算目标图像中的候选脸部信息特征;并通过对该候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。为了方便理解,下面先对步骤“利用该特征原型,计算目标图像中的候选脸部信息特征”进行进一步的阐述,随后再对步骤“对该候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征”所述的特征筛选过程进行介绍。
在本实施例中,可以选择Haar特征为计算脸部信息特征需要的模式特征,并从Haar特征中选择图5所示的四种特征原型,用于计算脸部信息特征。具体地,当应用图5所示的特征原型在图像上时,各特征原型的特征值可以这样计算:将图像在白色矩阵区域内的像素值之和,减去图像在黑色矩阵区域内的像素值之和。例如,对于图5中203、204和206所示的特征原型,其特征值的计算公式可以为Sum白)-Sum(黑);而对于图5中205所示的特征原型,其特征值的计算公式可以为Sum白)-2*Sum(黑);其中,Sum白)表示将特征原型应用在图像上时,图像在白色区域内的像素值之和,Sum黑)表示将特征原型应用在图像上时,图像在黑色区域内的像素值之和,值得注意的是,之所以将黑色区域像素和乘2,视为了使205所示的特征原型的矩阵区域中像素数目一致。
基于特征原型求得的特征值可以反映脸部图像的灰度变化情况,例如,脸部的一些特征能由特征原型简单地描述,譬如,眼睛要比脸颊颜色要深,鼻梁两侧比鼻梁颜色要深,嘴巴比周围颜色要深等。
在应用中,特征原型可以应用于图像的任何位置,其大小也可以任意改变。因此,可以通过改变特征原型的大小和位置,在脸部图像子窗口中穷举出大量的特征。例如,对于图5中所示的特征原型,可以改变它们的大小和位置,并将其应用在脸部图像中,从而实现如图7所示的,在图像中产生大量待计算的特征。由于并不是所有的待计算的特征都是有用的,因此,可以将这些待计算的特征成为候选脸部信息特征,后续可以通过对这些候选脸部信息特征进行特征筛选,从而得到筛选后的脸部信息特征。具体地,步骤“利用该特征原型,计算目标图像中的候选脸部信息特征”,可以包括:
基于目标图像中的像素分布,建立目标图像对应的像素积分图;
对该特征原型进行特征增强操作,得到至少一个增强后的特征提取模板;
通过该像素积分图,计算特征提取模板在目标图像中对应的候选脸部信息特征。
其中,像素分布可以为目标图像中各像素的像素值分布情况,获取目标图像中像素分布的方法可以有多种,例如,可以直接将目标图像中各像素的像素值确定为该目标图像的像素分布,又如,可以对目标图像中各像素的像素值进行函数变换,并将变换后的像素值作为该目标图像的像素分布;等等。
在本实施例中,可以直接将目标图像中各像素的像素值确定为该目标图像的像素分布,并基于该像素值来建立像素积分图。
其中,像素积分图可以为为了简便计算目标图像中的候选脸部信息特征而设计的积分图像。具体地,积分图像中的任意一点(x,y)的值是指从目标图像的左上角到这个点的所构成的矩形区域内所有的点的像素值之和,即对于积分图像中的任何一点,该点的值等于目标图像中位于该点左上角所有像素的像素值之和。参考图8,像素积分图中任意一点(x,y)上的值的计算公式如下:
Figure BDA0002653889940000171
其中,(x′,y′)表示目标图像中横坐标为x′,纵坐标为y′的像素,该像素可以为目标图像的左上角到点(x,y)所构成的矩形区域内的任意像素;f(x,y)表示目标图像中像素(x,y)处的像素值,f(x′,y′)则表示目标图像中像素(x′,y′)处的像素值。由此即可得到基于目标图像建立的像素积分图。
其中,特征增强操作可以用于改变特征原型的大小、位置等属性,从而衍生出大量的特征提取模板,例如,对于图5中的特征原型,可以通过改变它们的大小、位置等属性,从而产生出多个特征提取模板,并如图7所示,应用在图像上。
当将各个特征提取模板应用在目标图像上时,可以基于前述的特征原型的特征值计算方法,以及利用建立的像素积分图,来计算该特权提取模板在目标图像中对应的候选脸部信息特征。
具体地,当用s(x,y)表示像素积分图上点(x,y)处的值时,参考图9,像素积分图满足如下公式:
s(x,y)=f(x,y)+s(x-1,y)+s(x,y-1)-s(x-1,y-1)
其中,f(x,y)表示目标图像中像素(x,y)处的像素值。
因此,通过结合上述两个式子,可推导得到像素积分图像满足下述的性质,参考图10,对于原始图像中标注的四个区域:A、B、C、D,可以计算出图中点1、2、3、4处像素对应的在像素积分图中的值,具体地:
图10中1处像素点对应的在像素积分图中的值为:sum(A);
图10中2处像素点对应的在像素积分图中的值为:sum(a+B);
图10中3处像素点对应的在像素积分图中的值为:sum(A+C);
图10中4处像素点对应的在像素积分图中的值为:sum(A+B+C+D);从而可以计算出,区域D所有的像素点像素值之和为:
sum(A+B+C+D)-sum(A+C)-sum(A+B)+sum(A)
因此,当在目标图像上的任何位置应用特征提取模板时,都可以通过使用上述的推导过程,求得特征提取模板对应的特征值,并且,可以将该计算出的特征值,作为该特征图提取模板在目标图像中对应的候选脸部信息特征。
在对步骤“利用该特征原型,计算目标图像中的候选脸部信息特征”进行了详细的阐述后,下面将对步骤“对该候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征”进行进一步地阐述。
在计算出目标图像的各候选脸部信息特征后,即可对候选脸部信息特征进行特征筛选,以得到筛选后的脸部信息特征,具体地,步骤“对该候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征”,可以包括:
训练进行特征筛选需要的基本分类器,得到训练后的基本分类器;
对训练后的基本分类器进行级联操作,得到级联后的层级分类器;
将候选脸部信息特征输入级联后的层级分类器,得到针对候选脸部信息特征的分类结果;
基于该分类结果,对候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
其中,分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即我们通常所说的分类器(Classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个,从而可以应用于数据预测。总之,分类器是数据挖掘中对样本进行分类的方法的统称,包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。
在本实施例中,基本分类器可以为进行特征筛选需要的基本单元,基本分类器的构造方式可以有多种,例如,可以通过将一系列的弱分类器(或称子分类器)进行线性组合,来生成基本分类器;等等。
其中,基本分类器可以为一系列子分类器的线性组合结果,例如,参考下式:
Figure BDA0002653889940000181
其中,h(x)为基本分类器,hj(x)为子分类器。可以看到,由于基本分类器是多个子分类器的组合,因此,基本分类器具有比子分类器更强的分类能力,因从而可以将子分类器看做弱分类器、将基本分类器看做强分类器。
在本实施例中,可以将子分类器定义为一个简单的阈值函数:
Figure BDA0002653889940000191
其中,θj为阈值,sj∈{-1,1},αj为系数。
由于基本分类器是子分类器的线性组合结果,因此,在对基本分类器进行训练之前,可以首先针对子分类器进行训练。
对子分类器进行训练的方法可以有多种,在一实施例中,可以在计算所有训练样本的特征值后,将其从小到大排序,并随机选取一个特征值作为阈值,以将所有元素分为两部分,其中,小于阈值的一部分分类为人脸,大于阈值的一部分分类为非人脸。参考图11,其中,图中白色的圆圈表示人脸,横条纹的圆圈表示非人脸。
在一实施例中,假设有5个样本,前两个为人脸,后三个为非人脸,因此可以用11000表示这5个样本。如果阈值在第一个之前,通过弱分类器判定为:00000,有两个误差;如果阈值在第一个和第二个之间,通过弱分类器判定为:10000,有1个误差;如果阈值在第二个和第三个之间,通过若分类器判定为:11000,有0个误差;以此类推,这样共有6个误差,可以从中找到一个误差最小的当做阈值,这样就训练好了一个最优的弱分类器。
由于基本分类器是子分类器的线性组合结果,因此,基本分类器中可以包括至少一个子分类器,为了对基本分类器进行训练,可以为各子分类器设置相应的分类器权重,具体地,步骤“训练进行特征筛选需要的基本分类器,得到训练后的基本分类器”,可以包括:
将训练数据输入基本分类器,得到针对训练数据的预测结果;
基于该预测结果,确定基本分类器在当前迭代的训练误差;
基于该训练误差,更新子分类器对应的分类器权重、以及训练数据对应的样本权重;
基于更新后的分离器权重与样本权重,通过对基本分类器进行迭代训练,得到训练后的基本分类器。
为了训练进行特征筛选需要的基本分类器,假设有N个训练样本(xi,yi),其中包括m个正样本,l个负样本,其中,规定如果xi是人脸图像,则yi=1,否则yi=-1。
具体地,可以首先对每一个训练样本i赋予一个初始的权值
Figure BDA0002653889940000201
进而,可以假设每一张图像会产生M个特征,对于每一个特征fj,j=1,2,…,M,可以执行如下步骤:
1)对权值重新归一化
Figure BDA0002653889940000202
2)遍历训练集中每个样本特征fj,寻找最优的θj,sj使其分类误差最小即:
Figure BDA0002653889940000203
其中,
Figure BDA0002653889940000204
3)更新下一个特征的权值:
Figure BDA0002653889940000205
如果样本xi被正确识别,则ei=0,否则
Figure BDA0002653889940000206
在对每一个特征fj执行上述1)–3)的步骤后,进一步地,通过遍历所有的特征,可以得到最终的基本分类器
Figure BDA0002653889940000207
值得注意的是,在此过程中,每一级分类器使用的训练集中的负样本,都是上一级被错分的,即falsepositive,误诊率或假阳性。这可以使得下一级分类器更加关注那些更难的、容易被错分的样本。
由于在通常的图像中,脸部区域只是占了很小的一部分,如果使用所有计算出来的候选脸部信息特征进行训练的话,运算量将会非常大。因此,参考图12,可以通过将若干个训练后的基本分类器级联起来,得到级联后的层级分类器,并在一开始使用少量的候选脸部信息特征将大部分的非脸部区域剔除掉,后面再利用更复杂的候选脸部信息特征将更复杂的非脸部区域排除掉。
使用层级分类器的原因还包括其具有较高的识别率,具体地,如果层级分类器的识别率(truepositiverate)为D,误识率(falsepositiverate)为F,并且,第i层的分类器的识别率为di,误识率为fi,则:
Figure BDA0002653889940000211
其中,K为分类器的个数。假如每一级的分类器都具有非常高的检测率(如,99.9%),同时误检率也保持相当高(如,50%)。那么,如果级联20个这样的基本分类器,脸部的识别率有:99.9%20≈98%,同时,误检率仅为:50%20≈9.5×10-7
因此,将候选脸部信息特征输入级联后的层级分类器,得到针对候选脸部信息特征的分类结果后,可以基于该分类结果,对候选脸部信息特征进行特征筛选,能够使得得到的筛选后的脸部信息特征具有较高的识别率与较低的误检率。
104、参照目标图像的脸部区域,对目标图像以及参照图像进行脸部区域图像提取,得到提取后的脸部区域图像。
在确定了目标图像中的脸部区域后,即可对该目标图像进行脸部区域图像提取,而由于参照图像与目标图像之间具有映射关系,因此,可以参照目标图像的脸部区域,对参照图像也进行脸部区域图像提取,从而得到提取后的脸部区域图像。
参照目标图像的脸部区域进行脸部区域图像提取的方法可以有多种,例如,可以参照脸部区域在目标图像中的具体位置,来对目标图像以及参照图像进行脸部区域图像提取,具体地,步骤“参照目标图像的脸部区域,对目标图像以及参照图像进行脸部区域图像提取,得到提取后的脸部区域图像”,可以包括:
确定脸部区域在目标图像中对应的位置参数;
基于该位置参数,从目标图像中提取第一脸部区域图像;
基于目标图像与参照图像之间的映射关系,参照该位置参数,从参照图像中提取第二脸部区域图像;
对提取后的第一脸部区域图像以及提取后的第二脸部区域图像进行组合处理,得到组合后的脸部区域图像。
其中,位置参数可以为描述了脸部区域在目标图像中所在位置的参数,例如,当规定脸部区域为矩形的形状时,位置参数可以包括该矩形左上角与右下角的坐标;又如,当规定脸部区域为圆形的形状时,位置参数可以包括该圆形的圆心坐标与半径长度;等等。
在确定了脸部区域在目标图像中对应的位置参数后,即可根据该位置参数,从目标图像中提取该位置参数对应的脸部区域图像,为了方便区别,可以将该从目标图像中提取到的脸部区域图像记为第一脸部区域图像。
由于目标图像与参照图像之间具有映射关系,例如,若目标图像与参照图像具有相同的图像尺寸,并且,目标图像与参照图像中图像内容的坐标对齐,那么,可以进一步地,基于该映射关系,通过参照目标图像中的位置参数,从参照图像中提取脸部区域图像。为了方便区别,可以将该从参照图像中提取到的脸部区域图像记为第二脸部区域图像。具体地,步骤“基于目标图像与参照图像之间的映射关系,参照该位置参数,从参照图像中提取第二脸部区域图像”,可以包括:
基于目标图像与参照图像之间的映射关系,确定位置参数在参照图像中的参数映射值;
基于该参数映射值,确定待提取的第二脸部区域图像;
从参照图像中提取该第二脸部区域图像。
在一实施例中,目标图像与参照图像之间的映射关系为,目标图像与参照图像具有相同的图像尺寸,并且,目标图像与参照图像中图像内容的坐标对齐,那么,可以确定脸部区域在目标图像中的位置参数与其在参照图像中的参数映射值一致。
在另一实施例中,目标图像与参照图像之间的映射关系为,目标图像的图像大小是参照图像的图像大小的4倍,即目标图像的图像尺寸为2N*2N,而参照图像的图像尺寸为N*N,其中,N可以为任意大于0的自然数。并且,目标图像与参照图像之间的映射关系还包括:目标图像与参照图像的坐标原点对齐,那么,可以通过将脸部区域在目标图像中的位置参数缩小一倍,以得到其在参照图像中的参数映射值。
在实际应用中,由于目标图像与参照图像之间的映射关系会按照业务需求、硬件配置相应变化,因此,确定位置参数在参照图像中的参数映射值的方式也是相应变化的。
在确定参照图像中的参数映射值后,即可相应地确定参照图像中脸部区域的范围、即第二脸部区域图像的范围,因此,可以从参照图像中提取该第二脸部区域图像。
值得注意的是,在本申请中,不对参照图像的图像个数作限制,例如,当目标图像为彩色图像时,参照图像可以为深度图像与红外图像。
在提取到第一脸部区域图像以及第二脸部区域图像中,可以将该第一脸部区域图像与该第二脸部区域图像进行组合,以得到完整的脸部区域图像。具体地,组合处理的方式可以有多种,例如,可以将第一脸部区域图像与第二脸部区域图像以序列的方式组合在一起,得到包括多张脸部区域图像的图像序列;又如,可以将第一脸部区域图像与第二脸部区域图像以拼图的方式组合在一起,得到拼接后的图像;等等。
105、对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像。
其中,由于脸部支付设备上可以包括安全模块(SecureElement,SE)芯片,可以通过安全芯片与芯片操作系统实现数据安全存储、加解密运算等功能,所以在本实施例中,对提取后的脸部区域图像进行加密处理,可以由脸部支付设备上的SE芯片执行。
其中,由于提取后的脸部区域图像本质上仍为图像,因此,对提取后的脸部区域图像进行加密处理的过程,可以有多种方式实现,例如,可以采用空域图像加密技术在未压缩的图像上进行加密,其特征是将图像看作二维数据进行操作。空域图像加密技术的典型方法是采用离散混沌加密技术。
又如,可以采用压缩图像加密技术对提取后的脸部区域图像进行加密,其中,压缩图像加密技术可以基于某种压缩格式或压缩技术进行加密,如JPEG图像压缩、算术编码、小波压缩技术等。
值得注意的是,在对提取后的脸部区域图像进行加密处理之前,还可以包括有对脸部区域图像的压缩处理,本申请不对此作限制。
106、将加密后的脸部区域图像发送到服务器,以通过加密后的脸部区域图像对脸部支付图像数据进行检测。
从脸部支付图像数据的原始图像中,提取得到脸部区域图像,并对其进行加密处理后,可以将该加密后的脸部区域图像发送到服务器、以触发服务器通过该加密后的脸部区域图像,对该脸部支付图像数据进行检测。
相应地,服务器可以接收终端发送的检测请求,其中,该检测请求携带了与原始图像对应的加密后脸部区域图像,并可以对该加密后脸部区域图像进行解密处理,从而得到解密后的脸部区域图像,随后,基于该检测请求,对该解密后的脸部区域图像进行检测,以得到检测结果。
具体地,服务器实现图像检测的过程可以参考下面实施例的介绍。
值得注意的是,在SE芯片上对提取后的脸部区域图像进行加密处理后,还可以对原始图像进行加密处理,并将加密后的原始图像发送给服务器,以便服务器后续可以基于该加密后的原始图像进行图像校验、风险控制等。具体地,在对提取后的脸部区域图像进行加密处理后,基于脸部支付的数据检测方法还可以包括:
对原始图像进行加密处理,得到加密后的原始图像;
将加密后的原始图像发送到服务器;
当检测到针对加密后的脸部区域图像的检测异常信息时,向服务器发送针对加密后原始图像的校验请求。
其中,对原始图像进行加密处理,同样可以在脸部支付设备的SE芯片上实现,并且,与提取后的脸部区域图像相似,由于原始图像本质上也为图像,因此,对原始图像进行加密处理的过程,与对提取后的脸部区域图像加密的过程类似,可以有多种方式实现,例如,可以采用空域图像加密技术,又如,可以采用压缩图像加密技术,等等;这里不对此进行赘述。
并且,终端在得到加密后的原始图像后,即可将该加密后的原始图像发送到服务器,而不必等到获取了服务器端发送的针对加密后的脸部区域图像的检测异常消息后,才将该加密后的原始图像发送到服务器。
当接收到服务器端发送的、针对加密后的脸部区域图像的检测异常消息后,终端可以向服务器发送针对该加密后的原始图像的校验请求,以便服务器可以基于已获取到的原始图像,快速地进行图像校验,而不需等候终端将原始图像发送到服务器端,从而使得图像复检效率大大提高。
由于可以在当检测到针对加密后的脸部区域图像的检测异常信息时,向服务器发送针对加密后原始图像的校验请求,因此,相应地,基于脸部支付的数据检测方法还可以包括:
获取加密后原始图像的校验结果;
基于校验结果,确定脸部支付图像数据的检测结果。
终端可以获取服务器端发送的,针对加密后原始图像的校验结果,经基于该校验结果,确定脸部支付图像数据的检测结果。
例如,在一实施例中,当将提取后的脸部区域图像发送给服务器后,由于该提取后的脸部区域图像不足以支持服务器完成活体判断、脸部识别等步骤,因此,终端再次向服务器发送针对加密后原始图像的校验请求,并获得了服务器针对该原始图像的校验结果。由于原始图像比提取后的脸部区域图像具有更完整的数据,使得服务器端可以基于原始图像进行准确的数据校验,并将校验结果发送回给终端,终端进而可以基于该校验结果,确定脸部支付图像数据的检测结果。
在一实施例中,参考图3,当脸部支付设备获取了用户的脸部支付图像数据后,其将提取后的脸部区域图像发送给服务器,但由于该提取后的脸部区域图像不足以支持服务器执行活体识别、人脸识别等脸部支付所需的验证步骤,因此,脸部支付设备可以在获取服务器发送的携带了检测异常信息的检测结果后,向服务器发送针对原始图像的数据校验请求,以请求服务器可以基于脸部支付图像数据中的原始图像再次进行数据校验。值得注意的是,脸部支付设备在将加密后的脸部区域图像发送给服务器后,就可以进行原始图像的加密,并将加密后的原始图像发送给服务器。
在该实施例中,参考图3,当服务器基于原始图像进行数据校验后确认校验通过,并将该校验通过的校验结果返回给脸部支付设备,因此,脸部支付设备可以相应地向用户显示“确认支付”的控件,以引导用户完成脸部支付。
由上可知,本实施例可以获取待检测的脸部支付图像数据,所述脸部支付图像数据包括至少一个图像模式上的原始图像;从原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;基于目标图像中的脸部信息特征,确定目标图像中的脸部区域;参照目标图像的脸部区域,对目标图像以及参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;将加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
该方案在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
并且,该方案可以在终端完成了对提取后的脸部区域图像的加密处理后,随即对原始图像进行加密处理,并将加密后的原始图像异步上传至服务器,从而将基于脸部支付的数据检测方法中的串行处理流程优化为并行处理,并从整体上提高了基于脸部支付的数据检测速度,达到较好的使用体验。此外,当提取后的脸部区域图像的检测结果不通过时,服务器端可以进一步地使用原始图像进行校验,提高了基于脸部支付的数据检测方法的完整性与可靠性。另外,上传到服务器端的原始图像还可以供后端进行数据风控,保证用户识别安全。
根据上面实施例所描述的方法,以下将举例进一步详细说明。
在本实施例中,将以基于脸部支付的数据检测装置集成在服务器与终端为例进行说明,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群;该终端可以为手机、平板电脑、笔记本电脑等设备,具体地,该终端可以为脸部支付设备。
如图13所示,一种基于脸部支付的数据检测方法,具体流程如下:
301、终端获取待检测的脸部支付图像数据,其中,该脸部支付图像数据包括至少一个图像模式上的原始图像。
其中,终端获取待检测的脸部支付图像数据的方式可以有多种,例如,当用户在通过终端进行网上购物时,终端可以获取用户刷脸支付时的脸部支付图像数据;又如,当用户在线下通过脸部支付设备进行消费时,脸部支付设备也相应地可以采集到该用户待检测的脸部支付图像数据。
例如,参考图3,当用户在脸部支付设备上使用刷脸支付时,可以通过面向屏幕刷脸,使得脸部支付设备可以相应地采集到该用户的脸部支付图像数据。
可选的,当终端为脸部支付设备时,参考图14,采集到的脸部支付图像数据中可以包括至少一个图像模式上的原始图像,如,彩色图像、红外图像和深度图像。
302、终端从原始图像中选取待进行脸部区域定位的目标图像、以及需要参照该目标图像的参照图像。
由于目标图像与参照图像之间具有映射关系,例如,目标图像与参照图像具有相同的图像尺寸,并且,目标图像与参照图像中图像内容的坐标对齐,因此,终端可以从至少一个图像模式上的原始图像中选取待进行脸部区域定位的目标图像、以及需要参照该目标图像的参照图像,例如,可以将选取彩色图像作为目标图像,相应地,将红外图像与深度图像作为参照图像。
303、终端基于目标图像中的脸部信息特征,确定目标图像中的脸部区域。
在一实施例中,可以利用Haar特征描述脸部特征,并建立积分图像,以便可以利用该积分图像快速计算不同的候选脸部信息特征。进一步地,可以从候选脸部信息特征中筛选出脸部信息特征,以确定目标图像中的脸部区域。
进行特征筛选的方法可以有多种,在一实施例中,可以通过Adaboost算法实现。具体地,可以先训练弱分类器,并基于训练好的弱分类器训练强分类器,以便可以通过级联强分类器,得到级联后的层级分类器。在得到级联后的层级分类器后,即可使用该层级分类器从候选脸部信息特征中筛选出脸部信息特征。
304、终端参照目标图像的脸部区域,对目标图像以及参照图像进行脸部区域图像提取,得到提取后的脸部区域图像。
在确定目标图像中的脸部信息特征后,即可确定目标图像中的脸部区域,从而可以从目标图像中提取脸部区域图像,为了方便区别,可以将从目标图像中提取到的脸部区域图像称为第一脸部区域图像。由于目标图像与参照图像之间具有映射关系,因此,可以参照第一脸部区域图像在目标图像中的位置,计算出参照图像中的脸部区域图像,并从参照图像中提取该脸部区域图像,得到第二脸部区域图像。在得到第一脸部区域图像与第二脸部区域图像后,即可得到所有原始图像对应的脸部区域图像。
在一实施例中,参考图14,可以在彩色图像、红外图像和深度图像中裁剪人脸区域,从而得到裁剪后的脸部区域图像。
305、终端对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像。
在一实施例中,终端可以为脸部支付设备,因此,可以在脸部支付设备的SE芯片上,对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像。
在另一实施例中,终端可以为具有脸部识别功能的电子设备,因此,可以在该电子设备的处理器上,对提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像。
306、终端将加密后的脸部区域图像发送到服务器,以通过加密后的脸部区域图像对脸部支付图像数据进行检测。
在一实施例中,参考图14,脸部支付设备可以在SE芯片上,对提取后的脸部区域图像进行加密处理,打包加密后的数据上传到服务端。具体地,终端可以通过向服务器发送携带该加密后的脸部区域图像的检测请求,使得既完成了数据发送的任务,又触发了服务器针对该加密后的脸部区域图像进行基于脸部的活体判断与用户识别。
值得注意的是,参考图14,终端在将加密后的脸部区域图像发送到服务器后,可以随即在SE芯片中对原始图像进行加密处理,并将加密后的原始图像打包发送到服务器,使得服务器处可以留有原始图像的备份,以便当服务器需要使用原始图像进行活体判断与用户识别时,不需要再耗费额外的时间资源去获取原始图像,而是可以直接快速地执行针对原始图像的后续操作。
307、服务器接收终端发送的检测请求,其中,该检测请求携带与原始图像对应的加密后脸部区域图像。
308、服务器对加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像。
相应地,服务器在获取加密后的脸部区域图像后,需要对该脸部区域图像进行解密处理得到解密后的脸部区域图像。具体的解密处理操作应该与该脸部区域图像的加密处理操作对应,也可基于业务需求进行设置,本申请中不对此作限制。
309、服务器基于该检测请求,对解密后的脸部区域图像进行检测,得到检测结果。
在一实施例中,参考图14,服务器可以基于该检测请求,对解密后的脸部区域图像进行活体判断、用户识别等步骤,并得到检测结果。具体地,步骤“服务器基于该检测请求,对解密后的脸部区域图像进行检测,得到检测结果”,可以包括:
通过解密后的脸部区域图像执行活体识别操作,得到活体识别结果;
基于活体识别结果,对解密后的脸部区域图像进行脸部识别操作,得到脸部识别结果;
基于活体识别结果与脸部识别结果,生成解密后脸部区域图像的检测结果。
在脸部支付的应用场景中,要求使用脸部支付的对象必须通过活体识别,因此,对于活体识别未通过的情况,例如,当有人试图使用其他人的照片来完成脸部支付时,由于活体识别未通过,因此,可以直接确定检测结果为未通过。
在一实施例中,虽然活体识别结果通过,但是脸部识别不通过,例如,当有人试图冒用其他人的账号进行脸部支付时,针对解密后脸部区域图像的检测结果也应该为不通过。
因此,只有在活体识别与脸部识别均通过的情况下,才可以确定针对解密后脸部区域图像的检测结果为检测通过。即,针对解密后脸部区域图像的检测结果,需要参考活体识别结果与脸部识别结果。
在另一实施例中,当用户通过脸部支付设备进行脸部支付时,脸部支付设备可以采集用户的脸部支付图像数据,进一步地,可以从该脸部支付图像数据的原始图像中提取到脸部区域图像,并将该脸部区域图像数据进行加密并发送给服务器,值得注意的是,脸部支付设备随后可以将原始图像也进行加密发送给服务器。由于服务器端对该脸部区域图像的检测结果为检测通过,因此,服务器可以确定针对该用户的脸部支付图像数据的检测通过,而无需再对原始图像进行校验。
310、服务器向终端发送检测结果。
311、当所述检测结果为检测异常时,服务器生成针对原始图像的校验请求。
当针对解密后脸部区域图像的检测结果为检测异常时,有可能是由于从原始图像中提取的脸部区域图像所包括的数据不足以支持进行准确的数据检测导致的,因此,服务器端也可以随即生成针对原始图像的校验请求。具体地,基于脸部支付的数据检测方法还可以包括:
接收终端发送的加密后原始图像;
当检测到针对加密后原始图像的校验请求时,对加密后原始图像进行解密处理,得到解密后的原始图像;
基于校验请求,对解密后的原始图像进行校验,得到校验结果;
向终端发送校验结果。
值得注意的是,针对加密后原始图像的校验请求,可以是终端生成的,也可以是服务器生成的。参考图14,服务器在获取加密后原始图像后,当检测到针对该加密后原始图像的校验请求时,可以执行图片校验与异步风控的步骤,并将生成的校验结果发送给终端。
在一实施例中,当用户通过脸部支付设备进行脸部支付时,脸部支付设备可以采集用户的脸部支付图像数据,进一步地,可以从该脸部支付图像数据的原始图像中提取到脸部区域图像,并将该脸部区域图像数据进行加密并发送给服务器,值得注意的是,脸部支付设备随后可以将原始图像也进行加密发送给服务器。而由于服务器端对该脸部区域图像的检测结果为检测异常或检测不通过,因此,服务器可以进一步地对原始图像进行校验,若检验结果为校验通过,则可以确定针对该用户的脸部支付图像数据的检测通过,若校验结果为校验异常,则可以确定针对该用户的脸部支付图像数据的检测未通过。
由上可知,本申请实施例在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
此外,本申请实施例通过在脸部识别流程中,减少加密数据和发送到后端的数据量,从而减少加密耗时和数据传输耗时,提升脸部识别速度,使得脸部识别体验得到了提升。并且,本申请实施例通过异步上传脸部支付图像数据的原始图像,提供给后端进行数据风控,保证了用户识别安全。
为了更好地实施以上方法,相应的,本申请实施例还提供一种基于脸部支付的数据检测装置(即第一数据检测装置),其中,该第一数据检测装置可以集成在终端中。该终端可以为手机、平板电脑以及笔记本电脑等设备,可选地,还可以为脸部支付设备。
例如,如图15所示,该第一数据检测装置可以包括获取单元401,选取单元402,确定单元403,提取单元404,加密单元405以及图像发送单元406,如下:
获取单元401,用于获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;
选取单元402,用于从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;
确定单元403,用于基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;
提取单元404,用于参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;
加密单元405,用于对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;
图像发送单元406,用于将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
在一实施例中,参考图16,在对所述提取后的脸部区域图像进行加密处理后,所述第一数据检测装置,还可以包括:
原始图像加密单元407,用于对所述原始图像进行加密处理,得到加密后的原始图像;
原始图像发送单元408,用于将所述加密后的原始图像发送到服务器;
校验请求发送单元409,用于当检测到针对所述加密后的脸部区域图像的检测异常信息时,向服务器发送针对所述加密后原始图像的校验请求。
在一实施例中,参考图17,所述第一数据检测装置,还可以包括:
校验结果获取单元410,用于获取所述加密后原始图像的校验结果;
检测结果确定单元411,用于基于所述校验结果,确定所述脸部支付图像数据的检测结果。
在一实施例中,参考图18,所述确定单元403,可以包括:
特征确定子单元4031,用于确定所述目标图像中的脸部信息特征;
参数计算子单元4032,用于基于所述脸部信息特征,计算所述目标图像中的脸部区域位置参数;
区域确定子单元4033,用于基于所述脸部区域位置参数,确定所述目标图像中的脸部区域。
在一实施例中,所述特征确定子单元4031,可以具体用于:
确定计算所述脸部信息特征需要的特征原型;利用所述特征原型,计算所述目标图像中的候选脸部信息特征;对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
在一实施例中,所述特征确定子单元4031,可以具体用于:
基于所述目标图像中的像素分布,建立所述目标图像对应的像素积分图;对所述特征原型进行特征增强操作,得到至少一个增强后的特征提取模板;通过所述像素积分图,计算所述特征提取模板在所述目标图像中对应的候选脸部信息特征。
在一实施例中,所述特征确定子单元4031,可以具体用于:
训练进行特征筛选需要的基本分类器,得到训练后的基本分类器;对所述训练后的基本分类器进行级联操作,得到级联后的层级分类器;将所述候选脸部信息特征输入所述级联后的层级分类器,得到针对所述候选脸部信息特征的分类结果;基于所述分类结果,对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
在一实施例中,所述特征确定子单元4031,可以具体用于:
将训练数据输入所述基本分类器,得到针对所述训练数据的预测结果;基于所述预测结果,确定所述基本分类器在当前迭代的训练误差;基于所述训练误差,更新所述子分类器对应的分类器权重、以及所述训练数据对应的样本权重;基于所述更新后的分离器权重与样本权重,通过对所述基本分类器进行迭代训练,得到训练后的基本分类器。
在一实施例中,参考图19,所述提取单元404,可以包括:
参数确定子单元4041,用于确定所述脸部区域在所述目标图像中对应的位置参数;
第一提取子单元4042,用于基于所述位置参数,从所述目标图像中提取第一脸部区域图像;
第二提取子单元4043,用于基于所述目标图像与所述参照图像之间的映射关系,参照所述位置参数,从所述参照图像中提取第二脸部区域图像;
图像组合子单元4044,用于对所述提取后的第一脸部区域图像以及所述提取后的第二脸部区域图像进行组合处理,得到组合后的脸部区域图像。
在一实施例中,所述第二提取子单元4043,可以具体用于:
基于所述目标图像与所述参照图像之间的映射关系,确定所述位置参数在所述参照图像中的参数映射值;基于所述参数映射值,确定待提取的第二脸部区域图像;从所述参照图像中提取所述第二脸部区域图像。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的第一数据检测装置中由获取单元401获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;由选取单元402从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;由确定单元403基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;由提取单元404参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;由加密单元405对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;由图像发送单元406,将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
该方案在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
为了更好地实施以上方法,相应的,本申请实施例还提供一种基于脸部支付的数据检测装置(即第二数据检测装置),其中,该第二数据检测装置可以集成在服务器中。
例如,如图20所示,该第二数据检测装置可以包括,接收单元501,解密单元502,检测单元503,结果发送单元504,生成单元505,如下:
接收单元501,用于接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;
解密单元502,用于对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;
检测单元503,用于基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;
结果发送单元504,用于向终端发送所述检测结果;
生成单元505,用于当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
在一实施例中,参考图21,所述检测单元503,可以包括:
活体识别子单元5031,用于通过所述解密后的脸部区域图像执行活体识别操作,得到活体识别结果;
脸部识别子单元5032,用于基于所述活体识别结果,对所述解密后的脸部区域图像进行脸部识别操作,得到脸部识别结果;
结果生成子单元5033,用于基于所述活体识别结果与所述脸部识别结果,生成所述解密后脸部区域图像的检测结果。
在一实施例中,参考图22,所述第二数据检测装置,还可以包括:
原始接收单元506,用于接收终端发送的加密后原始图像;
原始解密单元507,用于当检测到针对所述加密后原始图像的校验请求时,对所述加密后原始图像进行解密处理,得到解密后的原始图像;
原始校验单元508,用于基于所述校验请求,对所述解密后的原始图像进行校验,得到校验结果;
校验发送单元509,用于向终端发送所述校验结果。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的基于脸部支付的数据检测装置中由接收单元501接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;由解密单元502对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;由检测单元503基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;由结果发送单元504向终端发送所述检测结果;由生成单元505当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
本申请实施例提供的基于脸部支付的数据处理装置在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
此外,本申请实施例还提供一种计算机设备,该计算机设备可以为服务器或终端等设备,如图23所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括有一个或一个以上计算机可读存储介质的存储器601、输入单元602、显示单元603、包括有一个或者一个以上处理核心的处理器604、以及电源605等部件。本领域技术人员可以理解,图23中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
存储器601可用于存储软件程序以及模块,处理器604通过运行存储在存储器601的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器601可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器601可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器601还可以包括存储器控制器,以提供处理器604和输入单元602对存储器601的访问。
输入单元602可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元602可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器604,并能接收处理器604发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元602还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元603可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元603可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器604以确定触摸事件的类型,随后处理器604根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图23中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
处理器604是计算机设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器601内的软件程序和/或模块,以及调用存储在存储器601内的数据,执行计算机设备的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器604可包括一个或多个处理核心;优选的,处理器604可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器604中。
计算机设备还包括给各个部件供电的电源605(比如电池),优选的,电源可以通过电源管理系统与处理器604逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源605还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,计算机设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,计算机设备中的处理器604会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器601中,并由处理器604来运行存储在存储器601中的应用程序,从而实现各种功能,如下:
获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
或者
接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;向终端发送所述检测结果;当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例的计算机设备可以在满足传统金融类设备,如低主频与低内存的芯片,所提供规范的同时,提升了基于脸部支付的数据检测效率。具体地,该方案通过从脸部支付的图像数据中提取关键的脸部区域图像,并对该脸部区域图像进行加密处理后传输到服务器,从而大大减小了服务器在数据检测时的数据冗余量,使得服务器可以直接基于该关键的脸部区域图像进行脸部支付的数据检测,因而也减小服务器端需要解密与检测的数据量,使得基于脸部支付的数据检测效率在服务器端得到了提升;同时,由于在提取了关键的脸部区域图像后,本方案能够减少终端需要加密的数据量以及耗时,同时也减少了终端向服务器传输数据时发送的数据量以及网络耗时,使得基于脸部支付的数据检测效率在终端侧能够得到提升。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种基于脸部支付的数据检测方法中的步骤。例如,该指令可以执行如下步骤:
获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
或者
接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;向终端发送所述检测结果;当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种基于脸部支付的数据检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种基于脸部支付的数据检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种基于脸部支付的数据检测方法、装置和系统进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种基于脸部支付的数据检测方法,其特征在于,包括:
获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;
从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;
基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;
参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;
对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;
将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
2.根据权利要求1所述的基于脸部支付的数据检测方法,其特征在于,在对所述提取后的脸部区域图像进行加密处理后,所述方法还包括:
对所述原始图像进行加密处理,得到加密后的原始图像;
将所述加密后的原始图像发送到服务器;
当检测到针对所述加密后的脸部区域图像的检测异常信息时,向服务器发送针对所述加密后原始图像的校验请求。
3.根据权利要求1所述的基于脸部支付的数据检测方法,其特征在于,基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域,包括:
确定所述目标图像中的脸部信息特征;
基于所述脸部信息特征,计算所述目标图像中的脸部区域位置参数;
基于所述脸部区域位置参数,确定所述目标图像中的脸部区域。
4.根据权利要求3所述的基于脸部支付的数据检测方法,其特征在于,确定所述目标图像中的脸部信息特征,包括:
确定计算所述脸部信息特征需要的特征原型;
利用所述特征原型,计算所述目标图像中的候选脸部信息特征;
对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
5.根据权利要求4所述的基于脸部支付的数据检测方法,其特征在于,利用所述特征原型,计算所述目标图像中的候选脸部信息特征,包括:
基于所述目标图像中的像素分布,建立所述目标图像对应的像素积分图;
对所述特征原型进行特征增强操作,得到至少一个增强后的特征提取模板;
通过所述像素积分图,计算所述特征提取模板在所述目标图像中对应的候选脸部信息特征。
6.根据权利要求4所述的基于脸部支付的数据检测方法,其特征在于,对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征,包括:
训练进行特征筛选需要的基本分类器,得到训练后的基本分类器;
对所述训练后的基本分类器进行级联操作,得到级联后的层级分类器;
将所述候选脸部信息特征输入所述级联后的层级分类器,得到针对所述候选脸部信息特征的分类结果;
基于所述分类结果,对所述候选脸部信息特征进行特征筛选,得到筛选后的脸部信息特征。
7.根据权利要求6所述的基于脸部支付的数据检测方法,其特征在于,所述基本分类器包括至少一个子分类器、以及与所述子分类器对应的分类器权重;
训练进行特征筛选需要的基本分类器,得到训练后的基本分类器,包括:
将训练数据输入所述基本分类器,得到针对所述训练数据的预测结果;
基于所述预测结果,确定所述基本分类器在当前迭代的训练误差;
基于所述训练误差,更新所述子分类器对应的分类器权重、以及所述训练数据对应的样本权重;
基于所述更新后的分离器权重与样本权重,通过对所述基本分类器进行迭代训练,得到训练后的基本分类器。
8.根据权利要求1所述的基于脸部支付的数据检测方法,其特征在于,参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像,包括:
确定所述脸部区域在所述目标图像中对应的位置参数;
基于所述位置参数,从所述目标图像中提取第一脸部区域图像;
基于所述目标图像与所述参照图像之间的映射关系,参照所述位置参数,从所述参照图像中提取第二脸部区域图像;
对所述提取后的第一脸部区域图像以及所述提取后的第二脸部区域图像进行组合处理,得到组合后的脸部区域图像。
9.根据权利要求8所述的基于脸部支付的数据检测方法,其特征在于,基于所述目标图像与所述参照图像之间的映射关系,参照所述位置参数,从所述参照图像中提取第二脸部区域图像,包括:
基于所述目标图像与所述参照图像之间的映射关系,确定所述位置参数在所述参照图像中的参数映射值;
基于所述参数映射值,确定待提取的第二脸部区域图像;
从所述参照图像中提取所述第二脸部区域图像。
10.根据权利要求2所述的基于脸部支付的数据检测方法,其特征在于,所述方法还包括:
获取所述加密后原始图像的校验结果;
基于所述校验结果,确定所述脸部支付图像数据的检测结果。
11.一种基于脸部支付的数据检测方法,其特征在于,包括:
接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;
对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;
基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;
向终端发送所述检测结果;
当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
12.根据权利要求11所述的基于脸部支付的数据检测方法,其特征在于,基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果,包括:
通过所述解密后的脸部区域图像执行活体识别操作,得到活体识别结果;
基于所述活体识别结果,对所述解密后的脸部区域图像进行脸部识别操作,得到脸部识别结果;
基于所述活体识别结果与所述脸部识别结果,生成所述解密后脸部区域图像的检测结果。
13.根据权利要求11所述的基于脸部支付的数据检测方法,其特征在于,所述方法还包括:
接收终端发送的加密后原始图像;
当检测到针对所述加密后原始图像的校验请求时,对所述加密后原始图像进行解密处理,得到解密后的原始图像;
基于所述校验请求,对所述解密后的原始图像进行校验,得到校验结果;
向终端发送所述校验结果。
14.一种基于脸部支付的数据检测装置,其特征在于,包括:
获取单元,用于获取待检测的脸部支付图像数据,其中,所述脸部支付图像数据包括至少一个图像模式上的原始图像;
选取单元,用于从所述原始图像中选取待进行脸部区域定位的目标图像、以及需要参照所述目标图像的参照图像;
确定单元,用于基于所述目标图像中的脸部信息特征,确定所述目标图像中的脸部区域;
提取单元,用于参照所述目标图像的脸部区域,对所述目标图像以及所述参照图像进行脸部区域图像提取,得到提取后的脸部区域图像;
加密单元,用于对所述提取后的脸部区域图像进行加密处理,得到加密后的脸部区域图像;
图像发送单元,用于将所述加密后的脸部区域图像发送到服务器,以通过所述加密后的脸部区域图像对所述脸部支付图像数据进行检测。
15.一种基于脸部支付的数据检测装置,其特征在于,包括:
接收单元,用于接收终端发送的检测请求,其中,所述检测请求携带与原始图像对应的加密后脸部区域图像;
解密单元,用于对所述加密后脸部区域图像进行解密处理,得到解密后的脸部区域图像;
检测单元,用于基于所述检测请求,对所述解密后的脸部区域图像进行检测,得到检测结果;
结果发送单元,用于向终端发送所述检测结果;
生成单元,用于当所述检测结果为检测异常时,生成针对所述原始图像的校验请求。
CN202010880227.5A 2020-08-27 2020-08-27 一种基于脸部支付的数据检测方法及装置 Active CN113537993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010880227.5A CN113537993B (zh) 2020-08-27 2020-08-27 一种基于脸部支付的数据检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010880227.5A CN113537993B (zh) 2020-08-27 2020-08-27 一种基于脸部支付的数据检测方法及装置

Publications (2)

Publication Number Publication Date
CN113537993A true CN113537993A (zh) 2021-10-22
CN113537993B CN113537993B (zh) 2024-02-13

Family

ID=78094223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010880227.5A Active CN113537993B (zh) 2020-08-27 2020-08-27 一种基于脸部支付的数据检测方法及装置

Country Status (1)

Country Link
CN (1) CN113537993B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449744B1 (ko) * 2013-09-06 2014-10-15 한국과학기술원 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
CN107657222A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN108764052A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108764053A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置以及存储介质
CN110705451A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、终端及服务器
CN210691384U (zh) * 2019-08-30 2020-06-05 北京银联金卡科技有限公司 基于安全单元和可信执行环境的人脸识别支付终端平台
CN111368101A (zh) * 2020-03-05 2020-07-03 腾讯科技(深圳)有限公司 多媒体资源信息的展示方法、装置、设备以及存储介质
CN111401877A (zh) * 2019-12-18 2020-07-10 中国银联股份有限公司 刷脸设备、刷脸支付系统以及刷脸支付方法
CN111476580A (zh) * 2020-05-29 2020-07-31 南方电网科学研究院有限责任公司 一种人脸支付方法和系统
CN111476577A (zh) * 2020-04-03 2020-07-31 深圳合纵富科技有限公司 一种基于小波变换和sm4的人脸图像加密识别支付方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449744B1 (ko) * 2013-09-06 2014-10-15 한국과학기술원 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
CN107657222A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN108764052A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108764053A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110163806A (zh) * 2018-08-06 2019-08-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置以及存储介质
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
CN210691384U (zh) * 2019-08-30 2020-06-05 北京银联金卡科技有限公司 基于安全单元和可信执行环境的人脸识别支付终端平台
CN110705451A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、终端及服务器
CN111401877A (zh) * 2019-12-18 2020-07-10 中国银联股份有限公司 刷脸设备、刷脸支付系统以及刷脸支付方法
CN111368101A (zh) * 2020-03-05 2020-07-03 腾讯科技(深圳)有限公司 多媒体资源信息的展示方法、装置、设备以及存储介质
CN111476577A (zh) * 2020-04-03 2020-07-31 深圳合纵富科技有限公司 一种基于小波变换和sm4的人脸图像加密识别支付方法
CN111476580A (zh) * 2020-05-29 2020-07-31 南方电网科学研究院有限责任公司 一种人脸支付方法和系统

Also Published As

Publication number Publication date
CN113537993B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US11669607B2 (en) ID verification with a mobile device
WO2021073364A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN107066983B (zh) 一种身份验证方法及装置
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN110728255B (zh) 图像处理方法、装置、电子设备及存储介质
Agarwal et al. Anubhav: recognizing emotions through facial expression
Tao et al. Biometric authentication system on mobile personal devices
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN112001932B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
US11126827B2 (en) Method and system for image identification
WO2020258120A1 (zh) 人脸识别的方法、装置和电子设备
CN111339897A (zh) 活体识别方法、装置、计算机设备和存储介质
KR101961462B1 (ko) 객체 인식 방법 및 장치
Amaro et al. Evaluation of machine learning techniques for face detection and recognition
CN117095436A (zh) 企业员工信息智能管理系统及其方法
Aleluya et al. Faceture ID: face and hand gesture multi-factor authentication using deep learning
CN114140839B (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
Huang et al. Expression recognition in videos using a weighted component-based feature descriptor
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
US20220383663A1 (en) Method for obtaining data from an image of an object of a user that has a biometric characteristic of the user
CN114663929A (zh) 基于人工智能的脸部识别方法、装置、设备和存储介质
Biswas et al. Smart city development: Theft handling of public vehicles using image analysis and cloud network
CN113537993B (zh) 一种基于脸部支付的数据检测方法及装置
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056461

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant