CN111539740B - 一种支付方法、装置及设备 - Google Patents

一种支付方法、装置及设备 Download PDF

Info

Publication number
CN111539740B
CN111539740B CN202010409864.4A CN202010409864A CN111539740B CN 111539740 B CN111539740 B CN 111539740B CN 202010409864 A CN202010409864 A CN 202010409864A CN 111539740 B CN111539740 B CN 111539740B
Authority
CN
China
Prior art keywords
user
human body
behavior
payment
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010409864.4A
Other languages
English (en)
Other versions
CN111539740A (zh
Inventor
傅秉涛
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010409864.4A priority Critical patent/CN111539740B/zh
Publication of CN111539740A publication Critical patent/CN111539740A/zh
Application granted granted Critical
Publication of CN111539740B publication Critical patent/CN111539740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种支付方法、装置以及设备，方法包括：基于刷脸支付的启用触发指令，获取摄像头采集的视频数据，提取视频数据中的人体图像数据和人脸图像数据，根据人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；获取目标用户的第一图像特征，再获取在支付界面中对确认按钮进行点击操作的用户对应的第二图像特征，计算第一图像特征与第二图像特征的相似度，当相似度大于预设阈值时，基于目标用户的人脸特征完成所述刷脸支付。

Description

一种支付方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种支付方法、装置及设备。
背景技术
随着科技的发展，支付方式越来越多样化，从最初的现金支付发展到自助支付终端的刷脸支付，支付方式越来越方便快捷。刷脸支付是一种以AI人脸识别为核心的新型支付方式。人脸识别是一种基于人的相貌特征信息进行身份认证的生物特征识别技术，技术的最大特征是能避免个人信息泄露，并采用非接触的方式进行识别，实现了更快速高效的支付，缩短了支付流程时长。
但是，刷脸支付也伴随着新的安全问题。用户的刷脸支付行为一般是在线下的公共场合进行，比如：超市、卖场等场所，能够让用户以自助的方式扫描商品、结账付款。刷脸支付时不需要用户输入额外的个人信息，直接刷脸即可完成支付，此时，无法满足用户对刷脸支付安全感需求，可能会在用户无意识的情况下发生盗刷、误刷等安全问题，从而产生极差的刷脸安全体验。
因此，亟需提供一种更为安全可靠的支付方案。
发明内容
本说明书实施例提供一种支付方法、装置及设备，以解决现有的支付方法存在的支付安全性较低的问题。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种支付方法，包括：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
本说明书实施例提供的一种支付装置，包括：
视频数据采集模块，用于基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
数据提取模块，用于提取所述视频数据中的人体图像数据和人脸图像数据；
目标用户确定模块，用于根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
第一图像特征获取模块，用于从所述视频数据中获取所述目标用户的第一图像特征；
第二图像特征获取模块，用于获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
相似度计算模块，用于计算所述第一图像特征与所述第二图像特征的相似度；
判断模块，用于判断所述相似度是否大于预设阈值，得到判断结果；当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
本说明书实施例提供的一种支付设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现一种支付方法。
本说明书一个实施例实现了能够达到以下有益效果：基于刷脸支付的启用触发指令，获取摄像头采集的视频数据，提取视频数据中的人体图像数据和人脸图像数据，根据人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；获取目标用户的第一图像特征，获取到对于支付界面的确认按钮的点击操作后，提取摄像头采集的用户图像的第二图像特征，计算第一图像特征与第二图像特征的相似度，当相似度大于预设阈值时，基于目标用户的人脸特征完成所述刷脸支付。通过上述方法可以有效捕捉到用户的交互行为，在确定摄像头采集到的进行刷脸支付的目标用户与在支付界面进行确认支付的用户为同一用户时，完成支付扣款操作，从而提高支付安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种支付方法的场景示意图；
图2是本说明书实施例提供的一种支付方法的流程图；
图3是本说明书实施例提供的一种支付方法中强制校验方式的示意图；
图4是本说明书实施例提供的对应于图2的一种支付装置示意图；
图5是本说明书实施例提供的对应于图2的一种支付设备示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
在线下的支付场景中，用户在进行刷脸支付时，刷脸支付流程不进行刷脸图像采集者与支付确认者的校验流程，存在用户账户被误刷或恶意盗刷的风险。例如，拥挤的超市排队进行自助付款，有排队的前者恶意唤起刷脸支付采集界面，并在不出现在摄像头采集区域开始采集，而摄像头捕捉到排在后方非购买意愿者，刷脸支付系统也无法有效进行相应的刷脸意愿者判断，在相应的支付行为发生后，造成用户误扣款，产生极差的刷脸安全体验。除此之外，在刷脸支付产品普及初期，在目标刷脸支付用户不了解刷脸支付产品时，可能存在未进行支付确认及不知道该如何与刷脸支付设备进行交互的情况，缺少相应的进行刷脸支付的引导，从而降低了支付效率。
本说明书实施例为了解决上述问题，提供了一种更为安全可靠的支付方法，利用卷积神经网络分析多个用户出现时目标刷脸用户的多帧实时的人体骨架姿态，人脸姿态及距离等信息，并根据这些信息进行用户刷脸行为识别，基于用户刷脸意愿完成刷脸支付操作，以及为用户提供刷脸支付的引导操作。
接下来，将针对说明书实施例提供的一种支付方法结合附图进行具体说明：
图1是本说明书实施例提供的一种支付方法的场景示意图。如图1所示，用户在进行刷脸支付时，支付终端101的摄像头103会采集目标用户的图像信息，当采集的图像信息满足条件时，询问用户是否完成支付，当用户选择“确认”按钮时，完成支付。本方案就是针对这一应用场景，在刷脸支付过程中，捕捉用户的交互行为，在确定支付终端101的摄像头103采集到的进行刷脸支付的目标用户与在支付界面进行确认支付的用户为同一用户时，完成支付扣款操作，从而提高支付安全性。具体的实现方案如下：
图2是本说明书实施例提供的一种支付方法的流程图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。
如图2所示，该流程可以包括以下步骤：
步骤202：基于刷脸支付的启用触发指令，获取摄像头采集的视频数据。
需要说明的是，本说明书实施例中的刷脸支付方法一般应用于线下支付场景，当然，根据实际应用需求，也可以应用于线上支付场景中。以线下支付场景为例，本说明书实施例中的刷脸支付方法可以应用在线下的支付终端，支付终端可以指的是实现自助购物的自助结账电子设备，也可以是人工结账台设置的刷脸设备，一般可以设置于超市、卖场等场所。上述步骤中的刷脸触发指令可以是用户自己发起的，比如：用户自己点击自助结账电子设备上的“刷脸支付”的按钮，发起刷脸触发指令。也可以是收银员发起的，比如：收银员在累计了用户购买的商品金额之后，为用户启用刷脸支付。
基于刷脸支付的启用触发指令，摄像头功能打开，开始拍摄镜头范围内的物体图像。一般情况下，在线下支付的场景中，比如：超市中排队结账时，摄像头采集的图像中往往包括多个用户。
在本说明书实施例中，摄像头功能打开之后，摄像头持续采集图像，可以获取到摄像头采集的视频数据。
步骤204：提取所述视频数据中的人体图像数据和人脸图像数据。
视频数据中可以包括多个用户的图像数据，用户的图像数据可以包括用户的人体图像数据和人脸图像数据。需要说明的是，人体图像数据可以是用户的除头部区域外的身体图像数据。但是，在实际应用中，由于用户距离支付终端的距离较近，无法获取到用户的全身图像，因此，人体图像数据也可以是用户的除头部区域外的上半身图像数据。
步骤206：根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户。
根据摄像头采集到的人体图像数据以及人脸图像数据，可以从多个用户中确定出正在进行刷脸支付的目标用户。在实际应用中，正在进行刷脸支付的用户一般都会配合摄像头采集图像，比如：将头部位于图像采集区域内，并目视摄像头等。
步骤208：从所述视频数据中获取所述目标用户的第一图像特征。
第一图像特征可以指的是目标用户对应的图像特征。第一图像特征中可以包括目标用户的人脸特征和人体特征。
步骤210：获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征。
在实际应用场景中，在采集结束目标用户的图像特征，准备完成支付之前，一般会提示用户确认是否完成支付。用户若确认完成支付，可以点击支付终端上的支付界面中的“确认”按钮，完成扣款操作。
本说明书实施例中，用户在对支付界面中的确认按钮进行点击操作时，摄像头会采集当前正在进行确认按钮的点击操作的用户的图像数据。当然，在实际应用中，摄像头可以在启用支付指令之后，到完成支付之前，始终处于采集图像数据的状态。
步骤212：计算所述第一图像特征与所述第二图像特征的相似度。
在获取到正在点击支付界面中的确认按钮的用户图像的第二图像特征之后，计算第一图像特征与所述第二图像特征的相似度，以判断采集到的进行刷脸支付的用户与点击确认的用户是否为同一用户。
在计算相似度时，可以采用多种算法，比如：欧几里得距离、曼哈顿距离、明可夫斯基距离、余弦相似度、皮尔森相关系数等方法。在实际应用中，可以根据实际需求选择相似度的计算方法。
步骤214：判断所述相似度是否大于预设阈值，得到判断结果。
步骤216：当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
需要说明的是，上述步骤中的预设阈值可以根据实际应用场景进行设置，当相似度大于预设阈值时，可以确定摄像头采集到的进行刷脸支付的目标用户与在支付界面进行确认支付的用户为同一用户，此时，可以基于目标用户的人脸特征或人体特征完成刷脸支付。
图2中的方法，基于刷脸支付的启用触发指令，获取摄像头采集的视频数据，提取视频数据中的人体图像数据和人脸图像数据，根据人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；获取目标用户的第一图像特征，获取到对于支付界面的确认按钮的点击操作后，提取摄像头采集的用户图像的第二图像特征，计算第一图像特征与第二图像特征的相似度，当相似度大于预设阈值时，基于目标用户的人脸特征完成所述刷脸支付。通过上述方法可以有效捕捉到用户的交互行为，在确定摄像头采集到的进行刷脸支付的目标用户与在支付界面进行确认支付的用户为同一用户时，完成支付扣款操作，从而提高支付安全性。
基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
可选的，所述根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付行为的目标用户，具体可以包括：
根据所述人体图像数据，确定待识别用户的人体关键点信息；
根据所述人脸图像数据，确定所述待识别用户的头部姿态信息；
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值，所述第一行为状态为刷脸支付状态；
当所述第一概率值大于第一预设阈值时，确定所述待识别用户的行为属于第一行为状态，所述待识别用户为正在进行刷脸支付的目标用户。
需要说明的是，人体关键点信息可以指的是人体各关节点的空间位置信息。人体关键点可以是左肩、右肩、左手肘、右手肘、左腕、右腕、左臀、右臀、左膝、右膝、左脚踝、右脚踝等关键点。人脸关键点可以是鼻子、左眼、右眼、左耳、右耳等。
行为识别模型可以是用于识别用户行为状态的模型。行为识别模型可以是分层网络，该网络可以直接级联几个模块，例如：分层网络可以包含两个长短记忆模块（LongShort-Term Memory，LSTM），时域及空域的注意力网络，最大池化层以及归一化指数层（softmax）。输入行为识别模型的特征，经过LSTM层、最大池化层以及归一化指数层之后，可以计算得到各行为状态的分类概率。行为识别模型的训练，使用的损失函数可以为交叉熵。
在判断待识别用户的行为时，可以判断待识别用户的行为所属的行为状态的分类概率结果。根据概率大小判断待识别用户的行为。
行为状态至少可以包括刷脸支付状态、离开刷脸支付区域状态，无操作状态等。
通过上述方法，可以根据采集到的人脸图像数据以及人体图像数据，基于行为识别模型，识别得到正在进行刷脸支付的目标用户。
需要说明的是，在进行行为状态检测时，在二维平面的检测往往不够准确，因此，在将人体关键点信息以及头部姿态信息输入行为识别模型中进行识别之前，可以基于距离检测将二维平面的特征转换为三维空间的特征，以便更方便地识别用户行为。具体地，可以通过人体深度图来进行距离检测，人体深度图可以是由支付终端中的深度摄像头获取到的，距离检测可以是根据人体深度图直接输出深度距离。主要通过红外线打出的斑点，根据摄像头内外参数的关系计算出深度距离。根据该深度距离可以将二维平面的特征转换为三维空间的特征。
上述步骤中，根据所述人体图像数据，确定所述待识别用户的人体关键点信息，具体可以包括：
根据所述人体图像数据，确定所述待识别用户的人体图像中的热力图；
依据所述热力图，确定出所述待识别用户的人体关键点；
根据所述人体关键点在所述人体图像中的位置，确定所述人体关键点信息，所述人体关键点信息表示各个所述关键点在所述人体图像中的位置信息。
需要说明的是，上述步骤中的热力图可以指的是人体关键点对应的热力图，每一个关节点，可以生成一张热力图，热力图的响应值可以作为关节位置的概率，热力图中数值越大的位置，响应值越大，表示越有可能是关节的所在位置。
根据人体图像数据可以确定待识别用户的人体图像中的热力图，根据热力图，可以确定出待识别用户的每个人体关键点，根据每个人体关键点在人体图像中的位置可以确定待识别用户的人体姿态，比如：根据各个关键点在人体图像中的位置信息，可以确定待识别用户是否有抬手的动作或其他的动作。
当然，在确定人体关键点信息时，也可以选择相应的神经网络模型进行实现，比如：可以采用训练完成的人体检测模型检测得到待识别用户的人体关键点信息。这里的人体检测模型可以是神经网络模型。人体检测模型在使用之前，需要进行训练，具体训练方法如下：
训练数据预处理：使用公开数据集及采集标注数据进行模型训练。可以得到对应关键点和非关键点区域图像集合X={x1, x2, … , xn}。热力图生成在关键点的周围，生成下采样后的相应坐标的高斯分布的概率密度图作为训练目标图。然后，利用彩色图和深度团叠加后的图像，求出图像均值xmean和标准差xstd。最后对所有图像进行减均值、除以方差的操作得到训练图像。模型训练：选取合适的神经网络结构，并利用热力图作为关键点训练的目标，计算下采样后图像的回归损失函数，进行网络训练。回归损失函数可以采用自适应最小二乘函数。模型输出：人体姿态检测网络输出图像的各个关键点对应的下采样热力图。之后对得到的人体热力图，使用非极大值抑制的方法求出对应的关键点kpts = {xi, j,yi, j, zi,j}，其中，i属于各个对应关键点，j属于对应的帧数。
可选的，所述根据所述人脸图像数据，确定所述待识别用户的头部姿态信息，具体可以包括：
根据所述人脸图像数据，确定所述待识别用户的头部的旋转姿态数据；
根据预设角度值范围确定所述旋转姿态数据对应的俯仰角；
根据预设角度值范围确定所述旋转角度值对应的偏航角；
根据预设角度值范围确定所述旋转角度值对应的翻滚角；
根据所述俯仰角、所述偏航角以及所述翻滚角确定所述待识别用户的头部姿态信息。
需要说明的是，待识别用户的头部的旋转姿态数据可以指的是用户头部的旋转角度。
头部姿态信息可以是通过头部姿态估计来得到的。头部姿态估计（Head PoseEstimation ）可以指的是通过一幅面部图像来获得头部的姿态角。在3D 空间中，表示物体的旋转可以由三个欧拉角(Euler Angle)来表示：分别计算 pitch(围绕X轴旋转)，yaw(围绕Y轴旋转) 和 roll(围绕Z轴旋转)，学名分别为俯仰角、偏航角和滚转角，可以理解为：抬头、摇头和转头。
当然，在根据所述人脸图像数据，确定待识别用户的头部姿态信息时，也可以采用神经网络模型来实现，比如，采用训练完成的头部姿态检测模型来进行识别。这里的头部姿态检测模型可以是深度神经网络模型，在训练时，可以利用三个独立的回归损失函数进行网络训练。其中，三个独立的函数分别对应头部的pitch、yaw和roll这三个欧拉角的旋转方式。回归损失函数可以采用欧式距离函数。该头部姿态检测模型输出的可以是图像对应的旋转角度Apitch，Ayaw，Aroll。具体地，训练数据可以使用公开数据集进行模型训练。对于公开数据集首先要进行头部检测，检测出图像内的头部区域，得到头部区域图像集合X ={x1, x2, … , xn}。然后，求出图像均值xmean和标准差xstd。最后对所有图像进行减均值、除以方差的操作得到训练图像。
在识别得到正在进行刷脸支付的目标用户之后，在确定了由用户点击支付界面中的“确认”按钮时，需要判断摄像头采集到的正在进行刷脸支付的目标用户与在支付界面中点击确认支付的用户是否为同一用户。从计算机角度来看，可以包括以下步骤：
所述计算所述第一图像特征与所述第二图像特征的相似度，具体可以包括：
计算所述第一图像特征中的第一人脸特征与所述第二图像特征中的第二人脸特征之间的相似度，得到第一相似度值；
所述方法，还可以包括：
当所述第一相似度值大于第一阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
所述计算所述第一图像特征与所述第二图像特征的相似度，具体包括：
计算所述第一图像特征中的第一人体特征与所述第二图像特征中的第二人体特征之间的相似度，得到第二相似度值；
所述方法，还包括：
当所述第二相似度值大于第二阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
需要说明的是，第一图像特征可以是目标用户对应的人体特征以及人脸特征。第二图像特征可以是点击支付界面中确认按钮的用户的人体特征和人脸特征。在实际操作中，可以优先识别人脸特征，如果第一图像特征中的第一人脸特征与第二图像特征中的第二人脸特征之间的相似度大于第一阈值时，可以确定目标用户与点击支付界面中确认按钮的用户为同一用户，可以完成支付操作。
当然，在实际应用中，也可以通过计算人体特征之间的相似度来判断目标用户与点击支付界面中确认按钮的用户是否为同一用户，具体地，当第一图像特征中的第一人体特征与第二图像特征中的第二人体特征之间的相似度大于第二阈值时，可以确定目标用户与点击支付界面中确认按钮的用户为同一用户，可以完成支付操作。
在实际应用中，可以仅根据人脸图像特征来判断目标用户与点击支付界面中确认按钮的用户是否为同一用户，也可以仅根据人体图像特征判断目标用户与点击支付界面中确认按钮的用户是否为同一用户。还可以结合人脸图像特征和人体图像特征共同进行判断。具体地，可以根据实际应用场景的需求进行选择，本说明书实施例对此不进行限定。
如果根据人脸图像特征以及人体图像特征均无法确定目标用户与点击支付界面中确认按钮的用户为同一用户时，可以采用其他校验方式进行校验，具体地，可以采用以下方法：
当第一条件以及第二条件同时满足时，对所述目标用户进行校验操作，所述校验操作至少包括手机号校验操作、银行卡号校验操作以及身份证号校验操作，得到校验结果；所述第一条件为所述第一相似度值小于或等于所述第一阈值，所述第二条件为所述第二相似度值小于或等于所述第二阈值；
当所述校验结果表示所述目标用户通过校验时，响应所述目标用户的支付请求，完成扣款操作；
当所述校验结果表示所述目标用户未通过校验时，拦截所述目标用户的支付请求。
需要说明的是，校验操作至少可以包括手机号校验操作、银行卡号校验操作以及身份证号校验操作。以输入手机号的校验方式为例，可以结合附图3进行说明。
图3是本说明书实施例提供的一种支付方法中强制校验方式的示意图。如图3所示，其中，手机号校验操作可以是提示用户输入支付账号绑定的用户手机号后四位，也可以提示用户输入绑定的完整手机号，还可以提示用户输入绑定手机号中的任意位数的数字。银行卡号以及身份证号的验证方式也可以提示用户输入其中的任意位数的数字。这一设置是为了保证用户支付的可靠性以及良好的体验。在实际应用中，可能会存在绑定用户的家人使用绑定用户的账号进行刷脸支付的情况，比如：夫妻中的一方在结账时，想要使用另一方的账号进行支付，此时，虽然未通过刷脸支付的验证，但是，可以提示用户输入绑定的手机号的后四位，或者提示用户输入绑定用户的身份证号后四位等等。若输入正确，则完成支付，以保证支付的有效性。
当然，在实际应用中，采用行为识别模型不仅可以识别得到待识别用户的刷脸支付状态，还可以识别得到待识别用户的其他行为状态，具体地，可以采用以下方法实现：
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第二行为状态的第二概率值，所述第二行为状态为离开刷脸支付区域状态；
当所述第二概率值大于第三阈值时，确定所述待识别用户的行为属于第二行为状态；
所述确定所述待识别用户的行为属于第二行为状态之后，还可以包括：
关闭登录有所述待识别用户的账户信息的刷脸界面，返回支付程序的首页。
在上述步骤中，当识别到待识别用户没有进行刷脸支付的点击行为，就离开了刷脸支付区域，或者已经支付完成离开刷脸支付区域之后，为了保护用户的信息，可以关闭当前的刷脸支付页面，返回到没有用户信息的支付程序的首页上，等待下一次刷脸支付的触发指令。
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第三行为状态的第三概率值，所述第三行为状态为无操作状态；
当所述第三概率值大于第四阈值时，确定所述待识别用户的行为属于第三行为状态；
所述确定所述待识别用户的行为属于第三行为状态之后，还可以包括：
以播放语音或显示提示信息的形式提示所述待识别用户进行刷脸支付。
在实际的刷脸支付应用中，还可能存在用户不知道如何使用支付程序的情况，此时，为了提高用户的支付效率，可以引导用户进行支付操作。具体的引导方式可以是在支付程序界面显示提示信息，提示信息可以是文字信息或者图片信息、动画信息，用于提示用户如何进行刷脸支付操作，引导方式还可以是语音提示信息，通过语音引导用户进行刷脸支付。
通过上述方法，可以有效捕捉用户的交互行为，判断用户意图，从而有效的与刷脸支付界面进行互动。
本说明书实施例中，采用行为识别模型来完成用户行为的识别。行为识别模型可以是基于深度学习算法的模型，行为识别模型在使用之前，需要进行训练，具体的训练过程可以采用以下方法：
所述基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值之前，还可以包括：
获取已知用户行为状态的训练样本集合，每个训练样本包括第一行为状态的样本、第二行为状态的样本以及第三行为状态的样本；所述第一行为状态为刷脸支付状态，所述第二行为状态为离开刷脸支付区域状态，所述第三行为状态表示无操作状态；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入初始行为识别模型中，输出每个训练样本属于每种行为状态的概率值；
根据输出的每种行为状态的概率值与已知的用户行为状态之间的差异，调整所述初始行为识别模型的模型参数，得到训练完成的行为识别模型。
需要说明的是，行为识别模型训练的样本可以是各个行为状态对应的样本，例如：训练样本中可以包括多个刷脸支付状态的样本、多个离开刷脸支付区域状态的样本，多个无操作状态的样本。将这些样本输入到初始行为识别模型中后，行为识别模型可以学习到处于刷脸支付状态的特征、处于离开刷脸支付区域状态的特征以及处于无操作状态的特征。
在采用行为识别模型进行用户行为识别时，可以根据人体关键点信息，头部姿态信息，通过距离信息，转换得到的kpts= {xi, j, yi, j, zi,j }，其中，i属于对应关键点，j属于对应的帧数，经过池化后得到统一帧数的输入，并通过一个分层网络得到一个256维的特征。通过分层网络可以得到各个行为状态的分类概率。并根据动作识别得到的分类结果进行相应的后续行为。
本说明书实施例中采用上述方法，可以实现以下技术效果：
1）本说明书实施例采用计算机视觉算法，有效捕捉用户的交互行为，判断用户意图，从而在刷脸支付过程中进行有效人机互动，避免产生的相应刷脸支付风险。
2）刷脸支付风险拦截和动作引导：在判断到高意愿风险（非本人点击确认）后，将会进行输入手机号、身份证号或银行卡号的强制校验，完成意愿高风险拦截的作用。
3）而对于静止的用户，将会语音及UI引导进行相关的刷脸点击行为，从而提高支付效率。
4）对于离开的用户将会立即进行交易结束的行为，避免可能存在的误点击确认导致的非本人意愿交易行为。
5）在确定摄像头采集到的进行刷脸支付的目标用户与在支付界面进行确认支付的用户为同一用户时，完成支付扣款操作，从而提高支付安全性。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图4是本说明书实施例提供的对应于图2的一种支付装置示意图。如图4所示，该装置可以包括：
视频数据采集模块402，用于基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
数据提取模块404，用于提取所述视频数据中的人体图像数据和人脸图像数据；
目标用户确定模块406，用于根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
第一图像特征获取模块408，用于从所述视频数据中获取所述目标用户的第一图像特征；
第二图像特征获取模块410，用于获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
相似度计算模块412，用于计算所述第一图像特征与所述第二图像特征的相似度；
判断模块414，用于判断所述相似度是否大于预设阈值，得到判断结果；当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
基于图4的装置，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
可选的，所述目标用户确定模块406，具体可以包括：
人体关键点信息确定单元，用于根据所述人体图像数据，确定待识别用户的人体关键点信息；
头部姿态信息确定单元，用于根据所述人脸图像数据，确定所述待识别用户的头部姿态信息；
第一行为状态识别单元，用于基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值，所述第一行为状态为刷脸支付状态；
目标用户确定单元，用于当所述第一概率值大于第一预设阈值时，确定所述待识别用户的行为属于第一行为状态，所述待识别用户为正在进行刷脸支付的目标用户。
可选的，所述相似度计算模块412，具体可以用于：
计算所述第一图像特征中的第一人脸特征与所述第二图像特征中的第二人脸特征之间的相似度，得到第一相似度值；
当所述第一相似度值大于第一阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
可选的，所述相似度计算模块412，还可以用于：
计算所述第一图像特征中的第一人体特征与所述第二图像特征中的第二人体特征之间的相似度，得到第二相似度值；
当所述第二相似度值大于第二阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
可选的，所述装置还可以用于：
当第一条件以及第二条件同时满足时，对所述目标用户进行校验操作，所述校验操作至少包括手机号校验操作、银行卡号校验操作以及身份证号校验操作，得到校验结果；所述第一条件为所述第一相似度值小于或等于所述第一阈值，所述第二条件为所述第二相似度值小于或等于所述第二阈值；
当所述校验结果表示所述目标用户通过校验时，响应所述目标用户的支付请求，完成扣款操作；
当所述校验结果表示所述目标用户未通过校验时，拦截所述目标用户的支付请求。
可选的，所述人体关键点信息确定单元，具体可以包括：
热力图确定子单元，用于根据所述人体图像数据，确定所述待识别用户的人体图像中的热力图；
人体关键点确定子单元，用于依据所述热力图，确定出所述待识别用户的人体关键点；
人体关键点信息确定子单元，用于根据所述人体关键点在所述人体图像中的位置，确定所述人体关键点信息，所述人体关键点信息表示各个所述关键点在所述人体图像中的位置信息。
可选的，所述头部姿态信息确定单元，具体可以包括：
头部旋转姿态数据确定子单元，用于根据所述人脸图像数据，确定所述待识别用户的头部的旋转姿态数据；
俯仰角确定子单元，用于根据预设角度值范围确定所述旋转姿态数据对应的俯仰角；
偏航角确定子单元，用于根据预设角度值范围确定所述旋转角度值对应的偏航角；
翻滚角确定子单元，用于根据预设角度值范围确定所述旋转角度值对应的翻滚角；
头部姿态信息确定单元，用于根据所述俯仰角、所述偏航角以及所述翻滚角确定所述待识别用户的头部姿态信息。
可选的，所述装置还可以用于：
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第二行为状态的第二概率值，所述第二行为状态为离开刷脸支付区域状态；
当所述第二概率值大于第三阈值时，确定所述待识别用户的行为属于第二行为状态；
所述确定所述待识别用户的行为属于第二行为状态之后，还包括：
关闭登录有所述待识别用户的账户信息的刷脸界面，返回支付程序的首页。
可选的，所述装置还可以用于：
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第三行为状态的第三概率值，所述第三行为状态为无操作状态；
当所述第三概率值大于第四阈值时，确定所述待识别用户的行为属于第三行为状态；
所述确定所述待识别用户的行为属于第三行为状态之后，还包括：
以播放语音或显示提示信息的形式提示所述待识别用户进行刷脸支付。
可选的，所述装置，还可以包括：
训练样本获取模块，用于获取已知用户行为状态的训练样本集合，每个训练样本包括第一行为状态的样本、第二行为状态的样本以及第三行为状态的样本；所述第一行为状态为刷脸支付状态，所述第二行为状态为离开刷脸支付区域状态，所述第三行为状态表示无操作状态；
输出模块，用于针对所述训练样本集合中的每个训练样本，将所述训练样本输入初始行为识别模型中，输出每个训练样本属于每种行为状态的概率值；
训练模块，用于根据输出的每种行为状态的概率值与已知的用户行为状态之间的差异，调整所述初始行为识别模型的模型参数，得到训练完成的行为识别模型。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
图5是本说明书实施例提供的对应于图2的一种支付设备示意图。如图5所示，设备500可以包括：
至少一个处理器510；以及，
与所述至少一个处理器通信连接的存储器530；其中，
所述存储器530存储有可被所述至少一个处理器510执行的指令520，所述指令被所述至少一个处理器510执行，以使所述至少一个处理器510能够：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
基于同样的思路，本说明书实施例还提供了上述方法对应的计算机可读介质。计算机可读介质上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现以下方法：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种支付方法，包括：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；所述摄像头采集当前正在进行确认按钮的点击操作的用户的图像数据；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
2.如权利要求1所述的方法，所述根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付行为的目标用户，具体包括：
根据所述人体图像数据，确定待识别用户的人体关键点信息；
根据所述人脸图像数据，确定所述待识别用户的头部姿态信息；
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值，所述第一行为状态为刷脸支付状态；
当所述第一概率值大于第一预设阈值时，确定所述待识别用户的行为属于第一行为状态，所述待识别用户为正在进行刷脸支付的目标用户。
3.如权利要求1所述的方法，所述计算所述第一图像特征与所述第二图像特征的相似度，具体包括：
计算所述第一图像特征中的第一人脸特征与所述第二图像特征中的第二人脸特征之间的相似度，得到第一相似度值；
所述方法，还包括：
当所述第一相似度值大于第一阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
4.如权利要求1所述的方法，所述计算所述第一图像特征与所述第二图像特征的相似度，具体包括：
计算所述第一图像特征中的第一人体特征与所述第二图像特征中的第二人体特征之间的相似度，得到第二相似度值；所述方法，还包括：
当所述第二相似度值大于第二阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
5.如权利要求1所述的方法，还包括：
当第一条件以及第二条件同时满足时，对所述目标用户进行校验操作，所述校验操作至少包括手机号校验操作、银行卡号校验操作以及身份证号校验操作，得到校验结果；所述第一条件为第一相似度值小于或等于第一阈值，所述第一相似度值是基于计算所述第一图像特征中的第一人脸特征与所述第二图像特征中的第二人脸特征之间的相似度得到的，所述第二条件为第二相似度值小于或等于第二阈值，所述第二相似度值是基于计算所述第一图像特征中的第一人体特征与所述第二图像特征中的第二人体特征之间的相似度得到的；
当所述校验结果表示所述目标用户通过校验时，响应所述目标用户的支付请求，完成扣款操作；
当所述校验结果表示所述目标用户未通过校验时，拦截所述目标用户的支付请求。
6.如权利要求2所述的方法，所述根据所述人体图像数据，确定所述待识别用户的人体关键点信息，具体包括：
根据所述人体图像数据，确定所述待识别用户的人体图像中的热力图；
依据所述热力图，确定出所述待识别用户的人体关键点；
根据所述人体关键点在所述人体图像中的位置，确定所述人体关键点信息，所述人体关键点信息表示各个所述关键点在所述人体图像中的位置信息。
7.如权利要求2所述的方法，所述根据所述人脸图像数据，确定所述待识别用户的头部姿态信息，具体包括：
根据所述人脸图像数据，确定所述待识别用户的头部的旋转姿态数据；
根据预设角度值范围确定所述旋转姿态数据对应的俯仰角；
根据预设角度值范围确定所述旋转姿态数据对应的偏航角；
根据预设角度值范围确定所述旋转姿态数据对应的翻滚角；
根据所述俯仰角、所述偏航角以及所述翻滚角确定所述待识别用户的头部姿态信息。
8.如权利要求2所述的方法，所述方法还包括：
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第二行为状态的第二概率值，所述第二行为状态为离开刷脸支付区域状态；
当所述第二概率值大于第三阈值时，确定所述待识别用户的行为属于第二行为状态；
所述确定所述待识别用户的行为属于第二行为状态之后，还包括：
关闭登录有所述待识别用户的账户信息的刷脸界面，返回支付程序的首页。
9.如权利要求2所述的方法，所述方法还包括：
基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第三行为状态的第三概率值，所述第三行为状态为无操作状态；
当所述第三概率值大于第四阈值时，确定所述待识别用户的行为属于第三行为状态；
所述确定所述待识别用户的行为属于第三行为状态之后，还包括：
以播放语音或显示提示信息的形式提示所述待识别用户进行刷脸支付。
10.如权利要求2所述的方法，所述基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值之前，还包括：
获取已知用户行为状态的训练样本集合，每个训练样本包括第一行为状态的样本、第二行为状态的样本以及第三行为状态的样本；所述第一行为状态为刷脸支付状态，所述第二行为状态为离开刷脸支付区域状态，所述第三行为状态表示无操作状态；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入初始行为识别模型中，输出每个训练样本属于每种行为状态的概率值；
根据输出的每种行为状态的概率值与已知的用户行为状态之间的差异，调整所述初始行为识别模型的模型参数，得到训练完成的行为识别模型。
11.一种支付装置，包括：
视频数据采集模块，用于基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
数据提取模块，用于提取所述视频数据中的人体图像数据和人脸图像数据；
目标用户确定模块，用于根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
第一图像特征获取模块，用于从所述视频数据中获取所述目标用户的第一图像特征；
第二图像特征获取模块，用于获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；所述摄像头采集当前正在进行确认按钮的点击操作的用户的图像数据；
相似度计算模块，用于计算所述第一图像特征与所述第二图像特征的相似度；
判断模块，用于判断所述相似度是否大于预设阈值，得到判断结果；当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
12.如权利要求11所述的装置，所述目标用户确定模块，具体包括：
人体关键点信息确定单元，用于根据所述人体图像数据，确定待识别用户的人体关键点信息；
头部姿态信息确定单元，用于根据所述人脸图像数据，确定所述待识别用户的头部姿态信息；
第一行为状态识别单元，用于基于所述人体关键点信息以及所述头部姿态信息，采用行为识别模型确定所述待识别用户的行为属于第一行为状态的第一概率值，所述第一行为状态为刷脸支付状态；
目标用户确定单元，用于当所述第一概率值大于第一预设阈值时，确定所述待识别用户的行为属于第一行为状态，所述待识别用户为正在进行刷脸支付的目标用户。
13.如权利要求12所述的装置，所述人体关键点信息确定单元，具体包括：
热力图确定子单元，用于根据所述人体图像数据，确定所述待识别用户的人体图像中的热力图；
人体关键点确定子单元，用于依据所述热力图，确定出所述待识别用户的人体关键点；
人体关键点信息确定子单元，用于根据所述人体关键点在所述人体图像中的位置，确定所述人体关键点信息，所述人体关键点信息表示各个所述关键点在所述人体图像中的位置信息。
14.如权利要求12所述的装置，所述装置，还包括：
训练样本获取模块，用于获取已知用户行为状态的训练样本集合，每个训练样本包括第一行为状态的样本、第二行为状态的样本以及第三行为状态的样本；所述第一行为状态为刷脸支付状态，所述第二行为状态为离开刷脸支付区域状态，所述第三行为状态表示无操作状态；
输出模块，用于针对所述训练样本集合中的每个训练样本，将所述训练样本输入初始行为识别模型中，输出每个训练样本属于每种行为状态的概率值；
训练模块，用于根据输出的每种行为状态的概率值与已知的用户行为状态之间的差异，调整所述初始行为识别模型的模型参数，得到训练完成的行为识别模型。
15.一种支付设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
基于刷脸支付的启用触发指令，获取摄像头采集的视频数据；
提取所述视频数据中的人体图像数据和人脸图像数据；
根据所述人体图像数据和人脸图像数据，确定正在进行刷脸支付的目标用户；
从所述视频数据中获取所述目标用户的第一图像特征；
获取到对于支付界面的确认按钮的点击操作后，提取所述摄像头采集的用户图像的第二图像特征；所述摄像头采集当前正在进行确认按钮的点击操作的用户的图像数据；
计算所述第一图像特征与所述第二图像特征的相似度；
判断所述相似度是否大于预设阈值，得到判断结果；
当所述判断结果表示所述相似度大于预设阈值时，基于所述目标用户的人脸特征完成所述刷脸支付。
16.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至10中任一项所述的支付方法。
CN202010409864.4A 2020-05-15 2020-05-15 一种支付方法、装置及设备 Active CN111539740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409864.4A CN111539740B (zh) 2020-05-15 2020-05-15 一种支付方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409864.4A CN111539740B (zh) 2020-05-15 2020-05-15 一种支付方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111539740A CN111539740A (zh) 2020-08-14
CN111539740B true CN111539740B (zh) 2022-11-18

Family

ID=71979348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409864.4A Active CN111539740B (zh) 2020-05-15 2020-05-15 一种支付方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111539740B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101931A (zh) * 2020-08-27 2020-12-18 江西台德智慧科技有限公司 一种增强刷脸支付技术安全性的方法
CN114201985A (zh) * 2020-08-31 2022-03-18 魔门塔(苏州)科技有限公司 一种人体关键点的检测方法及装置
CN112116355A (zh) * 2020-09-18 2020-12-22 支付宝(杭州)信息技术有限公司 一种基于意愿识别确认是否完成支付的方法、系统及装置
CN112396004B (zh) * 2020-11-23 2023-06-09 支付宝(杭州)信息技术有限公司 用于人脸识别的方法、装置和计算机可读存储介质
CN113283911B (zh) * 2021-07-22 2021-11-09 佛山市墨纳森智能科技有限公司 一种基于人脸识别的加油站安全无感支付方法及系统
CN113673426A (zh) * 2021-08-20 2021-11-19 支付宝(杭州)信息技术有限公司 目标用户确定方法及装置
CN114267106A (zh) * 2021-12-22 2022-04-01 支付宝(杭州)信息技术有限公司 一种身份识别方法、装置及设备
CN115035578A (zh) * 2022-06-20 2022-09-09 支付宝(杭州)信息技术有限公司 一种支付方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461003A (zh) * 2018-11-30 2019-03-12 阿里巴巴集团控股有限公司 基于多视角的多人脸场景刷脸支付风险防控方法和设备
CN110163615A (zh) * 2019-05-24 2019-08-23 北京三快在线科技有限公司 刷脸支付的方法、装置、设备及存储介质
CN110175514A (zh) * 2019-04-15 2019-08-27 阿里巴巴集团控股有限公司 一种刷脸支付提示方法、装置及设备
CN110458569A (zh) * 2019-07-01 2019-11-15 阿里巴巴集团控股有限公司 一种刷脸支付方法和装置
CN110570200A (zh) * 2019-08-16 2019-12-13 阿里巴巴集团控股有限公司 一种支付方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064178A (zh) * 2018-06-29 2018-12-21 北京金山安全软件有限公司 支付方法、装置、服务器、计算机可读存储介质
CN110491044A (zh) * 2019-08-19 2019-11-22 广州织点智能科技有限公司 一种刷脸支付方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461003A (zh) * 2018-11-30 2019-03-12 阿里巴巴集团控股有限公司 基于多视角的多人脸场景刷脸支付风险防控方法和设备
CN110175514A (zh) * 2019-04-15 2019-08-27 阿里巴巴集团控股有限公司 一种刷脸支付提示方法、装置及设备
CN110163615A (zh) * 2019-05-24 2019-08-23 北京三快在线科技有限公司 刷脸支付的方法、装置、设备及存储介质
CN110458569A (zh) * 2019-07-01 2019-11-15 阿里巴巴集团控股有限公司 一种刷脸支付方法和装置
CN110570200A (zh) * 2019-08-16 2019-12-13 阿里巴巴集团控股有限公司 一种支付方法及装置

Also Published As

Publication number Publication date
CN111539740A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539740B (zh) 一种支付方法、装置及设备
CN110570200B (zh) 一种支付方法及装置
US10817705B2 (en) Method, apparatus, and system for resource transfer
CN111292092B (zh) 刷脸支付方法、装置及电子设备
Blanco‐Gonzalo et al. Performance evaluation of handwritten signature recognition in mobile environments
US10747990B2 (en) Payment method, apparatus, and system
US11263634B2 (en) Payment method and device
CN107886330A (zh) 结算方法、装置及系统
Okpara et al. Cam-Wallet: Fingerprint-based authentication in M-wallets using embedded cameras
Beton et al. Biometric secret path for mobile user authentication: A preliminary study
Wong et al. Stationary hand gesture authentication using edit distance on finger pointing direction interval
Prasanthi et al. Palm vein biometric technology: An approach to upgrade security in ATM transactions
KR102161476B1 (ko) 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법
CN113657903A (zh) 一种刷脸支付方法、装置、电子设备和存储介质
US11928682B2 (en) Methods and systems for generating a unique signature based on user movements in a three-dimensional space
CN112446704A (zh) 一种安全交易管理方法及安全交易管理装置
CN116226817A (zh) 身份识别方法、装置、计算机设备和存储介质
Munir et al. Hand Gesture Recognition: A Review
CN113516481A (zh) 刷脸意愿的确认方法、装置和刷脸设备
CN116738411B (zh) 基于生物特征识别的多模态注册方法和身份识别方法
RU2791846C2 (ru) Способ и устройство для принятия решения о выполнении операции на основе групп выражений лица и электронное устройство
Behera et al. Localization of signatures in continuous Air writing
CN110599191A (zh) 一种增强刷脸支付技术安全性的方法
CN113743252A (zh) 一种目标跟踪方法、装置、设备及可读存储介质
Schouten et al. Non-intrusive face verification by a virtual mirror interface using fractal codes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant