CN113887451A - 图片处理方法及装置 - Google Patents

Abstract

本说明书实施例提供图片处理方法及装置，其中所述图片处理方法包括：基于候选人脸的人脸姿态以及人脸位置选取目标人脸；获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；基于所述图片采集设备的参数对所述目标人脸进行跟拍，以解决刷脸机不能及时地采集到用户的人脸信息，或者采集到的人脸信息不完全，无法实现刷脸支付的目的。

Description

图片处理方法及装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种图片处理方法。

背景技术

刷脸支付是一种以人脸识别为核心的新型支付方式。刷脸支付的过程非常简单，用户无需携带钱包、银行卡或者手机，仅需要用户人脸面对刷脸机的屏幕，刷脸支付系统就会自动基于用户人脸与用户个人账户的关联关系，完成针对该用户的交易扣款，整个交易过程十分便捷。但目前的刷脸支付的过程中，刷脸机可能在采集范围内不能及时地捕捉到用户人脸，或者捕捉到的用户人脸不完整，就会导致刷脸支付失败的情况发生，使得用户刷脸支付的体验较差。

发明内容

有鉴于此，本说明书施例提供了一种图片处理方法。本说明书一个或者多个实施例同时涉及一种图片处理装置，一种计算设备，一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种图片处理方法，包括：

基于候选人脸的人脸姿态以及人脸位置选取目标人脸；

获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；

确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；

基于所述图片采集设备的参数对所述目标人脸进行跟拍。

根据本说明书实施例的第二方面，提供了一种图片处理装置，包括：

人脸选取模块，被配置为基于候选人脸的人脸姿态以及人脸位置选取目标人脸；

深度信息确定模块，被配置为获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；

参数调整模块，被配置为确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；

人脸跟拍模块，被配置为基于所述图片采集设备的参数对所述目标人脸进行跟拍。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述图片处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述图片处理方法的步骤。

本说明书一个实施例通过基于候选人脸的人脸姿态以及人脸位置选取目标人脸；获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；基于所述图片采集设备的参数对所述目标人脸进行跟拍。

具体的，通过图片采集设备采集候选人脸的人脸姿态以及人脸位置选取目标人脸，并通过该目标人脸的二维人脸信息以及人脸深度信息确定该目标人脸的三维深度信息，进而调整图片采集设备的参数，实现对目标人脸进行实时跟拍，不仅能够实现追踪到用户人脸，还能够及时地进行刷脸支付的后续过程，增强了用户刷脸支付的交易体验。

附图说明

图1是本说明书一个实施例提供的一种图片处理方法应用于系统的系统架构图；

图2是本说明书一个实施例提供的一种图片处理方法的流程图；

图3是本说明书一个实施例提供的一种图片处理方法的处理过程流程图；

图4是本说明书一个实施例提供的一种图片处理装置的结构示意图；

图5是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

刷脸设备：一种支持刷脸支付的设备。

人脸追踪：基于智能算法识别的人脸姿态，指导相机自动调整拍摄角度和距离，进行人脸拍摄。

人脸建模：通过深度相机和深度学习技术采集和回归出人脸的三维信息。

在现有的刷脸支付的过程中，需要采集用户的人脸信息，但是有些场景中，刷脸机不能及时地采集到用户的人脸信息，或者采集到的人脸信息不完全，无法实现刷脸支付的目的，例如，在少儿校园团餐的场景中，少儿用户因身高不一致导致人脸超出刷脸机的拍摄范围而无法正常刷脸支付的问题，使得少儿用户使用刷脸支付的体验较差。基于此，本说明书实施例提出了一种图片处理方法，可以通过智能算法自动调整刷脸机的拍摄角度，即针对各种身高或者身处不同位置的用户，均可以有效地拍摄到不同用户的人脸信息，从而完成刷脸支付。

需要说明的是，本说明书实施例提供的图片处理方法不仅可应用于刷脸支付领域，还可以应用于人脸识别开锁、人脸识别过安检等各种需要有效地采集用户人脸的技术领域，在本说明书实施例中，即以用户人脸进行刷脸支付的场景为例，对图片处理方法进行详细说明。

在本说明书中，提供了一种图片处理方法，本说明书同时涉及一种图片处理装置，一种计算设备，一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

参见图1，图1示出了本说明书实施例提供的图片处理方法应用于系统的系统架构图。

需要说明的是，为了实现对任何身高的用户或者是处于不同位置的用户，均能够及时有效地采集到对应的用户人脸，本说明书提出了图片处理方法的人脸追踪系统，其中，图1的人脸追踪系统分有五个模块，分别为姿态估计、选脸算法、人脸建模、位置估计、相机调整。

其中，姿态估计是基于采集到的用户人脸的关键点估计人脸姿态，比如，人脸的偏向角度不同，所呈现的人脸姿态不同。选脸算法是基于人脸姿态、位置等信息选取可信的人脸，具体的，可以通过人脸中心位置和图片采集设备所拍摄的区域中心位置，进而选取目标人脸。

人脸建模是基于采集的二维图片信息和深度信息进行人脸建模，进而通过深度学习算法回归出人脸的三维信息。位置估计是基于人脸的三维信息和图片采集设备本身的状态信息计算偏向角和图片采集设备镜头伸缩距离。相机调整是指基于位置估计的结果，自动调整相机角度、拍摄距离进行人脸拍摄。

此外，相机还支持人工调整，可依据实际项目需求设定初始化状态。

本实施例提供的图片处理方法，通过采集到的人脸关键点信息，在采集的多个人脸中选取目标人脸，并通过调整采集设备的偏向角度、镜头的伸缩距离实现对该目标人脸的实时追踪，能够解决无法及时有效地采集到目标人脸的问题。

图2示出了根据本说明书一个实施例提供的一种图片处理方法的流程图，具体包括以下步骤。

步骤202：基于候选人脸的人脸姿态以及人脸位置选取目标人脸。

其中，候选人脸可以理解为图片采集设备所采集的多张人脸，但并不确定哪一张人脸为后续人脸识别的目标人脸；

人脸姿态可以理解为各个候选人脸在图片采集设备所采集的区域中人脸偏向某个角度所形成的人脸姿态，比如，人脸向左偏向的姿态、人脸向右偏向的姿态等；

人脸位置可以理解为各个候选人脸在图片采集设备所采集的区域中所处的位置信息，该位置可以用坐标的方式表示，在本说明书中不做任何限定；

目标人脸可以理解为通过智能算法在各个候选人脸选取的具有处理意愿的目标人脸。

实际应用中，服务器通过图片采集设备采集的多张人脸均可被称为候选人脸，即可在候选人脸中通过智能算法选取目标人脸，具体的，可确定候选人脸的人脸姿态以及人脸位置，并基于人脸姿态以及人脸位置选取目标人脸。

具体实施时，可通过确定候选人脸的人脸关键点信息确定人脸姿态，再基于人脸姿态以及候选人脸在图片采集设备中的人脸位置选取目标人脸；具体的，所述基于候选人脸的人脸姿态以及人脸位置选取目标人脸，包括：

获取候选人脸的人脸关键点信息，基于所述人脸关键点信息确定所述候选人脸的人脸姿态；

确定所述候选人脸在图片采集设备中的人脸位置，基于所述人脸姿态以及所述人脸位置选取目标人脸。

其中，人脸关键点信息可以理解为图片采集设备中所采集的人脸的关键点的坐标信息等，比如，人脸的两个眼睛上选取两个关键点、人脸的鼻子选取一个关键点以及人脸的嘴巴选取一个关键点，即可形成具有五个人脸关键点信息的数据，需要强调的是，一张人脸的关键点信息由几个关键点组成，在实施例中不做任何限定，可能由三个关键点组成，也可能由五个关键点组成等。

具体实施时，服务器通过图片采集设备选取在采集区域内的候选人脸的人脸关键点信息，通过该人脸关键点信息确定该候选人脸的人脸姿态，比如，事先确定选取候选人脸的关键点信息为五个关键点，服务器可通过选取的这五个关键点的坐标信息确定五个关键点是否为正面分布，若五个关键点坐标符合正面五官的分布状态，即可确定该候选人脸为正面姿态，若五个关键点坐标不符合正面五官的分布状态，即可具体确定该候选人脸的姿态为向左偏向、或者向右偏向等。然后服务器再确定每个候选人脸在图片采集设备中的人脸位置，比如，候选人脸在图片采集设备所采集区域的中下位置、中上位置、偏左位置或者是偏右位置等。进而基于人脸姿态以及人脸位置选取既为正面人脸分布又处于采集区域靠中间的位置，作为目标人脸。

实际应用中，图片采集设备采集的区域中可能有多个用户，通过对每个用户采集的人脸关键点信息，确定在图片采集区域中处于采集区域下方的用户采集到的人脸关键点信息确定的人脸姿态为正面，即该用户是正面面对图片采集设备的，具有刷脸支付的意愿，即选取该用户的人脸作为目标人脸。

本说明书实施例提供的图片处理方法，通过候选人脸的人脸关键点信息确定人脸姿态，并确定候选人脸在图片采集设备中的人脸位置，可以基于人脸姿态以及人脸位置确定出目标人脸，不仅能够准确地判定图片采集区域中的目标人脸，还能够有效地确定目标人脸的处理意愿。

进一步地，为了确定候选人脸中的具有刷脸支付的目标人脸，则需要通过各个参数判断候选人脸是否有刷脸支付的意愿，比如候选人脸所在整个采集区域的位置，候选人脸在整个采集区域的面积大小，候选人脸在采集区域中是否面向采集装置等信息，通过上述各种参数信息进而可精准地选取目标人脸；具体的，所述基于所述人脸姿态以及所述人脸位置选取目标人脸，包括：

基于所述候选人脸的人脸中心位置以及所述图片采集设备所采集区域的中心位置，确定第一目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸框面积，确定第二目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸偏移角度，确定第三目标参数；

基于所述第一目标参数、所述第二目标参数以及所述第三目标参数进行处理，在所述图片采集设备所采集的区域中选取目标人脸。

其中，人脸框面积可以理解为候选人脸的人脸关键点组成的面积信息，人脸偏移角度可以理解为候选人脸的人脸关键点的各个关键点旋转分布状态与各个关键点正面分布状态的偏移角度，即人脸实际向左或者向右的偏转角度。

实际应用中，第一目标参数可以理解为位置类的参数信息，第二目标参数可以理解为面积类的参数信息，第三目标参数可以理解为角度类的参数信息，具体的，可基于候选人脸的人脸中心位置以及图片采集设备采集区域的中心位置确定位置参数信息，再根据候选人脸的人脸姿态计算候选人脸的人脸框面积，确定面积参数信息，根据候选人脸的人脸姿态计算候选人脸的偏移角度，确定角度参数信息，最后，根据位置参数信息、面积参数信息以及角度参数信息在图片采集设备所采集的区域中的至少一个候选人脸中选取目标人脸。需要说明的是，选取目标人脸的各个具体参数信息在本实施例中不做任何限定，不仅限于位置参数、面积参数以及角度参数，还可根据实际应用需求选取其他类型的参数信息，进而确定目标人脸。

进一步地，在确定出第一目标参数、第二目标参数以及第三目标参数之后，可对上述三个目标参数进行加权平均处理，获得参数s，可选取参数s最大的候选人脸作为目标人脸；需要说明的是，针对三个目标参数的具体处理过程本实施例对此不做过多限定，还可采用其他回归算法等，最终确定目标人脸。

本说明书实施例提供的图片处理方法，通过候选人脸所在采集区域的位置与采集区域的位置确定的位置参数信息，通过候选人脸的人脸姿态计算的候选人脸的人脸框面积以及人脸偏移角度，最后基于上述位置参数信息、人脸框面积以及人脸偏移角度在候选人脸中选取目标人脸，不仅能够实现精准地选取具有刷脸意愿的人脸，还能及时地确定目标人脸与采集区域之间的位置关系问题，便于后续对采集区域的调整。

为了准确地确定候选人脸所在图片采集设备所采集区域的位置关系，需要计算候选人脸与采集区域中心的位置关系；具体的，所述基于所述候选人脸的人脸中心位置以及所述图片采集设备所采集区域的中心位置，确定第一目标参数，包括：

将所述候选人脸在图片采集设备中的人脸中心位置作为第一中心位置，将所述图片采集设备所采集区域的中心位置作为第二中心位置，并对所述第一中心位置以及第二中心位置之间的位置距离进行处理，确定第一目标参数。

具体实施时，服务器可通过图片采集设备确定候选人脸的中心位置，将该候选人脸的中心位置作为第一中心位置，具体确定中心位置的方式可采用坐标计算的方式，也可采用其他计算方式，在本实施例中对具体的计算方式不做具体限定；进一步地，再将图片采集设备所采集区域的中心位置作为第二中心位置，进而再计算候选人脸的中心位置与采集区域的中心位置，即第一中心位置以及第二中心位置之间的距离，再进行归一化处理，获得第一目标参数，即位置参数，其中，具体计算距离的方式可有多样，本实施例对具体计算方式不做限定。

需要说明的是，上述处理方式，是以一个候选人脸的处理方式为例，若在采集区域中有两个或两个以上的候选人脸，要依次分别计算第一目标参数，每个候选人脸均采用上述处理方法，在此则不做过多赘述。

本说明书实施例提供的图片处理方法，通过候选人脸的中心位置与图片采集设备的采集区域的中心位置，进而计算两个中心位置之间的距离，判定候选人脸的具体位置，即第一目标参数，便于后续基于第一目标参数追踪到目标人脸。

实际应用中，人脸框面积的大小，也能够确定该用户是否具有刷脸支付的意愿，比如在图片采集设备的采集区域中，若人脸所占据的面积大，那么说明该用户所在位置与图片采集设备的位置较近，具有极大地可能想通过图片采集设备进行刷脸支付，若人脸所占据的面积小，也可说明该用户所在位置与图片采集设备的位置较远，该用户可能仅仅是路过，或者在远处逗留，并非有意愿参与刷脸支付的过程，因此，候选人脸的人脸框面积也可作为选取目标人脸的参数信息；具体的，所述基于所述候选人脸的人脸姿态计算所述候选人脸的人脸框面积，确定第二目标参数，包括：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第一目标关键点信息；

基于所述第一目标关键点信息计算所述候选人脸的人脸框面积，并对所述人脸框面积进行处理，确定第二目标参数。

具体实施时，在确定候选人脸的人脸框面积的过程中，本实施例提出的一种方式是根据人脸关键点信息计算人脸框面积，但在实际应用中，不限于该种方式，本实施例中以人脸关键点信息计算人脸框面积为例进行说明，具体的，服务器可基于每个候选人脸的人脸姿态在人脸关键点信息中选取第一目标关键点信息，比如人脸关键点信息有五个关键点，那么可选取其中三个关键点来计算候选人脸的人脸框面积，也可以选取其中四个关键点来计算候选人脸的人脸框面积，在此对关键点的数量不做过多限定；再基于第一目标关键点信息计算候选人脸的人脸框面积，对该人脸框面积进行归一化处理，获得第二目标参数，即面积参数。

本说明书实施例提供的图片处理方法，通过选取人脸的关键点信息，进而计算人脸的人脸框面积，获得第二目标参数，便于后续基于第二目标参数确定候选人脸所处位置与图片采集设备之间的距离，进而确定目标人脸。

往往在实际应用中，用户站在与图片采集设备近的位置，不一定就是具有刷脸支付的意愿，可能是在图片采集设备的面前逗留或者路过，用户站在与图片采集设备远的位置，也不一定具有刷脸支付的意愿，基于此，本实施例提出的另一个目标参数就是判断候选人脸的偏移角度，通过判断哪一个候选人脸是正向面对图片采集设备的，哪一个候选人脸是侧面路过或者逗留，并不具有刷脸支付意愿；具体的，所述基于所述候选人脸的人脸姿态计算所述候选人脸的人脸偏移角度，确定第三目标参数，包括：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第二目标关键点信息；

基于所述第二目标关键点信息计算所述候选人脸的人脸偏移角度，并对所述人脸偏移角度进行处理，确定第三目标参数。

具体实施时，服务器可基于候选人脸的人脸姿态在人脸关键点信息中选取出第二目标关键点信息，需要说明的是，该第二目标关键点信息与上述实施例中的第一目标关键点信息可能会有重复的关键点，也可能会有不重复的关键点，并不会影响人脸偏移角度的确定，选取的第二目标关键点信息只要是能够计算出人脸的人脸偏移角度即可，对此不做具体限定；通过第二目标关键点信息计算候选人脸的人脸偏移角度之后，可对人脸偏移角度进行归一化处理，确定第三目标参数，即角度参数。

本说明书实施例提供的图片处理方法，通过选取第二目标关键点信息计算人脸的偏移角度，进而获得第三目标参数，基于人脸偏移角度可以确定候选人脸是否正面面对图片采集设备，便于后续和其他目标参数结合综合判断候选人脸是否具有刷脸支付的意愿。

步骤204：获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息。

其中，三维深度信息可以理解为利用一张或者唯一/多个视角下的RGB图像，估计图像中每个像素相对拍摄源的距离的信息。

实际应用中，在服务器选取目标人脸之后，可通过图片采集装置采集到的目标人脸二维人脸信息以及人脸深度信息，比如目标人脸的二维照片、目标人脸中各个位置的深度信息；再基于目标人脸的二维照片以及目标人脸中各个位置的深度信息，最终确定出目标人脸中各个像素距离图片采集设备的距离，即目标人脸的三维深度信息。

具体确定三维深度信息的方式可以采用多种处理方法，本实施例仅以利用三维深度识别模型为例进行说明；具体的，所述基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息，包括：

将所述二维人脸信息以及所述人脸深度信息输入三维深度识别模型，获得所述目标人脸的三维深度信息。

实际应用中，服务器可将采集到的目标人脸二维人脸信息以及人脸深度信息直接输入三维深度识别模型，即可直接获得目标人脸的三维深度信息；需要强调的是，该三维深度识别模型可以为预先训练的，通过深度学习算法学习二维图片中各个像素的深度信息等，最后可回归出目标人脸的三维深度信息。

本说明书实施例提供的图片处理方法，通过将目标人脸的二维人脸信息以及人脸深度信息输入至三维深度识别模型，即可获得目标人脸的三维深度信息，可精准地对目标人脸进行识别，便于后续调整图片采集设备的具体参数。

步骤206：确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数。

其中，状态信息可以理解为图片采集设备的镜头所处的初始偏向角和/或镜头伸缩的初始距离等初始状态信息，对此不做具体限定。

具体实施时，服务器在确定出图片采集设备的初始状态信息之后，可基于目标人脸的三维深度信息以及图片采集设备的初始状态信息，确定图片采集设备具体能够追踪到目标人脸的参数。

进一步地，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数，包括：

基于所述目标人脸的三维深度信息以及所述图片采集设备的状态信息计算所述图片采集设备的偏向角和/或变焦距离；

基于所述图片采集设备的偏向角和/或变焦距离调整所述图片采集设备的参数。

具体实施时，在确定图片采集设备的状态信息为图片采集深度的偏向角和/或镜头伸缩距离的情况下，服务器可基于目标人脸的三维深度信息以及图片采集设备的状态信息计算图片采集设备的具体偏向角和/或变焦距离(镜头伸缩距离)，再根据计算后的图片采集设备的具体偏向角和/或变焦距离，调整当前图片采集设备的参数，对图片采集设备调整后即可准确地追踪到目标人脸。在实际应用中，可实现对不同身高或者所处不同位置的人脸进行追踪拍摄的目的。

需要说明的是，图片采集设备中需要调整的参数不仅限于偏向角和/或变焦距离，还可包括其他参数，比如在当前光线较差的情况下，可进行增强光线，调节光圈等参数信息，本实施例对此不做限定。

本说明书实施例提供的图片处理方法，通过目标人脸的三维深度信息以及图片采集设备的状态信息计算图片采集设备的偏向角和/或变焦距离，进而能够实现自动调节图片采集设备的参数，以解决对目标人脸的追踪问题。

步骤208：基于所述图片采集设备的参数对所述目标人脸进行跟拍。

具体实施时，服务器可控制图片采集设备，依据调整后的图片采集设备的参数信息对目标人脸进行跟拍，比如，对于身高较低的用户，在监测到该用户的目标人脸之后，可调整图片采集设备的镜头和偏向角度，对该用户的目标人脸进行跟拍，以实现对目标人脸进行实时追踪的问题。

实际应用中，服务器通过位置估计，在计算出图片采集设备的偏向角和/或镜头伸缩距离之后，自动调整相机角度、拍摄距离，进行人脸拍摄，此外，图片采集设备还支持人工调整，可根据实际项目需求设定初始化状态。

更进一步地，在刷脸支付场景中，还需要对目标人脸进行处理，以实现该用户进行人脸支付的过程；具体的，所述基于所述图片采集设备的参数对所述目标人脸进行跟拍之后，还包括：

将跟拍的目标人脸输入人脸识别模型，确定所述目标人脸的身份信息；

在确定所述目标人脸的身份信息满足资源处理条件的情况下，将所述目标人脸的资源处理信息发送至客户端。

实际应用中，服务器可将跟拍到的目标人脸输入人脸识别模型，进行人脸识别，最终确定出目标人脸的身份信息，在用户进行人脸支付之前，已经在相应的软件中进行人脸支付的注册过程，只要图片采集设备采集的目标人脸与预先存储的人脸数据库中的人脸进行比对，在有匹配一致的人脸的情况下，即说明该用户可以进行人脸识别支付，在该用户的身份信息满足资源处理条件的情况下，即该用户的身份信息已经预先注册过人脸识别功能的，就可进行人脸刷脸支付，将该目标人脸对应的资源处理信息发送至客户端，其中，资源处理信息可以包括该用户的个人账户信息、资源支付信息等。

进一步地，用户在相应的客户端中能够看到该人脸支付过程中的个人账户信息、资源支付信息等，用户可以进一步地核实上述信息。

本说明书实施例提供的图片处理方法，可将处理后的目标人脸输入人脸识别模型中去识别，确定目标人脸的身份信息，进而实现人脸刷脸支付的后续过程。

服务器还可接收到用户点击确认按钮的支付指令，进而完成后续的刷脸支付过程；具体的，所述将所述目标人脸的资源处理信息发送至客户端之后，还包括：

接收所述客户端发送的资源处理指令，并基于所述资源处理指令处理所述资源处理信息。

其中，资源处理指令可以理解为用户点击客户端中的确认支付的指令。

实际应用中，服务器在接收到用户通过客户端发送的资源处理指令之后，即可根据具体交易支付信息进行资源处理，比如从用户的个人账户中划款至商家账户中等等。

需要说明的是，在刷脸支付的场景中，资源处理信息可以理解为账户支付的过程，在人脸识别开锁的过程中，资源处理信息可以理解为对该用户个人的账户进行开锁的过程，具体过程在此不做赘述。

本说明书实施例提供的图片处理方法，服务器还可基于用户发送的确定支付处理指令，进行刷脸支付，以实现人脸刷脸支付的完整过程。

综上，本说明书实施例提供的图片处理方法，提出的一种基于姿态估计、选脸算法、人脸建模、位置估计和相机调整的人脸追踪算法，对采集区域中的目标人脸进行追踪，进而解决人脸超出摄像头拍摄范围而无法对正常刷脸支付的问题。

下述结合附图3，以本说明书提供的图片处理方法在刷脸支付的应用为例，对所述图片处理方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种图片处理方法的处理过程流程图，具体包括以下步骤。

步骤302：开启刷脸。

具体的，用户在刷脸机上点击开启刷脸，刷脸机的页面上可由广告页切换到支付页面，用户可以在刷脸机的屏幕中看到自己的人脸。

步骤304：人脸检测。

具体的，服务器可基于深度学习技术检测拍摄到的人脸、人脸关键点等信息。

步骤306：人脸追踪。

需要说明的是，人脸追踪包括姿态估计、选脸算法、人脸建模、位置估计和相机调整。其中，姿态估计是基于人脸关键点估计人脸姿态。选脸算法是基于人脸姿态、位置等信息选取可信的人脸，具体地，依次计算人脸中心位置和图片中心位置的距离并归一化得到d1，计算人脸框面积并归一化得到d2，计算人脸偏移角度并归一化得到d3，然后，对d1、d2、d3进行加权平均获得s，取s最大的人脸作为目标人脸。人脸建模是基于采集的RGB信息和深度信息进行人脸建模，通过深度学习算法回归出人脸的三维信息。位置估计是基于人脸的三维信息和相机本身的状态信息计算偏向角和镜头伸缩距离。相机调整是指基于位置估计的结果，自动调整相机角度、拍摄距离，进行人脸拍摄。

步骤308：人脸识别。

具体的，依据拍摄到的人脸进行人脸识别和身份认证。

步骤310：支付确认。

具体的，系统返回支付信息，用户点击确认按钮完成刷脸支付。

本说明书实施例提供的图片处理方法，通过可以通过智能算法实时追踪到目标人脸，自动调整刷脸机的拍摄角度，即针对各种身高或者身处不同位置的用户，均可以有效地拍摄到不同用户的人脸信息，从而完成刷脸支付。

与上述方法实施例相对应，本说明书还提供了图片处理装置实施例，图4示出了本说明书一个实施例提供的一种图片处理装置的结构示意图。如图4所示，该装置包括：

人脸选取模块402，被配置为基于候选人脸的人脸姿态以及人脸位置选取目标人脸；

深度信息确定模块404，被配置为获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；

参数调整模块406，被配置为确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；

人脸跟拍模块408，被配置为基于所述图片采集设备的参数对所述目标人脸进行跟拍。

可选地，所述人脸选取模块402，进一步被配置为：

获取候选人脸的人脸关键点信息，基于所述人脸关键点信息确定所述候选人脸的人脸姿态；

确定所述候选人脸在图片采集设备中的人脸位置，基于所述人脸姿态以及所述人脸位置选取目标人脸。

可选地，所述人脸选取模块402，进一步被配置为：

基于所述候选人脸的人脸中心位置以及所述图片采集设备所采集区域的中心位置，确定第一目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸框面积，确定第二目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸偏移角度，确定第三目标参数；

基于所述第一目标参数、所述第二目标参数以及所述第三目标参数进行处理，在所述图片采集设备所采集的区域中选取目标人脸。

可选地，所述人脸选取模块402，进一步被配置为：

将所述候选人脸在图片采集设备中的人脸中心位置作为第一中心位置，将所述图片采集设备所采集区域的中心位置作为第二中心位置，并对所述第一中心位置以及第二中心位置之间的位置距离进行处理，确定第一目标参数。

可选地，所述人脸选取模块402，进一步被配置为：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第一目标关键点信息；

基于所述第一目标关键点信息计算所述候选人脸的人脸框面积，并对所述人脸框面积进行处理，确定第二目标参数。

可选地，所述人脸选取模块402，进一步被配置为：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第二目标关键点信息；

基于所述第二目标关键点信息计算所述候选人脸的人脸偏移角度，并对所述人脸偏移角度进行处理，确定第三目标参数。

可选地，所述深度信息确定模块404，进一步被配置为：

将所述二维人脸信息以及所述人脸深度信息输入三维深度识别模型，获得所述目标人脸的三维深度信息。

可选地，所述参数调整模块406，进一步被配置为：

基于所述目标人脸的三维深度信息以及所述图片采集设备的状态信息计算所述图片采集设备的偏向角和/或变焦距离；

基于所述图片采集设备的偏向角和/或变焦距离调整所述图片采集设备的参数。

可选地，所述装置，还包括：

将跟拍的目标人脸输入人脸识别模型，确定所述目标人脸的身份信息；

在确定所述目标人脸的身份信息满足资源处理条件的情况下，将所述目标人脸的资源处理信息发送至客户端。

可选地，所述装置，还包括：

接收所述客户端发送的资源处理指令，并基于所述资源处理指令处理所述资源处理信息。

本说明书实施例提供的图片处理装置，通过图片采集设备采集候选人脸的人脸姿态以及人脸位置选取目标人脸，并通过该目标人脸的二维人脸信息以及人脸深度信息确定该目标人脸的三维深度信息，进而调整图片采集设备的参数，实现对目标人脸进行实时跟拍，不仅能够实现大范围地追踪到用户人脸，还能够及时地进行刷脸支付的后续过程，增强了用户刷脸支付的交易体验性。

上述为本实施例的一种图片处理装置的示意性方案。需要说明的是，该图片处理装置的技术方案与上述的图片处理方法的技术方案属于同一构思，图片处理装置的技术方案未详细描述的细节内容，均可以参见上述图片处理方法的技术方案的描述。

图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。

计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

其中，处理器520用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图片处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图片处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图片处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图片处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图片处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图片处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种图片处理方法，包括：

基于候选人脸的人脸姿态以及人脸位置选取目标人脸；

获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；

确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；

基于所述图片采集设备的参数对所述目标人脸进行跟拍。

2.根据权利要求1所述的图片处理方法，所述基于候选人脸的人脸姿态以及人脸位置选取目标人脸，包括：

获取候选人脸的人脸关键点信息，基于所述人脸关键点信息确定所述候选人脸的人脸姿态；

确定所述候选人脸在图片采集设备中的人脸位置，基于所述人脸姿态以及所述人脸位置选取目标人脸。

3.根据权利要求2所述的图片处理方法，所述基于所述人脸姿态以及所述人脸位置选取目标人脸，包括：

基于所述候选人脸的人脸中心位置以及所述图片采集设备所采集区域的中心位置，确定第一目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸框面积，确定第二目标参数；

基于所述候选人脸的人脸姿态计算所述候选人脸的人脸偏移角度，确定第三目标参数；

基于所述第一目标参数、所述第二目标参数以及所述第三目标参数进行处理，在所述图片采集设备所采集的区域中选取目标人脸。

4.根据权利要求3所述的图片处理方法，所述基于所述候选人脸的人脸中心位置以及所述图片采集设备所采集区域的中心位置，确定第一目标参数，包括：

将所述候选人脸在图片采集设备中的人脸中心位置作为第一中心位置，将所述图片采集设备所采集区域的中心位置作为第二中心位置，并对所述第一中心位置以及第二中心位置之间的位置距离进行处理，确定第一目标参数。

5.根据权利要求3所述的图片处理方法，所述基于所述候选人脸的人脸姿态计算所述候选人脸的人脸框面积，确定第二目标参数，包括：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第一目标关键点信息；

基于所述第一目标关键点信息计算所述候选人脸的人脸框面积，并对所述人脸框面积进行处理，确定第二目标参数。

6.根据权利要求3所述的图片处理方法，所述基于所述候选人脸的人脸姿态计算所述候选人脸的人脸偏移角度，确定第三目标参数，包括：

基于所述候选人脸的人脸姿态在所述人脸关键点信息中选取第二目标关键点信息；

基于所述第二目标关键点信息计算所述候选人脸的人脸偏移角度，并对所述人脸偏移角度进行处理，确定第三目标参数。

7.根据权利要求1所述的图片处理方法，所述基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息，包括：

将所述二维人脸信息以及所述人脸深度信息输入三维深度识别模型，获得所述目标人脸的三维深度信息。

8.根据权利要求7所述的图片处理方法，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数，包括：

基于所述目标人脸的三维深度信息以及所述图片采集设备的状态信息计算所述图片采集设备的偏向角和/或变焦距离；

基于所述图片采集设备的偏向角和/或变焦距离调整所述图片采集设备的参数。

9.根据权利要求1所述的图片处理方法，所述基于所述图片采集设备的参数对所述目标人脸进行跟拍之后，还包括：

将跟拍的目标人脸输入人脸识别模型，确定所述目标人脸的身份信息；

在确定所述目标人脸的身份信息满足资源处理条件的情况下，将所述目标人脸的资源处理信息发送至客户端。

10.根据权利要求9所述的图片处理方法，所述将所述目标人脸的资源处理信息发送至客户端之后，还包括：

接收所述客户端发送的资源处理指令，并基于所述资源处理指令处理所述资源处理信息。

11.一种图片处理装置，包括：

人脸选取模块，被配置为基于候选人脸的人脸姿态以及人脸位置选取目标人脸；

深度信息确定模块，被配置为获取所述目标人脸的二维人脸信息以及人脸深度信息，并基于所述二维人脸信息以及所述人脸深度信息确定所述目标人脸的三维深度信息；

参数调整模块，被配置为确定所述图片采集设备的状态信息，基于所述目标人脸的三维深度信息以及所述状态信息调整所述图片采集设备的参数；

人脸跟拍模块，被配置为基于所述图片采集设备的参数对所述目标人脸进行跟拍。

12.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-10任意一项所述图片处理方法的步骤。

13.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-10任意一项所述图片处理方法的步骤。

Images