CN114550253B - 用于在排队的场景下对人脸图像进行预处理的方法及装置 - Google Patents

Abstract

本说明书实施例提供了用于在排队的场景下对人脸图像进行预处理的方法及装置。在该方法中，根据摄像头采集的人脸图像检测在摄像头的视野范围内是否有用户排队；在检测到有用户排队时，按照排队队列中的各个用户的排列顺序对各个用户的人脸图像进行排序，以得到人脸图像序列；按照人脸图像序列的顺序对人脸图像序列中的各个人脸图像进行人脸识别，以确认各个人脸图像对应的用户身份；将经过身份确认的各个人脸图像按照人脸图像序列的顺序进行展示；以及在所展示的人脸图像被触发时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

Description

用于在排队的场景下对人脸图像进行预处理的方法及装置

技术领域

本说明书实施例涉及计算机技术领域，具体地，涉及用于在排队的场景下对人脸图像进行预处理的方法及装置。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，由于人脸的独特性以及唯一性，为身份鉴别提供了必要的前提，基于此，人脸识别被广泛应用于多个领域，比如，门禁、金融支付等。

在金融支付领域中，比如，商场、超市等场所配备的收银机，为了提升支付的便利性，除了常见的扫码支付方式以外，还配置了刷脸支付。通过刷脸支付的方式，无需专门从手机等终端设备上调取付款码，而仅需将人脸对准收银机的摄像头以供摄像头采集人脸图像，相比于扫码支付更加便捷。一般来说，刷脸支付主要包括以下几个过程：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取、人脸图像匹配与识别以及在成功匹配的情况下进行支付。

发明内容

鉴于上述，本说明书实施例提供了用于在排队的场景下对人脸图像进行预处理的方法及装置。通过本说明书实施例提供的技术方案，在检测到有用户排队时，在用户排队过程中对排队队列中的各个用户进行人脸识别等预处理，使得在各个用户被排到之前便能得到各个用户的人脸识别预处理结果，从而便于各个用户被排到时能够直接根据预处理结果执行针对该用户的相应操作，提高操作的执行效率以及排队效率。

根据本说明书实施例的一个方面，提供了一种用于在排队的场景下对人脸图像进行预处理的方法，由包括摄像头的IoT设备来执行，所述方法包括：根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队；在检测到有用户排队时，按照排队队列中的各个用户的排列顺序对所述各个用户的人脸图像进行排序，以得到人脸图像序列；按照所述人脸图像序列的顺序对所述人脸图像序列中的各个人脸图像进行人脸识别，以确认所述各个人脸图像对应的用户身份；将经过身份确认的所述各个人脸图像按照所述人脸图像序列的顺序进行展示；以及在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

根据本说明书实施例的另一方面，还提供一种用于在排队的场景下对人脸图像进行预处理的装置，由包括摄像头的IoT设备来执行，所述装置包括：排队检测单元，根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队；人脸图像排序单元，按照排队队列中的各个用户的排列顺序对所述各个用户的人脸图像进行排序，以得到人脸图像序列；身份确认单元，按照所述人脸图像序列的顺序对所述人脸图像序列中的各个人脸图像进行人脸识别，以确认所述各个人脸图像对应的用户身份；人脸图像展示单元，将经过身份确认的所述各个人脸图像按照所述人脸图像序列的顺序进行展示；以及操作执行单元，在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

根据本说明书实施例的另一方面，还提供一种IoT设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的用于在排队的场景下对人脸图像进行预处理的方法。

根据本说明书实施例的另一方面，还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于在排队的场景下对人脸图像进行预处理的方法。

根据本说明书实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上任一所述的用于在排队的场景下对人脸图像进行预处理的方法。

附图说明

通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本说明书实施例提供的用于在排队的场景下对人脸图像进行预处理的方法的一个示例的流程图。

图2示出了根据本说明书实施例提供的检测是否有用户排队的一个示例的流程图。

图3示出了Pitch角度、Yaw角度和Roll角度的一个示例的示意图。

图4示出了根据本说明书实施例提供的检测是否有用户排队的另一个示例的流程图。

图5示出了根据本说明书实施例提供的用于在排队的场景下对人脸图像进行预处理的装置的一个示例的方框图。

图6示出了本说明书实施例的用于实现人脸图像预处理方法的IoT设备的方框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，由于人脸的独特性以及唯一性，为身份鉴别提供了必要的前提，基于此，人脸识别被广泛应用于多个领域，比如，门禁、金融支付等。

在金融支付领域中，比如，商场、超市等场所配备的收银机，为了提升支付的便利性，除了常见的扫码支付方式以外，还配置了刷脸支付。通过刷脸支付的方式，无需专门从手机等终端设备上调取付款码，而仅需将人脸对准收银机的摄像头以供摄像头采集人脸图像，相比于扫码支付更加便捷。一般来说，刷脸支付主要包括以下几个过程：人脸图像采集及检测、特征提取、人脸图像匹配与识别以及在成功匹配的情况下进行支付。

然而，在目前的刷脸支付过程中，需要用户到达收银机的摄像头前面，并按照人脸采集的要求用户调整与摄像头的相对位置以及面向摄像头的角度，在达到摄像头的采集要求后，摄像头采集用户的人脸图像，并将所采集的人脸图像依次进行特征提取以及人脸图像匹配与识别等各种处理，在经过这一系列操作过程后，才能进行支付操作。在支付操作之前的一系列操作过程中，需要耗费大量的时间，这些时间被消耗在排队时间中，从而导致了在结算时结算以及支付效率低，进而导致排队效率低。

鉴于上述，本说明书实施例提供了用于在排队的场景下对人脸图像进行预处理的方法及装置。在该方法中，根据摄像头采集的人脸图像检测在摄像头的视野范围内是否有用户排队；在检测到有用户排队时，按照排队队列中的各个用户的排列顺序对各个用户的人脸图像进行排序，以得到人脸图像序列；按照人脸图像序列的顺序对人脸图像序列中的各个人脸图像进行人脸识别，以确认各个人脸图像对应的用户身份；将经过身份确认的各个人脸图像按照人脸图像序列的顺序进行脱敏展示；以及在所展示的人脸图像被触发时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。通过本说明书实施例提供的技术方案，在检测到有用户排队时，在用户排队过程中对排队队列中的各个用户进行人脸识别等预处理，使得在各个用户被排到之前便能得到各个用户的人脸识别预处理结果，从而便于各个用户被排到时能够直接根据预处理结果执行针对该用户的相应操作，提高操作的执行效率以及排队效率。

下面结合附图对本说明书实施例提供的用于在排队的场景下对人脸图像进行预处理的方法及装置进行说明。

图1示出了根据本说明书实施例提供的用于在排队的场景下对人脸图像进行预处理的方法的一个示例100的流程图。

本说明书实施例提供的基于排队的方法可以由IoT(Internet of Things，物联网)设备来执行，IoT设备包括有摄像头。在一个示例中，摄像头可以是IoT设备中配置的一个装置，通过配置的摄像头，使得IoT设备具备摄像功能。在另一个示例中，摄像头与IoT设备是独立的两个设备，摄像头与IoT设备可以通信连接，连接的方式可以包括无线连接和有线连接。在有线连接的一种方式中，IoT设备可以具有外接接口，摄像头通过连接于外接接口的方式与IoT设备连接。在该示例中，在摄像头与IoT设备通信连接后，IoT设备可以对摄像头进行控制，摄像头可以将采集的图像发送给IoT设备。

IoT设备可以具有针对用户的相应功能，IoT设备的功能可以使得IoT设备与用户进行交互，还可以用于服务用户。不同的IoT设备所具有的功能不同，具有不同功能的IoT设备所执行的操作也不同。在一个示例中，IoT设备可以包括收银机或者闸机等设备，收银机可以运行有支付系统，具有实时结算、支付等功能。闸机可以根据用户的身份实现开闸和关闸操作，开闸可以用于在用户身份验证通过时允许用户通过，关闸可以用于在用户身份验证失败时或者未验证身份时不允许用户通过。

如图1所示，在1100，根据摄像头采集的人脸图像检测在摄像头的视野范围内是否有用户排队。

在检测到有用户排队时，可以执行本说明书实施例的技术方案；在没有检测到用户排队时，则可以不执行本说明书实施例的技术方案，可以继续监测在摄像头的视野范围内是否有用户排队。

在本说明书实施例中，摄像头采集人脸图像的方式可以是实时采集，还可以是间隔指定时间来采集，比如，每间隔3秒采集一次。摄像头可以固定设置，从而摄像头的视野范围可以是固定的，摄像头的视野范围可以包括当用户排队时的排队队列场景范围，即，当用户排队时的排队队列可以呈现在摄像头的视野范围内。

图2示出了根据本说明书实施例提供的检测是否有用户排队的一个示例200的流程图。

如图2所示，在1111，可以通过摄像头采集视野范围内的人脸图像。

在一个示例中，摄像头可以采集视野范围内所呈现的整个场景的完整图像，针对采集的每一张图像，可以检测该图像中是否包括有人脸图像。检测的方式可以包括人脸识别等。

当图像中包括有至少两个人脸图像时，可以针对该至少两个人脸图像继续执行后续操作。当图像没有人脸图像或者仅包括一个人脸图像时，表示该图像所呈现的场景中不可能存在有用户排队，此时可以检测下一张图像是否包括有人脸图像。

在1113，可以在所采集的人脸图像中筛选出与IoT设备的距离小于距离阈值的人脸图像。

在该示例中，针对每个人脸图像，可以确定该人脸图像所表征的人脸在真实空间中与IoT设备的距离。

在确定距离的一种方式中，可以采用深度摄像机，通过深度摄像机采集人脸图像，从而可以得到所采集的每个人脸图像的深度距离，该深度距离可以用于表示人脸图像所表征的人脸与IoT设备的距离。

在一种具体实施方式中，可以将IoT设备的摄像头配置为深度摄像机。在另一种具体实施方式中，除了为IoT设备配置摄像头以外，还可以为该IoT设备配置深度摄像机，摄像头和深度摄像机可以同时采集图像，即，摄像头和深度摄像机可以采集针对同一场景的图像，当需要确定出摄像头采集的人脸图像时，可以确定出深度摄像机采集的针对同一人脸的人脸图像的深度距离，并将该深度距离确定为摄像头所采集的人脸图像所表征的人脸与IoT设备的距离。

在确定距离的另一种方式中，可以配置另一个摄像头与IoT设备的摄像头构成双目摄像头，作为双目摄像头的两个摄像头分别采集人脸图像，以通过双目摄像头的方式计算所采集的人脸图像的深度距离(即，人脸图像所表征的人脸与IoT设备的距离)。

在确定距离的另一种方式中，可以预先确定人脸图像的面积与深度距离之间的对应关系，具体地，深度距离越小，表示所表征的人脸距离IoT设备越近，从而所采集的人脸图像的面积越大；深度距离越大，表示所表征的人脸距离IoT设备越远，从而所采集的人脸图像的面积越小。人脸图像的面积与深度距离之间的对应关系可以用公式来表示，该公式中可以以人脸图像的面积为自变量，以深度距离为因变量。在该方式中，在摄像头采集到人脸图像后，可以计算人脸图像的面积，然后根据人脸图像的面积与深度距离之间的对应关系，确定出对应的深度距离。

在得到人脸图像所表征的人脸与IoT设备的距离后，可以将所确定的距离与指定的距离阈值进行比较。对于小于距离阈值的人脸图像，可以将其筛选出作为待继续执行后续排队判断操作的人脸图像，这些人脸图像对应的用户可能是排队队列中的用户。而对于不小于距离阈值的人脸图像，可以将其确定为非排队状态下的用户的人脸图像，从而可以认为不小于距离阈值的人脸图像对应的用户不是在排队。

在1115，判断所筛选出的各个人脸图像是否满足指定的人脸姿态条件。

在该示例中，人脸姿态条件可以用于表示用户在排队状态下的人脸姿态，即，在人脸图像满足该人脸姿态条件时，可以确定该人脸图像所表征的用户在排队状态下。

在一个示例中，人脸的转向角度可以包括Pitch角度、Yaw角度和Roll角度，从而通过Pitch角度、Yaw角度以及Roll角度可以用来表示人脸姿态。图3示出了Pitch角度、Yaw角度和Roll角度的一个示例的示意图，如图3所示，Pitch角度、Yaw角度和Roll角度分别是以不同轴心为基准的转向角度。

在该示例中，人脸姿态条件可以包括：Yaw角度可以小于第一角度阈值，以及Roll角度可以小于第二角度阈值。第一角度阈值和第二角度阈值可以相同，也可以不相同。在一个示例中，第一角度阈值和第二角度阈值均可以设置得较小，这样在满足人脸姿态条件的各个人脸姿态中，人脸在Yaw角度方向上以及Roll角度方向上摆动幅度较小。在另一个示例中，人脸姿态条件除了包括Yaw角度可以小于第一角度阈值，以及Roll角度可以小于第二角度阈值以外，还可以包括Pitch角度小于第三角度阈值，第三角度阈值可以大于第一角度阈值和第二角度阈值，这样，在满足人脸姿态条件的各个人脸姿态中，人脸在Pitch角度方向上的摆动幅度相比于在Yaw和Roll角度方向上可以比较大。例如，用户在排队过程中可以低头玩手机，在用户低头玩手机的过程中人脸在Pitch角度方向上的摆动幅度会较大。

在该示例中，针对各个人脸图像，可以使用相同的人脸姿态条件来进行判断。在针对所筛选出的各个人脸图像执行上述1115的操作后，可以得到所筛选出的人脸图像中的每个人脸图像是否满足人脸姿态条件的判断结果。判断结果可以包括满足人脸姿态条件和不满足人脸姿态条件。

然后，在1117，根据各个人脸图像对应的判断结果统计满足人脸姿态条件的人脸图像是否包括有至少两个。如果是，则执行1119的操作。如果否，则表示当前在摄像头的视野范围内未检测到有用户排队。在未检测到有用户排队时，可以持续地进行排队检测。

在1119，确定检测到视野范围内有用户排队。

图4示出了根据本说明书实施例提供的检测是否有用户排队的另一个示例400的流程图。

如图4所示，在1121，通过摄像头采集视野范围内的人脸图像。

在一个示例中，1121的操作可以参考上述图2的示例中的1111的操作。在另一个示例中，所采集的人脸图像可以是包括一个或多个人脸的图像，该图像可以是摄像头的视野范围内的场景图像，场景图像中包括的人脸是处于摄像头的视野范围内的用户的人脸。

在1123，使用人群统计(crowd counting)模型检测所采集的人脸图像中处于排队状态的人脸图像以及数量。

在该示例中，人群统计模型可以是机器学习模型，还可以是深度学习模型。人群统计模型可以是经过训练得到的，在针对人群统计模型的模型训练中，样本数据的标签可以包括排队的用户数量，还可以包括排队的用户标识，该用户标识用于指示出处于排队状态的用户。样本数据可以包括各种包括有人脸图像的图像，在作为样本数据的图像中，可以包括多张有排队的图像和没有排队的图像，有排队的图像可以作为正样本，没有排队的图像可以作为负样本。

在作为正样本的包括有排队的图像中，具有标记有排队的用户数量的标签，以及标记排队队列中的各个用户对应的用户标识的标签。使用包括正样本和负样本的样本数据对人群统计模型进行训练，在一个示例中，人群统计模型可以对正样本中排队用户的用户状态进行特征提取，所提取的用户状态可以包括排队用户的人脸姿态、用户形态等。

在每轮训练中，人群统计模型输出的信息可以包括针对输入样本数据的排队检测结果，排队检测结果包括有排队和没有排队。在有排队的情况下，输出的信息还可以包括排队队列中的用户数量、排队队列中的各个用户的人脸图像等。

在1125，统计处于排队状态的人脸图像是否包括有至少两个。如果是，表示该至少两个人脸图像对应的用户构成一个排队队列，则执行1127的操作。如果否，则表示当前在摄像头的视野范围内未检测到有用户排队。

在1127，确定检测到视野范围内有用户排队。

在本说明书实施例的另一个示例中，在摄像头采集包括人脸的图像后，可以确定出各个人脸在图像中的位置，利用SLAM算法根据人脸图像计算各个人脸对应的用户在真实空间中的位置。利用线性拟合的思路确定真实空间的各个用户的位置是否能够拟合成一条直线，在确定能够通过多个用户拟合成一条直线时，可以确定用于拟合成直线的各个用户在排队，从而确定在视野范围内有用户排队。

在本说明书实施例中，可以利用至少一种排队检测方式来进行排队检测。在一个示例中，在通过多种排队检测方式进行排队检测时，可以使用该多种排队检测方式来同时检测在摄像头的视野范围内是否有用户排队，各种排队检测方式之间相互独立地执行排队检测操作，并生成独立的检测结果。

在每种排队检测方式都得到检测结果后，在多种排队检测方式中的至少一种排队检测方式检测到有用户排队时，可以确定检测到视野范围内有用户排队。例如，同时使用上述图2和图4所示的排队检测方式进行排队检测，在图2和图4所示的排队检测方式中的至少一种排队检测方式检测出有用户排队时，可以确定在视野范围内有用户排队。

回到图1，在检测到有用户排队时，在1200，可以按照排队队列中的各个用户的排列顺序对各个用户的人脸图像进行排序，以得到人脸图像序列。

每个人脸图像可以表征对应的用户，人脸图像序列所呈现的排队队列的顺序与所拍摄到的排队队列的顺序相同。

接着，在1300，可以按照人脸图像序列的顺序对人脸图像序列中的各个人脸图像进行人脸识别，以确认各个人脸图像对应的用户身份。

人脸图像序列中排序在前的人脸图像可以优先进行人脸识别，排序在后的人脸图像则相对较晚进行人脸识别。在一个示例中，可以设置人脸识别的任务队列，任务队列可以采用先进先出的原则。针对每个待识别的人脸图像，可以生成一个对应的任务，并将所生成的各个任务按照排队队列的顺序依次添加至任务队列中。当执行人脸识别操作的主线程可以执行任务时，从任务队列获取排在第一个的任务，并针对该任务执行人脸识别操作。

用户身份可以以身份信息的方式来确认，身份信息可以包括姓名、照片、手机号、身份证号、工号、公司名称、职位等。用户的身份信息可以是预先通过用户注册、经过用户允许的信息采集等方式获取的。

在一个示例中，可以对人脸图像序列中的各个人脸进行实时跟踪，实时跟踪的方式可以包括MOT(多目标跟踪)算法等。在实时跟踪过程中，当所跟踪的人脸丢失时，可以对人脸图像序列进行更新。

更新的方式可以是将丢失的人脸对应的人脸图像从人脸图像序列中删除。在一个场景中，排队队列中的用户从队列中离开，导致该用户的人脸作为跟踪目标丢失，此时可以将该跟踪丢失的人脸从人脸图像序列中删除，使得人脸图像序列与真实的排队队列保持一致。

更新的方式还可以是重新得到新的人脸图像序列。在一个场景中，当排队的用户让其他未排队的用户顶替该排队用户在排队队列中的位置时，该排队用户由于从排队队列中离开而导致该用户的人脸作为跟踪目标丢失，此时不仅需要将该跟踪丢失的人脸从人脸图像序列中删除，还需要将顶替该用户位置的其他用户的人脸图像增加至人脸图像序列中，从而可以重新得到新的人脸图像序列。

在1400，将经过身份确认的各个人脸图像按照人脸图像序列的顺序进行展示。

在本说明书实施例中，展示的信息可以包括人脸图像、身份信息等，身份信息可以包括姓名、公司名称、工号等。在一个示例中，展示的方式可以是脱敏展示，可以对所展示的每一种信息都进行脱敏处理，以显示脱敏后的信息。不同类型的信息所采用的脱敏方式可以不同。人脸图像的脱敏方式可以包括卡通化处理，即，可以利用卡通化技术，将人脸图像转换成对应的卡通图像。身份信息的脱敏方式可以包括隐藏部分字段，被隐藏的字段可以用指定符号替换。例如，针对姓名，可以仅显示名字的第一个字，其他字可以用星号代替。

在一种展示方式中，可以将完整的人脸图像序列显示出来。在一个示例中，可以将显示的人脸图像序列中的第一个人脸图像进行扩大处理，以使得第一个人脸图像的显示面积大于人脸图像序列中其他人脸图像的显示面积，便于排队队列中的第一个用户快速地找到自己的人脸图像，提高用户与所展示的人脸图像的交互操作效率，从而提高排队效率。

在另一种展示方式中，可以仅展示人脸图像序列中的第一个人脸图像。当所展示的人脸图像所表征的用户对应的操作执行完成后，下一个人脸图像成为人脸图像序列中的第一个人脸进行展示，相应地，该下一个人脸图像所表征的用户在排队队列中成为排在第一的用户。

在1500，在所展示的人脸图像被触发时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

在本说明书实施例中，所展示的人脸图像可以被触发，触发的方式可以点击、滑动、触控等方式。例如，IoT设备具有可触控的显示屏，当人脸图像展示在显示屏上时，用户可以通过触控的方式来触发对应的人脸图像。

在一个示例中，所展示的各个人脸图像被配置为需要按照人脸图像序列的顺序依次被触发。当完整的人脸图像序列被展示时，排队队列中排在第一位的用户只能触发人脸图像序列中排在第一位的人脸图像。当仅展示人脸图像序列中排在第一位的人脸图像时，该人脸图像只能被排队队列中排在第一位的用户触发。

在该示例中，当排队队列中排在第一位的用户不是触发人脸图像序列中排在第一位的人脸图像，而是触发其他人脸图像时，可以确定该触发操作是违规操作。在检测到违规操作时，可以触发警报或者显示违规提示，以使用户触发正确的人脸图像。

在本说明书实施例中，不同设备类型的IoT设备所具备的功能可以不同，例如，收银机所具备的功能是为用户提供支付功能，闸机所具备的功能是允许验证通过的用户通行。

在一个示例中，IoT设备是收银机，收银机运行有支付系统，收银机的支付系统中可以存储有各个用户的支付账户，每个支付账户对应一个用户，从而每个支付账户可以绑定一个用户的用户身份信息，比如，可以绑定手机号。在一个示例中，用户身份与支付账户可以是一一对应的关系。

在该示例中，在确认人脸图像序列中各个人脸图像的用户身份后，可以根据所确认的各个用户身份，从支付系统中确定出各个用户身份绑定的支付账户。在一个示例中，支付账户可以以脱敏的方式跟随对应的人脸图像进行展示，例如，在人脸图像的下方展示该人脸图像对应的支付账户。在所展示的人脸图像被触发时，基于对所触发的人脸图像所表征的用户的支付账户执行支付操作。

在另一个示例中，IoT设备是闸机，闸机中可以存储允许通行的用户的身份信息。当通过人脸识别方式确认用户身份时，可以基于闸机所存储的允许通行的用户的身份信息来进行身份确认。基于此，所确认的用户身份是运行通行的用户身份。在所展示的人脸图像被触发时，则可以执行开启操作，运行排队队列中排在第一位的用户通行。

在一个示例中，在所展示的人脸图像被触发时，可以对所触发的人脸图像进行校验，以确定所触发的人脸图像与执行触发操作的用户是否匹配。

校验的方式可以包括人脸识别校验、信息关键字校验等中的至少一种校验方式。针对人脸识别校验，可以采集触发当前人脸图像的用户的人脸图像，作为待匹配人脸图像，然后，将所采集的待匹配人脸图像与被触发的人脸图像进行特征比对，在两个人脸图像匹配时，校验通过。

针对信息关键字校验，所校验的信息类型可以是任一种身份信息类型，比如，姓名、手机号等。以姓名为例，用户可以拼写出完整的姓名或者拼写出被隐藏字段中的其中至少一个字段，便可以确定校验通过。在一个示例中，为了保护用户的隐私以及校验的便捷性，仅需拼写出被隐藏字段中的至少一个字段中的首字母，便可以确定校验通过。例如，姓名是“李佳”，该姓名在脱敏展示时“佳”被隐藏，从而显示为“李*”，针对该姓名进行校验时，仅需用户拼写出“J”，便可以确定校验通过。

在校验通过时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。在校验不通过时，IoT设备不会执行该操作。

图5示出了根据本说明书实施例提供的用于在排队的场景下对人脸图像进行预处理的装置(以下称为人脸图像预处理装置500)的一个示例的方框图。

如图5所示，人脸图像预处理装置500包括：排队检测单元510、人脸图像排序单元520、身份确认单元530、人脸图像展示单元540和操作执行单元550。

排队检测单元510，被配置为根据摄像头采集的人脸图像检测在摄像头的视野范围内是否有用户排队。在检测到有用户排队时，排队检测单元510可以触发人脸图像排序单元520执行操作。

人脸图像排序单元520，被配置为按照排队队列中的各个用户的排列顺序对各个用户的人脸图像进行排序，以得到人脸图像序列。

身份确认单元530，被配置为按照人脸图像序列的顺序对人脸图像序列中的各个人脸图像进行人脸识别，以确认各个人脸图像对应的用户身份。

人脸图像展示单元540，被配置为将经过身份确认的各个人脸图像按照人脸图像序列的顺序进行展示。

操作执行单元550，被配置为在所展示的人脸图像被触发时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

在一个示例中，人脸图像排序单元520，还可以被配置为：通过摄像头采集视野范围内的人脸图像；在所采集的人脸图像中筛选出与IoT设备的距离小于距离阈值的人脸图像；判断所筛选出的各个人脸图像是否满足指定的人脸姿态条件，人脸姿态条件用于表示用户在排队状态下的人脸姿态；以及在有至少两个人脸图像满足人脸姿态条件时，确定检测到视野范围内有用户排队。

在另一个示例中，人脸图像排序单元520，还可以被配置为：通过摄像头采集视野范围内的人脸图像；使用人群统计模型检测所采集的人脸图像中处于排队状态的人脸图像以及数量；以及在处于排队状态的人脸图像的数量有至少两个时，确定检测到视野范围内有用户排队。

在一个示例中，人脸图像排序单元520，还可以被配置为：通过多种排队检测方式来检测在摄像头的视野范围内是否有用户排队；以及在多种排队检测方式中的至少一种排队检测方式检测到有用户排队时，确定检测到视野范围内有用户排队。

在一个示例中，人脸图像预处理装置500还可以包括：人脸跟踪单元和序列更新单元，人脸跟踪单元可以被配置为：对人脸图像序列中对应的各个人脸进行实时跟踪。序列更新单元可以被配置为：在所跟踪的人脸丢失时，对人脸图像序列进行更新。

在一个示例中，操作执行单元550可以被配置为：在所展示的人脸图像被触发时，对所触发的人脸图像进行校验，以确定所触发的人脸图像与执行触发操作的用户是否匹配；以及在校验通过时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

在一个示例中，IoT设备是收银机，人脸图像预处理装置500还可以包括支付账户绑定单元，支付账户绑定单元可以被配置为：根据所确认的各个用户身份，从支付系统中确定各个用户身份绑定的支付账户。操作执行单元550可以被配置为：在所展示的人脸图像被触发时，基于对所触发的人脸图像所表征的用户的支付账户执行支付操作。

以上参照图1到图5，对根据本说明书实施例的用于在排队的场景下对人脸图像进行预处理的方法及装置的实施例进行了描述。

本说明书实施例的用于在排队的场景下对人脸图像进行预处理的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，用于在排队的场景下对人脸图像进行预处理的装置例如可以利用电子设备实现。

图6示出了本说明书实施例的用于实现人脸图像预处理方法的IoT设备600的方框图。

如图6所示，IoT设备600可以包括至少一个处理器610、存储器(例如，非易失性存储器)620、内存630和通信接口640，并且至少一个处理器610、存储器620、内存630和通信接口640经由总线650连接在一起。至少一个处理器610执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器610：根据摄像头采集的人脸图像检测在摄像头的视野范围内是否有用户排队；在检测到有用户排队时，按照排队队列中的各个用户的排列顺序对各个用户的人脸图像进行排序，以得到人脸图像序列；按照人脸图像序列的顺序对人脸图像序列中的各个人脸图像进行人脸识别，以确认各个人脸图像对应的用户身份；将经过身份确认的各个人脸图像按照人脸图像序列的顺序进行展示；以及在所展示的人脸图像被触发时，执行IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器610进行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(SaaS)。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (14)

1.一种用于在排队的场景下对人脸图像进行预处理的方法，由包括摄像头的IoT设备来执行，所述方法包括：

根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队；

在检测到有用户排队时，按照排队队列中的各个用户的排列顺序对所述各个用户的人脸图像进行排序，以得到人脸图像序列；

按照所述人脸图像序列的顺序对所述人脸图像序列中的各个人脸图像进行人脸识别，以确认所述各个人脸图像对应的用户身份；

将经过身份确认的所述各个人脸图像按照所述人脸图像序列的顺序进行展示；以及

在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

2.如权利要求1所述的方法，其中，根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队包括：

通过所述摄像头采集视野范围内的人脸图像；

在所采集的人脸图像中筛选出与所述IoT设备的距离小于距离阈值的人脸图像；

判断所筛选出的各个人脸图像是否满足指定的人脸姿态条件，所述人脸姿态条件用于表示用户在排队状态下的人脸姿态；以及

在有至少两个人脸图像满足所述人脸姿态条件时，确定检测到所述视野范围内有用户排队。

3.如权利要求2所述的方法，其中，人脸的转向角度包括Pitch角度、Yaw角度和Roll角度，所述人脸姿态条件包括：Yaw角度小于第一角度阈值，以及Roll角度小于第二角度阈值。

4.如权利要求1所述的方法，其中，根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队包括：

通过所述摄像头采集视野范围内的人脸图像；

使用人群统计模型检测所采集的人脸图像中处于排队状态的人脸图像以及数量；以及

在处于排队状态的人脸图像的数量有至少两个时，确定检测到所述视野范围内有用户排队。

5.如权利要求1所述的方法，其中，根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队包括：

通过多种排队检测方式来检测在所述摄像头的视野范围内是否有用户排队；以及

在所述多种排队检测方式中的至少一种排队检测方式检测到有用户排队时，确定检测到所述视野范围内有用户排队。

6.如权利要求1所述的方法，还包括：

对所述人脸图像序列中对应的各个人脸进行实时跟踪；以及

在所跟踪的人脸丢失时，对所述人脸图像序列进行更新。

7.如权利要求1所述的方法，其中，所展示的各个人脸图像被配置为需要按照所述人脸图像序列的顺序依次被触发。

8.如权利要求1所述的方法，其中，在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作包括：

在所展示的人脸图像被触发时，对所触发的人脸图像进行校验，以确定所触发的人脸图像与执行触发操作的用户是否匹配；以及

在校验通过时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

9.如权利要求1所述的方法，其中，所述IoT设备包括：运行支付系统的收银机或者闸机。

10.如权利要求9所述的方法，其中，所述IoT设备是所述收银机，所述方法还包括：

根据所确认的各个用户身份，从所述支付系统中确定所述各个用户身份绑定的支付账户；以及

在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作包括：

在所展示的人脸图像被触发时，基于对所触发的人脸图像所表征的用户的支付账户执行支付操作。

11.一种用于在排队的场景下对人脸图像进行预处理的装置，由包括摄像头的IoT设备来执行，所述装置包括：

排队检测单元，根据所述摄像头采集的人脸图像检测在所述摄像头的视野范围内是否有用户排队；

人脸图像排序单元，按照排队队列中的各个用户的排列顺序对所述各个用户的人脸图像进行排序，以得到人脸图像序列；

身份确认单元，按照所述人脸图像序列的顺序对所述人脸图像序列中的各个人脸图像进行人脸识别，以确认所述各个人脸图像对应的用户身份；

人脸图像展示单元，将经过身份确认的所述各个人脸图像按照所述人脸图像序列的顺序进行展示；以及

操作执行单元，在所展示的人脸图像被触发时，执行所述IoT设备所具备的功能对应的针对所触发的人脸图像所表征的用户的操作。

12.一种IoT设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1-10中任一所述的方法。

13.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一所述的方法。

14.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一所述的方法。