CN114066564A - 服务推荐时间确定方法、装置、计算机设备、存储介质 - Google Patents

Abstract

本公开涉及一种服务推荐时间确定方法、装置、计算机设备、存储介质。方法包括：对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；对目标对象进行位置轨迹分析，确定目标对象的所处区域；在目标对象中服务目标对象使用服务办理设备的情况下，获取服务目标对象的标识数据，通过标识数据获取服务目标对象的基础信息数据，并根据服务目标对象的服务办理类别预测办理等待时长；根据基础信息数据匹配服务目标对象的表情类型和所处区域，并根据服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。采用本方法能够解决通过人工判断进行推荐服务时间困难的问题。

Description

服务推荐时间确定方法、装置、计算机设备、存储介质

技术领域

本公开涉及大数据技术领域，特别是涉及一种服务推荐时间确定方法、装置、计算机设备、存储介质。

背景技术

随着金融领域的发展，实体银行的功能正在转变为综合营销型、服务体验型网点，进而出现了精准服务技术方案。

目前的精准服务技术方案主要是根据客户在金融机构内留存的资料，如资产信息、交易数据等、通过该资料对客户的偏好进行分析；以及根据客户在金融机构的服务网点的行为进行分析，根据上述得到的分析结果跟金融机构的金融产品进行关联匹配，将合适的产品推荐给不同的客户。

目前的精准服务技术方案主要是基于1：N人脸识别等视频分析技术来进行精准营销，但是主要解决的是将合适的产品/服务推荐给合适的客户，而且由于1：N人脸识别进行处理时，时延较高，且资源消耗过大，需要消耗的时间过长。所以目前对于何时进行推荐服务，主要还是依赖网点工作人员通过人工的方式判断，但在网点中客户较多时，人工判断存在困难，且会增加人工的工作量。

发明内容

基于此，有必要针对上述技术问题，提供一种能够自动判断何时进行推荐服务的服务推荐时间确定方法、装置、计算机设备、存储介质。

第一方面，本公开提供了一种服务推荐时间确定方法，方法包括：

对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；

对目标对象进行位置轨迹分析，确定目标对象的所处区域；

在目标对象中服务目标对象使用服务办理设备的情况下，获取服务目标对象的标识数据，通过标识数据获取服务目标对象的基础信息数据，并根据服务目标对象的服务办理类别预测办理等待时长；

根据基础信息数据匹配服务目标对象的表情类型和所处区域，并根据服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

在其中一个实施例中，对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型，包括：

对人脸图像数据依次进行图像预处理、表情特征提取、特征对比，确定目标对象的表情类型，表情类型包括：负面情绪和非负面情绪。

在其中一个实施例中，对人脸图像数据依次进行图像预处理、表情特征提取、特征对比，包括：

对人脸图像数据进行图像预处理，预处理包括：人脸对齐、亮度归一化、对比度归一化、图像分割；

对进行图像预处理后的人脸图像数据通过表情特征提取方法提取人脸图像特征数据，表情特征提取方法包括：光流法、模型法、几何法；

将人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定目标对象的表情类型。

在其中一个实施例中，将人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定目标对象的表情类型，包括：

计算所述人脸图像特征数据和所述基础表情库中每个表情的特征值之间的多个欧式距离；

获取多个所述欧式距离中距离最小的欧式距离的特征值对应的表情；

通过所述最小的欧式距离的特征值对应的表情的类型确定所述目标对象的表情类型。

在其中一个实施例中，对目标对象进行位置轨迹分析，包括：

获取通过每个图像采集器采集到的目标对象的图像数据，提取图像数据中人体特征，并计算人体特征之间的欧式距离；

根据欧式距离将每个图像采集器采集到的目标对象关联，确定目标对象的所处区域。

在其中一个实施例中，根据服务目标对象的服务办理类别预测办理等待时长，包括：

通过服务办理设备获取服务目标对象的服务办理类别和服务目标对象的排队号；

获取服务办理类别对应的历史服务办理平均时长；

根据历史服务办理平均时长和排队号预测办理等待时长。

在其中一个实施例中，根据欧式距离将每个图像采集器采集到的目标对象关联，确定目标对象的所处区域之后，还包括：

将目标对象的图像数据与对应的人脸图像数据进行关联。

在其中一个实施例中，基础信息数据包括：营销信息数据、服务办理时间、服务办理渠道、预先存储的服务目标对象对应的人脸图像数据；

根据基础信息数据匹配服务目标对象的表情类型和所处区域，并根据服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间，包括：

根据预先存储的服务目标对象对应的人脸图像数据与获取到的目标对象的人脸图像数据进行匹配，获取服务目标对象对应的表情类型；

根据服务目标对象对应的表情类型匹配与之关联的目标对象，确定服务目标对象对应的所处区域；

在服务目标对象的所处区域未处于预先设置的服务办理区域中的情况下，根据办理等待时长、服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间。

在其中一个实施例中，根据办理等待时长、服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间，包括：

在办理等待时长大于预设的平均营销服务时间，且服务目标对象对应的表情类型为非负面情绪的情况下，结合基础信息数据进行营销服务；

在办理等待时长大于等于关怀服务时间阈值，和/或服务目标对象对应的表情类型为负面情绪的情况下，进行关怀服务。

第二方面，本公开还提供了一种服务推荐时间确定装置，装置包括：

表情识别分析模块，用于对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；

位置轨迹分析模块，用于通过获取到的目标对象的人体特征数据进行对目标对象进行位置轨迹分析，确定目标对象的所处区域；

等待时长预测模块，用于获取服务目标对象的标识数据，通过标识数据获取服务目标对象的基础信息数据，并根据服务目标对象的服务办理类别预测办理等待时长；

推荐时间确定模块，用于根据基础信息数据匹配服务目标对象的表情类型和所处区域，并根据服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

第三方面，本公开还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

第五方面，本公开还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

上述服务推荐时间确定方法、装置、计算机设备、存储介质，根据人脸图像数据或全身的图像数据将不同的图像采集器中的目标对象进行对比和关联，输出目标对象的位置、实时轨迹、区域逗留时长、表情分析的结果等数据。当确定服务目标对象后，进而匹配到服务目标对象的表情类型和所处区域，能够综合服务目标对象的表情类型和所处区域以及办理等待时间等多维度的数据进行判断服务的时间，以及判断需要服务的类型，提升整个服务网点的服务效率，解决了通过人工判断进行推荐服务时间困难的问题。由于通过服务办理设备识别服务目标对象，从而得到了基础信息数据，进而通过图像采集器进行目标对象表情类型识别、位置追踪等分析操作时，大大降低人脸库量级，可有效降低目标对象进行关联分析的时延及计算资源消耗。

附图说明

图1为一个实施例中服务推荐时间确定方法的应用环境示意图；

图2为一个实施例中服务推荐时间确定方法的流程示意图；

图3为一个实施例中表情识别分析步骤的流程示意图；

图4为一个实施例中S306步骤的流程示意图；

图5为一个实施例中S204步骤的流程示意图；

图6为一个实施例中S206步骤的流程示意图；

图7为一个实施例中S208步骤的流程示意图；

图8为一个实施例中服务推荐时间确定装置的结构示意框图；

图9为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本公开提供的服务推荐时间确定方法，可以应用于如图1所示的应用环境中。其中，多个图像采集器102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要的数据，如服务目标对象的基础信息数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。在目标对象进入金融机构的服务网点的情况下，图像采集器102采集目标对象的人脸图像数据以及目标对象的图像数据。服务器104获取每个图像采集器102采集的目标对象的人脸图像数据，并对每个人脸图像数据进行表情识别分析，确定每个人脸图像数据中目标对象的表情类型。服务器104获取每个图像采集器102采集的目标对象的图像数据，并根据图像数据对目标对象进行位置轨迹分析，确定目标对象在金融机构的服务网点的所处区域。在目标对象使用服务办理设备106的情况下，该目标对象即为服务目标对象。服务器办理设备106获取服务器目标对象的标识数据。服务器104获取服务办理设备106获取的标识数据，并根据该标识数据在数据存储系统中获取对应的服务目标对象的基础信息数据。在另一些实施方式也可以是，服务器办理设备106获取服务器目标对象的标识数据，服务器办理设备106通过该标识数据在数据存储系统中获取对应的服务目标对象的基础信息数据，并将该基础信息数据发送至服务器104。服务器104通过服务器办理设备106获取服务目标对象的服务办理类别。服务器104根据该服务办理类别进行预测服务目标对象的服务的办理等待时长。服务器104根据该基础信息数据与之前图像采集器102采集目标对象的人脸图像数据进行匹配，获取与服务目标对象对应的表情类型和所处区域，根据该表情类型和所处区域以及办理等待时长确定服务目标对象的服务推荐时间。其中，图像采集设备102可以但不限于是各种摄像头、相机等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器办理设备可以为银行中的各种智能设备。

在一个实施例中，如图2所示，提供了一种服务推荐时间确定方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

S202，对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型。

其中，目标对象通常可以是进入金融机构中服务网点的人。人脸图像数据通常可以是通过图像采集器采集的目标对象的脸部图像数据。表情识别分析可以是对人脸图像数据进行处理，提取其中的表情特征的操作。

具体地，通过图像采集器采集进入金融机构的服务网点的目标对象的图像数据；通过对图像数据进行人脸检测，从图像数据中准确定位到人脸图像数据。也可以是通过图像采集器直接拍取人脸图像数据和图像数据。将人脸图像数据临时存储在数据存储系统中的人脸库。对该人脸图像数据进行处理，提取人脸图像数据中的表情特征，根据通过表情特征确定图像采集器采集的此时目标对象的表情类型。

S204，对所述目标对象进行位置轨迹分析，确定所述目标对象的所处区域。

其中，位置轨迹分析通常可以是确定每个图像采集器采集的中的对应的固定某个目标对象，从而确定每个图像采集器采集的对应固定某个目标对象的位置的方法。

具体地，通过每个图像采集器采集进入金融机构的服务网点目标对象全身的图像数据。根据每个目标对象的全身的图像数据对确定目标对象在图像采集器中的位置，从而确定目标对象当前所处的金融机构的服务网点的区域，以及可以得知当前目标对象在某个区域的停留时长，进而当该区域中存在某个业务/服务的告示信息时，可以根据停留时长判断该目标对象是否对该信息感兴趣，能够提升服务推荐的准确性。

在一些实施方式中，例如：A图像采集器、B图像采集器、C图像采集器分别采集到的图像为A、B、C，确定A图像中的第一目标对象，进而通过位置轨迹分析确定B、C图像中的第一目标对象，从而确定A、B、C中第一目标对象所处的区域。

在另一个实施例中，也可以通过每个图像采集器采集进入金融机构的服务网点目标对象的人脸图像数据。根据每个目标对象的人脸的图像数据对确定目标对象在图像采集器中的位置，从而确定目标对象当前所处的金融机构的服务网点的区域。

S206，在所述目标对象中服务目标对象使用服务办理设备的情况下，获取所述服务目标对象的标识数据，通过所述标识数据获取所述服务目标对象的基础信息数据，并根据所述服务目标对象的服务办理类别预测办理等待时长。

其中，服务目标对象通常可以是进入金融机构服务网点的对象中需要办理服务/业务的对象。服务办理设备通常可以是金融服务网点的取号机设备或自助设备。标识数据通常可以是通过银行卡或者身份证进行识别身份从而读取到的数据。基础信息数据通常可以是保存在金融结构的数据存储系统中的数据，其可以包括各种服务目标对象的数据，如服务办理数据、人脸图像数据等。

具体地，在进入金融机构的服务网点的目标对象使用服务办理设备的情况下，该使用服务办理设备的目标对象即为服务目标对象，服务办理设备通过服务目标对象提供的银行卡或者身份证读取服务目标对象的信息，从而根据该信息识别到服务目标对象的标识数据。获取金融机构的服务网点的数据存储系统中的与该标识数据对应的基础信息数据。服务办理设备识别当前服务目标对象需要办理的服务办理类别。根据服务办理类别进行预测该服务的办理等待时长。

S208，根据所述基础信息数据匹配所述服务目标对象的表情类型和所处区域，并根据所述服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

其中，服务推荐时间可以是当前的时间可以进行营销服务或者关怀服务的时间。

具体的，根据基础信息数据中的人脸图像数据匹配通过图像采集器采集的人脸图像数据，找到与基础信息数据中的人脸图像数据对应的通过图像采集器采集的人脸图像数据，进而确定该服务目标对象的当前的表情类型，以及根据通过与基础信息数据匹配的图像采集器采集的人脸图像数据进而图像数据确定服务目标对象的所处区域。根据服务目标对象的表情类型和服务目标对象的所处区域以及办理等待时长进行判断，从而确定服务目标对象此时可以进行营销服务或者关怀服务。

上述服务推荐时间确定方法中，根据人脸图像数据或全身的图像数据将不同的图像采集器中的目标对象进行对比和关联，输出目标对象的位置、实时轨迹、区域逗留时长、表情分析的结果等数据。当确定服务目标对象后，进而匹配到服务目标对象的表情类型和所处区域，能够综合服务目标对象的表情类型和所处区域以及办理等待时间等多维度的数据进行判断服务的时间，以及判断需要服务的类型，提升整个服务网点的服务效率，减少通过人工判断何时进行推荐服务困难的问题。由于使用了通过服务办理设备识别服务目标对象，从而得到了基础信息数据，进而通过图像采集器进行目标对象表情类型识别、位置追踪等分析操作时，大大降低人脸库量级，可有效降低目标对象进行关联分析的时延及计算资源消耗。

在一个实施例中，所述对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型，包括：

对所述人脸图像数据依次进行图像预处理、表情特征提取、特征对比，确定所述目标对象的表情类型，所述表情类型包括：负面情绪和非负面情绪。

其中，负面情绪的表情类型可以包括焦虑、紧张、愤怒、沮丧、悲伤、痛苦等表情。图像预处理可以是将人脸图像数据转换为更适合机器进行处理的形式的方法。表情特征提取可以是对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取的方法。表情特征提取主要是采用数学方法，依靠计算机技术对人脸表情的数字图像进行数据的组织和处理，提取表情特征，去除非表情噪声的方法。特征对比可以是将表情特征和基础表情库中表情的特征进行对比的方法。

在一个实施例中，如图3所示，所述对所述人脸图像数据依次进行图像预处理、表情特征提取、特征对比，包括：

S302，对所述人脸图像数据进行图像预处理，所述预处理包括：人脸对齐、亮度归一化、对比度归一化、图像分割。

其中，人脸对齐通常可以是根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等的方法。亮度归一化是将多幅图像的亮度处理成亮度均值相同的图像的方法。对比度通常指的是图像或图像区域中像素的标准差。对比度归一化包括全局对比度归一化和局部对比度归一化，是深度学习中常用的一种数据预处理方法，用以减少数据中的变化量从而减少泛化误差。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。

具体地，对人脸图像数据进行人脸对齐，定位并该人脸图像数据中的面部关键特征点，然后对定位关键特征点后的人脸图像数据进行亮度归一化和对比度归一化处理，对处理后的人脸图像数据进行图像分割，获取包括了面部关键特征点的图像块。从而降低人脸图像数据中其他数据的干扰。

在另一些实施方式中，图像预处理还可以包括图像的锐化、平滑、去噪、灰度调整等方法。

S304，对进行图像预处理后的所述人脸图像数据通过表情特征提取方法提取人脸图像特征数据，所述表情特征提取方法包括：光流法、模型法、几何法。

其中，光流法、模型法、几何法都是基于动态图像的特征提取方法。光流法是反映动态图像中不同帧之间相应物体灰度变化的方法。光流法具有突出人脸形变、反映人脸运动趋势的优点。模型法可以通过动态图像的形状和纹理信息来反映人脸表情的整体和局部特征。几何法可以是采用几何形式提取人脸表情的方法。

具体地，对进行图像预处理后得到的人脸图像数据通过表情特征提取方法提取人脸图像特征数据，在本实施例中可以使用几何法提取人脸图像特征数据。采用面部组成的形状和位置特征、面部特征点的位置进行提取特征，得到人脸图像特征数据。

S306，将所述人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定所述目标对象的表情类型。

其中，基础表情库通常可以是存储基本表情的数据库，基本表情可以包括：高兴、愤怒、轻蔑、伤心、害怕、惊讶、厌恶等。匹配分类可以是将基础表情库中表情的特征值和人脸图像特征数据进行对比匹配、根据匹配结果进行分类的方法。

具体地，将提取到的人脸图像特征数据与基础表情库中表情的特征值进行匹配计算、根据计算结果对人脸图像特征数据进行分类，从而确定目标对象的表情类型。

本实施例中，通过对人脸图像数据进行图像预处理，能够降低数据干扰，且通过人脸图像特征数据和基础表情库中表情值进行匹配分类，能够准确的识别人脸图像特征数据对应的表情类型。

在一个实施例中，如图4所示，所述将所述人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定所述目标对象的表情类型，包括：

S402，计算所述人脸图像特征数据和所述基础表情库中每个表情的特征值之间的多个欧式距离。

其中，欧式距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

具体地，计算人脸图像特征数据和基础表情库中每个表情的特征值之间的欧式距离，得到多个欧式距离。在一些实施方式中，如计算人脸图像特征数据和基础表情库中高兴表情的特征值之间的欧式距离，记为第一欧式距离，计算和愤怒表情的特征值之间的欧式距离，记为第二欧式距离。则多个欧式距离可以包括第一欧式距离和第二欧式距离。需要说明的是，此处仅仅以两个表情对应的特征值进行举例，可进行计算的欧式距离的基础表情库中表情的数量和对应的特征值的数量在本实施例中不进行限制。

S404，获取多个所述欧式距离中距离最小的欧式距离的特征值对应的表情。

具体地，计算出多个欧式距离后，提取距离最小的欧式距离，欧式距离越小证明该人脸图像特征数据对应的表情和最小欧式距离对应的表情越接近。

S406，通过所述最小的欧式距离的特征值对应的表情的类型确定所述目标对象的表情类型。

具体地，在获取到最小欧式距离的情况下，证明该人脸图像特征数据对应的表情和基础表情库中最小欧式距离的对应的表情的相似度较高，则特征值对应的基础表情库中的表情可以确定为该目标对象的表情，通过目标对象的表情确定该目标对象的表情类型，也可以是通过特征值对应的基础表情库中的表情的类型确定该目标对象的表情类型。

在一个实施例中，如图5所示，所述对所述目标对象进行位置轨迹分析，包括：

可以通过ReID技术对所述目标对象进行位置轨迹分析。ReID通常指的是行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。

S502，获取通过每个图像采集器采集到的所述目标对象的图像数据，提取所述图像数据中人体特征，并计算所述人体特征之间的欧式距离。

具体地，获取通过每个图像采集器采集到的每个目标对象的全身的图像数据，提取全身的图像数据中人体特征，如腿、手臂、脚、头部等特征，并计算人体特征之间的欧式距离。

在一些实施方式中，可以分别计算腿和手臂、脚、头等多个特征之间欧式距离，也可以单独计算腿和手臂或脚、头等多个特征之间欧式距离。

S504，根据所述欧式距离将每个图像采集器采集到的所述目标对象关联，确定所述目标对象的所处区域。

具体地，计算出人体特征之间的欧式距离后，将每个图像采集器采集到的图像数据中相同维度计算得到的欧式距离进行关联，将欧式距离较为接近或者相同的图像数据对应的目标对象相关联，确定每个图像采集器中该目标对象所处的区域。

在一些实施方式中，如每个图像采集器采集到的图像分别为D、E、F，而D、E、F中存在至少两个目标对象，D中的对象为D1、D2；E中的对象为E1、E2；F中的对象为F1、F2；计算D1、D2、E1、E2、F1、F2的各个特征之间的欧式距离；将相同维度，如腿和手臂之间的欧式距离，进行对比，当D1、和E2、F1计算得到的腿和手臂之间的欧式距离相同或者差距不大的情况下，确定D1、E2、F1为相同的目标对象，进而确定该目标对象在金融机构的服务网点中的所处区域。需要说明的是，本实施例中，仅仅以计算腿和手臂之间的一种欧式距离进行距离，本领域技术人员通常进行计算多个特征之间的欧式距离，以便可以更准确的确定每个图像采集器采集到的相同的目标对象。

在一个实施例中，所述根据所述欧式距离将每个图像采集器采集到的所述目标对象关联，确定所述目标对象的所处区域之后，还包括：

将所述目标对象的图像数据与对应的所述人脸图像数据进行关联。

在本实施例中，将目标对象和目标对象的人脸图像数据进行关联后，能够通过目标对象的人脸图像数据查询到此时目标对象，并确定该目标对象的所在的区域，也能够通过目标对象查询目标对象的人脸数据，能够更加准确的得知目标对象中此时的表情类型。

在一个实施例中，如图6所示，所述根据所述服务目标对象的服务办理类别预测办理等待时长，包括：

S602，通过所述服务办理设备获取所述服务目标对象的服务办理类别和所述服务目标对象的排队号。

S604，获取所述服务办理类别对应的历史服务办理平均时长。

S606，根据所述历史服务办理平均时长和所述排队号预测办理等待时长。

具体地，服务目标对象在使用服务办理设备时，服务办理设备读取服务目标对象需要办理的服务办理类别和该服务目标对象排队的号码，服务办理类别可以包括：信息更改服务类别、账户交易服务类别、金融存储服务类别等。

根据获取到的服务办理类别，统计该服务办理类别在某个固定时间段时的平均每个人的办理时长。根据客户排队号和平均每个人的办理时长预测该服务目标对象与需要办理该服务的服务办理等待时长。

在一些实施方式中，办理等待时长的计算方式可以为：排队号对应的排队人数乘以平均每个人的办理时长。

在一个实施例中，所述基础信息数据包括：营销信息数据、服务办理时间、服务办理渠道、预先存储的服务目标对象对应的人脸图像数据。

其中，营销信息数据可以是该服务目标对象之前办理过的营销服务，服务办理时间可以是服务目标对象使用服务办理设备的时间。服务办理渠道可以是使用哪个服务办理设备，或者是在哪个服务网点进行服务办理的信息。

如图7所示，所述根据所述基础信息数据匹配所述服务目标对象的表情类型和所处区域，并根据所述服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间，包括：

S702，根据预先存储的服务目标对象对应的人脸图像数据与获取到的目标对象的人脸图像数据进行匹配，获取所述服务目标对象对应的表情类型。

具体地，获取预先存储的服务目标对象对应的人脸图像数据，并将该人脸图像数据与通过图像采集器采集的人脸图像数据进行匹配，找到与之对应的人脸图像数据，确定对应的目标对象对应的表情类型，即得到服务目标对象对应的表情类型。需要说明的是，可以根据不同场景的实时性的需要，设置与获取到的目标对象的人脸图像数据进行匹配的频率。

S704，根据所述服务目标对象对应人脸图像数据的匹配与之关联的所述目标对象，确定所述服务目标对象对应的所处区域。

具体地，根据通过图像采集器采集到的服务目标对象的人脸图像数据进行匹配与之关联的通过图像采集器采集到所述目标对象图像数据，从而确定目标对象，进而确定该目标对象的所处区域。

S706，在所述服务目标对象的所处区域未处于预先设置的服务办理区域中的情况下，根据所述办理等待时长、所述服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间。

其中，服务办理区域可以是服务网点中指定的办理区域，如网点服务窗口。

具体地，在服务目标对象的所处区域未处于预先设置的服务办理区域中的情况下，证明该服务目标对象未在办理业务或者在等待，此时根据预测出的办理等待时长、所述服务目标对象对应的表情类型、预先设置的服务时间阈值确定对服务目标进行营销服务或者关怀服务。

在一个实施例中，所述根据所述办理等待时长、所述服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间，包括：

在所述办理等待时长大于预设的平均营销服务时间，且所述服务目标对象对应的表情类型为非负面情绪的情况下，结合所述基础信息数据进行营销服务；

在所述办理等待时长大于等于关怀服务时间阈值，和/或所述服务目标对象对应的表情类型为负面情绪的情况下，进行关怀服务。

具体的，在所述办理等待时长大于预设的平均营销服务时间，且所述服务目标对象对应的表情类型为非负面情绪的情况下，证明该服务目标对象此时并无反感情绪，并且在需要等待的时间较长，此时可以通过移动终端提示网点工作人员结合基础信息数据进行营销服务，可以结合基础信息中的营销信息数据进行确定合适的营销产品，从而进行营销服务。营销服务可以包括：推荐理财产品、购买金融产品、办理信用卡等等。在所述办理等待时长大于等于关怀服务时间阈值，和/或所述服务目标对象对应的表情类型为负面情绪的情况下，证明该服务目标对象此时情绪较为不好，或者等待时间过于长，可以通过移动终端提示网点工作人员进行关怀服务，关怀服务可以包括对服务目标对象进行慰问以消除服务目标对象的负面情绪或者对服务目标对象提供期刊、报纸等阅读材料以减少服务目标对象对于过长的等待时间所带来的其他影响。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的流程图至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种服务推荐时间确定装置800，包括：表情识别分析模块802、位置轨迹分析模块804、等待时长预测模块806、推荐时间确定模块808，其中：

表情识别分析模块802，用于对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；

位置轨迹分析模块804，用于通过获取到的目标对象的人体特征数据进行对目标对象进行位置轨迹分析，确定目标对象的所处区域；

等待时长预测模块806，用于获取服务目标对象的标识数据，通过标识数据获取服务目标对象的基础信息数据，并根据服务目标对象的服务办理类别预测办理等待时长；

推荐时间确定模块808，用于根据基础信息数据匹配服务目标对象的表情类型和所处区域，并根据服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

在所述装置的一个实施例中，表情识别分析模块802，还用于对人脸图像数据依次进行图像预处理、表情特征提取、特征对比，确定目标对象的表情类型，表情类型包括：负面情绪和非负面情绪。

在所述装置的一个实施例中，表情识别分析模块802包括：图像预处理模块、表情特征提取模块、特征对比模块，其中：

图像预处理模块，用于对人脸图像数据进行图像预处理，预处理包括：人脸对齐、亮度归一化、对比度归一化、图像分割。

表情特征提取模块，用于对进行图像预处理后的人脸图像数据通过表情特征提取方法提取人脸图像特征数据，表情特征提取方法包括：光流法、模型法、几何法。

特征对比模块，用于将人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定目标对象的表情类型。

在所述装置的一个实施例中，特征对比模块，包括：欧氏距离计算模块、表情确定模块、表情类型确定模块，其中：

欧氏距离计算模块，用于计算所述人脸图像特征数据和所述基础表情库中每个表情的特征值之间的多个欧式距离。

表情确定模块，用于获取多个所述欧式距离中距离最小的欧式距离的特征值对应的表情。

表情类型确定模块，用于通过所述最小的欧式距离的特征值对应的表情的类型确定所述目标对象的表情类型。

在所述装置的一个实施例中，位置轨迹分析模块804包括：人体特征欧式距离计算模块，关联模块；

人体特征欧式距离计算模块，用于获取通过每个图像采集器采集到的目标对象的图像数据，提取图像数据中人体特征，并计算人体特征之间的欧式距离。

关联模块，用于根据欧式距离将每个图像采集器采集到的目标对象关联，确定目标对象的所处区域。

在所述装置的一个实施例中，等待时长预测模块806包括：服务数据获取模块、平均时长获取模块、预测模块；

服务数据获取模块，用于通过服务办理设备获取服务目标对象的服务办理类别和服务目标对象的排队号。

平均时长获取模块，用于获取服务办理类别对应的历史服务办理平均时长。

预测模块，用于根据历史服务办理平均时长和排队号预测办理等待时长。

在所述装置的一个实施例中，关联模块，还用于将目标对象的图像数据与对应的人脸图像数据进行关联。

在所述装置的一个实施例中，基础信息数据包括：营销信息数据、服务办理时间、服务办理渠道、预先存储的服务目标对象对应的人脸图像数据；

推荐时间确定模块808，包括：表情类型匹配模块、服务对象区域确定模块、服务推荐确定模块；

表情类型匹配模块，用于根据预先存储的服务目标对象对应的人脸图像数据与获取到的目标对象的人脸图像数据进行匹配，获取服务目标对象对应的表情类型。

服务对象区域确定模块，用于根据服务目标对象对应的表情类型匹配与之关联的目标对象，确定服务目标对象对应的所处区域。

服务推荐确定模块，用于在服务目标对象的所处区域未处于预先设置的服务办理区域中的情况下，根据办理等待时长、服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间。

在所述装置的一个实施例中，服务推荐确定模块，包括：营销服务确定模块和关怀服务确定模块；

营销服务确定模块，用于在办理等待时长大于预设的平均营销服务时间，且服务目标对象对应的表情类型为非负面情绪的情况下，结合基础信息数据进行营销服务。

关怀服务确定模块，用于在办理等待时长大于等于关怀服务时间阈值，和/或服务目标对象对应的表情类型为负面情绪的情况下，进行关怀服务。

关于服务推荐时间确定装置的具体实施方式可以参见上文中对于服务推荐时间确定方法的实施例，在此不再赘述。上述服务推荐时间确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种服务推荐时间确定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本公开所涉及的数据(包括但不限于基础信息数据、人脸图像数据、标识数据，银行卡和身份证中的信息数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种服务推荐时间确定方法，其特征在于，所述方法包括：

对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；

对所述目标对象进行位置轨迹分析，确定所述目标对象的所处区域；

在所述目标对象中服务目标对象使用服务办理设备的情况下，获取所述服务目标对象的标识数据，通过所述标识数据获取所述服务目标对象的基础信息数据，并根据所述服务目标对象的服务办理类别预测办理等待时长；

根据所述基础信息数据匹配所述服务目标对象的表情类型和所处区域，并根据所述服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

2.根据权利要求1所述的服务推荐时间确定方法，其特征在于，所述对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型，包括：

对所述人脸图像数据依次进行图像预处理、表情特征提取、特征对比，确定所述目标对象的表情类型，所述表情类型包括：负面情绪和非负面情绪。

3.根据权利要求2所述的服务推荐时间确定方法，其特征在于，所述对所述人脸图像数据依次进行图像预处理、表情特征提取、特征对比，包括：

对所述人脸图像数据进行图像预处理，所述预处理包括：人脸对齐、亮度归一化、对比度归一化、图像分割；

对进行图像预处理后的所述人脸图像数据通过表情特征提取方法提取人脸图像特征数据，所述表情特征提取方法包括：光流法、模型法、几何法；

将所述人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定所述目标对象的表情类型。

4.根据权利要求3所述的服务推荐时间确定方法，其特征在于，所述将所述人脸图像特征数据与基础表情库中表情的特征值进行匹配分类，确定所述目标对象的表情类型，包括：

计算所述人脸图像特征数据和所述基础表情库中每个表情的特征值之间的多个欧式距离；

获取多个所述欧式距离中距离最小的欧式距离的特征值对应的表情；

通过所述最小的欧式距离的特征值对应的表情的类型确定所述目标对象的表情类型。

5.根据权利要求2所述的服务推荐时间确定方法，其特征在于，所述对所述目标对象进行位置轨迹分析，包括：

获取通过每个图像采集器采集到的所述目标对象的图像数据，提取所述图像数据中人体特征，并计算所述人体特征之间的欧式距离；

根据所述欧式距离将每个图像采集器采集到的所述目标对象关联，确定所述目标对象的所处区域。

6.根据权利要求2所述的服务推荐时间确定方法，其特征在于，所述根据所述服务目标对象的服务办理类别预测办理等待时长，包括：

通过所述服务办理设备获取所述服务目标对象的服务办理类别和所述服务目标对象的排队号；

获取所述服务办理类别对应的历史服务办理平均时长；

根据所述历史服务办理平均时长和所述排队号预测办理等待时长。

7.根据权利要求5所述的服务推荐时间确定方法，其特征在于，所述根据所述欧式距离将每个图像采集器采集到的所述目标对象关联，确定所述目标对象的所处区域之后，还包括：

将所述目标对象的图像数据与对应的所述人脸图像数据进行关联。

8.根据权利要求7所述的服务推荐时间确定方法，其特征在于，所述基础信息数据包括：营销信息数据、服务办理时间、服务办理渠道、预先存储的服务目标对象对应的人脸图像数据；

所述根据所述基础信息数据匹配所述服务目标对象的表情类型和所处区域，并根据所述服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间，包括：

根据预先存储的服务目标对象对应的人脸图像数据与获取到的目标对象的人脸图像数据进行匹配，获取所述服务目标对象对应的表情类型；

根据所述服务目标对象对应的表情类型匹配与之关联的所述目标对象，确定所述服务目标对象对应的所处区域；

在所述服务目标对象的所处区域未处于预先设置的服务办理区域中的情况下，根据所述办理等待时长、所述服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间。

9.根据权利要求7所述的服务推荐时间确定方法，其特征在于，所述根据所述办理等待时长、所述服务目标对象对应的表情类型、预先设置的服务时间阈值确定服务推荐时间，包括：

在所述办理等待时长大于预设的平均营销服务时间，且所述服务目标对象对应的表情类型为非负面情绪的情况下，结合所述基础信息数据进行营销服务；

在所述办理等待时长大于等于关怀服务时间阈值，和/或所述服务目标对象对应的表情类型为负面情绪的情况下，进行关怀服务。

10.一种服务推荐时间确定装置，其特征在于，所述装置包括：

表情识别分析模块，用于对获取到的目标对象的人脸图像数据进行表情识别分析，确定目标对象的表情类型；

位置轨迹分析模块，用于通过获取到的所述目标对象的人体特征数据进行对所述目标对象进行位置轨迹分析，确定所述目标对象的所处区域；

等待时长预测模块，用于获取所述服务目标对象的标识数据，通过所述标识数据获取所述服务目标对象的基础信息数据，并根据所述服务目标对象的服务办理类别预测办理等待时长；

推荐时间确定模块，用于根据所述基础信息数据匹配所述服务目标对象的表情类型和所处区域，并根据所述服务目标对象的表情类型、所处区域以及办理等待时长确定服务目标对象的服务推荐时间。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images