CN114359997A - 业务引导方法及系统 - Google Patents

Abstract

本申请涉及一种业务引导方法和系统。系统包括：第一图像采集设备、引导屏、自助柜台机、第二图像采集设备、以及自助终端。第一图像采集设备采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定目标对象是否需要自助服务；引导屏在确定需要自助服务时，展示与目标对象对应的第一候选业务清单，并确定目标对象从第一候选业务清单中选中的目标业务；引导屏在目标业务属于第一类业务时，引导目标对象前往自助柜台机进行自助办理，在目标业务属于第二类业务时，引导目标对象前往自助终端进行自助办理；第二图像采集设备对目标对象进行面部识别，并向自助柜台机发出登录请求。采用本方法能够提高业务受理和办理效率，减少人工成本。

Description

业务引导方法及系统

技术领域

本申请涉及人工智能技术领域，特别是涉及一种业务引导方法和系统。

背景技术

传统营业厅业务办理主要是依赖现场工作员的人工服务及现场指导，每一步操作都需要工作人员手把手带领完成，此种情况对工作人员的要求也很高。

然而，工作人员带领办理业务的工作模式存在业务受理效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种业务引导方法和系统。

一种业务引导方法，所述方法包括：

第一图像采集设备采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定所述目标对象是否需要自助服务；

在确定需要自助服务时，引导屏展示与所述目标对象对应的第一候选业务清单，并确定所述目标对象从所述第一候选业务清单中选中的目标业务；

在所述目标业务属于第一类业务时，所述引导屏引导所述目标对象前往自助柜台机进行自助办理，在所述目标业务属于第二类业务时，所述引导屏引导所述目标对象前往自助终端进行自助办理；

在所述目标业务属于第一类业务时，第二图像采集设备对所述目标对象进行面部识别，并向所述自助柜台机发出登录请求，所述自助柜台机在登录成功后，供所述目标对象办理目标业务；

在所述目标业务属于第二类业务时，所述自助终端对所述目标对象进行数据采集并基于采集的数据进行目标业务的自助办理。

在其中一个实施例中，所述第一类业务为电力服务类业务，包括电费余额查询、修改过户和账单查询中的至少一种；所述第二类业务包括对象信息管理类业务，包括面部图像采集、对象信息登记和开户中的至少一种。

在其中一个实施例中，所述基于采集的面部图像确定所述目标对象是否需要自助服务，包括：

若基于采集的面部图像确定所述目标对象是首次办理业务，所述第一图像采集设备则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；

若基于采集的面部图像确定所述目标对象是非首次办理业务，所述第一图像采集设备则根据所述面部图像识别出的所述目标对象的对象身份及标签，并基于所述对象身份和标签确定所述目标对象是否需要自助服务。

在其中一个实施例中，所述引导屏展示与所述目标对象对应的第一候选业务清单之前，所述方法还包括：

所述自助终端获取所述目标对象的对象信息，基于所述对象信息查询所述目标对象曾经办理过的业务，并预测所述目标对象本次到访的访问目的；

所述自助终端基于所述访问目的生成第一候选业务清单，并将所述第一候选业务清单发送至所述引导屏。

在其中一个实施例中，所述自助终端对所述目标对象进行数据采集并基于采集的数据进行目标业务的自助办理，包括：

所述自助终端采集所述目标对象的证件照片、面部照片和对象信息，并基于面部照片进行面部检测，得到所述目标对象的面部关键点；

所述自助终端对检测到的所述面部照片进行质量检测，并基于所述面部关键点对检测通过的面部照片进行面部对齐操作后，提取所述面部照片的图像特征；

所述自助终端将所述图像特征与人脸库中的面部数据进行相似度计算，当相似度满足阈值要求时，确定所述目标对象已进行对象信息绑定，当相似度不满足阈值要求时，确定所述目标对象未进行对象信息绑定；

所述自助终端识别所述证件照片的对象标识，以及识别所述面部照片的对象标识，在所述证件照片的对象标识与所述面部照片的对象标识不一致时，拒绝属于所述第二类业务的目标业务的自助办理。

在其中一个实施例中，还包括：

对于未绑定对象信息的目标对象，所述自助终端采集所述目标对象的面部图像，更新面部图像库；

所述自助终端获取第二候选业务清单，将第二候选业务清单进行展示，供所述目标对象选择；

所述自助终端根据所述目标对象选择的第二候选业务清单中的业务，供所述目标对象进行属于第二类业务的目标业务的自助办理。

在其中一个实施例中，所述在所述目标业务属于第一类业务时，第二图像采集设备对所述目标对象进行面部识别，并向所述自助柜台机发出登录请求之后，所述方法还包括：

所述自助柜台机基于所述第二图像采集设备采集的所述目标对象的面部图像，进行特征提取处理，得到所述目标对象的面部图像在特定维数的特征向量；

所述自助柜台机将所述特征向量与数据库中的特征向量进行相似度计算，当所述相似度满足阈值要求时，实现所述目标对象的登录。

一种业务引导系统，所述系统包括部署于预设区域入口处的第一图像采集设备、引导屏、自助柜台机、与所述自助柜台机匹配使用的第二图像采集设备、以及自助终端：

所述第一图像采集设备，用于采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定所述目标对象是否需要自助服务；

所述引导屏，用于在确定需要自助服务时，展示与所述目标对象对应的第一候选业务清单，并确定所述目标对象从所述第一候选业务清单中选中的目标业务；

所述引导屏还用于，在所述目标业务属于第一类业务时，引导所述目标对象前往自助柜台机进行自助办理，在所述目标业务属于第二类业务时，引导所述目标对象前往自助终端进行自助办理；

所述第二图像采集设备，用于在所述目标业务属于第一类业务时，对所述目标对象进行面部识别，并向所述自助柜台机发出登录请求；所述自助柜台机，用于在登录成功后，供所述目标对象办理目标业务；

所述自助终端，用于在所述目标业务属于第二类业务时，对所述目标对象进行数据采集并基于采集的数据进行所述目标业务的自助办理。

在其中一个实施例中，所述第一类业务为电力服务类业务，包括电费余额查询、修改过户信息和账单查询中的至少一种；所述第二类业务为对象信息管理类业务，包括面部图像采集、对象信息登记和开户处理中的至少一种。

在其中一个实施例中，所述第一图像采集设备，还用于若基于采集的面部图像确定所述目标对象是首次办理业务，则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；

所述第一图像采集设备，还用于若基于采集的面部图像确定所述目标对象是非首次办理业务，则根据所述面部图像识别出的所述目标对象的对象身份及标签，并基于所述对象身份和标签确定所述目标对象是否需要自助服务。

在其中一个实施例中，所述自助终端，还用于获取所述目标对象的对象信息，基于所述对象信息查询所述目标对象曾经办理过的业务，并预测所述目标对象本次到访的访问目的；

所述自助终端，还用于基于所述访问目的生成第一候选业务清单，并将所述第一候选业务清单发送至所述引导屏。

在其中一个实施例中，所述自助终端，还用于采集所述目标对象的证件照片、面部照片和对象信息，并基于面部照片进行面部检测，得到所述目标对象的面部关键点；

所述自助终端，还用于对检测到的所述面部照片进行质量检测，并基于所述面部关键点对检测通过的面部照片进行面部对齐操作后，提取所述面部照片的图像特征；

所述自助终端，还用于将所述图像特征与人脸库中的面部数据进行相似度计算，当相似度满足阈值要求时，确定所述目标对象已进行对象信息绑定；当相似度不满足阈值要求时，确定所述目标对象未进行对象信息绑定；

所述自助终端，还用于识别所述证件照片的对象标识，以及识别所述面部照片的对象标识，在所述证件照片的对象标识与所述面部照片的对象标识不一致时，拒绝属于所述第二类业务的目标业务的自助办理。

在其中一个实施例中，对于未绑定对象信息的目标对象，所述自助终端，还用于采集所述目标对象的面部图像，更新面部图像库；

所述自助终端，还用于获取第二候选业务清单，将第二候选业务清单进行展示，供所述目标对象选择；

所述自助终端，还用于根据所述目标对象选择的第二候选业务清单中的业务，供所述目标对象进行属于第二类业务的目标业务的自助办理。

在其中一个实施例中，所述自助柜台机，还用于基于所述第二图像采集设备采集的所述目标对象的面部图像，进行特征提取处理，得到所述目标对象的面部图像在特定维数的特征向量；

所述自助柜台机，还用于将所述特征向量与数据库中的特征向量进行相似度计算，当所述相似度满足阈值要求时，实现所述目标对象的登录。

上述业务引导方法和系统，通过第一图像采集设备采集进入预设区域内的目标对象的面部图像，根据采集到的面部图像确认该目标对象是否需要自助服务；若该目标对象需要自助服务，则引导屏做出提示，并展示与该目标对象对应的第一候选业务清单供其选择，并根据该目标对象选择的业务类型将其引导到对应业务办理的设备前，目标对象可以在相应的设备上办理相关业务。若目标对象所选业务属于第一类业务，则第二图像采集设备对目标对象进行面部识别，并向办理第一类业务的自助柜台机发出登录请求，登录成功后，目标对象就可以在自助柜台机上办理目标业务；若目标对象所选业务属于第二类业务，则办理第一类业务的自助柜台机第二图像采集设备对目标对象进行面部识别，并办理第二类业务的自助终端对目标对象进行数据采集，并基于采集的数据进行目标业务的自助办理。这样，本申请中的方案通过图像采集设备、引导屏、自助柜台机和自助终端间的网络互通协作，实现智能引导自助服务，在业务分类办理的前提下，方便快捷地引导用户进行分流自助办理，大大提高了业务受理和办理效率，同时也减少了人工成本。

附图说明

图1为一个实施例中业务引导方法的应用环境图；

图2为一个实施例中FaceNet算法的架构图；

图3为一个实施例中FaceNet算法三重损失函数的作用示意图；

图4为一个实施例中MTCNN算法实现人脸检测过程的示意图；

图5为一个实施例中业务引导方法的流程示意图；

图6为一个实施例中自助终端实现人证合一验证的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的业务引导方法，可以应用于如图1所示的应用环境中。参照图1，该业务引导方法应用于业务引导系统中。该业务引导系统包括第一图像采集设备100、引导屏110、第二图像采集设备120、自助柜台机130、以及自助终端140。各设备之间通过网络或接口进行数据交互。第一图像采集设备100采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定目标对象是否需要自助服务；引导屏110在确定需要自助服务时，展示与目标对象对应的第一候选业务清单，并确定目标对象从第一候选业务清单中选中的目标业务；引导屏110在目标业务属于第一类业务时，引导目标对象前往自助柜台机进行自助办理，在目标业务属于第二类业务时，引导目标对象前往自助终端进行自助办理；在所述目标业务属于第一类业务时，第二图像采集设备120对目标对象进行面部识别，并向自助柜台机130发出登录请求；自助柜台机130在登录成功后，供目标对象办理目标业务；自助终端140在目标业务属于第二类业务时，对目标对象进行数据采集并基于采集的数据进行目标业务的自助办理。

其中，第一图像采集设备100和第二图像采集设备120可以但不限于是各种类型的摄像头，比如模拟摄像头、数字摄像头、广角摄像头、红外摄像头等等，引导屏110可以但不限于是各种显示屏，自助柜台机130可以但不限于是各种用于人工操作的终端和智能柜台，自助终端140可以但不限于是各种笔记本电脑、平板电脑和手持终端。

本申请的方案涉及到面部识别技术，在对本申请方案进行阐述之前，首先对面部识别技术进行简单介绍：

面部识别，具体可以是人脸识别，人脸识别技术为模式识别技术中的一种，即通过计算的方法将样本根据特征划分都一定的群体类别中，利用计算机提取人脸特征后，并根据有效的信息，如(1)边缘和形状特征：人脸轮廓、眼睑轮廓、虹膜轮廓、嘴唇轮廓等；(2)纹理特征：人脸具有特定的纹理特征，纹理是在图上表现为灰度或颜色分布的某种规律性，这种规律性在不同类别的纹理中有其不同特点；(3)颜色特征：人脸的皮肤颜色是人脸表面最为显著的特征之一，目前主要有RGB(red、green、blue，红绿蓝色彩模式)，HSV(Hue,Saturation,Value，色调、饱和度、明度颜色模型)，YCbCr(一种色彩编码方案)，YIQ(一种颜色空间)，HIS(一种颜色空间)等彩色空间模型被用来表示人脸的肤色，从而进行基于颜色信息的人脸检测方法的研究。其相比于指纹识别等生物特征识别方法，人脸识别具有非接触性、主动性等优点。在人脸识别技术所用的算法中主要利用判别性损失函数去增强算法的泛化能力，损失函数有Softmax loss损失函数，基于欧氏距离的损失函数以及基于角/余弦边的损失函数等。

在人脸识别技术中常使用的人脸检测算法有多种，下面就FaceNet算法和MTCNN算法进行简单介绍。

FaceNet算法：在深度学习算法中，把人脸图像通过深度神经网络，得到一个特定维数的特征向量，该向量可以很好地表征人脸数据，使得不同人脸的两个特征向量距离尽可能大，同一张人脸的两个特征向量尽可能小，这样即可以通过特征向量进行人脸识别。利用相同人脸在不同角度等姿态的照片下有高内聚性，不同人脸有低耦合性，通过卷积神经网络将人脸映射到欧式空间的特征向量上，计算不同图片人脸特征的距离，通过相同个体的人脸的距离，总是小于不同个体的人脸这一先验知识训练网络，实际应用时，只需要计算人脸特征，然后计算距离使用阈值即可判定由摄像头获取的当前照片与数据库中保存的照片信息是否属于相同的个体。

其构架图如图2所示，首先将人脸按批次(Batch)输入到深度神经网络(DEEPARCHITECTURE)中，将网络输出的向量进行归一化并计算L2范数，建立起128维向量空间(EMBEDDING)，最后计算三重损失函数(Triplet Loss)。其中深度神经网络包含了卷积层，实践表明其能更好地提取人脸图像的局部特征。而维度的选择又必须兼顾算法性能和精度，维度高，算法精度高但计算特征速度慢，算法性能下降，反之精度低而性能高。而最后的三重损失函数(Triplet Loss)作用在于，将属于同一个人的人脸特征距离拉近，而属于不同人的人脸特征距离拉远，使得类内距离小于类间距离，便可以提升后续人脸识别的准确性。如图3所示为三重损失函数的作用示意图，通过损失函数的功能(LEARNNING)将与目标人脸特征(Anchor)属于同一个人的人脸特征(Positive)拉进，属于不同人的人脸特征距离(Negative)拉远。

关于人脸特征距离计算中有欧氏距离和余弦距离。其中欧式距离反映的是高维空间中特征点的直线距离，能够体现个体数值特征的绝对差异，通常用于需要从维度的分数或数值大小中体现差异的分析。余弦距离反映的是高维空间中特征点方向上的差异，而对特征点坐标的绝对数值不敏感，同时修正了可能存在的度量标准不统一的问题，通常用于需要从特征点的不同标签或者主题进行归类中进行分析。

MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)算法：MTCNN算法网络全部由卷积层实现，将人脸区域检测与人脸关键点检测放在了一起。总体可分为P-Net、R-Net、和O-Net三层网络结构，依次为：P-Net、R-Net和O-Net，如图4所示，每层网络结构的工作如下：

Stage1(P-Net)：获取到候选人脸窗和人脸窗的回归向量，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行非极大值抑制(NMS)，合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片，每一张图都进行一次前向传播，在每个图上得到的结果之后利用设置的阈值去掉一部分，剩下的根据缩放尺度还原到原图上的坐标，将所有的坐标信息汇总，然后通过非极大值抑制去除一部分冗余。其中，非极大值抑制(Non-Maximum Suppression，NMS)，就是抑制不是极大值的元素，为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。

Stage2(R-Net)：第一阶段最后产生了大量的候选框，将这些候选框根据缩放因子回推到原图上之后，将他们尺寸大小全部调整到24x24，作为第二阶段的输入。第二阶段经过网络之后同样产生大量的候选框，同样的根据阈值去掉一部分，再利用非极大值抑制去掉一部分。

Stage3(O-Net)：使用第二阶段中最后留下来的候选框，还原到原来的图片上之后，全部将大小调整到到48x48，然后输入到第三阶段，使用更为复杂的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。

在一个实施例中，如图5所示，提供了一种业务引导的方法，该方法包括以下步骤：

步骤S502，第一图像采集设备采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定目标对象是否需要自助服务。

其中，预设区域可以是通信服务营业厅、电力服务营业厅或政府办事服务厅等供市民办理与生活工作相关业务的区域，这里不做限定。

具体地，当目标对象进入预设区域内时，预设区域内安装的第一图像采集设备首先对目标对象的面部图像进行采集，并将采集到的面部图像传输至对应的系统中进行分析，确定目标对象是否需要自助服务。

在其中一个实施例中，基于采集的面部图像确定目标对象是否需要自助服务，包括：若基于采集的面部图像确定目标对象是首次办理业务，第一图像采集设备则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；若基于采集的面部图像确定目标对象是非首次办理业务，第一图像采集设备则根据面部图像识别出的目标对象的对象身份及标签，并基于对象身份和标签确定目标对象是否需要自助服务。

其中，第一图像采集设备可以是不同种类的摄像头，部署于预设区域入口处。首次办理业务表示第一图像采集设备是第一次采集到该目标对象的面部图像；人工干预用于首次办理业务的目标客户，业务人员全程陪同办理；标签用于标记办理过业务的目标对象的一些特质，比如该目标对象是否是VIP客户、常办的业务有哪些、是居民还是公司职员、该目标对象是否是老年人或该客户是否随和等。

具体地，当第一图像采集设备是第一次采集到该目标对象的面部图像时，确定该目标对象是第一次来办理业务，那么第一图像采集设备则向业务人员所在的终端发送通知，提醒业务人员对该目标对象进行人工干预，业务人员本次将全程陪同该目标对象进行之后的业务办理。当第一图像采集设备不是第一次采集到该目标对象的面部图像时，第一图像采集设备读取系统中该目标对象的对象身份及标签，根据对象身份和标签确定目标对象是否需要自助服务。

在其中一个实施例中，若第一图像采集设备不是第一次采集到该目标对象的面部图像，且在读取系统中该目标对象的对象身份及标签时，确认该目标对象是特定的目标类别，比如是VIP客户或者是老年人，那么第一图像采集设备也会向业务人员所在的终端发送通知，提醒业务人员对该目标对象进行人工干预，若该目标对象的对象身份及标签中的信息没有标明该目标对象需要人工干预，那么可以确定该目标对象能够进行自助服务。

在上述实施例中，通过将目标对象分为已办理和非首次办理，可以针对性的对需要进行人工干预的目标对象安排相应的业务人员进行人工引导，从而提高目标对象的体验感。而对于非首次办理的目标对象，第一图像采集设备可根据目标对象的对象身份及标签，再次确定该目标对象是否需要人工干预，从而可以为需要人工干预的特殊目标对象安排相关业务人员进行干预，对于不需要人工干预的非首次办理的目标对象，则可以进行自助办理，这样，可以节省一部分的业务人员投入，加快业务办理的效率。

步骤S504，在确定需要自助服务时，引导屏展示与目标对象对应的第一候选业务清单，并确定目标对象从第一候选业务清单中选中的目标业务。

其中，第一候选业务清单为该目标对象此前办理过的业务项目，该清单由自助终端进行统计。

具体地，当确定该目标对象可以进自助办理时，引导屏中的虚拟引导员进行语音提示，送上亲切的问候，吸引该目标对象的注意，进而询问该目标对象是否需要办理业务，并将自助终端统计的该目标对象的第一候选业务清单进行展示，供该目标对象选择本次想要办理的业务。

步骤S506，在目标业务属于第一类业务时，引导屏引导目标对象前往自助柜台机进行自助办理，在目标业务属于第二类业务时，引导屏引导目标对象前往自助终端进行自助办理。

其中，第一类业务为电力服务类业务，包括电费余额查询、修改过户和账单查询中的至少一种；第二类业务包括对象信息管理类业务，包括面部图像采集、对象信息登记和开户中的至少一种。

具体地，引导屏根据目标对象在第一候选业务清单中选择的目标业务将该目标对象引导到相应的设备进行自助办理，若目标业务属于第一类业务，引导屏通过语音引导或文字引导等方式引导目标对象前往自助柜台机进行自助办理，在目标业务属于第二类业务时，引导屏通过语音引导或文字引导等方式引导目标对象前往自助终端进行自助办理。

比如，目标客户在引导屏展示的第一候选业务清单中选择了电费查询的目标业务，引导屏确定电费查询的业务属于第一类业务，那么引导屏通过语音提示，提醒目标对象去自助柜台机办理电费查询业务。

步骤S508，在目标业务属于第一类业务时，第二图像采集设备对目标对象进行面部识别，并向自助柜台机发出登录请求，自助柜台机在登录成功后，供目标对象办理目标业务。

其中，第二图像采集设备可以是不同种类的摄像头，第二图像采集设备与自助柜台机是匹配使用的，自助柜台机可以是eFM自助柜台，这里不做限定。

具体地，当目标客户选择的目标业务属于第一类业务时，引导屏将目标对象引导至自助柜台机前，与自助柜台机匹配使用的第二图像采集设备对目标对象进行面部识别，并向相应的自助柜台机发出登录请求，自助柜台机可再次询问目标客户是否登录，在目标客户确认登录并成功登录自助柜台机后，目标客户在自助柜台机中再次选择本次需要办理的目标业务，并根据自助柜台机的提示进行目标业务的自助办理。

步骤S510，在目标业务属于第二类业务时，自助终端对目标对象进行数据采集并基于采集的数据进行目标业务的自助办理。

其中，自助终端可以是笔记本电脑，也可以是其他的电子设备，本申请实施例对此不做限定。

具体地，当目标客户选择的目标业务属于第二类业务时，引导屏将目标对象引导至自助终端前，自助终端对目标对象进行证件照片、面部照片等数据的采集，并基于采集的相关数据逐步提示目标对象进行目标业务的自助办理。

在其中一个实施例中，当引导屏将目标对象引导至自助终端前，自助终端读取目标对象表征个人身份的证件照片或ID，并识别当前目标对象的面部照片，将证件照片或ID与数据库中该目标对象的相关数据以及当前目标对象的面部图像进行对比，验证读取的证件照片或ID与数据库中相应用户的数据以及当前目标对象的面部图像是否均匹配，从而完成目标对象真实身份的验证及人证合一的验证等。

上述业务引导方法中，上述业务引导方法和系统，通过第一图像采集设备采集进入预设区域内的目标对象的面部图像，根据采集到的面部图像确认该目标对象是否需要自助服务；若该目标对象需要自助服务，则引导屏做出提示，并展示与该目标对象对应的第一候选业务清单供其选择，并根据该目标对象选择的业务类型将其引导到对应业务办理的设备前，目标对象可以在相应的设备上办理相关业务。若目标对象所选业务属于第一类业务，则第二图像采集设备对目标对象进行面部识别，并向办理第一类业务的自助柜台机发出登录请求，登录成功后，目标对象就可以在自助柜台机上办理目标业务；若目标对象所选业务属于第二类业务，则办理第一类业务的自助柜台机第二图像采集设备对目标对象进行面部识别，并办理第二类业务的自助终端对目标对象进行数据采集，并基于采集的数据进行目标业务的自助办理。这样，本申请中的方案通过图像采集设备、引导屏、自助柜台机和自助终端间的网络互通协作，实现智能引导自助服务，在业务分类办理的前提下，方便快捷地引导用户进行分流自助办理，大大提高了业务受理和办理效率，同时也减少了人工成本。

在一个实施例中，引导屏展示与目标对象对应的第一候选业务清单之前，该业务引导方法还包括：自助终端获取目标对象的对象信息，基于对象信息查询目标对象曾经办理过的业务，并预测目标对象本次到访的访问目的；自助终端基于访问目的生成第一候选业务清单，并将第一候选业务清单发送至引导屏。

其中，第一图像采集设备、自助终端与引导屏之间通过接口相互共享数据，接口类型可以是webservice接口，这里不做限定。webservice是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，webservice技术能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成。

具体地，当目标对象进入预设区域内时，第一图像采集设备采集该目标对象的面部图像，自助终端获取该目标对象的对象信息，根据该目标对象的对象信息，自助终端查询该目标对象曾经办理过的业务，根据该目标对象曾经办理过的业务，自助终端预测该目标对象本次到访的访问目的，基于预测的访问目的生成第一候选业务清单，并将第一候选业务清单发送至引导屏。

在其中一个实施例中，目标对象进入预设区域，第一图像采集设备采集该目标对象的面部图像并存储，自助终端调用第一图像采集设备采集的目标对象的面部图像，并与人脸库中的面部图像进行对比，锁定该目标对象的对象信息后，查询该目标对象曾经办理过的业务，比如开户和电费查询等，那么自助终端就生成一份包括开户和电费查询等业务在内的第一候选业务清单，并将该第一候选业务清单发送至引导屏。

在上述实施例中，自助终端通过调用第一图像采集设备采集的目标对象的面部图像，能够迅速查询目标对象的身份，并根据目标对象曾经办理的业务迅速统计出第一候选业务清单，同时发送至引导屏，以方便引导屏呈现出第一候选业务清单供客户做选择。这样，可以迅速确定目标对象的办理需求，提高业务办理效率，同时提高目标对象业务办理的体验感。

在一个实施例中，自助终端对目标对象进行数据采集并基于采集的数据进行目标业务的自助办理，包括：自助终端采集目标对象的证件照片、面部照片和对象信息，并基于面部照片进行面部检测，得到目标对象的面部关键点；自助终端对检测到的面部照片进行质量检测，并基于面部关键点对检测通过的面部照片进行面部对齐操作后，提取面部照片的图像特征；自助终端将图像特征与人脸库中的面部数据进行相似度计算，当相似度满足阈值要求时，确定目标对象已进行对象信息绑定，当相似度不满足阈值要求时，确定目标对象未进行对象信息绑定；自助终端识别证件照片的对象标识，以及识别面部照片的对象标识，在证件照片的对象标识与面部照片的对象标识不一致时，拒绝属于第二类业务的目标业务的自助办理。

在其中一个实施例中，目标对象到达自助终端后，将表示个人身份的证件置于自助终端的读卡区处，自助终端采集目标对象证件照片的对象标识，比如人脸ID，如图6所示，自助终端可基于该人脸ID从人脸库中查找具有对应ID的人脸特征，并且，自助终端会采集当前目标对象的面部照片，并应用人脸检测算法，比如MTCNN算法网络对目标对象进行识别。自助终端对采集到的目标对象的面部照片进行面部检测并获取面部关键点，并对面部照片的质量进行稽核，判断清晰度、亮度、面部角度等条件是否满足人脸识别的质量要求。得到稽核通过的图片后，基于面部检测得到的关键点进行面部对齐操作，然后送入insightface算法(一种主流人脸识别解决方案)中进行面部特征向量提取，并对面部特征向量归一化处理，并将通过归一化处理后的面部特征向量与在人脸库中查找具有对应ID的人脸特征进行相似度计算。其中，相似度可用余弦距离来表示，即计算向量空间中两个向量夹角的余弦值，余弦距离的计算公式如下：

其中，公式中的d表示余弦距离，i表示第i个面部特征向量，x_i、y_i分别表示目标对象的第i个面部特征向量和人脸库中具有对应ID的面部数据的第i个面部特征向量，N表示面部特征向量的个数。

当两个面部特征向量之间的夹角越趋向于0°时，则表示两个面部特征向量越接近，差异就越小，此时cos0°＝1，即相似度越接近1时，两个人脸越相似。若预设的余弦距离阈值为0.8，则当计算的余弦距离大于0.8时，表明读取的证件与当前目标对象是同一人，即该目标对象与自助终端读取的证件上的证件照片是同一人。若计算的余弦距离小于0.8，表明读取的证件与当前目标对象不匹配，自助终端拒绝属于所述第二类业务的目标业务的自助办理。

在另一个实施例中，自助终端采集目标对象证件照片的对象标识，比如人脸ID，自助终端基于该人脸ID从人脸库中查找具有对应ID的人脸特征，若并未查找到对应的人脸ID，且自助终端采集当前目标对象的面部照片，应用人脸检测算法，比如MTCNN算法网络对目标对象面部照片的特征向量与人脸库中面部数据的特征向量进行相似度计算，若相似度不满足阈值要求，则确定目标对象未进行对象信息绑定。

在上述实施例中，自助终端通过人脸检测算法识别目标对象是否进行对象信息绑定，可加快目标对象的业务办理流程，方便自助终端统计并调用该目标对象的业务办理类型，从而方便目标对象之后的业务办理。自助终端通过读取目标对象的证件照片等信息，并通过人脸检测算法对当前目标对象的身份进行验证，判断证件和目标对象是否是同一人，可以增加业务办理的安全性，防止他人冒名登录自助终端。

在一个实施例中，该业务引导方法还包括：对于未绑定对象信息的目标对象，自助终端采集目标对象的面部图像，更新面部图像库；自助终端获取第二候选业务清单，将第二候选业务清单进行展示，供目标对象选择；自助终端根据目标对象选择的第二候选业务清单中的业务，供目标对象进行属于第二类业务的目标业务的自助办理。

其中，第二候选业务清单是所有第二类业务依据被办理的次数从多到少依次排列的清单，主要供未绑定的目标对象进行选择。

具体地，对于未绑定对象信息的目标对象，自助终端采集当前目标对象的面部图像，并将该面部图像添加到面部图像库中，更新面部图像库，即完成当前目标对象的对象信息绑定操作，然后，自助终端将第二候选业务清单展示给当前目标对象进行选择，根据目标对象选择的第二候选业务清单中的业务，逐步提示目标对象进行属于第二类业务的目标业务的自助办理。

在上述实施例中，通过对未绑定对象信息的目标对象进行对象信息绑定，可方便该目标对象之后的业务办理，节省办理时间，提高业务办理效率。

在一个实施例中，在目标业务属于第一类业务时，第二图像采集设备对目标对象进行面部识别，并向自助柜台机发出登录请求之后，方法还包括：自助柜台机基于第二图像采集设备采集的目标对象的面部图像，进行特征提取处理，得到目标对象的面部图像在特定维数的特征向量；自助柜台机将特征向量与数据库中的特征向量进行相似度计算，当相似度满足阈值要求时，实现目标对象的登录。

其中，自助柜台机通过面部表征算法，比如FaceNet算法完成对象目标的登录操作。面部表征又称人脸图像特征提取，人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸图像特征提取就是针对人脸的某些特征进行的，它是对人脸进行特征建模的过程。

具体地，自助柜台机使用面部表征算法对第二图像采集设备采集的目标对象的面部图像进行特征提取处理，把面部图像通过深度神经网络得到目标对象的面部图像在特定维数的特征向量，该特征向量可以很好地表征面部数据，使得不同面部的两个特征向量距离尽可能大，同一人面部的两个特征向量尽可能小，这样即可通过特征向量进行面部识别，然后自助柜台机将特征向量与数据库中的特征向量进行相似度计算，当计算的相似度满足预设的阈值要求时，可以实现目标对象在自助柜台机的登录操作。

在其中一个实施例中，自助柜台机使用的面部表征算法是以欧式距离对特征向量的相似度进行衡量的，欧氏距离的计算公式如下：

其中，公式中的d表示欧式距离，i表示第i个特征向量，x_1i表示目标对象面部图像的第i个特征向量，x_2i表示数据库中的第i个特征向量，N表示面部特征向量的个数。

若欧式距离预设的阈值要求为a，那么，当目标对象面部图像的特征向量与数据库中的特征向量的欧式距离小于阈值a时，可确定数据库中存在该目标对象的登录记录，当目标对象登录成功后，可查询该目标对象之前办理的业务及办理时间等信息。

在上述实施例中，自助柜台机通过人脸检测算法完成目标对象在自助柜台机的登录操作，可节省目标对象的业务办理时间，且方便目标对象对所办理过的业务信息的查询，提高目标对象的业务办理体验感。

举例说明，一个营业厅的每台自助设备相当于一个人工柜台，设置了4台自助柜台机和8台自助终端，相当于设置了12个人工柜台，每年可节约人工工作量约3240人天。运用人脸识别技术及人体追踪技术对人流进行热力追踪，精确分析各台智能设备前办理业务及等待的人数，有效引导分流客户，优化业务办理流程。结合客户标签化管理，为客户推荐最常办理的业务并引导客户到最合适的设备上办理，简化了业务流程，可以使客户业务办理等待时长缩短30％，缩减了业务办理时90％上传资料的时长，每项业务可至少为客户节省时间约2小时，大大提高服务效率和服务质量。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的业务引导方法的业务引导系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个业务引导系统实施例中的具体限定可以参见上文中对于业务引导方法的限定，在此不再赘述。

在一个实施例中，提供了一种业务引导系统，包括：部署于预设区域入口处的第一图像采集设备、引导屏、自助柜台机、与自助柜台机匹配使用的第二图像采集设备、以及自助终端，其中：第一图像采集设备，用于采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定目标对象是否需要自助服务；引导屏，用于在确定需要自助服务时，展示与目标对象对应的第一候选业务清单，并确定目标对象从第一候选业务清单中选中的目标业务；引导屏还用于，在目标业务属于第一类业务时，引导目标对象前往自助柜台机进行自助办理，在目标业务属于第二类业务时，引导目标对象前往自助终端进行自助办理；第二图像采集设备，用于在目标业务属于第一类业务时，对目标对象进行面部识别，并向自助柜台机发出登录请求；自助柜台机，用于在登录成功后，供目标对象办理目标业务；自助终端，用于在目标业务属于第二类业务时，对目标对象进行数据采集并基于采集的数据进行目标业务的自助办理。

在一个实施例中，第一类业务为电力服务类业务，包括电费余额查询、修改过户信息和账单查询中的至少一种；第二类业务为对象信息管理类业务，包括面部图像采集、对象信息登记和开户处理中的至少一种。

在一个实施例中，第一图像采集设备，还用于若基于采集的面部图像确定目标对象是首次办理业务，则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；第一图像采集设备，还用于若基于采集的面部图像确定目标对象是非首次办理业务，则根据面部图像识别出的目标对象的对象身份及标签，并基于对象身份和标签确定目标对象是否需要自助服务。

在一个实施例中，自助终端，还用于获取目标对象的对象信息，基于对象信息查询目标对象曾经办理过的业务，并预测目标对象本次到访的访问目的；自助终端，还用于基于访问目的生成第一候选业务清单，并将第一候选业务清单发送至引导屏。

在一个实施例中，自助终端，还用于采集目标对象的证件照片、面部照片和对象信息，并基于面部照片进行面部检测，得到目标对象的面部关键点；自助终端，还用于对检测到的面部照片进行质量检测，并基于面部关键点对检测通过的面部照片进行面部对齐操作后，提取面部照片的图像特征；自助终端，还用于将图像特征与人脸库中的面部数据进行相似度计算，当相似度满足阈值要求时，确定目标对象已进行对象信息绑定；当相似度不满足阈值要求时，确定目标对象未进行对象信息绑定；自助终端，还用于识别证件照片的对象标识，以及识别面部照片的对象标识，在证件照片的对象标识与面部照片的对象标识不一致时，拒绝属于第二类业务的目标业务的自助办理。

在一个实施例中，对于未绑定对象信息的目标对象，自助终端，还用于采集目标对象的面部图像，更新面部图像库；自助终端，还用于获取第二候选业务清单，将第二候选业务清单进行展示，供目标对象选择；自助终端，还用于根据目标对象选择的第二候选业务清单中的业务，供目标对象进行属于第二类业务的目标业务的自助办理

在一个实施例中，自助柜台机，还用于基于第二图像采集设备采集的目标对象的面部图像，进行特征提取处理，得到目标对象的面部图像在特定维数的特征向量；自助柜台机，还用于将特征向量与数据库中的特征向量进行相似度计算，当相似度满足阈值要求时，实现目标对象的登录。

上述业务引导系统中，通过第一图像采集设备采集进入预设区域内的目标对象的面部图像，根据采集到的面部图像确认该目标对象是否需要自助服务；若该目标对象需要自助服务，则引导屏做出提示，并展示与该目标对象对应的第一候选业务清单供其选择，并根据该目标对象选择的业务类型将其引导到对应业务办理的设备前，目标对象可以在相应的设备上办理相关业务。若目标对象所选业务属于第一类业务，则第二图像采集设备对目标对象进行面部识别，并向办理第一类业务的自助柜台机发出登录请求，登录成功后，目标对象就可以在自助柜台机上办理目标业务；若目标对象所选业务属于第二类业务，则办理第一类业务的自助柜台机第二图像采集设备对目标对象进行面部识别，并办理第二类业务的自助终端对目标对象进行数据采集，并基于采集的数据进行目标业务的自助办理。这样，本申请中的方案通过图像采集设备、引导屏、自助柜台机和自助终端间的网络互通协作，实现智能引导自助服务，在业务分类办理的前提下，方便快捷地引导用户进行分流自助办理，大大提高了业务受理和办理效率，同时也减少了人工成本。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种业务引导系统，其特征在于，所述系统包括部署于预设区域入口处的第一图像采集设备、引导屏、自助柜台机、与所述自助柜台机匹配使用的第二图像采集设备、以及自助终端：

所述第一图像采集设备，用于采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定所述目标对象是否需要自助服务；

所述引导屏，用于在确定需要自助服务时，展示与所述目标对象对应的第一候选业务清单，并确定所述目标对象从所述第一候选业务清单中选中的目标业务；

所述引导屏还用于，在所述目标业务属于第一类业务时，引导所述目标对象前往自助柜台机进行自助办理，在所述目标业务属于第二类业务时，引导所述目标对象前往自助终端进行自助办理；

所述第二图像采集设备，用于在所述目标业务属于第一类业务时，对所述目标对象进行面部识别，并向所述自助柜台机发出登录请求；所述自助柜台机，用于在登录成功后，供所述目标对象办理目标业务；

所述自助终端，用于在所述目标业务属于第二类业务时，对所述目标对象进行数据采集并基于采集的数据进行所述目标业务的自助办理。

2.根据权利要求1所述的系统，其特征在于，所述第一类业务为电力服务类业务，包括电费余额查询、修改过户信息和账单查询中的至少一种；所述第二类业务为对象信息管理类业务，包括面部图像采集、对象信息登记和开户处理中的至少一种。

3.根据权利要求1所述的系统，其特征在于，所述第一图像采集设备，还用于若基于采集的面部图像确定所述目标对象是首次办理业务，则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；

所述第一图像采集设备，还用于若基于采集的面部图像确定所述目标对象是非首次办理业务，则根据所述面部图像识别出的所述目标对象的对象身份及标签，并基于所述对象身份和标签确定所述目标对象是否需要自助服务。

4.根据权利要求1所述的系统，其特征在于，所述自助终端，还用于获取所述目标对象的对象信息，基于所述对象信息查询所述目标对象曾经办理过的业务，并预测所述目标对象本次到访的访问目的；

所述自助终端，还用于基于所述访问目的生成第一候选业务清单，并将所述第一候选业务清单发送至所述引导屏。

5.根据权利要求1所述的系统，其特征在于，所述自助终端，还用于采集所述目标对象的证件照片、面部照片和对象信息，并基于面部照片进行面部检测，得到所述目标对象的面部关键点；

所述自助终端，还用于对检测到的所述面部照片进行质量检测，并基于所述面部关键点对检测通过的面部照片进行面部对齐操作后，提取所述面部照片的图像特征；

所述自助终端，还用于将所述图像特征与人脸库中的面部数据进行相似度计算，当相似度满足阈值要求时，确定所述目标对象已进行对象信息绑定；当相似度不满足阈值要求时，确定所述目标对象未进行对象信息绑定；

所述自助终端，还用于识别所述证件照片的对象标识，以及识别所述面部照片的对象标识，在所述证件照片的对象标识与所述面部照片的对象标识不一致时，拒绝属于所述第二类业务的目标业务的自助办理。

6.根据权利要求5所述的系统，其特征在于，对于未绑定对象信息的目标对象，所述自助终端，还用于采集所述目标对象的面部图像，更新面部图像库；

所述自助终端，还用于获取第二候选业务清单，将第二候选业务清单进行展示，供所述目标对象选择；

所述自助终端，还用于根据所述目标对象选择的第二候选业务清单中的业务，供所述目标对象进行属于第二类业务的目标业务的自助办理。

7.根据权利要求1所述的系统，其特征在于，所述自助柜台机，还用于基于所述第二图像采集设备采集的所述目标对象的面部图像，进行特征提取处理，得到所述目标对象的面部图像在特定维数的特征向量；

所述自助柜台机，还用于将所述特征向量与数据库中的特征向量进行相似度计算，当所述相似度满足阈值要求时，实现所述目标对象的登录。

8.一种业务引导方法，其特征在于，所述方法包括：

第一图像采集设备采集进入预设区域内的目标对象的面部图像，并基于采集的面部图像确定所述目标对象是否需要自助服务；

在确定需要自助服务时，引导屏展示与所述目标对象对应的第一候选业务清单，并确定所述目标对象从所述第一候选业务清单中选中的目标业务；

在所述目标业务属于第一类业务时，所述引导屏引导所述目标对象前往自助柜台机进行自助办理，在所述目标业务属于第二类业务时，所述引导屏引导所述目标对象前往自助终端进行自助办理；

在所述目标业务属于第一类业务时，第二图像采集设备对所述目标对象进行面部识别，并向所述自助柜台机发出登录请求，所述自助柜台机在登录成功后，供所述目标对象办理目标业务；

在所述目标业务属于第二类业务时，所述自助终端对所述目标对象进行数据采集并基于采集的数据进行目标业务的自助办理。

9.根据权利要求8所述的方法，其特征在于，所述第一类业务为电力服务类业务，包括电费余额查询、修改过户和账单查询中的至少一种；所述第二类业务包括对象信息管理类业务，包括面部图像采集、对象信息登记和开户中的至少一种。

10.根据权利要求8所述的方法，其特征在于，所述基于采集的面部图像确定所述目标对象是否需要自助服务，包括：

若基于采集的面部图像确定所述目标对象是首次办理业务，所述第一图像采集设备则向业务人员所在终端发送通知，以提醒业务人员进行人工干预；

若基于采集的面部图像确定所述目标对象是非首次办理业务，所述第一图像采集设备则根据所述面部图像识别出的所述目标对象的对象身份及标签，并基于所述对象身份和标签确定所述目标对象是否需要自助服务。

Images