CN108491773B - 一种识别方法及系统 - Google Patents

Abstract

本发明公开了一种识别方法及系统，方法包括：获得客户在目标区域内的照片，并产生人脸识别搜索请求；根据请求判断目标区域所归属的区域的要客数量是否达到阈值；获得照片中人脸的全局特征和局部特征；如果要客的数量大于阈值，利用照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；第一相似度小于第一相似度下限阈值，则照片中的人脸与对应人脸库中的人脸不是同一个人；第一相似度大于第一相似度上限阈值，则照片中的人脸与对应人脸库中的人脸是同一个人；否则，对人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用照片的局部特征与人脸库中剩余人脸的局部特征进行比对，获得第二相似度，根据第一相似度和第二相似度进行识别。

Description

一种识别方法及系统

技术领域

本申请涉及数据处理技术领域，特别涉及一种识别方法及系统。

背景技术

当前随着经济的高速发展银行大客户数量大幅增长，无论是客户的数量还是服务期望值都达到了历史最高水平。而目前银行对大客户的服务还停留在传统方式上，当客户进入网点需要刷卡通过卡号来识别当前客户的星级，传统方式的服务体验较差，无法满足当下高净值客户群体对银行服务的高期望值。

基于上述情况，很容易想到通过人脸识别的方式在客户进入银行网点区域时就进行识别，来替代传统方式的识别方案，从而提高服务体验度。但是，当前人脸识别搜索场景主要应用在小数据量搜索，传统的人脸搜索中人脸识别算法所含的特征多、精度高，当搜索的数据集合中人脸数量巨大时，这种精度高的人脸识别搜索速度较慢、识别效率较低，无法满足大数据量下特定人脸的快速搜索。

因此，需要一种新的技术方案解决在银行网点环境下对要客身份进行识别来提升银行服务水平的技术问题。

发明内容

本申请实施方式的目的是提供一种识别方法及系统，以解决如何高效率的在银行网点环境下对要客身份进行识别的技术问题。

为实现上述目的，本申请实施方式提供一种识别方法，包括：

获得客户在目标区域内的照片，并产生人脸识别搜索请求；

根据接收到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

对所述照片中人脸进行特征提取，获得全局特征和局部特征；

如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，还包括：

如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，根据所述第三相似度对客户进行识别的步骤包括：

识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；

将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果。

优选地，所述人脸库用于存储以客户为维度的人脸生物特征信息以及客户的人脸图像信息。

为实现上述目的，本申请实施方式还提供一种识别系统，所述系统包括：存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下功能：

获得客户在目标区域内的照片，并产生人脸识别搜索请求；

根据接受到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

对所述照片中人脸进行特征提取，获得全局特征和局部特征；

如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，所述计算机程序被所述处理器执行时，还实现以下功能：

如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，根据所述第三相似度对客户进行识别，所述计算机程序被所述处理器执行时，还实现以下功能：

识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；

将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果。

优选地，所述计算机程序被所述处理器执行时，还实现以下功能：

在所述人脸库中存储以客户为维度的人脸生物特征信息以及客户的人脸图像信息。

上述技术方案具有如下有益效果：

通过人脸识别技术实现要客身份的精准定位，根据不同区域要客数量采用不同的搜索方法，利用多级分层搜索识别解决了大数据量人脸库条件下要客身份的高效搜索，并将搜索结果推送到网点各个终端，从而提升客户经理服务水平。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本技术方案的应用场景图；

图2为本技术方案中的接口服务器结构图；

图3为本技术方案中的识别算法节点服务器结构图；

图4为本技术方案中的数据库服务器结构图；

图5为本技术方案中的应用监控结构图；

图6为本技术方案中的应用服务器结构图；

图7为本技术方案中的节点管理服务器结构图；

图8为本申请实施例提供一种识别方法流程图之一；

图9为本申请实施例提供一种识别方法流程图之二；

图10为本申请实施例针对要客识别的过程流程图；

图11为本实施例中识别原理示意图；

图12为本申请实施例提供的一种识别系统示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

如图1所示，为本技术方案的应用场景图。包括交换机1、PC客户端2、网络摄像头3、数据库集群4、应用监控5、应用服务器6、节点管理群组7、推送服务器8、负载均衡器9、PC终端10、接口服务群组11、识别算法节点群组12、PAD终端13、手表终端14。A站点和B站点互为备份并定时进行数据同步，其中，交换机1将网络摄像头3和PC客户端2组网在一个网内，PC客户端2接收网络摄像头3抓拍的照片，同时将照片发送到应用服务器6；网络摄像头3通过交换机1将照片发送到PC客户端2；数据库集群4与接口服务群组11和识别算法节点群组12交互；节点管理群组7和接口服务群组11、识别算法节点群组12交互，并向应用监控5定向发送监控消息；接口服务群组11和数据库集群4、节点管理群组7、识别算法节点群组12、负载均衡器9交互，并向应用监控5定向发送监控消息；识别算法节点群组12和数据库集群4、节点管理群组7、接口服务群组11交互，并向应用监控5定向发送监控消息；应用监控5监控和收集接口服务群组11、节点管理群组7、识别算法节点群组12的监控消息；应用服务器6和PC客户端2、推送服务器8交互，并通过负载均衡器9与接口服务器群组11交互；推送服务器8接收应用服务器6的消息推送，并与PC终端10、PAD终端13、手表终端14交互；负载均衡器9和接口服务群组11交互；PC终端10与推送服务器8交互；PAD终端13与推送服务器8交互；手表终端14与推送服务器8交互。

交换机1，该设备负责将网络摄像机和PC客户端组建在一个网内。

PC客户端2，该设备接收网络摄像头抓拍的照片，并将照片发送到应用服务器，该设备上还包括安装要客识别客户端软件、摄像头配置软件，其中摄像头配置软件用于对摄像头进行参数配置。

网络摄像头3，该设备位于网点入口的大门侧上方，用于网点场景下客户群人脸图片的拍摄和采集，采集的图片经过交换机传至PC客户端。

数据库集群4，该设备用于存储客户人脸特征信息，并将数据实时同步到缓冲区内。如图4所示，数据库集群4下的数据库服务器包括DB结构化数据单元41、图像等非结构化数据单元42。

所述的DB结构化数据单元41负责存储以客户为维度的人脸生物特征信息。

所述的图像等非结构化数据单元42负责存储加密后客户的人脸图像数据。

应用监控5，该设备用于监控节点管理群组、接口服务群组、识别算法节点群组的可用性指标、事件运行、性能指标、注册信息指标数据。

如图5所示，应用监控5包括可用性指标监控单元51、事件监控单元52、性能指标监控单元53、注册信息指标监控单元54。其中，

所述的可用性指标监控单元51用于接口服务器、识别算法节点服务器、节点管理服务器等可用性指标监控。

所述的事件监控单元52用于通讯异常、程序异常退出、算法调用异常、内存异常等事件监控。

所述的性能指标监控单元53用于识别搜索请求量、响应时间、成功率等性能指标的监控。

所述的注册信息指标监控单元54用于接口服务器、识别算法节点服务器、节点管理服务器的应用注册指标的监控。

应用服务器6，该设备将接收PC客户端发送的照片，并通过调用接口服务器群组上的接口服务进行人脸搜索，搜索结果由接口服务器返回给应用服务器，并根据搜索结果查询客户具体信息，并将消息发送到消息推送服务器8。

如图6所示，所述应用服务器6包括发送搜索请求单元61、接收搜索请求结果单元62、匹配客户信息单元63。其中，

所述的发送搜索请求单元61用于通过接口调用的形式对接口服务器发送请求；

所述的接收搜索请求结果单元62用于接收接口服务器搜索的结果；

所述的匹配客户信息单元63用于将搜索到的人脸结果匹配客户详细信息。

节点管理群组7，该群组负责与接口服务群组、识别算法节点群组进行交互，并管理识别算法节点群组下服务器可用状态。如图7所示，所述节点管理群组7下的节点管理服务器采用开源ZooKeeper框架，实现基本的服务注册、服务查询、节点管理等高可用功能，同时与识别算法节点服务器和接口服务器交互，包括节点注册服务单元71、节点监控服务单元72、节点状态咨询服务单元73。

节点注册服务单元71负责管理识别算法节点服务，识别算法节点服务上线前需定时向节点注册服务单元71进行注册，注册的新服务会更新到节点列表中。

节点监控服务单元72负责监控识别算法节点服务器状态，并与识别算法节点服务器进行交互，识别算法节点服务器定时向节点监控服务单元72进行心跳检测。

节点状态咨询服务单元73负责维护识别算法节点服务器状态变更情况，识别算法节点定期获取节点状态，实现在线新增、注销节点，并与接口服务器节点进行交互，接口服务器节点定时向节点状态咨询服务单元73进行服务状态查询，根据查询的最新结果与当前的服务列表进行比对，删除不可用的服务，更新新增的服务。

推送服务器8，该设备接收应用服务器发送的搜索结果，并将搜索结果推送到包括PC机、PAD、手表等终端上。

负载均衡器9，该设备用于传输层TCP请求的负载均衡，并将请求发给相应的接口服务器。

PC终端10，该设备为行内终端，用于接收消息推送服务器发送的客户消息，以供开展后续业务流程。

接口服务群组11，该群组下的接口服务器设备用于接收搜索请求，并将搜索请求下发到可运行的识别算法节点服务器，并接受识别算法节点服务器返回的搜索结果。

如图2所示，所述接口服务群组下接口服务器11具有接口多节点横向扩展的特点，对行内提供可调用的人脸特征提取、人脸搜索识别服务，接收人脸搜索识别请求并将识别结果与其他应用系统进行交互。包括通讯服务单元111、交易识别单元112、交易路由单元113。

通讯服务单元111，调用方根据人脸搜索请求通过负载均衡器与接口服务器的通讯服务单元进行交互，通讯服务单元负责接收人脸搜索请求数据，并返回人脸搜索结果数据。

交易识别单元112，负责对接收请求的所在地区要客数量进行判断，并根据判断结果识别需要调用的组合服务。

交易路由单元113负责将人脸搜索请求发送到对应的识别算法节点服务器进行处理。

识别算法节点群组12，群组中每个识别算法节点服务器设备具有多节横向扩展实现服务的高并发和高性能，识别算法节点服务器部署具体的人脸特征提取和人脸搜索服务，根据接口服务器的交易识别单元112判断，对采集图片进行特征提取、人脸搜索或人脸分层搜索处理，同时与节点管理服务器、接口服务器进行交互。识别算法节点服务器对外发布服务，包括人脸特征提取单元121、第一层识别搜索单元122、第二层识别搜索单元123、人脸搜索单元124。如图3所示。

人脸特征提取单元121，负责对采集到的人脸图片进行特征提取，提取照片中人脸的全局和融合特征(全局和局部特征构成融合特征)。全局特征提取时将高维人脸图片投影到低维空间中，使他们在低维空间中的分散程度最大化，构成特征脸空间以便后续的人脸分类。将高维空间中的人脸图像X(X∈Rⁿ)通过投影向量W投影到低维空间中，通过Y＝W^TX得到特征向量Y(Y∈R^d，d≤n)。

假设有M个m×n维的训练样本图像X₁，X₂,...X_M,样本可排列为m维n列向量X＝[x₁₁,x₁₂,...,x_ij]，其中，i∈{1,2...m}，j∈{1,2...n}。样本的总体散布矩阵为：

式中，G是一个m维n列的实对称矩阵，

为所有样本的平均值，又称平均人脸。m、n实际值比较大，直接计算非常困难，在实际应用中可以通过奇异值分解定理(SVD)来解决，令：

式中，

构造矩阵R＝UU^T容易求出其特征值λ_i及对应的特征向量β_i，i＝1,2...M。由奇异值分解定理可知，之前协方差矩阵G的正交归一化特征向量，

i＝1,2...M。将特征值按从大到小排列，对应的特征向量为α₁,α₂...α_M。取G的前d个最大特征值所对应的特征向量α₁,α₂...α_d，即W＝(α₁,α₂...α_d)，得到样本图像的特征向量，d的取值满足

文中θ＝0.95，通过线性变换公式Y＝W^TX可得到投影特征向量Y₁,Y₂...Y_M，从而得到全局特征GF。

局部特征提取人脸细节特征，令输入图像为U(x,y)，则将图像U进行Gabor小波核函数卷积，O_u,v＝U(x,y)×Ψ_u,v(x,y)，O_u,v是点(x，y)处的卷积结果，其中Gabor卷积函数

k_v表示核函数的尺度，在这里取5个尺度v∈{0,1....4}，

表示核函数的方向，在这里取8个方向u∈{0,1,2...7}，从上述卷积函数可以看出，图像进行卷积后提取的高斯函数中心的图像信息，而距离中心较远的图像信息会被忽略。因此，相比全局特征，卷积后特征更加关注局部区域内多尺度、多方向细节信息。为了更好的提取局部信息，将提取的特征按照人脸空间位置进行分组N，每一个组内的特征是一个特征向量，对于一副人脸图像可以按照人脸空间位置划分成互不重叠的N个特征向量。

由于局部特征向量维数较高，对这N个局部特征向量进行PCA降维，再将N个局部特征向量通过BP神经网络进行非线性变换，得到N个新的局部特征向量LF_i，i＝1，2...N。通过大量样本数据交叉测试多次迭代循环求取每一个局部特征LF_i，i＝1，2...N的平均类准确率，将平均类准确率当做云滴输入到逆向云发生器，以此计算每个局部特征的权重

式中，1≤b≤N，Ex表示每一个局部特征的正确识别率；E_n表示每一个局部特征在不同样本区域上的准确率的变化；H_e表示与每一个局部特征正常发挥的偏离程度。根据N个云滴的定量值x_i，可以计算出

得到加权的局部特征值

融合特征UF由全局特征GF与局部特征LF构成。

第一层识别搜索单元122，当发起请求的网点区域要客数量超过一定阈值(例如本实施案例中达到百万级)，将启动分层搜索，负责将提取的人脸全局粗特征GF与人脸库中的全局特征进行比对，从而得到全局特征之间的相似度S_G，将相似度进行排序，当相似度小于下限阈值s₁，说明这两张人脸极大可能不属于同一个人，因此系统可以判定两张人脸不是同一身份；同理当相似度大于上限阈值s₂，说明这两张人脸极大可能属于同一个人，因此系统可以判定两张是同一身份。对于相似度介于下限阈值s₁和上限阈值s₂之间的M个人脸，这部分数据集合需要第二层识别搜索单元进行精细搜索，需要说明的是s₁和s₂的取值需要根据测试数据集达到精度和速度的平衡，否则会导致M值过大，候选人脸数过多，第二层识别搜索单元123的速度会降低。

第二层识别搜索单元123，负责对第一层搜索筛选后的人脸数据集合进行进一步搜索，将提取人脸融合特征UF(全局与局部特征构成)与人脸库中的融合特征进行比对，融合特征由全局和局部特征构成，匹配计算方法为：将提取的全局特征GF与人脸库中对应的全局特征计算相似度S_G，再将提取的局部特征LF与人脸库中对应的局部特征计算相似度S_L，最后对全局和局部特征向量计算出的相似度值进行加权得到融合特征比对的相似度S_U＝w_bS_G+(1-w_b)S_L，其中，w_b为全局特征相似度的权值，1-w_b为局部特征相似度的权值。

人脸搜索单元124，当发起请求的网点区域要客数量低于一定阈值时，启动人脸搜索单元，负责将提取的人脸融合特征与人脸库中的融合特征进行比对。融合特征即由全局特征和局部特征构成，即将提取的全局特征GF与人脸库中对应的全局特征计算相似度S_G，再将提取的局部特征LF与人脸库中对应的局部特征计算相似度S_L，最后对全局和局部特征向量计算出的相似度值进行加权得到融合特征比对的相似度S_U＝w_bS_G+(1-w_b)S_L。

PAD终端13，该设备为行内客户经理手持移动营销工具，可以接收来自要客识别的结果消息，以便开展后续营销业务。

手表终端14，该设备为行内客户经理佩戴的移动营销工具，可以接收来自要客识别的结果消息，以便开展后续营销业务。

基于上述工作原理的描述，本申请实施例提供一种识别方法流程图之一，如图8所示。包括：

步骤801)：获得客户在目标区域内的照片，并产生人脸识别搜索请求；

步骤802)：根据接受到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

步骤803)：对所述照片中人脸进行特征提取，获得全局特征和局部特征；

步骤804)：如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

基于上述工作原理的描述，本申请实施例提供一种识别方法流程图之二，如图9所示。在图8的基础上，还包括：

步骤804’)：如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

在本实施例中，所述第三相似度对客户进行识别的步骤包括：

识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；

将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果。

根据上述描述，在本实施例中，下面给出利用本技术方案针对要客的识别方法。如图10所示。该方法包括：

步骤S1101：客户进入网点，入口处的网络摄像头自动抓拍现场照片，并将拍摄照片传至PC客户端，PC客户端将照片发送到应用服务器，应用服务器通过银行专网向数据中心接口服务器通讯服务单元111发送人脸识别搜索请求。

步骤S1102：接口服务器交易识别单元112根据接收的请求判断当前网点区域内的要客数量进行判断，当前要客数量超过一定的阈值，执行1103；否则，执行1108。

步骤S1103：若当前区域要客数量大于阈值，接口服务器交易识别单元112将识别出需要调用的服务组合，即人脸特征提取单元121、第一识别搜索单元122、第二识别搜索单元123，详见图11，交易路由单元113根据路由规则和可用的识别算法节点服务器将服务组合分发到对应的识别算法节点服务器上进行并行计算；

步骤S1104：识别算法节点服务器接收到待检测照片，人脸特征提取单元121会对照片中的人脸进行定位并对图片进行全局和局部细节特征提取，全局和局部特征可以构成融合特征。

首先提取全局特征，特征提取时将高维人脸数据投影到低维空间中，使他们在低维空间中的分散程度最大化，构成特征脸空间以便后续的人脸分类。将高维空间中的人脸图像X(X∈Rⁿ)通过投影向量W投影到低维空间中，通过Y＝W^TX得到特征向量Y(Y∈R^d，d≤n)。

假设有M个m×n维的训练样本图像X₁，X₂,...X_M,样本可排列为m维n列向量X＝[x₁₁,x₁₂,...,x_ij]，其中，i∈{1,2...m}，j∈{1,2...n}。样本的总体散布矩阵为：

式中，G是一个m维n列的实对称矩阵，

为所有样本的平均值，又称平均人脸。m、n实际值比较大，直接计算非常困难，在实际应用中可以通过奇异值分解定理(SVD)来解决，令：

式中，

构造矩阵R＝UU^T容易求出其特征值λ_i及对应的特征向量β_i，i＝1,2...M。由奇异值分解定理可知，之前协方差矩阵G的正交归一化特征向量，

i＝1,2...M。将特征值按从大到小排列，对应的特征向量为α₁,α₂...α_M。取G的前d个最大特征值所对应的特征向量α₁,α₂...α_d，即W＝(α₁,α₂...α_d)，得到样本图像的特征向量，d的取值满足

文中θ＝0.95，通过线性变换公式Y＝W^TX可得到投影特征向量Y₁,Y₂...Y_M，从而得到全局特征GF。

局部特征提取人脸细节特征，令输入图像为U(x,y)，则将图像U进行Gabor小波核函数卷积，O_u,v＝U(x,y)×Ψ_u,v(x,y)，O_u,v是点(x，y)处的卷积结果，其中Gabor卷积函数

kv表示核函数的尺度，在这里取5个尺度v∈{0,1....4}，

表示核函数的方向，在这里取8个方向u∈{0,1,2...7}，从上述卷积函数可以看出，图像进行卷积后提取的高斯函数中心的图像信息，而距离中心较远的图像信息会被忽略。因此，相比全局特征，卷积后特征更加关注局部区域内多尺度、多方向细节信息。为了更好的提取局部信息，将提取的特征按照人脸空间位置进行分组N，每一个组内的特征是一个特征向量，对于一副人脸图像可以按照人脸空间位置划分成互不重叠的N个特征向量。

由于局部特征向量维数较高，对这N个局部特征向量进行PCA降维，再将N个局部特征向量通过BP神经网络进行非线性变换，得到N个新的局部特征向量LF_i，i＝1，2...N。通过大量样本数据交叉测试多次迭代循环求取每一个局部特征LF_i，i＝1，2...N的平均类准确率，将平均类准确率当做云滴输入到逆向云发生器，以此计算每个局部特征的权重

式中，1≤b≤N，Ex表示每一个局部特征的正确识别率；E_n表示每一个局部特征在不同样本区域上的准确率的变化；H_e表示与每一个局部特征正常发挥的偏离程度。根据N个云滴的定量值x_i，可以计算出

得到加权的局部特征值

融合特征UF由全局特征GF与局部特征LF构成。人脸特征提取单元121提取全局特征和融合特征成功后，将返回提取成功消息给接口服务器的交易识别单元112以便调用下一步人脸搜索；

步骤S1105：接口服务器交易识别单元112接收到特征提取成功消息后，将搜索请求发送到识别算法节点服务器第一层识别搜索单元122，同时拉起多线程进行搜索比对，将优先判断待识别的人脸特征记录是否在缓存数据块中，若不存在，则从数据库中查出新的人脸全局特征、人脸融合特征数据记录更新到缓存块中，再将全局特征分别与缓存块中的全局特征进行比对从而得到相似度，将相似度进行排序。如果相似度低于某个下限的阈值s₁，那么说明这两张人脸极大可能不属于同一个人，因此系统可以直接判定这两张人脸身份不同；反之，若相似度大于某个上限的阈值s₂，那么说明这两张人脸极大可能是同一个人，因此系统直接判定这两张人脸是同一身份，对于相似度介于s₁和s₂之间的M个人脸，第一层识别搜索单元122很难做出判断，此时识别算法节点服务器汇总各线程返回的筛选后的人脸数据记录集合，并放入缓存中以key标识，这部分数据集合需要第二层识别搜索单元123进行精细搜索。s₁和s₂的取值需要根据测试数据集合的测试调整以达到精度和速度的平衡，否则M值越大，候选人脸数越多，第二层识别搜索单元123的速度会降低；

步骤S1106：经过识别算法节点服务器第一层识别搜索单元122后，若未有识别结果，接口服务器交易识别单元112进一步调用识别算法节点服务器第二层识别搜索单元123，此时待搜索的人脸数据集已经缩小，识别算法节点服务器拉起多线程将照片中人脸融合特征和已存在缓存中筛选后的key人脸数据集合中的融合特征进行比对，各线程返回相似度最高分的人脸库图片编号和相似度值；

步骤S1107：识别算法节点服务器汇总各线程返回值后，按相似度值进行排序，每个识别算法节点服务器返回接口服务器一个最高分相似度的人脸库图片编号和相似度值。接口服务器汇总各识别算法节点服务器返回值后，按分数进行排序，获取最高相似度值的人脸库图片编号和相似度值，并将这个相似度值与通过阈值进行比较，若大于阈值识别成功，并通过图片编号查出客户身份，将识别出来客户身份返回给人脸搜索请求方，并将搜索结果推送给网点各个终端，提醒网点客户经理要客到来以便后续开展业务。

步骤S1108：若当前区域要客数量小于阈值，接口服务器交易识别单元112将识别出需要调用的服务组合，即人脸特征提取单元121、人脸搜索单元124，交易路由单元113根据路由规则和可用的识别算法节点服务器将服务组合分发到对应的识别算法节点服务器上进行并行计算；

步骤S1109：识别算法节点服务器接收到待检测照片，人脸特征提取单元121会对照片中的人脸进行定位并对图片进行全局和局部细节特征提取，从而得到融合特征；

步骤S1110：接口服务器交易识别单元112接收到特征提取成功消息后，将搜索服务请求发送到所有可用的识别算法节点服务器人脸搜索单元124，识别算法节点服务器同时拉起多线程进行并行搜索，首先优先判断待识别的人脸特征记录是否在缓存数据块中，若不存在，则从数据库中查出新的人脸融合特征数据记录更新到缓存块中，再将融合特征分别与缓存块中的人脸融合特征进行比对，各线程返回最高分的人脸库图片编号和相似度值；

步骤S1111：识别算法节点服务器汇总各线程返回值后，按相似度值进行排序，每个识别算法节点服务器返回接口服务器一个最高分相似度的人脸库图片编号和相似度值。接口服务器汇总各识别算法节点服务器返回值后，按分数进行排序，获取最高相似度值的人脸库图片编号和相似度值，并将这个相似度值与通过阈值进行比较，若大于阈值识别成功，并通过图片编号查出客户身份，将识别出来客户身份返回给人脸搜索请求方，并将搜索结果推送给网点各个终端，提醒网点客户经理要客到来以便后续开展业务。

如图12所示，为本申请实施例提出的一种识别系统示意图。包括：

存储器a和处理器b，所述存储器a中存储计算机程序，所述计算机程序被所述处理器b执行时，实现以下功能：

获得客户在目标区域内的照片，并产生人脸识别搜索请求；

根据接受到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

对所述照片中人脸进行特征提取，获得全局特征和局部特征；

如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，所述计算机程序被所述处理器执行时，还实现以下功能：

如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

优选地，根据所述第三相似度对客户进行识别，所述计算机程序被所述处理器执行时，还实现以下功能：

识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；

将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果。

优选地，所述计算机程序被所述处理器执行时，还实现以下功能：

在所述人脸库中存储以客户为维度的人脸生物特征信息以及客户的人脸图像信息。

对于本技术方案来说，由于目前网点的要客识别通过传统的银行卡号进行识别，其识别与否还需依赖客户的手工操作，本发明使得在网点环境下，用户不需要刷卡而自动对进入网点的要客群体进行识别。与目前的人脸搜索应用场景相比，由于搜索的人脸库数量不大，搜索效率问题未体现瓶颈，当要客人脸库数量巨大时，当前的多特征、精细特征识别搜索方式存在速度慢、效率低的情况，本发明通过设计不同条件下人脸多级分层搜索，提高人脸搜索效率。要客识别的结果可推送至业务应用系统和智能终端设备，即时提醒客户经理要客到来以便后续业务开展，提高网点营销的精准性，提升银行服务水平。

在本实施方式中，所述存储器包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。

在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。

本说明书实施方式提供的识别系统，其存储器和处理器实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (6)

1.一种识别方法，其特征在于，包括：

获得客户在目标区域内的照片，并产生人脸识别搜索请求；

根据接收到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

对所述照片中人脸进行特征提取，获得全局特征和局部特征；

如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别；

根据所述第三相似度对客户进行识别的步骤包括：识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果；

其中，每个识别算法节点服务器具有多节横向扩展；

提取全局特征时将高维人脸数据投影到低维空间中，构成特征脸空间以便后续的人脸分类；将高维空间中的人脸图像X通过投影向量W投影到低维空间中，通过Y＝W^TX得到特征向量Y；

假设有M个m×n维的训练样本图像X₁，X₂,...X_M,排列为m维n列向量X＝[x₁₁,x₁₂,...,x_ij]，其中，i∈{1,2...m}，j∈{1,2...n}；样本的总体散布矩阵为：

式中，G是一个m维n列的实对称矩阵，

为所有样本的平均值；令：

式中，

构造矩阵R＝UU^T求出特征值λ_i及对应的特征向量β_i，i＝1,2...M；协方差矩阵G的正交归一化特征向量，

将特征值按从大到小排列，对应的特征向量为α₁,α₂...α_M；取G的前d个最大特征值所对应的特征向量α₁,α₂...α_d，即W＝(α₁,α₂...α_d)，得到样本图像的特征向量，d的取值满足

通过线性变换公式Y＝W^TX得到投影特征向量Y₁,Y₂...Y_M，得到全局特征G；

局部特征提取人脸细节特征，令输入图像为U(x,y)，则将图像U(x,y)进行Gabor小波核函数卷积，O_u,v＝U(x,y)×Ψ_u,v(x,y)，O_u,v是点(x，y)处的卷积结果，Ψ_u,v(x,y)为Gabor卷积函数；

将提取的特征按照人脸空间位置进行分组N，每一个组内的特征是一个特征向量，对于一副人脸图像按照人脸空间位置划分成互不重叠的N个特征向量；

对N个局部特征向量进行PCA降维，再将N个局部特征向量通过BP神经网络进行非线性变换，得到N个新的局部特征向量LF_i，i＝1，2...N；通过样本数据交叉测试多次迭代循环求取每一个局部特征LF_i，i＝1，2...N的平均类准确率，将平均类准确率当做云滴输入到逆向云发生器，计算每个局部特征的权重

式中，1≤b≤N，Ex表示每一个局部特征的正确识别率；E_n表示每一个局部特征在不同样本区域上的准确率的变化；H_e表示与每一个局部特征正常发挥的偏离程度，根据N个云滴的定量值x_i，计算出

得到加权的局部特征值

融合特征UF由全局特征GF与局部特征LF构成。

2.如权利要求1所述的方法，其特征在于，还包括：

如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

3.如权利要求1或2所述的方法，其特征在于，所述人脸库用于存储以客户为维度的人脸生物特征信息以及客户的加密人脸图像信息。

4.一种识别系统，其特征在于，所述系统包括：存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下功能：

获得客户在目标区域内的照片，并产生人脸识别搜索请求；

根据接收到的所述人脸识别搜索请求判断所述目标区域所归属的区域的要客的数量是否达到阈值；

对所述照片中人脸进行特征提取，获得全局特征和局部特征；

如果所述目标区域所归属的区域的要客的数量大于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；所述第一相似度小于第一相似度下限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸不是同一个人；所述第一相似度大于第一相似度上限阈值，则识别结果为所述照片中的人脸与对应人脸库中的人脸是同一个人；否则，对所述人脸库中小于第一相似度下限阈值的人脸数据过滤掉，利用所述照片的局部特征与所述人脸库中剩余人脸数据的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别；

根据所述第三相似度对客户进行识别，所述计算机程序被所述处理器执行时，还实现以下功能：识别算法节点服务器组中每个识别算法节点服务器返回一个最大第三相似度值以及对应人脸库中图片编号，对返回的所有第三相似度值进行排序，获得最高相似度值以及对应人脸库中图片编号；将所述最高相似度值与所述第三相似度阈值比较；如果比较结果为所述最高相似度值大于所述第三相似度阈值，则通过所述最高相似度值对应地人脸库中图片编号查询客户身份信息，所述客户身份信息为识别结果；

其中，每个识别算法节点服务器具有多节横向扩展；

提取全局特征时将高维人脸数据投影到低维空间中，构成特征脸空间以便后续的人脸分类；将高维空间中的人脸图像X通过投影向量W投影到低维空间中，通过Y＝W^TX得到特征向量Y；

假设有M个m×n维的训练样本图像X₁，X₂,...X_M,排列为m维n列向量X＝[x₁₁,x₁₂,...,x_ij]，其中，i∈{1,2...m}，j∈{1,2...n}；样本的总体散布矩阵为：

式中，G是一个m维n列的实对称矩阵，

为所有样本的平均值；令：

式中，

构造矩阵R＝UU^T求出特征值λ_i及对应的特征向量β_i，i＝1,2...M；协方差矩阵G的正交归一化特征向量，

将特征值按从大到小排列，对应的特征向量为α₁,α₂...α_M；取G的前d个最大特征值所对应的特征向量α₁,α₂...α_d，即W＝(α₁,α₂...α_d)，得到样本图像的特征向量，d的取值满足

通过线性变换公式Y＝W^TX得到投影特征向量Y₁,Y₂...Y_M，得到全局特征G；

局部特征提取人脸细节特征，令输入图像为U(x,y)，则将图像U(x,y)进行Gabor小波核函数卷积，O_u,v＝U(x,y)×Ψ_u,v(x,y)，O_u,v是点(x，y)处的卷积结果，Ψ_u,v(x,y)为Gabor卷积函数；

将提取的特征按照人脸空间位置进行分组N，每一个组内的特征是一个特征向量，对于一副人脸图像按照人脸空间位置划分成互不重叠的N个特征向量；

对N个局部特征向量进行PCA降维，再将N个局部特征向量通过BP神经网络进行非线性变换，得到N个新的局部特征向量LF_i，i＝1，2...N；通过样本数据交叉测试多次迭代循环求取每一个局部特征LF_i，i＝1，2...N的平均类准确率，将平均类准确率当做云滴输入到逆向云发生器，计算每个局部特征的权重

式中，1≤b≤N，Ex表示每一个局部特征的正确识别率；E_n表示每一个局部特征在不同样本区域上的准确率的变化；H_e表示与每一个局部特征正常发挥的偏离程度，根据N个云滴的定量值x_i，计算出

得到加权的局部特征值

融合特征UF由全局特征GF与局部特征LF构成。

5.如权利要求4所述的系统，其特征在于，所述计算机程序被所述处理器执行时，还实现以下功能：

如果所述目标区域所归属的区域的要客的数量小于等于数量阈值，利用所述照片的全局特征与人脸库中的全局特征进行比对，获得第一相似度；根据所述照片的局部特征与人脸库中的局部特征进行比对，获得第二相似度，根据所述第一相似度和所述第二相似度确定第三相似度，根据所述第三相似度对客户进行识别。

6.如权利要求4或5所述的系统，其特征在于，所述计算机程序被所述处理器执行时，还实现以下功能：

在所述人脸库中存储以客户为维度的人脸生物特征信息以及在·客户的加密人脸图像信息。

Images