CN105844461B - 一种手机刷脸支付代码的生成方法 - Google Patents

Abstract

本发明属于图像处理领域中的一种手机刷脸支付代码的生成方法，其特点是刷脸支付代码是产生于在概率尺度距离空间中的人脸的五官位置信息，五官尺寸的信息，人脸的形状信息，人脸局部频率空间的信息，人脸的肤色信息。并且按照人为介入的方法，通过隶属函数生成的基础性的代码。针对基础代码再通过概率尺度距离空间的自适应学习的方法得到具有唯一性的最终刷脸代码值。运用本发明提出的方法可在复杂的手机拍摄环境下将人脸图像变换成一个可认证持卡人身份的ID，该ID具有非常稳定的效果。

Description

一种手机刷脸支付代码的生成方法

【技术领域】

本发明属于图像处理领域中的一种刷脸手机支付的实现方法与其程序的构成。

【背景技术】

近些年来，手机移动支付成为人们特别关注的话题，中国各大银行纷纷投入手机支付系统的开发，各大网站也将手机支付作为赢得对手的武器，一种用二维码支付的解决方案已经在某些社交网站上应用。(非专利文献1)

作为手机支付早在若干年前日本已经开始推出RFID技术的手机电子支付系统。在一些例如购买车票，杂志或零食的方便店里广为应用。在此期间也有大量的专利文献的发表。代表性的专利申请有日本电装公司申请的“支付系统及支付终端”专利(专利文献1)。

同时，为了能够将人脸识别结果进行网络认证，将人脸图像代码化的提案很早之前就被日本东芝公司发表了“人物识别装置，人物识别方法以及通行控制装置”的专利(专利文献2)。

特别是通过手机识别人脸进行网络认证更是被国际关注的技术，美国苹果公司最近也申请了有关“人脸特征向量化的构筑”的专利(专利文献3)。

【专利文献】

【专利文献1】(特開2014-78074号公告)

【专利文献2】(特開2006-178651号公告)

【专利文献3】(特開2013-131209号公告)

【非专利文献1】(微信二维码支付功能使用方法)

(http：//www.smzy.com/smzy/tech17871.html)

访问时间：2014年10月5日

上述的非专利文献1中记述的方法，曾被国家权威金融机关以二维码不安全而叫停，用二维码进行手机支付的解决方案被封杀。

上述专利文献1中记载的手机支付系统是通过无线通讯进行代码交换的，由于安全问题还没有完全解决，特别是在手机丢失等情况下会使手机合法持有者出现较大的损失，因此这种手机支付方法只适合小额支付。

同时，专利文献2中提到的将人脸图像进行代码化的方法，是采用普通的识别两个图像是否同一图像的“正规化相关函数”的算法。运用这种经典的算法得到的人脸代码的范围极小，精度较低以及代码稳定性很差不适合于人脸网络认证。

上述的专利文献3中提到的人脸特征向量化的算法，是利用马哈那罗比距离测度(Mahalanobis Distance)的最佳算法将人脸图像进行向量化，可以获得比专利文献2的精度要高的结果，但是这种算法针对手机拍照人脸时的环境的影响，在计算特征向量值的平均，共分散上受传统的算法的局限，在计算人脸特征向量值时仍然受到欧几里德距离的影响。另外，该方法还存在由于马哈那罗比距离测度的算法最终所使用的统计学上的分散值并不是最为接近概率分布母体的数值。而且，马哈那罗比距离测度并不符合概率尺度距离空间的结果的问题。特别是该方法没有考虑人脸各器官的位置的模糊信息，以及人为介入对人脸各器官的位置的模糊信息通过隶属函数(Membership Function)进行定式，并参与人脸特征向量化的计算。

【发明内容】

本发明的第一个目的是：克服传统技术的不足，提供一个将随机分布的人脸的各个器官的位置以及尺寸在概率尺度下进行位置参数的特定，并通过人为介入将器官所在位置以及尺寸的模糊信息进行定式，提出一个既考虑人脸各器官的位置以及尺寸分布的概率信息，同时又考虑模糊信息的更加稳定的刷脸支付代码的生成算法。

本发明的第二个目的是：为了进一步减少由于手机拍照人脸时的环境的影响，造成人脸图像的特征向量的不稳定性，提供一个通过概率尺度的自组织的算法，以及特征向量自适应学习的算法，从而得到稳定的持卡人刷脸支付代码。

本发明的第三个目的是：提供一个用刷脸进行手机支付的系统构成方法。

为了解决上述课题，提出如下技术方案：

一种手机刷脸支付代码的生成方法，具有如下的特点：

(1)刷脸支付代码的生成是基于概率尺度距离空间中的人脸的五官位置信息，五官尺寸的信息，人脸的形状信息，人脸局部频率空间的信息，人脸的肤色信息在内的至少一种人脸特征信息的；

(2)刷脸支付代码是将上述概率尺度距离空间的特征信息按照人为介入的方法，通过隶属函数进行数值化处理；

(3)刷脸支付代码是将上述复数的数值化的数据构成的特征向量，再经概率尺度距离空间的自适应学习的方法得到具有唯一性的最终刷脸代码值。

而且，概率尺度距离空间的人脸特征信息，是指将人脸随机分布的特征信息，通过包括正态分布，指数分布，爱尔朗分布，韦伯分布，三角分布，贝塔分布中至少一种具有概率分布的概率属性的参数作为自组织概率尺度，最终通过概率尺度的自组织的算法获得的具有相对确定性的特征信息。

而且，针对持卡人的脸部进行识别是依赖于手机拍照的持卡人的脸部图像为不含亮度信息的彩色图像，在不损失脸部图像色彩信息的基础上实现将脸部图像变换成可以特定持卡人的代码。

而且，本发明利用上述人脸五官图像在某一颜色下，以及在某一灰度值下的像素分布的密度规律，导入概率尺度自组织的算法，自动的将人脸五官位置信息抽出。

而且，将上述人脸特征信息通过概率自组织算法得到最为接近母体的特征值，同时又导入模糊数学的理论，针对上述求出的人脸的信息通过人为介入的方式，使用基于人为经验所定义的复数个隶属函数(Membership Function)，在0 到n数值之间进行数值化直接生成具有图像代码性质的特征向量。

而且，刷脸支付代码的生成是考虑了包括眼球的眨眼的动作，张嘴闭嘴的动作，脸部微笑时的肌肉微小变化，瞳孔的变化，脸部微小晃动的加速度，脸部的颜色在内至少一种反映生命体图像特征的刷脸图像的生命体图像的识别。

本发明还提出一种手机刷脸支付代码的生成程序，具有如下的特点：

(1)概率尺度距离空间处理模块具备可产生于在概率尺度距离空间中的人脸的五官位置信息，五官尺寸的信息，人脸的形状信息，人脸局部频率空间的信息，人脸的肤色信息在内的至少一种人脸特征信息的功能；

(2)基础性的数码模块具备可将上述概率尺度距离空间的信息按照人为介入的方法，通过隶属函数生成的基础性的数码的功能；

(3)刷脸支付代码最终生成模块具备可将上述通过隶属函数生成的代码再经概率尺度距离空间的自适应学习的方法得到具有唯一性的最终刷脸代码值。

【名词解释】

【欧几里德距离(Euclidean Distance)】

设有q个由p个元素组成的向量，可用公式1所示的行列式来表达。

【公式1】

向量w_i1，w_i2，…，w_ip，与公式1中的第i个向量的欧几里德距离，可由公式 2得出。

【公式2】

欧几里德距离用于针对一个特征向量w_i1，w_i2，…，w_ip，计算这个特征向量与特征向量空间v_ij的各个特征向量之间的距离，没有考虑特征向量w_i1，w_i2，…，w_ip的各个要素的概率分布，视各个要素的概率分布为相同的。实际上在图像识别中，特征向量w_i1，w_i2，…，w_ip的各个要素的概率分布因各个模式的价值不同，呈现的概率分布也是不同的。因此，要引进新的距离的概念。

【马哈拉若比斯距离(Mahalanobis Distance)】

针对公式1所示的q个由p个元素组成的向量，所构成的行列式，现给定一个向量w_i1，w_i2，…，w_ip，与公式1中的第i个向量的马哈拉若比斯距离，可由公式3得出。

【公式3】

这里，σ_ij是第i个向量v_ij的各个要素v_i1，v_i2，…，v_ip，在多次学习后所得到的数据所对应的概率分布的分散。

从公式3可以看出，在v_ij的各个要素v_i1，v_i2，…，v_ip所对应的概率分布的分散较大时，欧几里的距离相关的(w_ij-v_ij)²的值即使较大，所形成的马哈拉若比斯的距离M_i的计算结果会偏小。反之，v_ij的各个要素v_i1，v_i2，…，v_ip所对应的概率分布的分散较小时，欧几里的距离相关的(w_ij-v_ij)²的值即使较小，所形成的马哈拉若比斯的距离M_i的计算结果会偏大，这就是说M_i的计算结果与 v_ij的各个要素v_i1，v_i2，…，v_ip所对应的概率分布的分散有关。

但是，公式3所给出的马哈拉若比斯的距离，针对w_ij的各个要素w_i1， w_i2，…，w_ip所对应的概率分布，只是一个能够考虑w_ij的各个要素w_i1，w_i2，…，w_ip所对应的概率分布的分散值，这个分散值能够影响马哈拉若比斯的距离M_i的计算结果，并没有给出一个更加严格的可以更加准确的计算出，在特征向量w_i1， w_i2，…，w_ip的各个要素有着不同的概率散值时，可以计算出一个特征向量w_i1， w_i2，…，w_ip，与特征向量空间v_ij的各个特征向量之间的真实的距离。

特别是，马哈拉若比斯的距离所使用的表示特征向量w_i1，w_i2，…，w_ip的各个要素的分散值σ_j ²也会受到不同数据采样下的白噪声的干扰，并不是一个最接近概率分布的母体的分散值。本发明提出全新的概率尺度的距离的算法。

【概率尺度的距离(Probability Scale Distance)】

设给定的一个具有概率分布的数列g₁，g₂，…g_ζ的集合为G∈g_f(f＝1，2，…，ζ)，该集合的中心值为A(G)，中心值为A(G)的概率尺度为M[G，A(G)]，而且由自组织化迭代所算出的以第n-1次的中心值A(G^(n-1))，并且以该中心值为基准的半径M[G^(n-1)，A(G^(n-1))]内存在着k个概率分布的数列g₁，g₂，…g_k的集a合为G⁽ⁿ⁾∈ g_f(f＝1，2，…，k)，则

【公式4】

A⁽ⁿ⁾＝A(G⁽ⁿ⁾)

M⁽ⁿ⁾＝M[G⁽ⁿ⁾，A(G⁽ⁿ⁾)]

G⁽ⁿ⁾＝G{[A(G^(n-1))，M[G^(n-1)，A(G^(n-1))]]

由上述迭代公式1经过若干次迭代所算出的中心值是针对概率分布的数列 g₁，g₂，…g_ζ所得到的最为接近母体的估计值，而最终的基准半径值为一概率尺度，以最终的中心值为基准，在概率尺度的范围内的所有的概率分布的数列 g₁’，g₂’，…g_k’均可属于概率分布数列g₁，g₂，…g_ζ的真值。

因此在计算两个概率分布的向量w_i1，w_i2，…，w_ip与向量v_i1，v_i2，…，v_ip，所对应的各个要素的概率分布的概率尺度的距离时，设向量v_i1，v_i2，…，v_ij，…，v_ip中第j个要素v_ij的概率分布的数列为g_j1，g_j2，…g_jζ，通过公式4算出的最终的中心值A_ij，以及概率尺度M_ij，则

【公式5】

将公式5的结果带入公式6就可得到概率尺度的距离P_i。

【公式6】

运用上述公式1，4，5以及6的计算方法，可以针对两个概率分布的特征向量之间，得到一个最为接近母体的距离值。为本发明提出的在复杂的手机拍摄环境下将人脸图像变换成一个可认证持卡人身份的ID所能得到一个最为稳定的结果。

【附图说明】

图1是手机刷脸支付系统的终端流程图

图2概率尺度距离的自组织处理流程示意图

图3是脸部识别五官位置特征点的设定方法示意图

图4是脸部识别五官尺寸信息的特征值的定义方法示意图

图5是通过人的眼位置与尺寸信息提取特征值的示意图

图6是通过人脸局部频率空间的信息提取特征值的示意图

图7是通过人脸的形状信息提取特征值的示意图

图8是通过人脸的肤色信息提取特征值的示意图

图9将人脸的形状信息定义成隶属函数的例子

图10是刷脸代码自适应学习处理方法的流程图

图11是手机刷脸支付终端的构成与操作过程示意图

图12是具有刷脸支付功能的POS机的示意图

图13是具有刷脸支付功能所实现的三卡合一的示意图

图14是生命体图像识别的例子之一的示意图

【具体实施方式】

以下结合附图对本发明实施例做进一步详述，但本发明所述的实施例是说明性的，而不是限定性的。

本发明解决其技术问题是采取以下技术方案实现的：根据说明书附图对于发明的实施例进行说明。

图1是手机刷脸支付系统的处理流程图。

如图1所示：在“支付与被支付信息的交互”S₁步骤中，手机或计算机可通过无线WiFi，或者通过蓝牙，或者通过超声波的声音信号，或者通过二维码，或者通过直接的网络信息在内的接收到来自POS机，或通过网络接收来自网络销售的支付金额，支付回数等支付信息。手机自动或手动的选择所持银行信用卡名称，或网络上的支付宝名称，手机自动的发送信用卡的卡号，存款银行名称与帐号，信用卡有效时间，安全认证码，或支付宝的帐号等所要支付金额的来源，以及确认支付的金额等的被支付信息。

在“拍照持卡人脸部”S₂步骤中，手机，计算机或POS机的摄像机自动进入拍照人脸的状态，将持卡人的脸部图像取出。

这里，针对持卡人的脸部进行识别是依赖于手机拍照的持卡人的脸部图像为不含亮度信息的彩色图像，在不损失脸部图像色彩信息的基础上实现将脸部图像变换成可以特定持卡人的代码。

在“刷脸支付代码生成”S₃步骤中，将在S₂步骤中得到的持卡人的脸部图像的具有随机分布的五官位置信息，五官尺寸的信息，人脸的形状信息，人脸局部频率空间的信息，人脸的肤色信息，或可以特定持卡人的其他信息，通过概率尺度距离空间的自组织处理，变成比较稳定的刷脸图像特征信息。

也就是说，利用上述人脸五官图像在某一颜色下，以及在某一灰度值下的像素分布的密度规律，导入概率尺度自组织的算法，自动的将人脸五官的真实位置信息抽出。

然后按照人为介入的方法进行公式化处理，形成含有人脸图像的模糊信息，概率信息以及人脸的特征信息的数字化数据，再按照人脸识别的学习数据，自适应的，自组织的得到可对人脸图像进行认证的代码。

在“代码认证与支付操作”S₄步骤中，上述人脸代码将被送到银行的网络服务器中，经过认证成功后进行支付操作，认证失败将重新返回“支付确认”S₁步骤或“拍照持卡人脸部”S₂步骤中，重复上述操作，或在多次认证没有通过的情况下进行拒付的处理。

图2是概率尺度距离的自组织处理流程。

如图2所示：设给定的一个具有概率分布的数列g₁，g₂，…g₁的集合为G∈ g_f(f＝1，2，…，l)，则基于概率尺度的自组织算法由下边4个步骤构成。

STEP1：预处理步骤：M⁽⁰⁾作为初始化概率尺度，A⁽⁰⁾作为自组织的初始中心值， V作为自组织的收敛值，MN作为自组织最大组织次数值，最初n＝0作为自组织的当前次数。

关于M⁽⁰⁾作为初始化概率尺度和A⁽⁰⁾作为自组织的初始中心值的决定方法，无需进行严密的设定。通过人工预测，对于最终的范围，至少有一部分数值是包含在初始化概率尺度M⁽⁰⁾的范围内的。初始化概率尺度M⁽⁰⁾越大，计算的时间就越长，反之太小，有可能得不到正确的结果。

关于V作为收敛值的设定方法，收敛值V越大，就有可能得不到正确的结果。收敛值越小，计算花费的时间越长。正确的设定方法是最终自组织的概率尺度的 10％左右。

关于最大自组织次数MN的设定方法，一般是5-10次就足够了。

STEP2：自组织步骤：进行n次自组织处理，把A⁽ⁿ⁾作为自组织中心值，概率尺度M⁽ⁿ⁾作为半径，以中心值A⁽ⁿ⁾为基准，计算半径以内的所有数值g_f(f＝1，2，…，ζ)的平均值V⁽ⁿ⁺¹⁾与分散值S⁽ⁿ⁺¹⁾，V⁽ⁿ⁺¹⁾＝A⁽ⁿ⁺¹⁾，S⁽ⁿ⁺¹⁾＝M⁽ⁿ⁺¹⁾，n＝n+1。

【公式6】

【公式7】

STEP3：自组织判别步骤。自组织处理达到最大次数(N≥MN)或者自组织处理收敛(M⁽ⁿ⁾-M⁽ⁿ⁺¹⁾≤V)，如为YES，就不再进行下次的自组织处理，自组织结束跳转到STEP4。如果是NO，就跳转到STEP2继续进行自组织处理。

STEP4：自组织处理结束。

概率尺度M⁽ⁿ⁾是一个具有多重属性的概率统计的参数。比方说正态分布，指数分布，爱尔朗分布，韦伯分布，三角分布，贝塔分布等等。例如概率尺度M⁽ⁿ⁾就可以作为正态分布的分散值。

本发明将脸部的位置信息作为特定持卡人的重要信息，因此针对脸部的位置信息进行如下的定义。

图3是脸部识别五官位置特征点的设定方法示意图。

如图3所示：由脸部的五官的位置可以构成24个以上的特征点(Landmarks)。例如，左眼的左右眼角位置构成了l₁与l₂两个特征点，右眼的左右眼角位置又构成了l₃与l₄两个特征点，左眼与左眼眉毛中心的垂直位置构成了l₅与l₆两个特征点，右眼与右眼眉毛中心的垂直位置又构成了l₇与l₈两个特征点，鼻子两边构成了l₉与l₁₀两个特征点，鼻子两边与两眼的连接线的垂直位置又构成了l₁₁与l₁₂两个特征点，嘴的两边构成了l₁₃与l₁₄两个特征点，嘴的两边与鼻子的中间又构成了l₁₅与l₁₆两个特征点，左眼的左眼角与右眼的右眼角位置构成了l₁₇与l₁₈两个特征点，左眼的左眼角与右眼的右眼角的连接线与脸的额部的垂直又构成了 l₁₉与l₂₀两个特征点，嘴的两边的特征点连接线延长之后与脸的两侧相交构成了 l₂₁与l₂₂两个特征点，嘴的两边的特征点连接线延长之后与脸的两侧相交所构成的连线与脸额的垂直线又构成了l₂₃与l₂₄两个特征点。

这里，嘴的两边与鼻子的中间构成的l₁₆特征点与鼻子两边与两眼的连接线的垂直位置构成的l₁₁特征点是重合的，左眼的左眼角与右眼的右眼角位置构成了l₁₇与l₁₈两个特征点，是与l₁与l₄两个特征点重合的，左眼的左眼角与右眼的右眼角与脸的额部构成的l₁₉与l₂₀特征点与鼻子两边与两眼的连接线的垂直位置又构成的l₁₂特征点，以及与嘴的两边的特征点连接线延长之后与脸的两侧相交所构成的连线以及脸额的垂直线构成的l₂₄特征点是重合的，嘴的两边的特征点连接线延长之后与脸的两侧相交所构成的连线与脸额的垂直线又构成的l₂₃特征点与嘴的两边与鼻子的中间又构成的l₁₅特征点重合。

也就是说，l₁与l₁₇是一个左眼的左眼角位置，l₄与l₁₈是一个右眼的右眼角位置，l₁₂与l₁₉是一个两眼的连接线的垂直位置，l₁₁与l₁₆是一个鼻子两边的中心位置，l₁₅与l₂₃是嘴的两边的特征点的中心位置，l₂₀与l₂₄是脸额的特征点的位置，因此实际可描述脸部五官的特征点是18个。

实际上，只要把l₁与l₂两个特征点，l₃与l₄两个特征点，l₆与l₈两个特征点， l₉与l₁₀两个特征点，l₁₃与l₁₄两个特征点，l₂₁与l₂₂两个特征点以及l₂₄特征点，总共13个特征点抽出就可。

可以把l₁与l₂两个特征点所连接的直线，l₃与l₄两个特征点所连接的直线， l₅与l₆两个特征点所连接的直线，l₇与l₈两个特征点所连接的直线，l₉与l₁₀两个特征点所连接的直线，l₁₁与l₁₂两个特征点所连接的直线，l₁₃与l₁₄两个特征点所连接的直线，l₁₅与l₁₆两个特征点所连接的直线，l₁₇与l₁₈两个特征点所连接的直线，l₁₉与l₂₀两个特征点所连接的直线，l₂₁与l₂₂两个特征点所连接的直线，l₂₃与l₂₄两个特征点所连接的直线。本发明将总共12条直线的长度作为描述脸部五官位置的特征信息，即把这12个描述脸部五官位置的特征信息作为12个认证持卡人的特征向量的要素。

本发明还将脸部的五官尺寸信息作为特定持卡人的重要信息，因此针对脸部的尺寸信息进行如下的定义。

图4是脸部识别五官尺寸信息的特征值的定义方法示意图。

图4(a)是人眼的尺寸示意图，人眼的大小是判别持卡人特征的重要信息，特别是人眼眼球的大小是判别持卡人的重要特征。如图4(a)所示：(4-1)是人眼的眼球，一般为深色，(4-2)人眼的眼底，一般为浅色。V₁是眼的宽度尺寸， V₂是眼球的直径尺寸。本发明除了上述所示的将眼的宽度尺寸V₁作为认证持卡人的特征向量的1个要素，同时还将眼球的直径尺寸V₂作为认证持卡人的特征向量的其中1个要素。

图4(b)是人嘴的尺寸示意图，人嘴的大小以及厚度是判别持卡人特征的重要信息。如图4(b)所示：(4-3)是人的嘴唇，一般为红色。V₄是嘴的宽度尺寸，V₃是嘴的厚度尺寸。本发明除了上述所示的将嘴的宽度尺寸V₄，作为认证持卡人的特征向量的1个要素，同时还将嘴的厚度尺寸V₃作为认证持卡人的特征向量的另一个要素。

本发明针对持卡人的脸部进行识别是依赖于手机拍照的持卡人的脸部图像为不含亮度信息的彩色图像，在不损失脸部图像色彩信息的基础上实现的将脸部图像变换成可以特定持卡人的代码。因为脸部图像的色彩信息是高效率的对脸部五官位置，五官尺寸信息的抽出提供重要的特征。例如，眼球的颜色，在脸部上最深，眼底颜色在脸部上最浅，嘴唇是红色的等。利用不含亮度信息的色彩信息可以很快而且很准确的将上述五官信息抽出，同时由于没有受手机拍摄环境影响较大的亮度信息，因此识别结果对环境的影响要小。

本发明针对持卡人脸部的识别还利用了脸部五官部位在某一颜色下像素灰度的分布的密度进行五官部位的信息抽出。例如眼球在黑颜色下同其他五官比较其密度最大，眼底在白颜色下同其他五官比较其密度最大。嘴在红颜色下同其他五官比较其密度最大。

本发明利用上述人脸五官图像在某一颜色下，以及在某一灰度值下的像素分布的密度规律，可以导入上述概率尺度自组织的算法，自动的将人脸五官位置信息抽出。因为概率尺度自组织的计算结果，就是得到某一颜色，以及某一灰度值的像素分布的概率值最大化的结果，也就是可以得到在某一颜色，以及在某一灰度值下的像素分布密度值最大化的结果。

例如针对人的眼特征值的识别，首先应从眼球开始比较方便，因为眼球的特点是黑色像素的密度非常大，在眼球附近利用概率自组织的算法可以很方便的提取出人的眼的位置信息以及尺寸信息。

图5是通过人的眼位置与尺寸信息提取特征值的示意图。

导入概率自组织的方法针对人的眼位置与尺寸特征的抽出，与上述图2所示的方法略有不同，图2所示的概率自组织的方法是针对一维数据进行的，这里是针对二维空间的眼球的分布中心以及尺寸计算出的。

如图5(a)所示：作为二维空间数据的概率自组织的方法参照图2给出的算法，最初应在眼球的附近给出最初的中心位置A⁽⁰⁾＝(x₀，y₀)，以及最初的概率尺度M⁽⁰⁾。在找到眼球的位置的附近，最初的中心位置A⁽⁰⁾＝(x₀，y₀)，以及最初的概率尺度M⁽⁰⁾的设定方法是，眼球一定要被包括在以A⁽⁰⁾＝(x₀，y₀)为中心的半径M⁽⁰⁾的范围内，这里，不一定要完全包括眼球的所有部分，即使有一部分被包括也可，因为概率自组织算法可以自动的将被包括的范围，在多次的自组织的计算下自动的移动到密度最高的像素分布的地方。

在这一步骤中，如上图2所示：同样还要设定自组织的收敛值V，自组织最大组织次数值MN，自组织的当前次数h＝0。其方法可参照图2即可。

如图5(b)所示：在下面的概率自组织的计算中，A^(h)＝(x₀，y₀)^(h)可参照公式8计算出。

【公式8】

同样，概率尺度M^(h)＝S^(h)2可参照公式9计算出。

【公式9】

公式8与公式9只是给出了一个例子，可以参照这两个公式采用其他的类似公式同样可以得到所需的结果，这里就不一一列举了。

进行h次自组织处理，把(x₀，y₀)^(h)作为自组织中心值，概率尺度M^(h)作为半径，计算半径以内的所有眼部的像素I(x_i，y_j)(i＝1，2，…，k，j＝1，2，…，l) 的灰度密度分散值S^{(h +1)}。M^(h+1)＝S^(h+1)，h＝h+1。如图5(b)所示：概率尺度 M^(h)＝S^(h)2的半径值在收敛，中心位置A^(h)＝(x₀，y₀)^(h)逐渐移到眼球的中心。

经过n次的概率尺度自组织的计算，在5(c)的步骤中，中心位置A⁽ⁿ⁾＝ (x₀，y₀)^(h)在眼球的中心位置上停下，概率尺度M^(h)的半径也停在眼球的周围，眼球的尺寸与位置被精确的计算出。

刷脸图像所具有的随机分布的五官位置信息，五官尺寸信息，五官形状信息，五官颜色信息，五官频率信息等，经过类似上述的概率尺度的自组织处理，就可得到在概率尺度距离空间中的稳定的刷脸信息，这里就不一一列举了。

作为人脸识别的五官位置与尺寸信息之外，还有人脸局部频率空间的信息，也可称为高次谐波的信息。

图6是通过人脸局部频率空间的信息提取特征值的示意图。

如图6所示：601表示人脸的面部，602为人脸额头的皱纹，603为人脸眼部的眼袋，604为人嘴两边的法令纹。如图6的602所示：当额头的皱纹非常密集时，可以通过额头的局部区域的频率特性抽出皱纹的特征，可以通过类似快速的傅立叶变换特区特征值。

如图6的604所示：当皱纹比较清晰，可以通过对皱纹所在的区域的图像进行微分计算，找出皱纹的边线，识别出皱纹的长度。针对皱纹图像的微分计算，也是属于针对皱纹图像进行频率空间的计算。

图7是通过人脸的形状信息提取特征值的示意图。

人脸的形状信息是区别不同人的重要特征，依附于拍摄环境的不同变化比较小，而且在短时间内不会有很大的变化，也不受发型或化妆后的影响，因此是一个相对稳定的信息。

如图7所示：(a)表示脸型比较瘦的人脸的形状信息，(b)表示脸型比较普通的人脸的形状信息，(c)表示脸型比较胖的人脸的形状信息。每个人的脸型会有不同的差异，利用这些差异信息可以作为区分不同人的特征值。

图8是通过人脸的肤色信息提取特征值的示意图。

人脸的肤色信息是快速的区分不同人的重要信息，如图8所示：(a)表示黄种人的脸部，(b)表示白种人的脸部，(c)表示黑人的脸部。将通过手机摄像机读取到的RGB颜色的人脸图像，进行Lab颜色空间的变换，把亮度信息L去掉，用a和b来表示人脸的图像，用上述概率尺度自组织的算法，分别计算颜色a和 b的最大分布密度的灰度值，将这两个灰度值作为人脸的肤色信息并通过隶属函数得到人脸肤色的特征值。

本发明利用人脸的五官位置信息，人脸五官的尺寸信息，人脸局部的频率空间的信息，人脸的形状信息以及人脸的肤色信息，实现对持卡人的认证。但是，在不同的手机拍摄环境下，上述信息在一定范围内会出现随机分布的问题，通过上述的概率尺度的自组织算法，可以得到最为接近概率分布母体的期望值与分散值。

为能更加准确的将持卡人的脸部变换成比较稳定的代码，本发明在考虑人脸信息的随机性，并采取最为有效的方法计算出最为接近母体的特征值，同时又导入模糊数学的理论，针对上述求出的人脸的信息通过人为介入的方式，使用基于人为经验所定义的复数个隶属函数(Membership Function)，在0到n数值之间进行数值化，并直接生成具有图像代码性质的特征向量。

图9是将人脸的形状信息定义成隶属函数的例子。

如图9(a)所示：由a₁与a₂连接成的直线，由a₂与a₃连接成的直线，以及由a₃与a₁连接成的直线构成的三角形，a’为该三角形除了脸型所占用的区域以外的面积，一般来说当人脸的脸型越瘦，a’的面积就越接近与三角形的面积，当人脸的脸型越胖，a’所剩下的面积就越小。利用这一人为主观的经验，可以构造出如下的隶属函数。设由a₁与a₃连接成的直线为L₁，由a₂与a₃连接成的直线为L₂，则将人脸的形状信息定义成的隶属函数MB₁可由公式10做成：

【公式10】

当人脸非常胖时，其面积a’接近于“0”，MB₁接近于100，当人脸非常瘦时，其面积2a’接近于“L₁＊L₂”，MB₁接近于“0”，因此隶属函数MB₁是描述人脸胖瘦的特征函数。

再举一个计算人嘴的宽度的隶属函数的例子，设人嘴通过统计求出的最大宽度为V_max，最小宽度为V_min，如图4(b)所示再设嘴的宽度为V₄，则人嘴的宽度的隶属函数MB₂可由公式11做成：

【公式11】

这里设Vmax≠Vmin，公式11给出了当人嘴接近最小宽度时，V₄≈V_min人嘴的宽度的隶属函数MB₂接近于100，当人嘴接近最大宽度时，V₄≈V_max人嘴的宽度的隶属函数MB₂接近于0。因此隶属函数MB₂是描述人嘴宽度的特征函数。

其他人脸的眼角宽度，眼球大小，眼角距离，眼球距离，鼻子大小，鼻子与眼的距离，嘴的宽度，嘴的厚度，嘴与鼻子的距离，脸

的宽度，嘴与额头的距离等等反映五官的位置与大小的信息，以及脸的皱纹，脸的肤色，脸的形状等等信息都可参照上述隶属函数的定义方法，将人脸信息变换成0到n的标准数值的特征向量，无论采用什么形式的隶属函数，都将是属于本发明的范围之内。

在这里定义特征向量空间，设将q个不同人的人脸图像按照上述方法，求出 q个特征向量，每个特征向量具有p个特征要素的人脸图像特征向量构成公式1 的特征向量空间。

再设持卡人刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp与第i个人脸图像的特征向量V_i1，V_i2，…，V_ip，对应Ψ个经过若干次识别被登录的学习数据，构成学习数据的矩阵L。

【公式12】

按照上述公式1，4以及12，进行概率尺度的自组织计算，可分别得到如下的学习数据矩阵的中心值以及分散值L_AM：

【公式13】

L_AB＝[(A₁，M₁)，(A₂，M₂)，…，(A_p，M_p)]

这里设第Υ次进行刷脸支付时，持卡人刷脸图像的特征向量w_Υ1，w_Υ2，…，w _Υp与特征向量空间V_ij中的各个特征向量之间的概率尺度的距离按照公式5，6可得：

【公式14】

其中最小值p_min所对应的特征向量值V_Υ1，V_Υ2，…，V_Υp为第Υ个人的刷脸图像的刷脸代码值。

图10是刷脸代码自适应学习处理方法的流程图。

持卡人刷联认证时所拍摄的人脸图像通过特征信息抽出，隶属函数的计算等得到的持卡人刷脸图像的特征向量，与特征向量空间的各个特征向量进行概率尺度的距离的计算，求出公式14的概率尺度距离的最小值所对应的特征向量作为持卡人的刷脸代码。为提高刷脸支付代码的精度与稳定性，本发明提出一个自适应的刷脸代码生成方法。

如图10所示，刷脸代码自适应学习处理方法分3个步骤进行的。

STEP1：自适应的特征向量空间的构成步骤；为了把每次的刷脸数据作为一次学习的数据，通过大量的统计，保证不断的将最接近概率分布母体的真实的学习数据保留，而把超出偏差的不真实的数据剔除，在真实的特征向量的要素的各个学习数据中进行概率尺度距离的计算，才能保证通过自适应学习，使刷脸代码越来越趋于稳定，使代码生成更加准确，这是自适应学习的主要目的。

为了更加精确的计算持卡人的刷脸代码，首先将公式1的刷脸图像的特征向量空间中的v_ij，通过学习数据矩阵公式12，以及针对学习数据矩阵的概率尺度空间的距离计算得到公式13，置换成概率尺度距离空间的中心值的矩阵A_ij，可将该矩阵作为自适应的特征向量空间，

【公式15】

同样通过公式12，13可以得到特征向量空间v_ij中的概率尺度距离空间的分散矩阵，即

【公式16】

以及刷脸支付代码的矩阵D_ij，即

【公式17】

公式15与16所得到的概率尺度距离空间的中心值，与概率尺度距离空间的分散值是同以下所述的随着学习数据的变化而变化的，因此可以具有自适应的特性，是不断的趋于概率分布的母体的数据。这样处理可以保证持卡人的刷脸图像代码的特征向量空间的检索处于最佳的状态，可以提高刷脸支付的代码处于最佳值的计算结果。

这里，如公式17所示：由于概率尺度距离空间的中心值是随着学习数据的变化而变化，因此需要引进一个与概率尺度距离空间的中心值矩阵的各个要素所对应的，但是其数值是不变的刷脸支付代码的矩阵D_ij。

设第Υ次刷脸支付时，所得到的特征向量w_Υ1，w_Υ2，…，w_Υp，如公式15所示，持卡人刷脸图像的特征向量与自适应特征向量空间A_ij的概率尺度的距离P_i如下：

【公式18】

【公式19】

当检索第Υ次进行刷脸支付时，持卡人刷脸图像的特征向量w_Υ1，w_Υ2，…，w _Υp与概率尺度距离空间的中心值A_ij中的各个自适应特征向量之间的概率尺度的距离最小的自适应特征向量，所对应的刷脸支付代码的矩阵D_ij的代码值，就可作为第Υ次刷脸支付的代码。

STEP2：自适应学习刷脸支付代码取得步骤；经过上述步骤的处理，将持卡人第Υ次进行刷脸支付的刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp经过概率尺度的距离计算，检索出最小概率尺度的距离所对应的自适应特征向量空间中的一个自适应学习特征向量，再找到与该自适应学习特征向量所对应的刷脸支付代码的矩阵中的一个代码，将这个代码作为自适应学习的刷脸支付代码。

按照本发明的思路可以有各种方法实现自适应学习数据矩阵的构成，现仅举一例进行说明，参照公式14，设持卡人第Υ次进行刷脸支付的刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp与概率尺度距离空间的中心值的矩阵A_ij所构成的自适应特征向量空间中的某一个特征向量存在着的最小距离为p_{Υi_min1}，另一个特征向量存在着比p_{Υi_min1}稍微大的概率尺度最小距离为p_{Υi_min2}。

又可设持卡人刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp与Ψ个经过若干次识别被登录的学习数据构成的公式12的学习数据的矩阵L_ij中的各个特征向量之间的概率尺度的距离按照公式5，6可得：

【公式20】

将公式20的P’＝{p₁’，p₂’，…，p_Ψ’}概率尺度的距离，再通过公式5， 6进行概率尺度的自组织计算，即可得到针对持卡人刷脸图像的特征向量w_Υ1， w_Υ2，…，w_Υp与学习数据的矩阵L_ij的中心值A’，以及分散M’。

如果满足{P_{Υi_min1}≤1/2p_{Υi_min2}且ε≥1/2p_{Υi_min2}；或(p_{Υi_min1}≤M’)}则，刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp可作为学习数据的矩阵L_ij的新的学习向量。

这里，作为加入学习数据的条件之一是P_{Υi_min1}≤1/2p_{Υi_min2}，其物理意义是；限定第Υ次进行刷脸支付的刷脸图像的特征向量进入学习数据的条件是尽量与其他特征向量保持一定的概率尺度的距离，以防止误识读的现象出现。

范围条件ε≥1/2p_{Υi_min2}的物理意义是，当与该模式的概率尺度的距离相差比较大时，不会因为刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp并不适合进入学习数据而错误的进入了学习数据中。

关于如何剔除不适应作为学习数据的学习向量的方法，首先将公式20中的概率尺度的距离的各个要素进行{ω＝p_i-A’；i＝1，2，…，Ψ}偏差计算，将最大偏差值ω_max所对应的学习数据剔除就可。

这里，只是提供了一个特征向量数据如何自适应的进入学习数据，以及如何剔除一个不适于作为学习数据的方法，但是实际在系统构成时往往是针对若干个数据同时，或逐步地进入学习数据中，以及实际在系统构成时往往是针对若干个数据同时，或逐步地从学习数据中剔除。只要参照上述方法就可预测到相关的处理方法。

在刷脸支付中，持卡人往往由于改变发型，或进行不同的化妆等，往往会出现刷脸图像的特征向量发生较大的变化，为解决这些问题，本发明还提出在设立学习数据的矩阵的同时，将当前最近得到的α次的特征向量纪录下，成为辅助学习数据的矩阵：

【公式21】

如果计算辅助学习数据的矩阵的概率尺度距离空间中的中心值A”，以及分散值M”处于稳定的且收敛的状态，另外，A”与M”与学习数据的矩阵的中心值 A’以及分散值M’，在概率尺度距离空间中具有较远的距离时，可以把辅助学习数据的矩阵L’与学习数据的矩阵L合并再生成新的学习数据的矩阵，或进行辅助学习数据的矩阵与学习数据矩阵的置换等等。具体方法可以参照本发明提出的上述例子与思维方式，举一反三可以得到各种各样的处理手段。

STEP3：自适应学习刷脸支付代码取得步骤：经过上述步骤的处理，将持卡人第Υ次进行刷脸支付的刷脸图像的特征向量w_Υ1，w_Υ2，…，w_Υp经过概率尺度的距离计算，检索出最小概率尺度的距离所对应的自适应特征向量空间中的一个自适应学习特征向量，再找到与该自适应学习特征向量所对应的刷脸支付代码的矩阵中的一个代码，将这个代码作为自适应学习的刷脸支付代码。

图11是手机刷脸支付终端的构成与操作过程示意图。

如图11所示：手机刷脸支付终端构成是由手机以及在手机中下载的手机刷脸支付程序构成的。手机刷脸支付终端的操作过程是：当手机通过包括蓝牙，WiFi 等无线电波，或声频等接受到了来自其他POS系统，或网络销售平台所发来的支付信息，手机显示消费清单以及支付金额，是否分期付款，是否需要发票等，再通过人工选择界面，或自动的决定由那一的信用卡进行支付，或自动的决定由那一个支付金融机关进行支付，而后手机自动的弹出刷脸支付的认证画面拍照被支付者的脸部，手机程序通过识别脸部得到一个代表脸部特征的认证代码，并将这个代码发送到手机支付系统的服务器中进行认证，认证通过后进行支付处理，手机显示支付完成，如果认证不成功将重新进行刷脸认证，在多次被拒绝的情况下，手机将显示拒绝支付的信息。

图12是具有刷脸支付功能的POS机的示意图。

如图12所示：在超市中导入了具有刷脸支付功能的POS机后，在结算时的支付过程是这样的，首先，在收银员的录入所购入的商品明细后，POS机向商品购买者的手机发出购买商品的明细的信息，手机收到商品信息后在手机屏幕显示商品名称，数量以及价格等，购买者只需按确认键，或再选择支付信用卡种类或支付的金融机关名称，这时，手机将信用卡，或金融机关的帐号发到POS机中，商品购买者只需通过POS机装载的摄像头拍照脸部就可实现支付的全过程。为了简化支付过程，在收银员的录入所购入的商品明细后，POS机的屏幕显示商品名称，数量，价格等，并向商品购买者的手机发出购买商品的明细的信息，商品购买者的手机自动的接受商品信息，自动的决定使用那个信用卡种或支付的金融机关，自动的将信用卡的卡号或金融机关的帐号发给POS机，商品购买者只需通过 POS机装载的摄像头拍照脸部就可完成支付。

图13是具有刷脸支付功能所实现的三卡合一的示意图。

如图13所示：本发明提出的刷脸支付的方法，可以解决身份证，信用卡，以及大型公共场所的入场卡的融合，可以通过导入刷脸支付功能的自动闸机，入场者不需实现购买入场券，或只在网络上购买了入场券就可直接入场，并可在通过闸机的过程中，由于入场者的脸部能够在摄像头的拍照过程中进行入场者的认证，因此可以实现对入场者的身份识别，信用卡的入场费的支付，以及作为入场券的识别，三卡合一的同时操作，提高了入场管理的效率以及入场的安全性对应。

本发明提出的刷脸支付不仅用于商品支付，还可以作为普通信用卡在支付时，进行本人认证的一种方式，可解决由于信用卡被盗而产生的非法支付的问题的产生。

另外，本发明提出的刷脸支付方法还可以作为普通银行现金卡的现金提取时，可增加一个刷脸认证的步骤，可以提高银行现金卡的安全。

为了制止不法者利用持卡人的照片进行刷脸支付的犯罪行为，需要对刷脸图像进行是否为生命体图像的识别，本发明提出如下针对刷脸图像进行生命体图像识别的方法。

图14是生命体图像识别的例子之一的示意图。

如图14(a)所示：上述图4给出了用概率尺度的自组织算法识别眼球大小的方法，为了识别是否为生命体，根据人脸的眼球在具有生命的刷脸图像的特点是眼球可以眨动，因此，如图14(b)所示：使用识别眼球大小的概率尺度的自组织算法，在刷脸图像眨眼时，图14(a)的M⁽ⁿ⁾远远大于图14(b)的M⁽ⁿ⁾’，即M⁽ⁿ⁾’＜M⁽ⁿ⁾的状态瞬时具备。

刷脸图像为生命体的图像的识别不仅是上述的眼球眨眼的识别，还可以按照上述概率尺度的自组织算法方法识别张嘴闭嘴的动作，脸部微笑时的肌肉微小变化，瞳孔的变化，识别脸部微小晃动的加速度，识别脸部的颜色的方法等等。

Claims (6)

1.一种手机刷脸支付代码的生成方法，具有如下的特点：

(1)刷脸支付代码的生成是基于导入概率尺度自组织的人脸五官位置信息，五官尺寸信息，人脸形状信息，人脸局部频率空间信息，人脸肤色信息在内的至少一种具有唯一性的可构成刷脸代码值的人脸特征信息；将上述人脸特征信息构成的特征向量，再经概率尺度自组织的自适应学习的方法得到具有唯一性的最终刷脸代码值；

(2)设给定的一个具有概率分布的数列g₁，g₂，…g_l的集合为G∈g_f，其中f＝1，2，…，l，则基于概率尺度的自组织算法由下边4个步骤构成；

STEP1：预处理步骤：M⁽⁰⁾作为初始化概率尺度，A⁽⁰⁾作为自组织的初始中心值，V作为自组织的收敛值，MN作为自组织最大组织次数值，最初n＝0作为自组织的当前次数；

关于M⁽⁰⁾作为初始化概率尺度和A⁽⁰⁾作为自组织的初始中心值的决定方法，无需进行严密的设定，通过人工预测，对于最终的范围，至少有一部分数值是包含在初始化概率尺度M⁽⁰⁾的范围内的，初始化概率尺度M⁽⁰⁾越大，计算的时间就越长，反之太小，有可能得不到正确的结果；

V作为收敛值的设定方法，收敛值V越大，就有可能得不到正确的结果，收敛值越小，计算花费的时间越长，正确的设定方法是最终自组织的概率尺度的10％；

最大自组织次数MN选择5-10次；

STEP2：自组织步骤：进行n次自组织处理，把A⁽ⁿ⁾作为自组织中心值，概率尺度M⁽ⁿ⁾作为半径，以中心值A⁽ⁿ⁾为基准，计算半径以内的所有数值g_j，其中j＝1，2，…，ζ，的平均值V⁽ⁿ⁺¹⁾与分散值S⁽ⁿ⁺¹⁾，V⁽ⁿ⁺¹⁾＝A⁽ⁿ⁺¹⁾，S⁽ⁿ⁺¹⁾＝M⁽ⁿ⁺¹⁾，n＝n+1，；

STEP3：自组织判别步骤，自组织处理达到最大次数N≥MN，或者自组织处理收敛M⁽ⁿ⁾-M^{(n +1)}≤V，如为YES，就不再进行下次的自组织处理，自组织结束跳转到STEP4，如果是NO，就跳转到STEP2继续进行自组织处理；

STEP4：自组织处理结束。

2.根据权利要求1所述的一种手机刷脸支付代码的生成方法，其特征在于：概率尺度自组织的人脸特征信息，是指将人脸随机分布的特征信息，通过包括正态分布，指数分布，爱尔朗分布，韦伯分布，三角分布，贝塔分布中至少一种具有概率分布的概率属性的参数作为自组织概率尺度，最终通过概率尺度自组织的算法获得的具有相对确定性的特征信息。

3.根据权利要求1所述的一种手机刷脸支付代码的生成方法，其特征在于：针对持卡人的脸部进行识别是依赖于手机拍照的持卡人的脸部图像为不含亮度信息的彩色图像，在不损失脸部图像色彩信息的基础上实现将脸部图像变换成可以判断是否为持卡人的代码。

4.根据权利要求1所述的一种手机刷脸支付代码的生成方法，其特征在于：利用人脸五官图像在某一颜色下，以及在某一灰度值下的像素分布的密度规律，导入概率尺度自组织的算法，自动的将人脸五官位置信息抽出。

5.根据权利要求1所述的一种手机刷脸支付代码的生成方法，其特征在于：将上述人脸特征信息通过概率自组织算法得到最为接近母体的特征值，针对上述人脸的信息通过人为介入的方式，使用基于人为经验所定义的复数个隶属函数(Membership Function)，在0到n数值之间进行数值化直接生成具有图像代码性质的特征向量。

6.根据权利要求1所述的一种手机刷脸支付代码的生成方法，其特征在于：刷脸支付代码的生成是考虑了包括眼球的眨眼的动作，张嘴闭嘴的动作，脸部微笑时的肌肉微小变化，瞳孔的变化，脸部微小晃动的加速度，脸部的颜色在内至少一种反映生命体图像特征的刷脸图像的生命体图像的识别。

Images