CN104680375A - 电子支付真人活体身份验证系统 - Google Patents

Abstract

发明的目的是克服现有技术中存在的不足，提供一种电子支付真人活体身份验证系统，通过人脸识别、语音识别、声纹识别和唇语识别音型像多种生物特征识别，验证是否是操作者本人，是否是智能活体，主要内容是通过电子支付客户端和服务器的通讯交互，将电子支付客户端获取的视频和音频，通过电子支付客户端提取出人脸、语音、声纹和唇语特征信息，使用很少的数据流量便可通过互联网传入服务器端进行人脸、语音、声纹和唇语的生物特征识别。本系统无需与操作者直接接触，不仅验证是否是操作者本人，而且验证是否是智能活体，使用方便，易于操作者接受，客户体验好，而且无需添加额外的硬件。

Description

电子支付真人活体身份验证系统

技术领域

本发明涉及一种电子支付的验证系统，尤其涉及电子支付过程中的电子支付真人活体身份验证系统。

背景技术：

随着互联网金融， 特别是， 移动支付之手机银行和微信银行等的迅速发展，电子支付，特别是，移动支付的身份验证安全问题将成为用户在电子支付安全领域当中的首要问题，对于电子支付安全应用的需求将会越来越大，“泛安全”定位的一般的安全技术将不能满足客户日益提高的身份验证安全要求。

自2013起，手机支付类病毒爆发，包括“伪淘宝”病毒、“银行窃贼”及“洛克蛔虫”等系列支付病毒；2014年出现的支付类病毒监听键盘输入，后台监控手机用户支付账号密码输入信息的特点，成为手机支付类病毒高危化演进的一个信号。这些病毒可以读取用户短信，包括用户支付交易的手机验证码，而黑客通过验证码破解用户的支付账号，取消数字证书等设置，对支付宝交易的安全造成巨大威胁。

针对以上电子支付安全风险，国内外提出了一些基于单一生物特征辨别的身份识别技术，但是目前较多使用的单一的人脸识别、声纹识别和指纹识别只能保证人的特征能够被有效验证，不能保证操作者是本人（真人），而导致利用照片、指纹膜和录音犯罪的案件经常见诸报端。

本发明提出的“电子支付真人活体身份验证系统”采用非接触式真人活体身份验证方法，只需使用电子支付客户端设备上的摄像头和麦克风，便可验证是否是真人，是否是智能活体。本项目同时解决了现有的智能手机和平板电脑依靠增加指纹识别等硬件增加安全，提高了智能手机和平板电脑的成本，从另一方面讲现有的指纹识别的手机，采集的操作者的指纹是保存在手机上，有可能手机存储指纹的区域被黑客攻破，获取了操作者的永久指纹信息，造成更大的损失。

发明内容

发明的目的是克服现有技术中存在的不足，提供一种电子支付真人活体身份验证系统，通过人脸识别、语音识别、声纹识别和唇语识别音型像多种生物特征识别，验证是否是操作者本人，是否是智能活体，主要内容是通过电子支付客户端和服务器的通讯交互，将电子支付客户端获取的视频和音频，通过电子支付客户端提取出人脸、语音、声纹和唇语特征信息，使用很少的数据流量便可通过因特网传入服务器端进行人脸、语音、声纹和唇语的生物特征识别。本系统无需与操作者直接接触，不仅验证是否是操作者本人，而且验证是否是智能活体，使用方便，易于操作者接受，客户体验好，而且无需添加额外的硬件。

“电子支付真人活体身份验证系统” 的技术包含人脸特征、声纹特征、语音特征和唇语特征等多特征融合的身份验证，不但能够验证是否是本人，而且验证是否是智能活体，该设计不需要与操作者直接接触，易于操作者接受，使用简单， 客户体验好。

按照本发明提供的技术方案，电子支付真人活体身份验证系统，其特征在于：

所述的电子支付真人活体身份验证系统包括：电子支付客户端、服务器端、音型像多种生物特征提取模块、音型像多种生物特征识别模块、通讯模块主要技术特征如下：

通讯模块用于服务器端与电子支付客户端的数据交互；

电子支付客户端包括操作者注册、采集原始数据、训练、和音型像多种生物特征信息提取模块，服务器端储存操作者的音型像多种生物特征信息数据库和音型像多种生物特征识别模块；

验证时，电子支付客户端处理后的音型像多种生物特征与服务器端的音型像多种生物特征信息库的数据进行比对识别：当采集的音型像多种生物特征信息与储存的音型像多种生物特征信息比对成功时，服务器确认操作者为注册者的真人活体，验证成功，电子支付完成，并实时对服务器端的音型像多种生物特征信息数据库进行更新；当对比失败时，拒绝支付。

其中：

优选的，所述的音型像多种生物特征主要包括如下的生物特征：人脸特征、语音特征、声纹特征和唇语特征。

优选的，所述的音型像多种生物特征信息数据库主要包括如下的生物特征信息：人脸特征信息、语音特征信息、声纹特征信息和唇语特征信息。

优选的，所述的音型像多种生物特征提取模块包括：人脸特征提取模块、声纹特征提取模块、语音特征提取模块、唇语特征提取模块。

优选的，所述的音型像多种生物特征识别模块包括：人脸特征识别模块、声纹特征识别模块、语音特征识别模块、唇语特征识别模块。

优选的，所述的比对识别可以根据客户要求自行设置验证级别，比如一般安全验证等就只需通过2个验证识别；中等安全验证等级需要至少通过3种识别；高等安全验证等级需要通过人脸、声纹、语音和唇语所有4种识别。

优选的，所述的人脸特征识别模块主要包含了人脸检测、人脸跟踪、图像质量分析、人脸图像预处理、人脸特征提取、人脸识别。

优选的，所述的唇语特征识别模块主要包括图像预处理、唇部定位、嘴唇轮廓提取、唇部轮廓跟踪、唇部轮廓特征提取、特征分类和唇语识别。   

优选的，所述的声纹特征识别模块主要包括语音预处理、语音特征参数提取，声纹模型匹配，识别阈值判断。

优选的，所述的语音特征识别模块主要包括语音预处理、语音特征参数提取、特征模式识别和输出语音识别结果。                       

    与现有技术相比：本发明在智能手机、平板电脑和PC终端的基础上，不增加额外设备，仅靠摄像头和麦克风即可完成验证，具有设备成本低、识别效率高，而且可以识别是否是真人、是否是具有智能活体的验证功能；本发明通过电子支付终端的摄像头和麦克风获取操作者的视频和音频文件，对视频和音频中人脸、语音、唇语和声纹的识别，可以辨认操作者的身份和智能活体，达到安全支付的目的；该技术所提取的特征均不保存在本地手机、平板电脑和PC机等电子支付终端上，生物特征向量传输到服务器经训练和验证后立即销毁，并在传输过程中使用加密算法，技术本身安全性提高。本发明提供的电子支付真人活体身份验证系统是一种非接触式的识别技术，使用方便，不受外界因素的限制，适应性强，对硬件要求低，能很容易的使用在各种终端设备上。

附图说明

 图1为本发明的电子支付真人活体身份验证系统的服务器和电子支付客户端交互图；

    图2为电子支付真人活体身份验证系统的训练流程图；

    图3为电子支付真人活体身份验证系统的识别流程图；

    图4为电子支付真人活体身份验证系统的人脸识别流程图；

    图5为电子支付真人活体身份验证系统的唇语识别流程图；

    图6为电子支付真人活体身份验证系统的声纹识别流程图；

    图7为电子支付真人活体身份验证系统的语音识别流程图；

图8为电子支付真人活体身份验证系统的构架示意图。

其中：1.服务器端；2.电子支付客户端；3.计算机网络。

具体实施方案

下面结合具体的附图和实施方案对本发明做进一步的说明。

 其中：图1为本发明的电子支付真人活体身份验证系统的服务器和电子支付客户端交互图；图2为电子支付真人活体身份验证系统的训练流程图；图3为电子支付真人活体身份验证系统的识别流程图；

如图1-图3所示，本发明提供的电子支付真人活体身份验证系统包括：服务器端1、电子支付客户端2、计算机网络3、生物特征提取模块、生物特征识别模块，主要技术特征如下：

计算机网络3用于服务器端1与电子支付客户端2的数据交互；

电子支付客户端2包括操作者注册、采集原始数据、训练和音型像多种生物特征提取模块，服务器端1储存操作者的音型像多种生物特征信息数据库和音型像多种生物特征识别模块；

验证时，电子支付客户端2处理后的音型像多种生物特征与服务器端1的音型像多种生物特征信息数据库的数据进行比对识别：当采集的音型像多种生物特征信息与储存的音型像多种生物特征信息比对成功时，服务器确认操作者为注册者的真人活体，验证成功，电子支付完成，并实时对服务器端1的音型像多种生物特征信息数据库进行更新；当对比失败时，拒绝支付。

在本发明的一个优选的实施方案中，所述的音型像多种生物特征主要包括如下的生物特征：人脸特征、语音特征、声纹特征和唇语特征。

在本发明的一个优选的实施方案中，所述的音型像多种生物特征信息数据库主要包括如下的生物特征信息：人脸特征信息、语音特征信息、声纹特征信息和唇语特征信息。

其中：训练是首先训练操作者的人脸、语音、声纹和唇语特征，并将其特征记录在服务器中，训练过程是在电子支付客户端显示训练句子，操作者阅读系统产生的训练句子，同时获取摄像头视频和音频信息，在视频帧中提取人脸的生物特征，进入人脸训练程序进行训练，提取人脸阅读时的连续唇语图像，进行特征提取，进入唇语训练程序进行训练，在音频帧中，提取操作者的语音特征中的声纹特征，进入声纹训练模块进行训练，提取语音语义信息的特征，进入语音训练模块进行训练，直到每个模块都训练完成，操作者的训练结束并绑定其身份ID，并能以后在识别过程中能够根据识别的效果，自动更新训练后的模型。

在本发明的一个优选的实施方案中，所述的音型像多种生物特征提取模块包括：人脸特征提取模块、声纹特征提取模块、语音特征提取模块、唇语特征提取模块。

在本发明的一个优选的实施方案中，所述的音型像多种生物特征识别模块包括：人脸特征识别模块、声纹特征识别模块、语音特征识别模块、唇语特征识别模块。

在本发明的一个优选的实施方案中，所述的识别过程可以根据客户要求自行设置验证级别，比如一般安全验证等就只需通过2个验证识别；中等安全验证等级需要至少通过3种识别；高等安全验证等级需要通过人脸、声纹、语音和唇语所有4种识别。

如图4所示，在本发明的一个优选的实施方案中，所述的人脸特征识别模块主要包含了人脸图像预处理、人脸检测算法、人脸跟踪、图像质量分析、人脸特征提取、人脸识别，其中：人脸图像预处理把获取的视频图像中人脸图像做色阶、对比度、色彩平衡、锐化、降噪、去模糊、直方图均衡化、超解析等方法进行图像增强，然后人脸检测算法提取人脸的肤色特征、图像的haar特征、LBP特征和Hog特征，对这些特征进行融合，形成特征矢量，后使用adboost级联分类器对其进行分类，提取到人脸的人脸部位，对提取的人脸使用图像跟踪算法，对人脸跟踪，确保是同一人，并优选多幅高质量图片，使用Gabor小波转换从人脸照片中提取用于人脸识别的特征，并用PCA主成份分析算法对数据进行降维处理，形成人脸特征向量，在服务器端使用分类算法，与模型库中的数据对比，完成人脸识别。

如图5所示，在本发明的一个优选的实施方案中，所述的第五步中唇语特征识别模块主要包括图像预处理、唇部定位、嘴唇轮廓提取、唇部轮廓跟踪、唇部轮廓特征提取、特征分类和唇语识别。嘴唇区域提取是在上述的人脸检测定位的人脸图像区域中，根据嘴唇部位颜色的先验知识区分出唇部和肤色，并增强嘴唇区域色彩,利用二值化图像完成唇部的粗定位,再结合唇色模型实现唇部精定位。嘴唇轮廓提取是通过数学形态学处理，提取出唇部的初始曲线，然后通过基于轮廓提取方法提取出唇部的轮廓曲线。唇部跟踪采用光流法或meanshift对序列图像进行跟踪,并对下一帧初始轮廓进行预测，提取唇部轮廓的特征点集矢量，根据特征矢量和训练模板库，利用人工智能分类算法进行唇语的识别。

如图6所示，在本发明的一个优选的实施方案中，所述的声纹特征识别模块主要包括语音预处理、语音特征参数提取，声纹模型匹配，识别阈值判断。语音预处理是对输入的语音数据序列（PCM 码流）进行分帧，然后计算各帧语音数据的累积能量，提取到具有信息的语音数据，对具有信息的语音通过高通滤波器预加重处理，将处理后语音信号划分为一个一个的短时段，然后再将每帧乘上窗函数，以增加每帧左端和右端的连续性，对分帧加窗后的各帧信号进行变换得到各帧的频谱，根据频谱提取每一帧语音信号的特征参数，完成语音特征参数提取，通过有特征参数，与模型库中的声纹模型匹配对比，完成识别阈值判断，确定声纹身份。 

如图7所示，在本发明的一个优选的实施方案中，语音识别主要包括语音预处理、语音特征参数提取、特征模式识别和输出语音识别结果。提取每一帧语音信号的特征参数，使用分类器对提取的参数进行分类，识别出说话人。语音预处理是对输入的语音进行分帧，计算各帧语音数据的累积能量，提取到具有信息的语音数据，使用隐马尔可夫模型构建一个状态网络，从状态网络中寻找与语音最匹配的路径，构造单词级网络，展开成音素网络和状态网络。然后在状态网络中搜索一条最佳路径，这条路径和语音之间的概率最大。使用算动态规划剪枝的搜索算法，用于寻找全局最优路径，根据状态转移识别出当前语音内容。   

本发明提供的电子支付真人活体身份验证系统适用于手机、平板、PC等终端的网上银行支付。图8为实现本发明需要的一般终端配置：

1.终端具有android、ios、WP、windows、linux、Mac OS等系统的智能手机、平板电脑、笔记本、PC，并配置有摄像头和麦克风；

2.x86或x64的计算机服务器；

3.计算机网络3，包括互联网或者局域网等。          

电子支付客户端负责摄像和音频的输入，并对人脸特征、声纹特征、唇语特征和语音特征的预处理，将提取到的上述特征传输至后台服务器，后台服务器通过人工智能识别算法逐一对上述生物特征进行识别验证。

电子支付真人活体身份验证系统整体流程的详细说明如下：

A． 准备，开启程序；

B．启动电子支付客户端摄像头和MIC，启动电子支付终端设备的摄像头和麦克风，进入准备摄像和记录声音；

C． 随机文字阅读，在客户端用语音提示要操作者阅读内容，在屏幕上显示要阅读的文字；

D．阅读上述文字，阅读上步随机产生文字，摄像头记录阅读视频，MIC记录音频；

E．电子支付客户端进行人脸、声纹、语音和唇语的特征提取，并对特征信息加密后经过网络通讯协议传输到服务器；

F．服务器接收到操作者的生物特征，进入各个识别模块进行识别，返回识别结果；

G．识别结束，通知电子支付端是否通过验证。

 综上所述，与现有技术相比，现有的智能手机和平板电脑，通过增加指纹识别等硬件设备加强手机和支付的安全，提高了智能手机和平板电脑的成本，从另一方面讲现有的指纹识别的设备，采集的操作者的指纹是保存在设备上，有可能存储指纹的区域被黑客攻破，获取了操作者的永久指纹信息，造成更大的损失，本发明在智能手机、平板电脑和PC终端的基础上，不增加额外设备，仅靠摄像头和麦克风即可完成验证，具有设备成本低、识别效率高，而且可以识别是否是真人、是否是具有智能活体的验证功能。本发明通过电子支付终端的摄像头和麦克风获取操作者的视频和音频文件，对视频和音频中人脸、语音、唇语和声纹的识别，可以辨认操作者的身份和智能活体，达到安全支付的目的。本发明技术所提取的特征均不保存在本地手机、平板电脑和PC机等电子支付终端上，生物特征向量传输到服务器经训练和验证后立即销毁，并在传输过程中使用加密算法，技术本身安全性提高。本发明提供的电子支付真人活体身份验证系统是一种非接触式的识别技术，使用方便，不受外界因素的限制，适应性强，对硬件要求低，能很容易的使用在各种终端设备上。

Claims (10)

1.电子支付真人活体身份验证系统，其特征在于：

所述的电子支付真人活体身份验证系统包括：电子支付客户端、服务器端、音型像多种生物特征提取模块、音型像多种生物特征识别模块、通讯模块,主要技术特征如下：

通讯模块用于服务器端与电子支付客户端的数据交互；

电子支付客户端包括操作者注册、采集原始数据、训练和音型像多种生物特征提取模块，服务器端储存操作者的音型像多种生物特征信息数据库和音型像多种生物特征识别模块；

验证时，电子支付客户端处理后的音型像多种生物特征与服务器端的音型像多种生物特征信息数据库的数据进行比对识别：当采集的音型像多种生物特征数据与储存的音型像多种生物特征数据比对成功时，服务器确认操作者为注册者的真人活体，验证成功，电子支付完成，并实时对服务器端的音型像多种生物特征信息数据库进行更新；当对比失败时，拒绝支付。

2.根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的音型像多种生物特征主要包括如下的音型像生物特征：人脸特征、语音特征、声纹特征和唇语特征。

3.根据根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的音型像多种生物特征信息数据库主要包括如下的生物特征信息：人脸特征信息、语音特征信息、声纹特征信息、唇语特征信息。

4.根据权利要求1或2所述的电子支付真人活体身份验证系统，其特征在于：所述的音型像多种生物特征提取模块包括：人脸特征提取模块、声纹特征提取模块、语音特征提取模块、唇语特征提取模块。

5.根据权利要求1或2所述的电子支付真人活体身份验证系统，其特征在于：所述的音型像多种生物特征识别模块包括：人脸特征识别模块、声纹特征识别模块、语音特征识别模块、唇语特征识别模块。

6.根据权利要求1或2所述的电子支付真人活体身份验证系统，其特征在于：所述的比对识别可以根据客户要求自行设置验证级别，根据使用不同数量的音型像生物特征确定验证级别。

7.根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的人脸特征识别模块主要包含了人脸检测、人脸跟踪、图像质量分析、人脸图像预处理、人脸特征提取、人脸识别。

8.根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的唇语特征识别模块主要包括图像预处理、唇部定位、嘴唇轮廓提取、唇部轮廓跟踪、唇部轮廓特征提取、特征分类和唇语识别。

9.根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的语音特征识别模块主要包括语音预处理、语音特征参数提取、特征模式识别和输出语音识别结果。

10.根据权利要求1所述的电子支付真人活体身份验证系统，其特征在于：所述的的语音特征识别模块主要包括语音预处理、语音特征参数提取、特征模式识别和输出语音识别结果。