CN109409895A - 一种融合虹膜识别和人脸识别的支付装置及支付方法 - Google Patents

Abstract

本发明公开了一种融合虹膜识别和人脸识别的支付装置，包括支付终端和服务器，服务器和支付终端均设有通讯单元，用于服务器和支付终端传输交互信息；支付终端包括终端通信单元，终端通信单元连接人脸采集单元、虹膜采集单元、输入单元和处理单元；服务器包括服务器通信单元，服务器通信单元连接人脸识别单元、虹膜识别单元和密码识别单元，人脸识别单元、虹膜识别单元和密码识别单元连接用户数据库。本发明还公开了一种融合虹膜识别和人脸识别的支付方法，结合虹膜识别和人脸识别进行用户身份认证。本发明的装置和方法可以应用到ATM、无人零售柜等多种终端设备中。

Description

一种融合虹膜识别和人脸识别的支付装置及支付方法

技术领域

本发明属于生物识别应用技术领域，具体涉及一种融合虹膜识别和人脸识别的支付装置及支付方法。

背景技术

传统的免现金支付方式是卡片+密码、账户号+加密码。这种方式是先确定账户身份，账户身份是唯一的，再验证用户是否拥有权限(密码)。

随着技术的发展和智能手机的普及，移动支付得到了广泛的使用，例如支付宝支付和微信支付。这种支付仍然属于账户号+加密码的支付方式，支付宝账号和微信号作为账户身份的认证，需要用到随身携带的手机。

近年随着人们对便捷性有更高的要求，例如出门健身时不方便携带卡片和手机，老年人容易忘记密码等等。逐渐出现了利用人脸、指纹等生物特征识别的支付手段。2017年，阿里巴巴推出支付宝刷脸付，方法是：利用机器进行人脸识别，人脸识别成功后，再输入与账户绑定的手机号，确认后即可支付。因为人脸识别的准确度不高，介于百分一到千分一之间，需要输入手机号码进行双重认证。由上所知人脸识别的准确度不高；手机号码是公开的，易被人所知；输入繁琐的手机号码影响便捷性。另一方面，由于面部特征会由于整容、胖瘦、衰老等原因发生改变，容易带来识别失败而造成无法支付。再例如，在排队结账的顾客较多时，人脸设备摄像头由于视场角范围大，容易拍摄同时到多张人脸，可能将其他顾客的面部图像作为识别目标。这些对安全性有极高要求的支付事件来说带来隐患。

图1是各种生物特征识别的比较，其中虹膜识别具有百万分之一级别的准确率，比人脸、指纹识别准确率高出多个数量级。虹膜识别具有极高的准确性，但由于使用的便捷性不如人脸识别和指纹识别，影响了它的推广应用。

发明内容

本发明的目的是提供一种融合虹膜识别和人脸识别的支付装置及支付方法，可以极大的提高支付的安全性、可靠性和便利性。

本发明的一个实施例提供了一种融合虹膜识别和人脸识别的支付装置，包括支付终端和服务器，服务器和支付终端均设有通讯单元，用于服务器和支付终端传输交互信息；

支付终端包括终端通信单元，终端通信单元连接人脸采集单元、虹膜采集单元、输入单元和处理单元；人脸采集单元用于采集人脸图像，虹膜采集单元用于采集虹膜图像，输入单元用于输入密码、或者手机号码。

处理单元用于存储控制、计算程序和用于临时存储使用者的人脸图像、虹膜图像信息；

服务器包括服务器通信单元，服务器通信单元连接人脸识别单元、虹膜识别单元和密码识别单元，人脸识别单元、虹膜识别单元和密码识别单元连接用户数据库；

用户数据库储存用户账号、人脸数据、虹膜数据和密码数据；

人脸识别单元用于对支付终端采集到的人脸信息进行验证；

虹膜识别单元用于对支付终端采集到的虹膜信息进行验证；

服务器中的密码识别单元用于对支付终端采集到的密码或者手机号码等信息进行验证；

支付终端将人脸采集单元、虹膜采集单元和输入单元采集的信息经过处理后上传至服务器，服务器对符合预设条件的支付请求执行操作或再向其他支付系统发出支付请求。

本发明的一个实施例还提供了一种融合虹膜识别和人脸识别的支付方法，包括以下步骤：

S00：启动人脸采集单元拍摄使用者脸部图像，并将所拍摄图像传输给处理单元；

S01：处理单元调用图像处理程序对使用者的面部图像信息进行检测，获取使用者的眼睛位置；

S02：根据检测到用户的位置坐标，启动伺服单元带动虹膜采集单元20使膜采集摄像头对准用户眼睛；

S03：处理单元启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像；

S04：支付终端将采集到的使用者的虹膜图像信息和人脸图像信息上传到服务器；

S05：人脸识别单元对接收到的人脸图像信息和用户数据库中的人脸图像信息比对，进行验证；虹膜识别单元对接收到的虹膜图像信息和用户数据库中的虹膜图像信息比对，进行验证；

S06：判断是否存在人脸+虹膜都匹配的用户，如果验证到人脸和虹膜都匹配的用户，则依次执行步骤S07～S09，否则执行步骤S10；

S07：服务器保存用户信息，包括用户身份、人脸图像、支付时间、支付地点和支付金额；

S08：服务器执行支付，或向其他支付系统发出支付请求，并向支付终端反馈支付成功信息；

S09：支付终端显示支付成功信息；

S10：服务器判断是否存在单独虹膜匹配的用户，如果验证到虹膜匹配的用户，执行步骤S11，否则执行步骤S14；

S11：服务器判断用户注册信息是否支持单独的虹膜认证支付模式，如果支持则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S12：根据用户注册时的要求，使用者输入密码或者手机号码；

S13：密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S10中通过虹膜匹配验证的用户的密码或者手机号码信息进行比对，如果密码或者手机号码验证通过，则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S14：服务器判断是否存在单独人脸匹配的用户，如果验证到人脸匹配的用户，执行步骤S12，否则返回执行步骤S04；

S15：密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S14中通过人脸匹配验证的用户的密码或者手机号码信息进行比对；如果验证通过，则依次执行步骤S07-S09，完成支付；否则返回执行步骤S12。

本发明提供的融合虹膜识别和人脸识别的支付装置及支付方法，可以实现虹膜识别、人脸识别的双重认证，虹膜识别误识率0.0001％乘以人脸识别误识率1％,可以实现亿分之一的误识率，这样的准确率足以在大型数据库中确认使用者身份的唯一性，而无需账号、手机号码等辅助输入来确认身份的唯一性。

附图说明

图1所示为各种生物特征识别的比较图。

图2所示为本发明的融合虹膜识别和人脸识别的支付装置的一个实施例的示意图。

图3所示为本发明的融合虹膜识别和人脸识别的支付装置的一个实施例的示意图。

图4所示为本发明的融合虹膜识别和人脸识别的支付装置的一个实施例的示意图。

图5所示为本发明的通过人脸采集单元辅助进行虹膜采集单元的角度调整的一个实施例的示意图。

图6所示为本发明的通过人脸采集单元辅助进行虹膜采集单元的角度调整的一个实施例的示意图。

图7所示为本发明的融合虹膜识别和人脸识别的支付方法的一个实施例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。

参考图2，在本发明的一个实施例中，融合虹膜识别和人脸识别的支付装置可以包括支付终端和服务器，服务器和支付终端均设有通讯单元，用于服务器和支付终端传输交互信息；

支付终端可以包括终端通信单元，终端通信单元连接人脸采集单元、虹膜采集单元、输入单元和处理单元；

人脸采集单元用来拍摄使用者脸部图像；虹膜采集单元用来拍摄使用者虹膜图像；

处理单元可以用于存储控制、计算程序和用于临时存储使用者的人脸图像、虹膜图像信息；

输入单元用于使用者输入信息，例如确认支付，放弃支付，输入密码、手机号码等信息。

在本发明的一个实施例中，支付终端可以包括显示单元，输入单元可以是一个覆盖在显示单元上的触摸屏，显示单元可以用来显示人脸采集单元拍摄到的人脸图像，或虹膜采集单元拍摄到的虹膜图像，或用于人机交互信息的显示，例如提示使用者输入号码、提示使用者支付成功信息等。

在本发明的一个实施例中，人脸采集单元可以采用拍摄人脸2D图像进行2D人脸识别的方式；也可以采用3D结构光人脸识别技术进行3D人脸识别；也可以采用TOF摄像头采集深度信息结合2D摄像头拍摄使用者2D人脸图像进行3D人脸识别。人脸采集摄像头采用广角摄像头，视场角大于60度，这是为了不同身高的使用者的人脸都能落在人脸采集摄像头的视场范围内。

服务器包括服务器通信单元，服务器通信单元连接人脸识别单元、虹膜识别单元和密码识别单元，人脸识别单元、虹膜识别单元和密码识别单元连接用户数据库；

用户数据库储存用户账号、人脸数据、虹膜数据和密码数据；

人脸识别单元用于对支付终端采集到的人脸信息进行验证；

虹膜识别单元用于对支付终端采集到的虹膜信息进行验证；

服务器中的密码识别单元用于对支付终端采集到的密码或者手机号码等信息进行验证；

支付终端将人脸采集单元、虹膜采集单元和输入单元采集的信息经过处理后(例如提取特征码、信息加密等)上传至服务器，服务器对符合预设条件的支付请求执行操作或再向其他支付系统发出支付请求。

参考图3，在本发明的一个实施例中，处理单元可以包括处理器和与之连接的存储单元，处理器连接人脸采集单元、虹膜采集单元和输入单元，存储器单元存储程序和用来临时存储使用者的人脸图像、虹膜图像等信息。

参考图3，在本发明的一个实施例中，虹膜采集单元可以包括虹膜采集摄像头，虹膜采集摄像头连接图像传感器，图像传感器连接处理器，处理器连接红外补光单元，红外补光单元为虹膜采集摄像头提供照明。

在本发明的一个实施例中，虹膜采集摄像头的光通路上可以安装有一个或者多个红外光滤光片、或者摄像头所用的一个或者多个透镜镀有透红外光镀层，只允许红外光通过，红外补光单元发射相应波长的红外光，提供红外光补光照明。

在本发明的一个实施例中，为了对距离虹膜采集摄像头不同远近的使用者获得清晰的虹膜图像，可以采用自动变焦，或者自动对焦的虹膜采集摄像头，以自动获得使用者的清晰的虹膜图像。

参考图4，在本发明的一个实施例中，处理单元可以包括DSP和与之连接的智能终端，DSP连接人脸采集单元、虹膜采集单元和输入单元，人脸采集单元可以是在可见光条件下拍摄人脸图像，那么相应人脸补光单元发射的就是可见光，提供可见光照明；如果人脸采集单元采集红外光条件下的人脸图像，那么人脸采集摄像头的光通路上安装有红外光滤光片或摄像头内的透镜镀有透红外镀层，只允许红外光通过，相应人脸补光单元发射相应波长的红外光，提供红外光补光照明。智能设备可以为包括计算机、云端服务器、手机、平板电脑、PDA、POS、车载电脑、智能电视、广告机等任意终端设备。智能设备处理和存储DSP发送过来的人脸图像信息、虹膜图像和其他信息；智能设备通过DSP操作人脸采集单元、虹膜采集单元、伺服单元、显示单元、输入单元。服务器和支付终端之间的通讯传输经由智能设备进行。

在本发明的一个实施例中，支付终端可以有两个人脸采集单元，其中一个人脸采集单元采集在可见光条件下的人脸图像，另一个人脸采集单元采集在红外光条件下的人脸图像。该实施例装置的有益效果是可以同时采集到可见光下的人脸图像和红外光下的人脸图像，获取更好的不同环境光照影响下人脸图像；或者因为红外光人脸图像是黑白图像，可见光人脸图像可以是彩色图像，红外光人脸用来进行人脸识别，在显示单元上显示彩色人脸图像给使用者更友好的使用体验。

本发明的装置可以应用到ATM、无人零售柜等多种终端设备中。

参考图4，在本发明的一个实施例中，虹膜采集单元可以包括虹膜采集摄像头，虹膜采集摄像头连接图像传感器，图像传感器连接DSP，DSP连接红外补光单元，红外补光单元为虹膜采集摄像头提供照明。

参考图3、图4，在本发明的一个实施例中，支付终端还可以包括伺服单元，伺服单元与处理单元连接，人脸采集单元采集到使用者脸部图像发送给处理单元，处理单元对使用者的脸部图像信息进行检测，获取使用者的眼睛位置，所用的眼睛位置检测方法有人脸边缘检测、帧间差分法等普通的图像处理方法；处理器根据检测到的眼睛位置坐标信息生成控制信号传输至伺服单元，伺服单元依据控制信号调整虹膜采集摄像头的倾斜角使其对准使用者的眼睛，此时处理器启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像。

伺服单元一般包括伺服电机和传动机构，虹膜采集单元可以绕一轴线转动，伺服电机通过传动机构带动虹膜采集单元绕这一轴线转动，实现虹膜采集单元的倾斜动作，通过控制倾斜的角度使虹膜采集摄像头对准使用者眼睛。传动机构有齿轮传动机构、连杆传动机构、皮带传动机构等。

参考图5、图6，在本发明的一个实施例中，人脸采集摄像头采用广角摄像头，在β1的角度内拍摄使用者的脸部。之后，若从所拍摄的脸部图像中检测到眼睛位置，则通过伺服单元来调节虹膜采集单元的倾斜角度，从而拍摄位于虹膜采集摄像头的视场角β2内的使用者的虹膜。

在身高较高的用户的情况下，由于用户的眼睛位置相对较高，因此，伺服单元将虹膜采集单元的倾斜角度向上调节；在身高较矮的用户的情况下，由于眼睛的位置低，因此伺服单元将虹膜采集单元的倾斜角度向下调节。

参考图3、图4，在本发明的一个实施例中，人脸采集单元包括人脸采集摄像头，人脸采集摄像头连接图像传感器，图像传感器连接处理器，处理器连接补光单元。

参考图7，在本发明的一个实施例中，一种融合虹膜识别和人脸识别的支付方法包括以下步骤：

S00：启动人脸采集单元拍摄使用者脸部图像，并将所拍摄图像传输给处理单元；

S01：处理单元调用图像处理程序对使用者的面部图像信息进行检测，获取使用者的眼睛位置；

S02：根据检测到使用者眼睛的位置坐标，启动伺服单元带动虹膜采集单元20使虹膜采集摄像头对准用户眼睛；

S03：处理单元启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像；

S04：支付终端将采集到的使用者的虹膜图像信息和人脸图像信息上传到服务器；

S05：人脸识别单元对接收到的人脸图像信息和用户数据库中的人脸图像信息比对，进行验证；虹膜识别单元对接收到的虹膜图像信息和用户数据库中的虹膜图像信息比对，进行验证；

S06：判断是否存在人脸+虹膜都匹配的用户，如果验证到人脸和虹膜都匹配的用户，则依次执行步骤S07～S09，否则执行步骤S10；

S07：服务器保存用户信息，包括用户身份、人脸图像、支付时间、支付地点和支付金额；

S08：服务器执行支付，或向其他支付系统发出支付请求，并向支付终端反馈支付成功信息；

S09：支付终端显示支付成功信息；

S10：服务器判断是否存在单独虹膜匹配的用户，如果验证到虹膜匹配的用户，执行步骤S11，否则执行步骤S14；

S11：服务器判断用户注册信息是否支持单独的虹膜认证支付模式，如果支持则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S12：根据用户注册时的要求，使用者输入密码或者手机号码；

S13:密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S10中通过虹膜匹配验证的用户的密码或者手机号码信息进行比对，如果密码或者手机号码验证通过，则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S14:服务器判断是否存在单独人脸匹配的用户，如果验证到人脸匹配的用户，执行步骤S12，否则返回执行步骤S04；

S15：密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S14中通过人脸匹配验证的用户的密码或者手机号码信息进行比对；如果验证通过，则依次执行步骤S07-S09，完成支付；否则返回执行步骤S12。

在本发明的一个实施例中，步骤S02中可以包含如下步骤：

人脸采集单元拍摄使用者的脸部之后发送给处理单元，处理单元对接收的脸部图像数据进行处理，检测出眼睛位置，处理单元根据检测到的眼睛位置坐标信息生成控制信号传输至伺服单元，伺服单元依据控制信号调整虹膜采集摄像头的倾斜角使其对准使用者的眼睛，此时处理单元启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像。

虽然以上述较佳的实施例对本发明做出了详细的描述，但并非用上述实施例限定本发明。本领域的技术人员应当意识到在不脱离本发明技术方案所给出的技术特征和范围的情况下，对技术特征所作的增加、以本领域一些同样内容的替换，均应属本发明的保护范围。

Claims (10)

1.一种融合虹膜识别和人脸识别的支付装置，其特征在于：包括支付终端和服务器，所述服务器和支付终端均设有通讯单元，用于服务器和支付终端传输交互信息；

所述支付终端包括终端通信单元，所述终端通信单元连接人脸采集单元、虹膜采集单元、输入单元和处理单元；

所述处理单元用于存储控制、计算程序和用于临时存储使用者的人脸图像、虹膜图像信息；

所述服务器包括服务器通信单元，所述服务器通信单元连接人脸识别单元、虹膜识别单元和密码识别单元，所述人脸识别单元、虹膜识别单元和密码识别单元连接用户数据库；

所述用户数据库储存用户账号、人脸数据、虹膜数据和密码数据；

所述人脸识别单元用于对支付终端采集到的人脸信息进行验证；

所述虹膜识别单元用于对支付终端采集到的虹膜信息进行验证；

所述服务器中的密码识别单元用于对支付终端采集到的密码或者手机号码等信息进行验证；

所述支付终端将所述人脸采集单元、虹膜采集单元和输入单元采集的信息经过处理后上传至所述服务器，所述服务器对符合预设条件的支付请求执行操作或再向其他支付系统发出支付请求。

2.根据权利要求1所述的支付装置，其特征在于：所述处理单元包括处理器和与之连接的存储单元，所述处理器连接人脸采集单元、虹膜采集单元和输入单元；所述人脸采集单元用于采集人脸图像，所述虹膜采集单元用于采集虹膜图像，所述输入单元用于输入密码、或者手机号码。

3.根据权利要求1所述的支付装置，其特征在于：所述处理单元包括DSP和与之连接的智能终端，所述DSP连接人脸采集单元、虹膜采集单元和输入单元；所述人脸采集单元用于采集人脸图像，所述虹膜采集单元用于采集虹膜图像，所述输入单元用于输入密码、或者手机号码。

4.根据权利要求3所述的支付装置，其特征在于：所述虹膜采集单元包括虹膜采集摄像头，所述虹膜采集摄像头连接图像传感器，所述图像传感器连接DSP，所述DSP连接红外补光单元,所述红外补光单元为虹膜采集摄像头提供补光照明。

5.根据权利要求2所述的支付装置，其特征在于：所述虹膜采集单元包括虹膜采集摄像头，所述虹膜采集摄像头连接图像传感器，所述图像传感器连接处理器，所述处理器连接红外补光单元,所述红外补光单元为虹膜采集摄像头提供补光照明。

6.根据权利要求4或5所述的支付装置，其特征在于：所述虹膜采集摄像头的光通路上安装有一个或者多个红外光滤光片、或者所述摄像头的一个或者多个透镜镀有透红外光镀层，只允许红外光通过，所述红外补光单元发射相应波长的红外光，提供红外光补光照明。

7.根据权利要求2或3所述的支付装置，其特征在于：所述支付终端还包括伺服单元，所述伺服单元与所述处理单元连接，所述人脸采集单元采集到使用者脸部图像发送给处理单元，所述处理单元对使用者的脸部图像信息进行检测，获取使用者的眼睛位置；基于获取到的使用者的眼睛位置坐标，伺服单元调整虹膜采集单元的倾斜角使虹膜采集摄像头对准使用者的眼睛，并拍摄使用者的虹膜图像。

8.根据权利要求7所述的支付装置，其特征在于：所述人脸采集单元包括人脸采集摄像头，所述人脸采集摄像头连接图像传感器，所述图像传感器连接处理器，所述处理器连接人脸补光单元，所述人脸补光单元为人脸采集摄像头提供补光照明。

9.一种融合虹膜识别和人脸识别的支付方法，其特征在于，包括以下步骤：

S00：启动人脸采集单元拍摄使用者脸部图像，并将所拍摄图像传输给处理单元；

S01：处理单元调用图像处理程序对使用者的面部图像信息进行检测，获取使用者的眼睛位置；

S02：根据检测到使用者眼睛的位置坐标，启动伺服单元带动虹膜采集单元使虹膜采集摄像头对准用户眼睛；

S03：处理单元启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像；

S04：支付终端将采集到的使用者的虹膜图像信息和人脸图像信息上传到服务器；

S05：人脸识别单元对接收到的人脸图像信息和用户数据库中的人脸图像信息比对，进行验证；虹膜识别单元对接收到的虹膜图像信息和用户数据库中的虹膜图像信息比对，进行验证；

S06：判断是否存在人脸+虹膜都匹配的用户，如果验证到人脸和虹膜都匹配的用户，则依次执行步骤S07～S09，否则执行步骤S10；

S07：服务器保存用户信息，包括用户身份、人脸图像、支付时间、支付地点和支付金额；

S08：服务器执行支付，或向其他支付系统发出支付请求，并向支付终端反馈支付成功信息；

S09：支付终端显示支付成功信息；

S10：服务器判断是否存在单独虹膜匹配的用户，如果验证到虹膜匹配的用户，执行步骤S11，否则执行步骤S14；

S11：服务器判断用户注册信息是否支持单独的虹膜认证支付模式，如果支持则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S12：根据用户注册时的要求，使用者输入密码或者手机号码；

S13：密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S10中通过虹膜匹配验证的用户的密码或者手机号码信息进行比对，如果密码或者手机号码验证通过，则依次执行步骤S07-S09，完成支付；否则执行步骤S12；

S14：服务器判断是否存在单独人脸匹配的用户，如果验证到人脸匹配的用户，执行步骤S12，否则返回执行步骤S04；

S15：密码识别单元对支付终端上传的密码或者手机号码信息进行验证，和步骤S14中通过人脸匹配验证的用户的密码或者手机号码信息进行比对；如果验证通过，则依次执行步骤S07-S09，完成支付；否则返回执行步骤S12。

10.根据权利要求9所述的方法，其特征在于，所述S02中包含如下步骤：

人脸采集单元拍摄使用者的脸部之后发送给处理单元，处理单元对接收的脸部图像数据进行处理，检测出眼睛位置，处理单元根据检测到的眼睛位置坐标信息生成控制信号传输至伺服单元，伺服单元依据控制信号调整虹膜采集摄像头的倾斜角使其对准使用者的眼睛，此时处理单元启动虹膜拍摄控制信号，虹膜采集单元根据所输入的拍摄信号拍摄使用者的虹膜图像。