CN111985925A - 基于虹膜识别和人脸识别的多模态生物识别支付的方法 - Google Patents
基于虹膜识别和人脸识别的多模态生物识别支付的方法 Download PDFInfo
- Publication number
- CN111985925A CN111985925A CN202010627479.7A CN202010627479A CN111985925A CN 111985925 A CN111985925 A CN 111985925A CN 202010627479 A CN202010627479 A CN 202010627479A CN 111985925 A CN111985925 A CN 111985925A
- Authority
- CN
- China
- Prior art keywords
- face
- iris
- image
- payment
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 43
- 239000011521 glass Substances 0.000 claims description 40
- 230000001939 inductive effect Effects 0.000 claims description 24
- 239000004973 liquid crystal related substance Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 229910052782 aluminium Inorganic materials 0.000 claims description 13
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 13
- 229910052751 metal Inorganic materials 0.000 claims description 13
- 239000002184 metal Substances 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000006698 induction Effects 0.000 description 9
- 238000012512 characterization method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Security & Cryptography (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于虹膜识别和人脸识别的多模态生物识别支付的方法，先将顾客的人脸、虹膜图像与他的账户绑定在一起建立支付数据库，顾客进行支付时，先对顾客的人脸进行识别，并识别出人眼所在的位置，再调节虹膜识别模块的转向来对准人眼，对人眼的虹膜图像进行识别，再讲采集到的人脸图像和虹膜图像与数据库中保存的人脸图像数据和虹膜图像数据进行对比，当识别到的人脸图像和虹膜图像与数据库中的人脸图像和虹膜图像能对应起来，即可完成支付。
Description
技术领域
本发明涉及多模态生物识别领域，尤其涉及基于虹膜识别和人脸识别的多模态生物识别支付的方法。
背景技术
随着科学技术的发展，移动支付的普及率越来越高。例如支付宝支付和微信支付。这种支付仍然属于账户号+加密码的支付方式，支付宝账号和微信号作为账户身份的认证，需要用到随身携带的手机。而伴随着人们对移动支付的要求提高，例如出门健身时不方便携带卡片和手机，老年人容易忘记密码等等。逐渐出现了利用人脸、指纹等生物特征识别的支付手段。
现有技术中有指纹识别支付或刷脸支付等生物识别技术进行支付，即利用机器进行指纹或人脸识别，再输入与账户绑定的手机号，确认后即可支付。其中：指纹支付存在以下缺陷：部分群体的指纹特征少，难成像；每一次使用指纹时都会在指纹采集头上留下用户的指纹印痕，而这些指纹痕迹存在被用来复制指纹的可能性；过去因为在犯罪记录中使用指纹，使得某些人害怕“将指纹记录在案”。而人脸支付的准确度不高，需要输入手机号码进行双重认证。且手机号码是公开的，易被人所知；输入繁琐的手机号码影响便捷性。另一方面，由于面部特征会由于整容、胖瘦、衰老等原因发生改变，容易带来识别失败而造成无法支付。再例如，在排队结账的顾客较多时，人脸设备摄像头由于视场角范围大，容易拍摄同时到多张人脸，可能将其他顾客的面部图像作为识别目标。这些对因为人脸识别安全性有极高要求的支付事件来说带来隐患。
综上所述，每一项生物特征的识别算法和方式相对单一，容易造成支付隐患。为了达到最佳的应用性、安全性和便捷性体验，需要融合多种生物特征识别的多模态生物识别技术来提高支付的安全性。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于虹膜识别和人脸识别的多模态生物识别支付的方法，先将顾客的人脸、虹膜图像与他的账户绑定在一起建立支付数据库，顾客进行支付时，先对顾客的人脸进行识别，并识别出人眼所在的位置，再调节虹膜识别模块的转向来对准人眼，对人眼的虹膜图像进行识别，再讲采集到的人脸图像和虹膜图像与数据库中保存的人脸图像数据和虹膜图像数据进行对比，当识别到的人脸图像和虹膜图像与数据库中的人脸图像和虹膜图像能对应起来，即可完成支付。
为了实现上述目的，本发明提供的一种基于虹膜识别和人脸识别的多模态生物识别支付的方法是这样实现的：
一种基于虹膜识别和人脸识别的多模态生物识别支付的方法，包括第一推拉玻璃门、第一手掌感应开关、云端摄像机、支付终端、第二推拉玻璃门、第二手掌感应开关、商品扫码器、载物台、进店二维码，第一推拉玻璃门作为进出商店的通道门，在第一推拉玻璃门上设有第一手掌感应开关，手掌接触到第一手掌感应开关后即可打开第一推拉玻璃门，便于顾客进出商店，商店里的每个商品柜上均安装有一个相同的云端摄像机，用于实时监控超市内安全隐患，给顾客放心的保障。支持语音喊话功能，第一时间阻止违法行为。同时，还可以语音引导顾客购物操作，以第二推拉玻璃门作为商品柜的门，第二手掌感应开关安装在第二推拉玻璃门上，顾客通过手掌感应第二手掌感应开关即可打开第二推拉玻璃门，商店的支付通道上设有支付终端，支付终端前面安装有商品扫码器和载物台，支付终端用于为顾客提供支付平台，商品扫码器用于扫描商品的条形码，并将扫描结果传输至支付终端进行计算和显示，第一推拉玻璃门还贴有进店二维码，用户进店前需要利用微信或者支付宝扫描进店二维码确认信息再进店。
本发明的购物流程为：进店前先使用微信或者支付宝扫描进店二维码进行用户注册，确认好信息后再次扫描进店二维码后，用手掌去感应第一手掌感应开关将第一推拉玻璃门的门禁打开，顾客即可进入商店进行购物，商品柜排列在通道两侧，顾客通过手掌感应第二手掌感应开关将第二推拉玻璃门的门禁打开，即打开商品柜的门获取需要选购的货物，并将取出的商品的条形码对准商品扫码器，由商品扫码器扫描商品码，识别出商品的基本信息，并在支付终端中生成订单，由支付终端对顾客的人脸和虹膜进行识别，当人脸识别和虹膜识别的结果与顾客账户对应起来后，即可完成支付，待支付成功后，用手掌去感应第一手掌感应开关将第一推拉玻璃门的门禁打开，顾客即可出店，完成购物。
本发明的人脸识别和虹膜识别融合的支付系统包括支付终端、服务器，在支付终端上采集用户的账户信息、人脸图像、虹膜图像，并将采集到的这些数据发送至服务器进行存储，当用户需要使用人脸和虹膜进行支付时，再次将人脸对准支付终端即可完成支付。
本发明的支付终端包括金属铝框、液晶触摸屏、图像采集卡、高清摄像头、全景摄像头、FPGA处理板、GPRS模块，液晶触摸屏镶嵌在金属铝框中，用于显示顾客的订单信息以及用户可以在液晶触摸屏上进行用户注册，便于用户查看购物信息和账单，高清摄像头、全景摄像头安装在液晶触摸屏顶端的金属铝框上，图像采集卡、FPGA处理板、GPRS模块安装在金属铝框内，高清摄像头用于采集人脸图像，全景摄像头用于采集虹膜图像，高清摄像头、全景摄像头采集到的图像信息传输给图像采集卡，经图像采集卡处理后发送到FPGA处理板中进行图像处理，实现对人脸和虹膜的识别，由FPGA处理板控制GPRS模块将识别后的人脸和虹膜图像信息发送至服务器，并保存在用户数据库中。
本发明的全景摄像头采用360度无死角旋转摄像头，先由高清摄像头采集到用户人脸图像，在FPGA处理板中进行识别，并识别出眼睛所在的位置坐标，由FPGA处理板根据人眼的位置坐标来调节全景摄像头的拍摄角度，待全景摄像头根据人眼位置坐标后，既是全景摄像头对准人眼位置，以便于全景摄像头能够准确的采集到虹膜图像。
本发明的支付终端还包含了信息录入单元、信息融合单元、第一无线通讯单元，在信息录入单元中可以录入用户名和登录密码，以及人脸识别数据、虹膜识别数据，并在信息融合单元中将用户的用户名、登录密码、人脸识别数据、虹膜识别数据融合在一起，经过第一无线通讯单元发送到服务器上进行存储，即完成用户的注册。
本发明的服务器包含了第二无线通讯单元、对比识别单元、数据单元、用户数据库，第二无线通讯单元接收第一无线通讯单元发送来的数据，并将接收到的数据存入到用户数据库中，其中数据单元的信息就是支付终端发送过来的用户名、登录密码、人脸图库、虹膜图库，当用户需要进行支付时，在支付终端进行人脸识别和虹膜识别后，经第一无线通讯单元、第二无线通讯单元发送到用户数据库中，在对比识别单元中对新采集到的人脸图像和虹膜图像与存储在用户数据库中的人脸图像和虹膜图像做对比识别，只有新采集到的人脸图像、虹膜图像与用户数据库中存储的人脸图像、虹膜图像吻合时，才能够完成支付。
本发明的人脸图像识别方案为：
1.人脸图像采集：通过高清摄像头采集顾客的人脸图像，传输至FPGA处理板中进行图像处理。
2.人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
3.人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
4.人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
5.人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
本发明的人眼位置坐标识别方案为：
在识别出的人脸图像中提取眼睛特征，人眼图片经过二值化后的目标区域主要还是人眼的圆形，即可以利用人眼灰度高于皮肤区域灰度的特征。对霍夫圆检测出的目标圆，在二值化图像计算像素值为255或0的比例，比例最高的圆即为待选的目标人眼。
本发明的虹膜图像识别方案为：
1.虹膜图像获取：采用全景摄像头对人眼虹膜图像进行采集，在FPGA处理板的控制下定位到人眼的位置坐标上对人眼虹膜进行图像采集，并将采集到的图像传输至FPGA处理板中进行下一步的处理。
2.图像预处理：对获取到的虹膜图像进行如下处理，使其满足提取虹膜特征的需求。①虹膜定位:确定内圆、外圆和二次曲线在图像中的位置。其中，内圆为虹膜与瞳孔的边界，外圆为虹膜与巩膜的边界，二次曲线为虹膜与上下眼皮的边界。②虹膜图像归一化:将图像中的虹膜大小，调整到识别系统设置的固定尺寸。③图像增强:针对归一化后的图像，进行亮度、对比度和平滑度等处理，提高图像中虹膜信息的识别率。
3.特征提取：采用特定的算法从虹膜图像中提取出虹膜识别所需的特征点，并对其进行编码。
4.特征匹配：将特征提取得到的特征编码与数据库中的虹膜图像特征编码逐一匹配，判断是否为相同虹膜，从而达到身份识别的目的。
本发明的基于虹膜识别和人脸识别的多模态生物识别支付的方法为：第一次使用虹膜识别和人脸识别支付时，顾客先在支付终端的液晶触摸屏上注册好用户账号信息，包括绑定顾客的银行卡信息、身份证信息、手机号信息，并进行人脸识别和虹膜识别，将这些信息发送至服务器的用户数据库中存储起来，即建立起个人的支付数据库，需要对选购的商品进行支付时，顾客在液晶触摸屏上点击立即支付即可生产订单，接着由高清摄像头对顾客的人脸进行识别，当识别出的人脸图像与数据库中存储的人脸数据相同时，再进行虹膜图像识别，在对虹膜图像进行识别之前，需要定位人眼所在的位置坐标，在FPGA处理板中计算出人眼位置坐标，再控制全景摄像头转动采集角度，使得全景摄像头对准顾客人眼，接着对虹膜图像进行采集识别，当识别到的虹膜图像特征编码与数据库中存储的虹膜图像特征编码逐一匹配时，即可将人脸图像、虹膜图像与先前注册的账户相融合，进而完成支付。
由于本发明融合了人脸识别和虹膜识别多模态生物识别支付的结构，从而可以得到以下有益效果：
将顾客的人脸、虹膜图像与他的账户绑定在一起建立支付数据库，顾客进行支付时，先对顾客的人脸进行识别，并识别出人眼所在的位置，再调节虹膜识别模块的转向来对准人眼，对人眼的虹膜图像进行识别，再讲采集到的人脸图像和虹膜图像与数据库中保存的人脸图像数据和虹膜图像数据进行对比，当识别到的人脸图像和虹膜图像与数据库中的人脸图像和虹膜图像能对应起来，即可完成支付。这种融合了多种生物特征识别的多模态生物识别技术来提高支付的安全性和便捷性。
附图说明
图1为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法购物通道示意图；
图2为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的购物流程图；
图3为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的支付终端与服务器之间的连接关系图；
图4为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的支付终端结构示意图；
图5为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的不同身高顾客识别虹膜的示意图；
图6为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的基于虹膜和人脸识别的方案流程图；
图7为本发明一种基于虹膜识别和人脸识别的多模态生物识别支付的方法的工作原理图。
主要元件符号说明。
| 第一推拉玻璃 | 1 | 第一手掌感应开关 | 2 |
| 云端摄像机 | 3 | 支付终端 | 4 |
| 第二推拉玻璃门 | 5 | 第二手掌感应开关 | 6 |
| 商品扫码器 | 7 | 载物台 | 8 |
| 进店二维码 | 9 | 服务器 | 10 |
| 金属铝框 | 11 | 液晶触摸屏 | 12 |
| 图像采集卡 | 13 | 高清摄像头 | 14 |
| 全景摄像头 | 15 | FPGA处理板 | 16 |
| GPRS模块 | 17 | 信息录入单元 | 18 |
| 信息融合单元 | 19 | 第一无线通讯单元 | 20 |
| 第二无线通讯单元 | 21 | 对比识别单元 | 22 |
| 数据单元 | 23 | 用户数据库 | 24 |
具体实施方式
下面结合实施例并对照附图对本发明作进一步详细说明。
请参阅图1至图7所示为本发明中的一种基于虹膜识别和人脸识别的多模态生物识别支付的方法，包括第一推拉玻璃1门、第一手掌感应开关2、云端摄像机3、支付终端4、第二推拉玻璃门5、第二手掌感应开关6、商品扫码器7、载物台8、进店二维码9。
如图1所示，所述的第一推拉玻璃1门作为进出商店的通道门，在第一推拉玻璃1门上设有第一手掌感应开关2，手掌接触到第一手掌感应开关2后即可打开第一推拉玻璃1门，便于顾客进出商店，以第一手掌感应开关2作为第一推拉玻璃1门的门禁系统，商店里的每个商品柜上均安装有一个相同的云端摄像机3，用于实时监控超市内安全隐患，给顾客放心的保障。支持语音喊话功能，第一时间阻止违法行为。同时，还可以语音引导顾客购物操作，以第二推拉玻璃门5作为商品柜的门，第二手掌感应开关6安装在第二推拉玻璃门5上，顾客通过手掌感应第二手掌感应开关6即可打开第二推拉玻璃门5，以第二手掌感应开关6作为第二推拉玻璃门5的门禁系统，在商品柜中挑选货物，第一手掌感应开关2和第二手掌感应开关6采用的是成熟的红外感应技术，顾客进入商店，触发红外感应，激发系统。顾客通过手掌感应，打开门禁，黑科技提升顾客购物体验。商店的支付通道上设有支付终端4，支付终端4前面安装有商品扫码器7和载物台8，支付终端4用于为顾客提供支付平台，商品扫码器7用于扫描商品的条形码，并将扫描结果传输至支付终端4进行计算和显示，第一推拉玻璃1门还贴有进店二维码9，用户进店前需要利用微信或者支付宝扫描进店二维码9确认信息再进店。
如图2所示，所述的购物流程为：进店前先使用微信或者支付宝扫描进店二维码9进行用户注册，确认好信息后再次扫描进店二维码9后，用手掌去感应第一手掌感应开关2将第一推拉玻璃1门的门禁打开，顾客即可进入商店进行购物，商品柜排列在通道两侧，顾客通过手掌感应第二手掌感应开关6将第二推拉玻璃门5的门禁打开，即打开商品柜的门获取需要选购的货物，并将取出的商品的条形码对准商品扫码器7，由商品扫码器7扫描商品码，识别出商品的基本信息，并在支付终端4中生成订单，由支付终端4对顾客的人脸和虹膜进行识别，当人脸识别和虹膜识别的结果与顾客账户对应起来后，即可完成支付，实现了多模态生物识别技术来提高支付的安全性。待支付成功后，用手掌去感应第一手掌感应开关2将第一推拉玻璃1门的门禁打开，顾客即可出店，完成购物。
如图3所示，所述的人脸识别和虹膜识别融合的支付系统包括支付终端4、服务器10，在支付终端4上采集用户的账户信息、人脸图像、虹膜图像，并将采集到的这些数据发送至服务器10进行存储，当用户需要使用人脸和虹膜进行支付时，再次将人脸对准支付终端4即可完成支付。
如图4所示，所述的支付终端4包括金属铝框11、液晶触摸屏12、图像采集卡13、高清摄像头14、全景摄像头15、FPGA处理板16、GPRS模块17，液晶触摸屏12镶嵌在金属铝框11中，用于显示顾客的订单信息以及用户可以在液晶触摸屏12上进行用户注册，便于用户查看购物信息和账单，高清摄像头14、全景摄像头15安装在液晶触摸屏12顶端的金属铝框11上，图像采集卡13、FPGA处理板16、GPRS模块17安装在金属铝框11内，高清摄像头14用于采集人脸图像，全景摄像头15用于采集虹膜图像，高清摄像头14、全景摄像头15采集到的图像信息传输给图像采集卡13，经图像采集卡13处理后发送到FPGA处理板16中进行图像处理，实现对人脸和虹膜的识别，由FPGA处理板16控制GPRS模块17将识别后的人脸和虹膜图像信息发送至服务器10，并保存在用户数据库24中。
如图5所示，所述的全景摄像头15采用360度无死角旋转摄像头，先由高清摄像头14采集到用户人脸图像，在FPGA处理板16中进行识别，并识别出眼睛所在的位置坐标，由FPGA处理板16根据人眼的位置坐标来调节全景摄像头15的拍摄角度，待全景摄像头15根据人眼位置坐标后，既是全景摄像头15对准人眼位置，以便于全景摄像头15能够准确的采集到虹膜图像。由于顾客的身高不一，固定的摄像头并不能准确的采集到顾客的虹膜图像，所以需要根据识别到的人眼坐标位置调节全景摄像头15的拍摄角度，以适应不同消费群体的身高。
如图3所示，所述的支付终端4还包含了信息录入单元18、信息融合单元19、第一无线通讯单元20，在信息录入单元18中可以录入用户名和登录密码，以及人脸识别数据、虹膜识别数据，并在信息融合单元19中将用户的用户名、登录密码、人脸识别数据、虹膜识别数据融合在一起，经过第一无线通讯单元20发送到服务器10上进行存储，即完成用户的注册，其中第一无线通讯单元20即为GPRS模块17。
如图3所示，所述的服务器10包含了第二无线通讯单元21、对比识别单元22、数据单元23、用户数据库24，第二无线通讯单元21接收第一无线通讯单元20发送来的数据，并将接收到的数据存入到用户数据库24中，其中数据单元23的信息就是支付终端4发送过来的用户名、登录密码、人脸图库、虹膜图库，当用户需要进行支付时，在支付终端4进行人脸识别和虹膜识别后，经第一无线通讯单元20、第二无线通讯单元21发送到用户数据库24中，在对比识别单元22中对新采集到的人脸图像和虹膜图像与存储在用户数据库24中的人脸图像和虹膜图像做对比识别，只有新采集到的人脸图像、虹膜图像与用户数据库24中存储的人脸图像、虹膜图像吻合时，才能够完成支付。
所述的人脸图像识别方案为：
1.人脸图像采集：通过高清摄像头14采集顾客的人脸图像，传输至FPGA处理板16中进行图像处理。
2.人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
3.人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
4.人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
5.人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
所述的人眼位置坐标识别方案为：
单纯利用霍夫圆检测方法是肯定不能检测到精准的圆心坐标，因为检测出来的目标圆很多，可以对这些目标圆进行过滤。在识别出的人脸图像中提取眼睛特征，人眼图片经过二值化后的目标区域主要还是人眼的圆形，即可以利用人眼灰度高于皮肤区域灰度的特征。对霍夫圆检测出的目标圆，在二值化图像计算像素值为255或0的比例，比例最高的圆即为待选的目标人眼。
所述的虹膜图像识别方案为：
1.虹膜图像获取：采用全景摄像头15对人眼虹膜图像进行采集，在FPGA处理板16的控制下定位到人眼的位置坐标上对人眼虹膜进行图像采集，并将采集到的图像传输至FPGA处理板16中进行下一步的处理。
2.图像预处理：对获取到的虹膜图像进行如下处理，使其满足提取虹膜特征的需求。①虹膜定位:确定内圆、外圆和二次曲线在图像中的位置。其中，内圆为虹膜与瞳孔的边界，外圆为虹膜与巩膜的边界，二次曲线为虹膜与上下眼皮的边界。②虹膜图像归一化:将图像中的虹膜大小，调整到识别系统设置的固定尺寸。③图像增强:针对归一化后的图像，进行亮度、对比度和平滑度等处理，提高图像中虹膜信息的识别率。
3.特征提取：采用特定的算法从虹膜图像中提取出虹膜识别所需的特征点，并对其进行编码。
4.特征匹配：将特征提取得到的特征编码与数据库中的虹膜图像特征编码逐一匹配，判断是否为相同虹膜，从而达到身份识别的目的。
所述的基于虹膜识别和人脸识别的多模态生物识别支付的方法为：第一次使用虹膜识别和人脸识别支付时，顾客先在支付终端4的液晶触摸屏12上注册好用户账号信息，包括绑定顾客的银行卡信息、身份证信息、手机号信息，并进行人脸识别和虹膜识别，将这些信息发送至服务器10的用户数据库24中存储起来，即建立起个人的支付数据库，需要对选购的商品进行支付时，顾客在液晶触摸屏12上点击立即支付即可生产订单，接着由高清摄像头14对顾客的人脸进行识别，当识别出的人脸图像与数据库中存储的人脸数据相同时，再进行虹膜图像识别，在对虹膜图像进行识别之前，需要定位人眼所在的位置坐标，在FPGA处理板16中计算出人眼位置坐标，再控制全景摄像头15转动采集角度，使得全景摄像头15对准顾客人眼，接着对虹膜图像进行采集识别，当识别到的虹膜图像特征编码与数据库中存储的虹膜图像特征编码逐一匹配时，即可将人脸图像、虹膜图像与先前注册的账户相融合，进而完成支付。
本发明的工作原理与工作过程如下：
如图7所示，需要对选购的商品进行支付时，顾客在液晶触摸屏12上点击立即支付即可生产订单，接着由高清摄像头14和全景摄像头15对顾客的人脸、虹膜进行识别，并将采集到的图像信息传输给图像采集卡13，经图像采集卡13处理后发送到FPGA处理板16中进行图像处理，由FPGA处理板16控制GPRS模块17将识别后的人脸和虹膜图像信息发送至服务器10，并保存在用户数据库24中，当识别出的人脸图像与数据库中存储的人脸数据相同时，再进行虹膜图像识别，在对虹膜图像进行识别之前，需要定位人眼所在的位置坐标，在FPGA处理板16中计算出人眼位置坐标，再控制全景摄像头15转动采集角度，使得全景摄像头15对准顾客人眼，接着对虹膜图像进行采集识别，当识别到的虹膜图像特征编码与数据库中存储的虹膜图像特征编码逐一匹配时，即可将人脸图像、虹膜图像与先前注册的账户相融合，进而完成支付。
Claims (5)
1.一种基于虹膜识别和人脸识别的多模态生物识别支付的方法，其特征在于：包括第一推拉玻璃门、第一手掌感应开关、云端摄像机、支付终端、第二推拉玻璃门、第二手掌感应开关、商品扫码器、载物台、进店二维码，第一推拉玻璃门作为进出商店的通道门，在第一推拉玻璃门上设有第一手掌感应开关，手掌接触到第一手掌感应开关后即可打开第一推拉玻璃门，便于顾客进出商店，商店里的每个商品柜上均安装有一个相同的云端摄像机，用于实时监控超市内安全隐患，给顾客放心的保障，支持语音喊话功能，第一时间阻止违法行为，同时，还可以语音引导顾客购物操作，以第二推拉玻璃门作为商品柜的门，第二手掌感应开关安装在第二推拉玻璃门上，顾客通过手掌感应第二手掌感应开关即可打开第二推拉玻璃门，商店的支付通道上设有支付终端，支付终端前面安装有商品扫码器和载物台，支付终端用于为顾客提供支付平台，商品扫码器用于扫描商品的条形码，并将扫描结果传输至支付终端进行计算和显示，第一推拉玻璃门还贴有进店二维码，用户进店前需要利用微信或者支付宝扫描进店二维码确认信息再进店。
2.根据权利要求1所述的基于虹膜识别和人脸识别的多模态生物识别支付的方法，其特征在于：所述购物流程为：进店前先使用微信或者支付宝扫描进店二维码进行用户注册，确认好信息后再次扫描进店二维码后，用手掌去感应第一手掌感应开关将第一推拉玻璃门的门禁打开，顾客即可进入商店进行购物，商品柜排列在通道两侧，顾客通过手掌感应第二手掌感应开关将第二推拉玻璃门的门禁打开，即打开商品柜的门获取需要选购的货物，并将取出的商品的条形码对准商品扫码器，由商品扫码器扫描商品码，识别出商品的基本信息，并在支付终端中生成订单，由支付终端对顾客的人脸和虹膜进行识别，当人脸识别和虹膜识别的结果与顾客账户对应起来后，即可完成支付，待支付成功后，用手掌去感应第一手掌感应开关将第一推拉玻璃门的门禁打开，顾客即可出店，完成购物。
3.根据权利要求1所述的基于虹膜识别和人脸识别的多模态生物识别支付的方法，其特征在于：所述支付终端包括金属铝框、液晶触摸屏、图像采集卡、高清摄像头、全景摄像头、FPGA处理板、GPRS模块，液晶触摸屏镶嵌在金属铝框中，用于显示顾客的订单信息以及用户可以在液晶触摸屏上进行用户注册，便于用户查看购物信息和账单，高清摄像头、全景摄像头安装在液晶触摸屏顶端的金属铝框上，图像采集卡、FPGA处理板、GPRS模块安装在金属铝框内，高清摄像头用于采集人脸图像，全景摄像头用于采集虹膜图像，高清摄像头、全景摄像头采集到的图像信息传输给图像采集卡，经图像采集卡处理后发送到FPGA处理板中进行图像处理，实现对人脸和虹膜的识别，由FPGA处理板控制GPRS模块将识别后的人脸和虹膜图像信息发送至服务器，并保存在用户数据库中。
4.根据权利要求3所述的基于虹膜识别和人脸识别的多模态生物识别支付的方法，其特征在于：所述全景摄像头采用360度无死角旋转摄像头，先由高清摄像头采集到用户人脸图像，在FPGA处理板中进行识别，并识别出眼睛所在的位置坐标，由FPGA处理板根据人眼的位置坐标来调节全景摄像头的拍摄角度，待全景摄像头根据人眼位置坐标后，既是全景摄像头对准人眼位置，以便于全景摄像头能够准确的采集到虹膜图像。
5.根据权利要求1所述的基于虹膜识别和人脸识别的多模态生物识别支付的方法，其特征在于：所述基于虹膜识别和人脸识别的多模态生物识别支付的方法为：第一次使用虹膜识别和人脸识别支付时，顾客先在支付终端的液晶触摸屏上注册好用户账号信息，包括绑定顾客的银行卡信息、身份证信息、手机号信息，并进行人脸识别和虹膜识别，将这些信息发送至服务器的用户数据库中存储起来，即建立起个人的支付数据库，需要对选购的商品进行支付时，顾客在液晶触摸屏上点击立即支付即可生产订单，接着由高清摄像头对顾客的人脸进行识别，当识别出的人脸图像与数据库中存储的人脸数据相同时，再进行虹膜图像识别，在对虹膜图像进行识别之前，需要定位人眼所在的位置坐标，在FPGA处理板中计算出人眼位置坐标，再控制全景摄像头转动采集角度，使得全景摄像头对准顾客人眼，接着对虹膜图像进行采集识别，当识别到的虹膜图像特征编码与数据库中存储的虹膜图像特征编码逐一匹配时，即可将人脸图像、虹膜图像与先前注册的账户相融合，进而完成支付。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010627479.7A CN111985925A (zh) | 2020-07-01 | 2020-07-01 | 基于虹膜识别和人脸识别的多模态生物识别支付的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010627479.7A CN111985925A (zh) | 2020-07-01 | 2020-07-01 | 基于虹膜识别和人脸识别的多模态生物识别支付的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111985925A true CN111985925A (zh) | 2020-11-24 |
Family
ID=73438391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010627479.7A Pending CN111985925A (zh) | 2020-07-01 | 2020-07-01 | 基于虹膜识别和人脸识别的多模态生物识别支付的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985925A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620358A (zh) * | 2022-09-21 | 2023-01-17 | 联通数字科技有限公司 | 一种快递检测方法、装置及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012142756A1 (zh) * | 2011-04-20 | 2012-10-26 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
| CN109409895A (zh) * | 2018-09-29 | 2019-03-01 | 深圳先牛信息技术有限公司 | 一种融合虹膜识别和人脸识别的支付装置及支付方法 |
| CN109920180A (zh) * | 2019-01-23 | 2019-06-21 | 北京小牛智能科技有限公司 | 超市防盗系统、超市自助结账方法和客户端 |
-
2020
- 2020-07-01 CN CN202010627479.7A patent/CN111985925A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012142756A1 (zh) * | 2011-04-20 | 2012-10-26 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
| CN109409895A (zh) * | 2018-09-29 | 2019-03-01 | 深圳先牛信息技术有限公司 | 一种融合虹膜识别和人脸识别的支付装置及支付方法 |
| CN109920180A (zh) * | 2019-01-23 | 2019-06-21 | 北京小牛智能科技有限公司 | 超市防盗系统、超市自助结账方法和客户端 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620358A (zh) * | 2022-09-21 | 2023-01-17 | 联通数字科技有限公司 | 一种快递检测方法、装置及计算机可读存储介质 |
| CN115620358B (zh) * | 2022-09-21 | 2024-02-09 | 联通数字科技有限公司 | 一种快递检测方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190251571A1 (en) | Transaction verification system | |
| CN108985134B (zh) | 基于双目摄像机的人脸活体检测及刷脸交易方法及系统 | |
| US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
| CN106845414B (zh) | 用于生物特征验证的质量度量的方法和系统 | |
| CN107016608A (zh) | 一种基于身份信息验证的远程开户方法及系统 | |
| CN106981016A (zh) | 一种远程自助实名购买电话卡的方法与系统 | |
| WO2011046810A2 (en) | Biometric identification and authentication system for financial accounts | |
| CN101405744A (zh) | 脸部识别系统 | |
| CN108446687B (zh) | 一种基于移动端和后台互联的自适应人脸视觉认证方法 | |
| KR101792008B1 (ko) | 유무선 전산망에서 얼굴과 지문을 동시에 스케닝하여 사용자 인증을 처리하는 다중안전잠금기능을 구비한 전자 결제 시스템 및 그 방법 | |
| CN106991594A (zh) | 一种基于商户的远程实名购买电话卡的方法与系统 | |
| CN113222582B (zh) | 一种人脸支付零售终端机 | |
| KR101617855B1 (ko) | 지정맥 인증을 이용한 다중 안전 잠금 기능을 구비하는 금융 거래 중계 시스템 및 그의 처리 방법 | |
| Abidin et al. | Iris segmentation analysis using integro-differential and hough transform in biometric system | |
| CN105894262A (zh) | 基于图像识别的顾客认证系统 | |
| US20220277311A1 (en) | A transaction processing system and a transaction method based on facial recognition | |
| CN105678290A (zh) | 基于图像检测的面部支付平台 | |
| CN111985925A (zh) | 基于虹膜识别和人脸识别的多模态生物识别支付的方法 | |
| CN113902448A (zh) | 一种基于人脸识别的智能手表支付方法 | |
| CN111932758A (zh) | 一种基于人脸识别技术的智能门禁系统 | |
| GB2442504A (en) | Face recognition system, security system comprising same and method for operating same | |
| CN210199760U (zh) | 一种惠民服务查询打印装置 | |
| WO2014092665A1 (en) | Integrated user authentication system in self-service machines | |
| Kyaw et al. | Performance analysis of features extraction on iris recognition system | |
| NL2019978B1 (en) | Payment System with Multi-Biometric Composite Authentication and Crossvalidation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |