CN116152138A - 身份识别方法、装置、存储介质及设备 - Google Patents

身份识别方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN116152138A
CN116152138A CN202111372911.3A CN202111372911A CN116152138A CN 116152138 A CN116152138 A CN 116152138A CN 202111372911 A CN202111372911 A CN 202111372911A CN 116152138 A CN116152138 A CN 116152138A
Authority
CN
China
Prior art keywords
identified
face
image
iris image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111372911.3A
Other languages
English (en)
Inventor
杨春林
刘洋
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyes Intelligent Technology Co ltd, Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyes Intelligent Technology Co ltd
Priority to CN202111372911.3A priority Critical patent/CN116152138A/zh
Publication of CN116152138A publication Critical patent/CN116152138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种身份识别方法、装置、存储介质及设备，属于生物识别领域。本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。

Description

身份识别方法、装置、存储介质及设备
技术领域
本发明涉及生物识别领域，特别是指一种身份识别方法、装置、存储介质及设备。
背景技术
现代社会随着互联网的不断发展，人们对信息尤其是个人信息的安全性和稳定性的要求不断提高。利用人体固有的独特生理特征或行为特征进行身份认证的应用越来越广泛，例如，目前已经广泛应用在日常生活及安全领域的指纹、虹膜、人脸、静脉等安全认证方法和设备。
但是，目前每一项单一的生物特征识别技术都有其局限性，如破损指纹的人不能使用指纹识别，导致单一生物特征的识别技术不能满足所有人的需要。因而多模态生物特征识别技术成为近年来关注的热点，其在一定程度上克服了单一生物特征识别的局限性，且多模态生物特征识别技术的总体识别精度通常会高于单一生物特征识别技术。
在多模态生物特征识别中，人脸和虹膜的多模态识别是最具潜力的生物特征识别技术。在进行人脸虹膜多模态生物特征识别过程中，首先需要采集到符合一定要求的虹膜图像和人脸图像，虹膜图像和人脸图像的质量直接关系到识别的速度与精度。而在图像采集过程中，一个不能忽视的问题就是，由于用户头部倾斜或者用户转动等因素会导致人脸姿态偏转以及眼球偏转，从而使得采集的人脸图像和虹膜图像质量降低。
因此，在人脸虹膜多模态识别过程中，如何发现用户姿态偏转并及时对用户发出提示，是一个亟待解决的技术问题。现有技术通过积分投影方法对人脸图像中的关键点(包括左内眼点、右内眼点、鼻尖以及两嘴角点)进行定位，然后根据两个内眼点计算出倾斜角度，最后通过仿射变换函数实现了人脸图像的矫正。然而该方法能够实现有效检测的角度范围为25°左右，不能满足实际应用过程中人脸姿态多样性的要求。
发明内容
为解决现有技术的缺陷，本发明提供一种身份识别方法、装置、存储介质及设备，提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
本发明提供技术方案如下：
第一方面，本发明提供一种身份识别方法，所述方法包括：
获取待识别对象的虹膜图像；
在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转；
若判断所述待识别对象发生眼球偏转，则获取所述待识别对象的人脸图像，根据所述人脸图像确定所述待识别对象的人脸姿态，根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像；若判断所述待识别对象未发生眼球偏转，则确定所述虹膜图像为所述待识别对象人眼正视时的虹膜图像；
根据所述待识别对象人眼正视时的虹膜图像对所述待识别对象进行身份识别。
进一步的，所述在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转，包括：
在虹膜图像上对瞳孔进行定位，得到瞳孔边界；
利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集；
根据瞳孔边界上的有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断所述待识别对象是否发生眼球偏转。
进一步的，所述利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集，包括：
对所述虹膜图像进行光斑检测，并利用双二次插值去除光斑；
将去除光斑的虹膜图像上圆心为(y,x)，半径范围为[r1,r2]的环形区域图像每间隔一定角度取值，展开成矩形区域图像；
其中，(y,x)为在虹膜图像上对瞳孔进行定位得到的瞳孔圆心，r1＝a1r，r2＝a2r，r为在虹膜图像上对瞳孔进行定位得到的瞳孔半径，a1和a2为设定的系数，0<a1<1<a2；
在所述矩形区域图像上进行平滑滤波，并进行隔行相减，将相减后大于0的值保留，小于等于0的值设置为0，得到梯度图像；
获取梯度图像的每一行的像素最大值及其坐标，将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替，并且将代替后的像素最大值不小于设定阈值的行作为有效行；
将有效行的像素最大值的坐标变换返回到虹膜图像的环形区域图像上，得到瞳孔边界上的有效点集。
进一步的，所述根据瞳孔边界上的有效点集进行椭圆曲线拟合，包括：
获取瞳孔边界上的有效点集中纵坐标取最大值和最小值的点(y_max，xx2)和(y_min，xx1)，以及横坐标取最大值和最小值的点(yy2，x_max)和(yy1，x_min)；
计算初始中心点(y_point,x_point)，初始长轴a和初始短轴b；
其中，y_point＝(y_min+y_max)/2，x_point＝(x_min+x_max)/2，a＝max(a_point，b_point)，b＝min(a_point，b_point)，a_point为(y_min，xx1)与(y_max，xx2)的欧式距离，b_point为(yy1，x_min)与(yy2，x_max)的欧式距离；
根据初始中心点、初始长轴和初始短轴设定中心点、长轴和短轴的遍历范围；
对中心点、长轴和短轴的遍历范围内的每一个取值，进行椭圆曲线拟合，找到与瞳孔边界上的有效点集匹配最多的椭圆曲线作为拟合得到的椭圆曲线。
进一步的，所述根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像，包括：
根据所述人脸姿态对所述虹膜图像进行矫正以获取所述待识别对象人眼正视时的虹膜图像；
或者，根据所述人脸姿态提示所述待识别对象调整姿势后返回所述获取待识别对象的虹膜图像的步骤，直至获取所述待识别对象人眼正视时的虹膜图像。
进一步的，所述方法用于人脸虹膜多模态身份识别。
进一步的，所述根据所述人脸图像确定所述待识别对象的人脸姿态，包括：
将所述人脸图像输入卷积神经网络，得到所述待识别对象的人脸姿态；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的第一分支和第二分支；
所述人脸图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合所述人脸图像的宽和高计算得到人脸特征点坐标；
根据所述人脸特征点坐标计算得到第一组人脸三维姿态角；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到第二组人脸三维姿态角；
根据所述第一组人脸三维姿态角和第二组人脸三维姿态角得到所述待识别对象的人脸姿态。
第二方面，本发明提供一种身份识别装置，所述装置包括：
图像获取模块，用于获取待识别对象的虹膜图像；
眼球偏转判断模块，用于在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转；
正视虹膜图像获取模块，用于若判断所述待识别对象发生眼球偏转，则获取所述待识别对象的人脸图像，根据所述人脸图像确定所述待识别对象的人脸姿态，根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像；若判断所述待识别对象未发生眼球偏转，则确定所述虹膜图像为所述待识别对象人眼正视时的虹膜图像；
身份识别模块，用于根据所述待识别对象人眼正视时的虹膜图像对所述待识别对象进行身份识别。
进一步的，所述眼球偏转判断模块包括：
瞳孔边界提取单元，用于在虹膜图像上对瞳孔进行定位，得到瞳孔边界；
有效点集确定单元，用于利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集；
拟合和转判断单元，用于根据瞳孔边界上的有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断所述待识别对象是否发生眼球偏转。
进一步的，所述有效点集确定单元包括：
光斑去除单元，用于对所述虹膜图像进行光斑检测，并利用双二次插值去除光斑；
矩形区域图像展开单元，用于将去除光斑的虹膜图像上圆心为(y,x)，半径范围为[r1,r2]的环形区域图像每间隔一定角度取值，展开成矩形区域图像；
其中，(y,x)为在虹膜图像上对瞳孔进行定位得到的瞳孔圆心，r1＝a1r，r2＝a2r，r为在虹膜图像上对瞳孔进行定位得到的瞳孔半径，a1和a2为设定的系数，0<a1<1<a2；
梯度图像获取单元，用于在所述矩形区域图像上进行平滑滤波，并进行隔行相减，将相减后大于0的值保留，小于等于0的值设置为0，得到梯度图像；
有效行确定单元，用于获取梯度图像的每一行的像素最大值及其坐标，将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替，并且将代替后的像素最大值不小于设定阈值的行作为有效行；
坐标变换单元，用于将有效行的像素最大值的坐标变换返回到虹膜图像的环形区域图像上，得到瞳孔边界上的有效点集。
进一步的，所述拟合和转判断单元中，根据瞳孔边界上的有效点集进行椭圆曲线拟合，包括：
数据获取单元，用于获取瞳孔边界上的有效点集中纵坐标取最大值和最小值的点(y_max，xx2)和(y_min，xx1)，以及横坐标取最大值和最小值的点(yy2，x_max)和(yy1，x_min)；
初始参数计算单元，用于计算初始中心点(y_point,x_point)，初始长轴a和初始短轴b；
其中，y_point＝(y_min+y_max)/2，x_point＝(x_min+x_max)/2，a＝max(a_point，b_point)，b＝min(a_point，b_point)，a_point为(y_min，xx1)与(y_max，xx2)的欧式距离，b_point为(yy1，x_min)与(yy2，x_max)的欧式距离；
遍历范围确定单元，用于根据初始中心点、初始长轴和初始短轴设定中心点、长轴和短轴的遍历范围；
遍历单元，用于对中心点、长轴和短轴的遍历范围内的每一个取值，进行椭圆曲线拟合，找到与瞳孔边界上的有效点集匹配最多的椭圆曲线作为拟合得到的椭圆曲线。
进一步的，所述正视虹膜图像获取模块中，所述根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像，包括：
矫正单元，用于根据所述人脸姿态对所述虹膜图像进行矫正以获取所述待识别对象人眼正视时的虹膜图像；
或者，调整单元，用于根据所述人脸姿态提示所述待识别对象调整姿势后返回所述获取待识别对象的虹膜图像的步骤，直至获取所述待识别对象人眼正视时的虹膜图像。
进一步的，所述装置用于人脸虹膜多模态身份识别。
进一步的，所述正视虹膜图像获取模块中，所述根据所述人脸图像确定所述待识别对象的人脸姿态，包括：
将所述人脸图像输入卷积神经网络，得到所述待识别对象的人脸姿态；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的第一分支和第二分支；
所述人脸图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合所述人脸图像的宽和高计算得到人脸特征点坐标；
根据所述人脸特征点坐标计算得到第一组人脸三维姿态角；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到第二组人脸三维姿态角；
根据所述第一组人脸三维姿态角和第二组人脸三维姿态角得到所述待识别对象的人脸姿态。
第三方面，本发明提供一种用于身份识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的身份识别方法的步骤。
第四方面，本发明提供一种用于身份识别的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的身份识别方法的步骤。
本发明具有以下有益效果：
本发明首先获取待识别对象的虹膜图像，然后通过虹膜图像的瞳孔边界拟合椭圆曲线来判断待识别对象是否发生眼球偏转，当待识别对象发生眼球偏转时，说明人脸姿态存在偏转；再通过获取的人脸图像确定待识别对象的人脸姿态，得到人脸的偏转方向和角度，根据待识别对象的人脸姿态获取待识别对象人眼正视时的虹膜图像，并使用待识别对象人眼正视时的虹膜图像进行身份识别。
本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
附图说明
图1为正常虹膜的虹膜图像示意图；
图2为眼球偏转的虹膜图像示意图；
图3为本发明的身份识别方法的流程图；
图4为虹膜图像瞳孔初步定位后的示意图；
图5为虹膜图像去除光斑后的示意图；
图6为矩形区域图像的示意图；
图7为梯度图像的示意图；
图8为瞳孔边界上的有效点集地示意图；
图9为椭圆的示意图；
图10为坐标变换的示意图；
图11为人脸三维姿态角的示意图；
图12为本发明的身份识别装置的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供一种身份识别方法，如图3所示，该方法包括：
S100：获取待识别对象的虹膜图像。
S200：在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转。
眼球未偏转的虹膜图像如图1所示，其瞳孔边界(即虹膜内圆)为圆形，眼球偏转的虹膜图像如图2所示，其瞳孔边界为椭圆形。因此，对瞳孔边界按照椭圆进行曲线拟合，根据拟合得到的椭圆曲线即可判断出待识别对象是否发生眼球偏转。
S300：若判断所述待识别对象发生眼球偏转，则获取所述待识别对象的人脸图像，根据所述人脸图像确定所述待识别对象的人脸姿态，根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像；若判断所述待识别对象未发生眼球偏转，则确定所述虹膜图像为所述待识别对象人眼正视时的虹膜图像。
由于眼球偏转和人脸姿态偏转具有关联性，人脸姿态偏转会导致眼球偏转，因此当待识别对象发生眼球偏转时，意味着待识别对象的人脸姿态存在偏转，但是仅根据椭圆曲线无法进一步判断人脸姿态的具体偏转方向和偏转角度，需要采集人脸图像进一步进行判断人脸姿态。
在采集人脸图像时，可以在S100中与虹膜图像同时采集，也可以与S100中采集虹膜图像间隔一个小瞬间采集人脸图像。
本发明对确定人脸姿态的方法不做限制，人脸姿态可以通过姿态角表示，根据姿态角即可得到人脸偏转的方向和角度，并且根据姿态角进行纠正即可获得待识别对象人眼正视时的虹膜图像，具体实现方式可以有如下两种：
1、根据所述人脸姿态对所述虹膜图像进行矫正以获取所述待识别对象人眼正视时的虹膜图像。
本发明对具体的矫正方法不做限制，可以采用现有技术中对人脸姿态进行矫正的各种方法。
2、根据所述人脸姿态提示所述待识别对象调整姿势后返回所述获取待识别对象的虹膜图像的步骤，直至获取所述待识别对象人眼正视时的虹膜图像。
例如，当人脸姿态判断为左转时，提示用户向右转头；当人脸姿态判断为右转时，提示用户向左转头；当人脸姿态判断为上偏时，提示用户向下调整姿态；当人脸姿态判断为下偏时，提示用户向上调整姿态。
当用户根据提示纠正人脸姿态后，再采集虹膜图像，直至获取待识别对象人眼正视时的虹膜图像。
S400：根据所述待识别对象人眼正视时的虹膜图像对所述待识别对象进行身份识别。
通过人眼正视时的虹膜图像进行身份识别，可以提高准确性。必要时，还可以在S300同时采集人眼正视时的人脸图像，用于与人眼正视时的虹膜图像一起进行人脸虹膜多模态识别。
本发明首先获取待识别对象的虹膜图像，然后通过虹膜图像的瞳孔边界拟合椭圆曲线来判断待识别对象是否发生眼球偏转，当待识别对象发生眼球偏转时，说明人脸姿态存在偏转；再通过获取的人脸图像确定待识别对象的人脸姿态，得到人脸的偏转方向和角度，根据待识别对象的人脸姿态获取待识别对象人眼正视时的虹膜图像，并使用待识别对象人眼正视时的虹膜图像进行身份识别。
本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
作为本发明实施例的一种实现方式，前述的S200包括：
S210：在虹膜图像上对瞳孔进行定位，得到瞳孔边界。
本步骤用于在虹膜图像上对瞳孔进行定位，得到瞳孔圆心、瞳孔半径和瞳孔边界，其具体实现方式包括：
S211：对虹膜图像进行二值化处理，利用对称径向变换的曲线拟合的方法进行瞳孔定位，得到瞳孔圆心和瞳孔半径。
在本步骤中，首先进行二值化处理，得到二值化图像，然后通过Sobel等算法，对称径向变换瞳孔边界作为圆进行初步定位，获取参数(y，x，r)，其中(y，x)为瞳孔圆心坐标，r为瞳孔半径。
定位结果的其中一个示例的如图4所示，其中白色的圆弧线为定位的瞳孔边界，此边界为圆的边界，白色的十字号为定位的瞳孔圆心。
S212：采用八向连通标记算法将虹膜图像分割成若干个连通区域，通过对比各连通区域的面积占比以及各连通区域的质心点位置与瞳孔圆心的距离确定出瞳孔区域。
在S211中将瞳孔作为圆形进行初定位以后，再通过本步骤进行精定位。精定位的具体方法可以包括：剔除二值化图像中由睫毛等形成的干扰区域，采用八向连通标记算法对虹膜图像进行分割，将虹膜图像分割成若干个连通区域，通过对比各连通区域的面积占比以及各连通区域质心点位置与初定位的瞳孔圆心的距离判断出准确的瞳孔区域。
S213：采用边缘检测算法提取瞳孔区域的轮廓，得到瞳孔边界。
本步骤中，可以采用Sobel边缘检测算法提取瞳孔区域的轮廓，获得瞳孔边界。
需要说明的是，本发明也可以采用其他边缘检测算法，例如canny边缘检测算法，本发明对此不作特殊限定。通过边缘检测算法对二值化图像进行处理，即可得到瞳孔的边界点。
本发明通过对瞳孔进行粗定位确定瞳孔的大体边界，再通过对瞳孔进行精定位，能够提高瞳孔定位的准确度。
S220：利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集。
前述的S210是将瞳孔作为圆形进行定位，得到的瞳孔边界为圆形，但是圆形的瞳孔边界会存在定位不准确的问题，例如眼球偏转或斜视时，定位得到的瞳孔边界就不准确。
因此本步骤通过虹膜图像的梯度信息对瞳孔边界上的点进行修正，梯度信息能够反应图像各个像素周围的变化程度，真实的瞳孔边界点处图像像素变化剧烈，因此可以通过梯度信息对瞳孔边界进行修正，得到真实的瞳孔边界点。
S210定位得到的瞳孔边界还容易受到噪点影响，噪点为瞳孔边界上因为遮挡形成的虚假边界点。真实的瞳孔边界点位于瞳孔与虹膜之间，虚假的瞳孔边界点(即噪点)往往位于瞳孔与眼睑或光斑之间，需要将其去除。同样的，可以利用虹膜图像的梯度信息去除噪点，必要时，还可以结合光斑检测技术去除噪点。
S230：根据瞳孔边界上的有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断所述待识别对象是否发生眼球偏转。
得到瞳孔边界上的有效点集后，即可进行椭圆曲线拟合，本发明中不限制椭圆曲线拟合的方法。例如可以基于最小二乘法或者霍夫变化的椭圆曲线拟合方法对瞳孔边界上的边缘点进行计算，利用瞳孔边界上的有效点集，进行椭圆曲线拟合，得到拟合的椭圆曲线边缘，并利用非线性最小二乘法找到与实际边缘的欧式距离最小的拟合椭圆曲线边缘，得到拟合的椭圆曲线。
拟合得到椭圆曲线后，椭圆曲线越接近圆形，说明瞳孔的倾斜程度越小，眼球偏转越轻微，反之，椭圆曲线越扁平，说明瞳孔的倾斜程度越大，眼球偏转越严重。因此可以通过椭圆曲线的扁平程度等参数代表眼球偏转的程度，并且根据设定的阈值进行比较，判断待识别对象是否发生眼球偏转。
椭圆曲线拟合完成后，最终得到的椭圆曲线的参数包括椭圆曲线的长轴长度a_finial、短轴长度b_finial和长轴上两个焦点F1、F2及其之间的距离c。
然后可以基于最终拟合得到的椭圆曲线的上述参数判断待识别对象是否发生眼球偏转：
1、计算长轴上两个焦点的距离与长轴长度之比，得到第一比值；或者，计算长轴长度与短轴长度之比，得到第二比值。
2、当第一比值大于设定的第一阈值或当第二比值大于设定的第二阈值时，判断眼球偏转，并根据第一比值或第二比值判断眼球偏转的程度。
以椭圆曲线长轴上的两个焦点F1和F2为例进行说明，当焦点F1和F2越接近(即F1和F2之间的距离越小)时，椭圆曲线的形状越接近于圆形，瞳孔的倾斜程度越小，反之，F1和F2之间的距离越远，说明瞳孔的倾斜程度越大，眼球偏转越严重。因此，通过计算F1和F2之间的距离占据整个长轴的比值能够判断出眼球偏转的程度。同理，长轴长度与短轴长度的比值也能够判断出眼球偏转的程度。
当F1和F2之间的距离占据整个长轴的比值大于第一阈值时，长轴与短轴的比值大于第二阈值时，判断眼球偏转，此时系统可以发出提示，提醒用户调整角度重新采集虹膜图像。其中，第一阈值和第二阈值可以是本领域技术人员根据经验设定的值。
本发明首先对采集的虹膜图像进行瞳孔定位，确定瞳孔边界，之后利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集，再根据有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断待识别对象是否发生眼球偏转，提高了椭圆曲线拟合的准确度，最终提高了眼球偏转判断的准确度。
本发明在S220中利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集，提高了瞳孔边界上有效点的准确性，具体的实现方式包括：
S221：对虹膜图像进行光斑检测，并利用双二次插值去除光斑。
在采集虹膜图像时，由于补光等因素的影响，容易在瞳孔内存在光斑，如图4所示。光斑在瞳孔边界上梯度比较大，对于瞳孔边界拟合有较大的影响，因此需要去掉光斑噪声。
本步骤去除光斑的一个具体实现方式为：以设定的二值化阈值对虹膜图像进行二值化处理，并进行膨胀运算，得到光斑区域，利用双二次插值在虹膜图像上对光斑区域进行填充，去除光斑。
例如：以灰度值250作为二值化阈值，对图像进行二值化处理，灰度值大于250的像素赋值为1，小于等于250的像素赋值为0，得到的图像上像素为1的位置代表光斑，可以大致确定光斑位置以及大小。其中，二值化阈值250仅作为举例说明，并不用于限制本发明。
在二值化图像上进行膨胀运算，定位出光斑区域。
膨胀类似于“领域扩张”，将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大。本步骤通过膨胀操作，可以去除光斑内的空洞或光斑边缘的锯齿。
将虹膜图像上位于光斑内的像素点与相邻的像素点进行双二次插值，使用光斑周围的像素值进行运算，代替光斑内的值，对光斑区域进行填充，达到去除光斑的目的，去除光斑后的效果如图5所示。
S222：将去除光斑的虹膜图像上圆心为(y,x)，半径范围为[r1,r2]的环形区域图像每间隔一定角度取值，展开成矩形区域图像。
其中，(y,x)为在虹膜图像上对瞳孔进行定位得到的瞳孔圆心，r1＝a1r，r2＝a2r，r为在虹膜图像上对瞳孔进行定位得到的瞳孔半径，a1和a2为设定的系数，0<a1<1<a2。
本步骤基于前述定位得到的瞳孔圆心(y，x)和瞳孔半径r对图像进行展开，具体的：
虹膜图像瞳孔在圆心(y,x)，半径变化[r1,r2]范围内为一环形区域，将[-π、π]环形区域图像按照坐标变换的方法分别展开成行为(r2-r1+1)，列为P的矩形区域图像。
展开时，以圆心(y,x)为原点，每间隔一定角度取值一次，例如当每隔2°取值时，列为180行，每隔3°取值时，列为120行，每隔4°取值时，列为90行，依次类推，间隔的角度不能太密集也不能太稀疏，优选的，每隔3°取值一次，展开为120列的矩形区域图像。
以(y,x)为圆心，r的遍历范围为[r1,r2],r1＝a1r，r2＝a2r，在其中一个示例中，a1＝0.5，a2＝1.5。需要说明的是，a1＝0.5，a2＝1.5仅为举例说明，并不用于限制本发明。
以每隔3°采集为例，以圆心(y,x)为原点，每隔3°将半径r1＝0.5r，r2＝1.5r之间的环形区域展开成矩形区域，变换为图6所示的矩形区域图像，该矩形区域图像的列数为120列，行数为r2-r1+1行。
S223：在矩形区域图像上进行平滑滤波，并进行隔行相减，将相减后大于0的值保留，小于等于0的值设置为0，得到梯度图像；
本步骤中，可以在展开的矩形区域图上进行3*3或者5*5的平滑滤波，然后进行隔行相减，即第n+1行减去第n-1行，并将相减以后大于0的值保留，小于等于0的设置为0即可，得到梯度图像，如图7所示。
S224：获取梯度图像的每一行的像素最大值及其坐标，将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替，并且将代替后的像素最大值不小于设定阈值的行作为有效行。
本步骤在梯度图像的基础上，以行为基准，获取每一行像素的最大值及其位置点坐标。为了防止噪声的影响，还可以将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替。
例如，某一行的第m个像素点为像素最大值，那么可以使用(m-2，m-1，m，m+1，m+2)5个点的像素平均值取代m位置的最大值。
然后设置阈值T，若某一行中的像素最大值不小于T，则将该行视为有效行，否则视为无效行。
S225：将有效行的像素最大值的坐标变换返回到虹膜图像的环形区域图像上，得到瞳孔边界上的有效点集。
假设有效行的数量为n个，就得到了所有有效行的像素最大值的坐标(m1,1),(m2,2),(m3,3)…。然后将这些坐标通过坐标变换返回到原始虹膜图像上去(图6、图7与原始虹膜图像中的角度一一对应，根据角度值，将坐标变换到原始虹膜图像上去)，就得到了在环形区域图像上的瞳孔坐标点，即为瞳孔边界上的有效点集。
假设图7中有20行，获取每一行的像素最大值及其坐标，并在该像素最大值的坐标点向附近取5个像素点求平均值替换该像素最大值。同时，假设阈值T取值为20，当某一行的像素最大值小于20时，将该行视为无效行。以无效行有3行为例，有效行为17行，实际得到的像素最大值的坐标点数量为17个，坐标变换后得到的瞳孔边界上的有效点集也为17个。
得到有效点集后，在S230中根据有效点集进行椭圆曲线拟合，椭圆曲线拟合的一个具体实现方式可以包括：
S231：获取瞳孔边界上的有效点集中纵坐标取最大值和最小值的点(y_max，xx2)和(y_min，xx1)，以及横坐标取最大值和最小值的点(yy2，x_max)和(yy1，x_min)。
假设瞳孔边界上的有效点集在虹膜图像上的坐标为(y1，x1)，(y2，x2)，(y3，x3)...(yn，xn)，如图8所示。取y1,y2,y3…yn中的最大值和最小值的点，记为(y_max，xx2)，(y_min，xx1)，取x1,x2,x3…xn中的最大值和最小值，记为(yy2，x_max)，(yy1，x_min)。
S232：计算初始中心点(y_point,x_point)，初始长轴a和初始短轴b。
其中，y_point＝(y_min+y_max)/2，x_point＝(x_min+x_max)/2，a＝max(a_point，b_point)，b＝min(a_point，b_point)，a_point为(y_min，xx1)与(y_max，xx2)的欧式距离，b_point为(yy1，x_min)与(yy2，x_max)的欧式距离；
S233：根据初始中心点、初始长轴和初始短轴设定中心点、长轴和短轴的遍历范围；
在其中一个示例中，遍历范围为：
y方向的遍历范围为[y_point-5,y_point+5]，x方向的遍历范围为[x_point-5,x_point+5]，长轴的遍历范围为[a-10,a+10]，短轴的遍历范围为[b-10,b+10]。需要说明的是，本段中5、10的取值仅为举例说明，并不用于限制本发明。
S234：对中心点、长轴和短轴的遍历范围内的每一个取值，进行椭圆曲线拟合，找到与瞳孔边界上的有效点集匹配最多的椭圆曲线作为拟合得到的椭圆曲线。
本步骤中，以(y_point,x_point)为中心点，以a＝max(a_point，b_point)为长轴，b＝min(a_point，b_point)为短轴，按照上述遍历范围进行遍历。对遍历范围内的每一个取值，进行椭圆曲线拟合，拟合时采取标准椭圆曲线方程的公式：
Figure BDA0003362876800000171
直至找到与瞳孔边界上的有效点集匹配最多的椭圆曲线，如图9所示，即可得到椭圆曲线的参数。
需要说明的是：在椭圆曲线拟合中需要进行坐标平移和变换，将原始虹膜图像的坐标系变换到椭圆曲线中心坐标系，随着中心点的转变，所有瞳孔边界上的有效点集的坐标都要跟着变化，要保证中心点的坐标始终为0。
将原始虹膜图像的坐标系变换到椭圆曲线中心坐标系的过程如下：
如图10所示，已知原始虹膜图像的坐标系XOY中的一点P(y,x)，以及椭圆曲线中心坐标系XθO'Yθ，其中，椭圆曲线中心坐标系以(y_point,x_point)为原点，Y轴与初始长轴夹角为θ(θ>0)。将椭圆曲线中心坐标系XθO'Yθ逆时针旋转θ后，得到新坐标系X'O'Y'，至此可以求出P(y,x)在坐标系X'O'Y'中的坐标值y'，x'分别为：
y'＝y·cos(θ)-x·sin(θ)-y_point；
x'＝x·cos(θ)+y·sin(θ)-x_point。
拟合完成后，最终得到的椭圆曲线的参数可以包括椭圆曲线的长轴长度a_finial、短轴长度b_finial和长轴上两个焦点F1、F2及其之间的距离c。
作为本发明实施例的一种改进，前述的S300中，根据所述人脸图像确定所述待识别对象的人脸姿态，包括：
将所述人脸图像输入卷积神经网络，得到所述待识别对象的人脸姿态。
必要时，可以对人脸图像进行预处理，该预处理包括：对人脸图像进行人脸检测，获得人脸左上角点的坐标(x,y)以及人脸的宽width和高height。根据人脸检测后的结果截取人脸图像，即以(x,y)为起点向左和向下获取width和height个像素点，得到截取图像，并将截取图像差值归一化到40*40大小，作为CNN(卷积神经网络)的输入。
其中，卷积神经网络包括图像前处理部分以及位于图像前处理部分后的并列的第一分支和第二分支。
卷积神经网络的具体处理过程如下：
S310：人脸图像经过图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图。
例如，宽和高均为40的3通道人脸图像作为CNN的图像前处理部分的输入图像，首先将人脸图像四周的2个像素使用0进行填充，然后使用大小5*5的卷积核以步长为1进行卷积操作，获得16个通道大小为40*40的特征图。然后使用Tanh激活函数激活，Tanh函数形式如下：
Figure BDA0003362876800000181
对激活后神经元取绝对值作为下一层的输入，接着对取绝对值后的神经元进行无重叠的最大池化操作，其中池化核的大小为2*2，步长为2。经过上述的一系列操作，得到大小为20*20的16通道的特征图。
对上述过程获得的大小为20*20的16通道的特征图四周的1个像素点使用0进行填充，然后使用大小为3*3的卷积核以步长为1进行卷积操作，得到大小为20*20的48通道的特征图，然后进行Tanh激活并进行取绝对值操作，接着以步长为1进行3*3的最大池化操作，得到大小为10*10的48通道特征图。
对上述过程获得的大小为10*10的48通道特征图使用大小为3*3的卷积核以步长为1进行卷积操作，得到大小为8*8的64通道的特征图，然后进行Tanh激活并进行取绝对值操作，接着以步长为2进行3*3的最大池化操作，得到大小为3*3的64通道特征图，即为所述的前处理特征图。
上述的图像前处理部分将一张大小为40*40的彩色人脸图像经过处理后得到了大小为3*3的64通道的前处理特征图。
S320：前处理特征图经过第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸图像的宽和高计算得到人脸特征点坐标。
例如，对大小为3*3的64通道的前处理特征图使用大小为2*2的卷积核以步长为1进行卷积操作，得到64通道大小为3*3的特征图，然后进行Tanh激活和取绝对值操作，对取绝对值后的结果使用内积操作得到维度为256的特征向量，对得到的特征向量使用Tanh进行激活，并取绝对值。
为了获得83个特征点定位结果，需要将并绝对值后的特征向量采用内积操作映射到166维的向量上，获得166维的特征向量。
该166维特征向量即为83个人脸特征点的横坐标的补偿值和纵坐标的补偿值
Figure BDA0003362876800000191
对应到人脸图像上的坐标为；
Figure BDA0003362876800000192
Figure BDA0003362876800000193
其中，width和height分别为人脸图像的宽和高，(xi,yi)即为83个人脸特征点的坐标，第一分支在训练时使用L2损失进行参数训练。
S330：根据人脸特征点坐标计算得到第一组人脸三维姿态角。
本步骤的83个人脸特征点可以通过pnp方法计算得到3个人脸姿态(pitch2,yaw2,roll2)，记为第一组人脸三维姿态角。
S340：前处理特征图经过第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到第二组人脸三维姿态角。
例如，对大小为3*3的64通道的前处理特征图使用大小为2*2的卷积核以步长为1进行卷积操作，然后使用BN操作进行特征归一化和ReLU函数进行特征激活，接着使用内积映射得到大小为128维的特征向量，最后对128维的特征向量使用内积操作得到3维的特征向量(pitch1,yaw1,roll1)作为姿态的输出结果，记为第二组人脸三维姿态角。
人脸三维姿态角(pitch,yaw,roll)为人脸的3个真实的偏转角度，3个偏转角度如图11所示。
S350：根据第一组人脸三维姿态角和第二组人脸三维姿态角得到所述待识别对象的人脸姿态。
为了获得更加稳定的人脸姿态，如果第二组人脸三维姿态角存在任意一个角度大于20度，则认为最终的人脸姿态为第二组人脸三维姿态角(pitch1,yaw1,roll1)，否则，认为最终的人脸姿态为第二组人脸三维姿态角(pitch1,yaw1,roll1)和第一组人脸三维姿态角(pitch2,yaw2,roll2)的平均值。
实施例2：
本发明实施例提供一种身份识别装置，如图12所示，该装置包括：
图像获取模块100，用于获取待识别对象的虹膜图像。
眼球偏转判断模块200，用于在虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断待识别对象是否发生眼球偏转。
正视虹膜图像获取模块300，用于若判断待识别对象发生眼球偏转，则获取待识别对象的人脸图像，根据人脸图像确定待识别对象的人脸姿态，根据待识别对象的人脸姿态获取待识别对象人眼正视时的虹膜图像；若判断待识别对象未发生眼球偏转，则确定虹膜图像为待识别对象人眼正视时的虹膜图像。
身份识别模块400，用于根据待识别对象人眼正视时的虹膜图像对待识别对象进行身份识别。
本发明首先获取待识别对象的虹膜图像，然后通过虹膜图像的瞳孔边界拟合椭圆曲线来判断待识别对象是否发生眼球偏转，当待识别对象发生眼球偏转时，说明人脸姿态存在偏转；再通过获取的人脸图像确定待识别对象的人脸姿态，得到人脸的偏转方向和角度，根据待识别对象的人脸姿态获取待识别对象人眼正视时的虹膜图像，并使用待识别对象人眼正视时的虹膜图像进行身份识别。
本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
前述的眼球偏转判断模块包括：
瞳孔边界提取单元，用于在虹膜图像上对瞳孔进行定位，得到瞳孔边界。
有效点集确定单元，用于利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集。
拟合和转判断单元，用于根据瞳孔边界上的有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断待识别对象是否发生眼球偏转。
其中，有效点集确定单元包括：
光斑去除单元，用于对虹膜图像进行光斑检测，并利用双二次插值去除光斑。
矩形区域图像展开单元，用于将去除光斑的虹膜图像上圆心为(y,x)，半径范围为[r1,r2]的环形区域图像每间隔一定角度取值，展开成矩形区域图像。
其中，(y,x)为在虹膜图像上对瞳孔进行定位得到的瞳孔圆心，r1＝a1r，r2＝a2r，r为在虹膜图像上对瞳孔进行定位得到的瞳孔半径，a1和a2为设定的系数，0<a1<1<a2。
梯度图像获取单元，用于在矩形区域图像上进行平滑滤波，并进行隔行相减，将相减后大于0的值保留，小于等于0的值设置为0，得到梯度图像。
有效行确定单元，用于获取梯度图像的每一行的像素最大值及其坐标，将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替，并且将代替后的像素最大值不小于设定阈值的行作为有效行。
坐标变换单元，用于将有效行的像素最大值的坐标变换返回到虹膜图像的环形区域图像上，得到瞳孔边界上的有效点集。
前述的拟合和转判断单元中，根据瞳孔边界上的有效点集进行椭圆曲线拟合，包括：
数据获取单元，用于获取瞳孔边界上的有效点集中纵坐标取最大值和最小值的点(y_max，xx2)和(y_min，xx1)，以及横坐标取最大值和最小值的点(yy2，x_max)和(yy1，x_min)。
初始参数计算单元，用于计算初始中心点(y_point,x_point)，初始长轴a和初始短轴b。
其中，y_point＝(y_min+y_max)/2，x_point＝(x_min+x_max)/2，a＝max(a_point，b_point)，b＝min(a_point，b_point)，a_point为(y_min，xx1)与(y_max，xx2)的欧式距离，b_point为(yy1，x_min)与(yy2，x_max)的欧式距离。
遍历范围确定单元，用于根据初始中心点、初始长轴和初始短轴设定中心点、长轴和短轴的遍历范围。
遍历单元，用于对中心点、长轴和短轴的遍历范围内的每一个取值，进行椭圆曲线拟合，找到与瞳孔边界上的有效点集匹配最多的椭圆曲线作为拟合得到的椭圆曲线。
在正视虹膜图像获取模块中，根据待识别对象的人脸姿态获取待识别对象人眼正视时的虹膜图像，包括：
矫正单元，用于根据人脸姿态对虹膜图像进行矫正以获取待识别对象人眼正视时的虹膜图像。
或者，调整单元，用于根据人脸姿态提示待识别对象调整姿势后返回获取待识别对象的虹膜图像的步骤，直至获取待识别对象人眼正视时的虹膜图像。
本发明的装置可以用于人脸虹膜多模态身份识别。
进一步的，在正视虹膜图像获取模块中，根据人脸图像确定待识别对象的人脸姿态，包括：
将人脸图像输入卷积神经网络，得到待识别对象的人脸姿态。
其中，卷积神经网络包括图像前处理部分以及位于图像前处理部分后的并列的第一分支和第二分支。
人脸图像经过图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图。
前处理特征图经过第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸图像的宽和高计算得到人脸特征点坐标；
根据人脸特征点坐标计算得到第一组人脸三维姿态角。
前处理特征图经过第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到第二组人脸三维姿态角。
根据第一组人脸三维姿态角和第二组人脸三维姿态角得到待识别对象的人脸姿态。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
实施例3：
本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于身份识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的身份识别方法的步骤。
本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
实施例4：
本发明还提供一种用于身份识别的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述身份识别的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述身份识别方法的步骤。
本发明利用眼球偏转和人脸姿态偏转的关联性快速准确发现用户姿态偏转。首先基于虹膜图像进行眼球偏转判断，确定人脸姿态是否存在偏转，然后基于人脸图像判断人脸姿态的偏转方向和角度，并进行纠正得到满足实际应用要求的待识别对象人眼正视时的虹膜图像。本发明提高了虹膜图像采集的成功率和效率，进而提高了虹膜识别的准确性，并且能够实现大角度人脸姿态偏转的检测和纠正，能够满足实际应用过程中人脸姿态多样性的要求。
上述所述的设备根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种身份识别方法，其特征在于，所述方法包括：
获取待识别对象的虹膜图像；
在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转；
若判断所述待识别对象发生眼球偏转，则获取所述待识别对象的人脸图像，根据所述人脸图像确定所述待识别对象的人脸姿态，根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像；若判断所述待识别对象未发生眼球偏转，则确定所述虹膜图像为所述待识别对象人眼正视时的虹膜图像；
根据所述待识别对象人眼正视时的虹膜图像对所述待识别对象进行身份识别。
2.根据权利要求1所述的身份识别方法，其特征在于，所述在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转，包括：
在虹膜图像上对瞳孔进行定位，得到瞳孔边界；
利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集；
根据瞳孔边界上的有效点集进行椭圆曲线拟合，并根据椭圆曲线的扁平程度判断所述待识别对象是否发生眼球偏转。
3.根据权利要求2所述的身份识别方法，其特征在于，所述利用虹膜图像的梯度信息对瞳孔边界上的点进行修正并去除噪点，得到瞳孔边界上的有效点集，包括：
对所述虹膜图像进行光斑检测，并利用双二次插值去除光斑；
将去除光斑的虹膜图像上圆心为(y,x)，半径范围为[r1,r2]的环形区域图像每间隔一定角度取值，展开成矩形区域图像；
其中，(y,x)为在虹膜图像上对瞳孔进行定位得到的瞳孔圆心，r1＝a1r，r2＝a2r，r为在虹膜图像上对瞳孔进行定位得到的瞳孔半径，a1和a2为设定的系数，0<a1<1<a2；
在所述矩形区域图像上进行平滑滤波，并进行隔行相减，将相减后大于0的值保留，小于等于0的值设置为0，得到梯度图像；
获取梯度图像的每一行的像素最大值及其坐标，将每一行的像素最大值使用该行的像素最大值及该行上在像素最大值附近的若干个像素的平均值代替，并且将代替后的像素最大值不小于设定阈值的行作为有效行；
将有效行的像素最大值的坐标变换返回到虹膜图像的环形区域图像上，得到瞳孔边界上的有效点集。
4.根据权利要求2所述的身份识别方法，其特征在于，所述根据瞳孔边界上的有效点集进行椭圆曲线拟合，包括：
获取瞳孔边界上的有效点集中纵坐标取最大值和最小值的点(y_max，xx2)和(y_min，xx1)，以及横坐标取最大值和最小值的点(yy2，x_max)和(yy1，x_min)；
计算初始中心点(y_point,x_point)，初始长轴a和初始短轴b；
其中，y_point＝(y_min+y_max)/2，x_point＝(x_min+x_max)/2，a＝max(a_point，b_point)，b＝min(a_point，b_point)，a_point为(y_min，xx1)与(y_max，xx2)的欧式距离，b_point为(yy1，x_min)与(yy2，x_max)的欧式距离；
根据初始中心点、初始长轴和初始短轴设定中心点、长轴和短轴的遍历范围；
对中心点、长轴和短轴的遍历范围内的每一个取值，进行椭圆曲线拟合，找到与瞳孔边界上的有效点集匹配最多的椭圆曲线作为拟合得到的椭圆曲线。
5.根据权利要求1所述的身份识别方法，其特征在于，所述根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像，包括：
根据所述人脸姿态对所述虹膜图像进行矫正以获取所述待识别对象人眼正视时的虹膜图像；
或者，根据所述人脸姿态提示所述待识别对象调整姿势后返回所述获取待识别对象的虹膜图像的步骤，直至获取所述待识别对象人眼正视时的虹膜图像。
6.根据权利要求1所述的身份识别方法，其特征在于，所述方法用于人脸虹膜多模态身份识别。
7.根据权利要求1所述的身份识别方法，其特征在于，所述根据所述人脸图像确定所述待识别对象的人脸姿态，包括：
将所述人脸图像输入卷积神经网络，得到所述待识别对象的人脸姿态；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的第一分支和第二分支；
所述人脸图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合所述人脸图像的宽和高计算得到人脸特征点坐标；
根据所述人脸特征点坐标计算得到第一组人脸三维姿态角；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到第二组人脸三维姿态角；
根据所述第一组人脸三维姿态角和第二组人脸三维姿态角得到所述待识别对象的人脸姿态。
8.一种身份识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取待识别对象的虹膜图像；
眼球偏转判断模块，用于在所述虹膜图像上对瞳孔边界按照椭圆进行曲线拟合，并根据拟合的椭圆曲线判断所述待识别对象是否发生眼球偏转；
正视虹膜图像获取模块，用于若判断所述待识别对象发生眼球偏转，则获取所述待识别对象的人脸图像，根据所述人脸图像确定所述待识别对象的人脸姿态，根据所述待识别对象的人脸姿态获取所述待识别对象人眼正视时的虹膜图像；若判断所述待识别对象未发生眼球偏转，则确定所述虹膜图像为所述待识别对象人眼正视时的虹膜图像；
身份识别模块，用于根据所述待识别对象人眼正视时的虹膜图像对所述待识别对象进行身份识别。
9.一种用于身份识别的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述身份识别方法的步骤。
10.一种用于身份识别的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述身份识别方法的步骤。
CN202111372911.3A 2021-11-19 2021-11-19 身份识别方法、装置、存储介质及设备 Pending CN116152138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111372911.3A CN116152138A (zh) 2021-11-19 2021-11-19 身份识别方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111372911.3A CN116152138A (zh) 2021-11-19 2021-11-19 身份识别方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN116152138A true CN116152138A (zh) 2023-05-23

Family

ID=86351120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111372911.3A Pending CN116152138A (zh) 2021-11-19 2021-11-19 身份识别方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN116152138A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994325A (zh) * 2023-07-27 2023-11-03 山东睿芯半导体科技有限公司 一种虹膜识别方法、芯片及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994325A (zh) * 2023-07-27 2023-11-03 山东睿芯半导体科技有限公司 一种虹膜识别方法、芯片及终端
CN116994325B (zh) * 2023-07-27 2024-02-20 山东睿芯半导体科技有限公司 一种虹膜识别方法、芯片及终端

Similar Documents

Publication Publication Date Title
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US20120163678A1 (en) System and method for identifying a person with reference to a sclera image
CN110807427B (zh) 一种视线追踪方法、装置、计算机设备和存储介质
JP2008521122A (ja) 虹彩識別のためのマルチスケール可変領域分解方法及びシステム
US20110280454A1 (en) Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
CN111460950B (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
US10521659B2 (en) Image processing device, image processing method, and image processing program
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
WO2023088069A1 (zh) 虹膜识别方法、装置、存储介质及设备
CN111160239A (zh) 专注度评估方法和装置
CN113011385A (zh) 人脸静默活体检测方法、装置、计算机设备及存储介质
Ratyal et al. 3D face recognition based on pose and expression invariant alignment
CN114529950A (zh) 指静脉识别方法、装置、计算机可读存储介质及设备
CN116152138A (zh) 身份识别方法、装置、存储介质及设备
CN108520264A (zh) 一种基于深度图像的手部轮廓特征优化方法
CN114020155A (zh) 一种基于眼动仪的高精度视线定位方法
JP2004192551A (ja) 開閉眼判定装置
CN116152137A (zh) 眼球偏转判断方法、装置、计算机可读存储介质及设备
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
CN116152902A (zh) 虹膜识别方法、装置、存储介质及设备
Mahameed et al. Iris recognition method based on segmentation
JP5688514B2 (ja) 視線計測システム、方法およびプログラム
CN112883758B (zh) 一种活体检测方法、装置
CN112800966B (zh) 一种视线的追踪方法及电子设备
Kumar et al. Fully automated soft contact lens detection from NIR iris images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination