CN116959085A - 一种虹膜定位识别方法、装置、芯片及终端 - Google Patents
一种虹膜定位识别方法、装置、芯片及终端 Download PDFInfo
- Publication number
- CN116959085A CN116959085A CN202310929321.9A CN202310929321A CN116959085A CN 116959085 A CN116959085 A CN 116959085A CN 202310929321 A CN202310929321 A CN 202310929321A CN 116959085 A CN116959085 A CN 116959085A
- Authority
- CN
- China
- Prior art keywords
- iris
- positioning
- face
- region image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 claims description 2
- 230000008921 facial expression Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种虹膜定位识别方法、装置、芯片及存储介质，该方法通过对输入的整张人脸进行人脸关键点粗定位，根据所述人脸关键点粗定位的结果裁剪出双眼区域图像，对剪裁得到的双眼区域图像进行消除光斑的预处理，对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像，对输入的精确虹膜区域图像进行特征提取，根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。由于将人脸关键点定位与虹膜定位相结合，并且清除图像中因镜面反射引起的光斑，进而可提升定位精度。此外，除了使用卷积操作得到更加充分的特征信息，还利用优化Bneck网络并行的通道特征信息与空间注意力模型，能够更加关注有用信息的提取而提高识别精度。
Description
技术领域
本发明涉及虹膜定位识别技术领域，特别是涉及一种虹膜定位识别方法、装置、芯片及存储介质。
背景技术
传统信息认证方法一定程度上己经无法满足人们对更安全便捷地进行身份认证的需求，生物信息识别技术己广泛应用于保护身份信息安全。同指纹、人脸、声音等生物特征相比较，虹膜生理结构特征更唯一、稳定、纹理细节信息丰富，应用于信息识别更安全可靠。现有的虹膜定位方法都具有一些弊端，例如：
基于粗糙熵和循环扇区分析的虹膜定位算法对于虹膜鲜艳，与背景差异明显的虹膜图像，有良好的定位精度，但由于该方法利用分割粒子的思路来做虹膜区域的“枚举”定位，因此在运行效率上并不理想。
基于共形几何代数的虹膜定位算法巧妙地利用了几何体在共形空间中的性质，将复杂的迭代过程转换为更方便、简洁的计算，并能够对虹膜内外边界进行同时的定位，对虹膜定位领域有重要的意义，但其抗干扰能力比较薄弱，对于低质量的虹膜图像，无法完成精确的定位。
发明内容
基于此，本发明提供一种虹膜定位识别方法、装置、芯片及存储介质，可以提高虹膜定位精度和识别精度。
第一方面，提供一种虹膜定位识别方法，包括：
对输入的整张人脸进行人脸关键点粗定位；
根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
对剪裁得到的双眼区域图像进行消除光斑的预处理；
根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型；
根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
可选地，所述根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果，包括：
确定取得的虹膜特征X＝(x1，x2，…xn)与预录入人脸的虹膜特征Y＝(y1，y2，…，yn)的欧式距离D(X，Y)：
将所述欧式距离D(X，Y)输入相似度决策网络，所述相似度决策网络包括一个卷积层、两个全连接层，所述相似度决策网络的输出还包括Sigmoid激活函数，使第二个全连接层的输出结果在0-1之间，若所述Sigmoid激活函数输出0，则表示相似程度低，所述整张人脸与所述预录入人脸不匹配，若所述Sigmoid激活函数输出1，则表示相似程度高，所述整张人脸与所述预录入人脸匹配，所述Sigmoid函数公式为：
其中，z表示Sigmoid函数的输入，也为上一网络层的输出。
可选地，所述对剪裁得到的双眼区域图像进行消除光斑的预处理包括：
将所述剪裁得到的双眼区域图像进行灰度化；
确定所述剪裁得到的双眼区域图像上灰度值高于预设灰度阈值的像素点及其相邻像素，组成像素数组；
将灰度值高于预设灰度阈值的像素点确定为未绘制像素点，对未绘制像素点降序排序，所述降序排序依据是未绘制像素点具有的已绘制邻居像素点数量；
从所述像素数组中已绘制邻居数量最多的未绘制像素点开始，利用线性插值算法补全灰度值，直至全部未绘制像素点灰度值补全，得到消除光斑后的双眼区域图像。
可选地，所述根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像包括：
使用(x，y)表示左眼或右眼的精确虹膜区域，则精确虹膜区域可以表示为：
x＝lΔrsin(nΔθ+x0)
y＝lΔrcos(nΔθ+y0)
其中，(x0，y0)表示待选的某点圆心，l表示选择半径时的步长系数，Δr表示迭代时的步长，n表示位于待选圆周上的像素点个数，Δθ表示选择待选圆周像素点时的采样角度步长，Δθ采样角度被限制在扇形区域和/>所述θ1，θ2为利用所述人脸关键点粗定位中预设关键点根据几何计算得到的扇形区域角度。
可选地，所述根据所述人脸关键点粗定位的结果裁剪出双眼区域图像，包括：
根据所述人脸关键点粗定位的结果对所述整张人脸进行标准变换，得到拟标准人脸图像；
根据所述人脸关键点粗定位的结果，在所述拟标准人脸图像上进行裁剪得到双眼区域图像。
可选地，人脸关键点粗定位得到关键点坐标(xi(raw)，Yi(raw))，(xi，yi)表示所述标准变换后的关键点坐标，所述标准变换公式包括：
其中i＝1，2...24，s是相似变换的尺度变换因子，θ为变换的顺时针角度，dx、dy为x、y方向上的平移。
可选地，在所述拟标准人脸图像上进行裁剪方式包括：
wc＝kw(x8-xc)
hc＝kh(max(y9，y10)-yc)
所述x1、x5、x8、y1、y6、y7、y9、y10为所述人脸关键点粗定位得到的预设关键点坐标，所述(xc，yc)表示裁剪矩形框的左上角坐标，所述wc、hc表示裁剪矩形框的宽和高，所述kw、kh为控制剪裁矩形框大小的比例系数。
第二方面，提供一种虹膜定位识别方法装置，包括：
粗定位模块，用于对输入的整张人脸进行人脸关键点粗定位；
剪裁模块，用于根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
预处理模块，用于对剪裁得到的双眼区域图像进行消除光斑的预处理；
定位模块，用于根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
特征提取模块，用于利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型；
识别模块，用于根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
第三方面，提供一种芯片，包括第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上介绍的虹膜定位识别方法的各个步骤。
第四方面，提供一种终端，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，第二处理器执行所述计算机程序时实现如上介绍的虹膜定位识别方法的各个步骤。
上述虹膜定位识别方法、装置、芯片及存储介质，通过对输入的整张人脸进行人脸关键点粗定位，根据所述人脸关键点粗定位的结果裁剪出双眼区域图像，对剪裁得到的双眼区域图像进行消除光斑的预处理，根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像，利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型，根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。本发明提供的方法将人脸关键点定位与虹膜定位相结合，能够有效提升定位的精度，另外，本方法还可以清除图像中因镜面反射而引起的光斑，进一步有效提升定位的精度。此外，本方法除了使用卷积操作得到更加充分的特征信息，还利用优化Bneck网络并行的通道特征信息与空间注意力模型，能够更加关注有用信息的提取进而提高识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例虹膜定位识别方法的基本流程示意图；
图2为本发明实施例人脸关键点定位的21点标注图；
图3为本发明实施例人脸关键点定位的24点标注图；
图4为本发明实施例左眼关键点标注图；
图5为本发明实施例优化Bneck网络的整体结构示意图；
图6为本发明实施例优化Bneck网络的参数表；
图7为本发明实施例优化Bneck网络的SAM结构示意图；
图8为本发明实施例优化Bneck网络的SE结构示意图；
图9为本发明实施例虹膜定位识别方法装置的基本结构框图；
图10为本发明实施例提供的一种终端的基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(AI：Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
具体地请参阅图1，图1为本实施例虹膜定位识别方法的基本流程示意图。如图1所示，一种虹膜定位识别方法，包括：
S11、对输入的整张人脸进行人脸关键点粗定位；
人脸关键点定位(Facial Landmark Detection)又称为人脸关键点定位、人脸对齐。人脸关键点定位是计算机视觉中的一项基础任务，其目标是定位出人脸图像中的五官位置及面部轮廓形状。现有的人脸关键点定位算法有主动形状模型(Active Shape Model，简称ASM)关键点定位算法、级联姿势回归算法(Cascaded Pose Regression，简称CPR)、DCNN(Deep ConvolutionalNetwork)算法、DAN(Deep AlignmentNetwork)模型、SBR(Supervision-by-RegistrationNetwork)模型、Fully-Convolutional Local-GlobalContext Network、ABoundary-Aware Face Alignment Algorithm、Super-FAN算法、PCPR算法、CFAN算法、ESR算法、SDM算法、TCDCN算法、SeqMT算法、LAB算法、TSR算法、DCR算法、ECT算法、RCN算法，本方法可以利用这些算法实现人脸关键点定位。
图2为AFLW数据集中的人脸关键点定位的21点标注图。该数据集的每个人脸标定了21个关键点，包含了从Flickr网站采集的25993幅图像，是一个规模庞大的公开数据集。
由于本发明中关键点定位任务是为后续的虹膜定位任务服务，因此，更多的关键点会设置在人眼区域，而与后续虹膜定位无关的其他区域特征点会相应减少，仅保留部分以保持人脸特征的完整。对于实验数据集中已标注的特征点，我们做了相应的筛选和保留，并对一些未标注的特征点，增加了相应的标注。对于AFLW数据集，本发明保留了其中的点1、点3、点4、点6、点7-12、点14-16、点18、点20、点21，并在眼部区域添加了上下眼睑四点关键点，共24点关键点，请见图3。
步骤S11输入为经过整张人脸图像，将输入的整张人脸图像进行归一化处理后通过基于卷积神经网络的主干网络Backbone进行图像特征的提取，主干网络是模型中可扩展性较强的部分，可根据输入图像的尺寸及实际场景的需要进行修改；接着将图像特征拉伸为一维向量，作为多层感知机模型(multi-layer perceptron)的输入，即全连接层，由于模型中使用了多层感知机模型，因此需要使用Dropout算法以避免模型的过拟合。图像特征经过全连接层后输出粗关键点坐标(xi(raw)，yi(raw))，其中i＝1，2...24。
S12、根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
步骤S12包括步骤S121和步骤S122，其中：
S121、根据所述人脸关键点粗定位的结果对整张人脸进行标准变换，得到拟标准人脸图像。
在步骤S11得到人脸关键点粗定位得到关键点坐标(xi(raw)，yi(raw))之后，以(xi，yi)表示所述标准变换后的关键点坐标，对整张人脸进行标准变换的标准变换公式包括：
其中i＝1，2...24，s是相似变换的尺度变换因子，θ为变换的顺时针角度，dx、dy为x、y方向上的平移。
S122、根据所述人脸关键点粗定位的结果，在所述拟标准人脸图像上进行裁剪得到双眼区域图像。
由变换后的关键点坐标(xi，yi)裁剪出左右眼区域，裁剪标准为包含眼部区域但不包含眉毛区域，以左眼为例(右眼也类似)裁剪方式见式包括：
wc＝kw(x8-xc)
hc＝kh(max(y9，y10)-yc)
其中，x1、x5、x8、y1、y6、y7、y9、y10为如图3所示的人脸关键点粗定位得到的预设关键点坐标，(xc，yc)表示裁剪矩形框的左上角坐标，所述wc、hc表示裁剪矩形框的宽和高，所述kw、kh为控制剪裁矩形框大小的比例系数。
S13、对剪裁得到的双眼区域图像进行消除光斑的预处理；
在一些示例中，对经过裁剪后的左右眼图像进行灰度化处理，灰度化方式采用RGB三通道按0.299，0.587，0.114比例相加，为更好对虹膜进行定义，将左右眼图像升采样为原来长宽尺寸的两倍，升采样方式采用双线性插值，再将左右眼图像经过预处理去除图像中的光斑。
消除光斑的预处理过程包括：将所述剪裁得到的双眼区域图像进行灰度化，确定所述剪裁得到的双眼区域图像上灰度值高于预设灰度阈值的像素点及其相邻像素，组成像素数组，将灰度值高于预设灰度阈值的像素点确定为未绘制像素点，对未绘制像素点降序排序，所述降序排序依据是未绘制像素点具有的已绘制邻居像素点数量，从所述像素数组中已绘制邻居数量最多的未绘制像素点开始，利用线性插值算法补全灰度值，直至全部未绘制像素点灰度值补全，得到消除光斑后的双眼区域图像。
S14、根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
利用关键点的定位结果可以获得人眼相关数据。以左眼为例，根据人脸关键点定位模型，我们得到了左眼区域的7点关键点：左眼虹膜中心坐标Q1(x1，y1)，左眼左右眼角坐标Q2(x2，y2)，Q3(x3，y3)，左眼上下眼皮坐标Q4(x4，y4)，Q5(x5，y5)，Q6(x6，y6)，Q7(x7，y7)，请见图4，图4为左眼关键点标注图。根据几何关系，计算得到对应扇形区域的角度θ1，θ2：
其中θ1，θ2为角度制度数，则对应的扇形区域的角度为 和
以左眼区域图像为例，改进后的Daugman虹膜定位算法对处理：
其中，(Gσ((k-l)Δr)-Gσ((k-l-1)Δr))·∑nI(x，y)表示经高斯滤波后的待选圆周上的灰度梯度值，上式中(x，y，kΔr)表示待选圆的参数空间，其中Δr表示迭代时的步长，k表示选择圆心时的步长系数，为一整数，1表示选择半径时的步长系数，n表示位于待选圆周上的像素点个数，I(x，y)表示像素点(x，y)处的灰度值，以(x，y)表示左眼或右眼的精确虹膜区域，则精确虹膜区域可以表示为：
x＝lΔrsin(nΔθ+x0)
y＝lΔrcos(nΔθ+y0)
其中，(x0，y0)表示待选的某点圆心，Δθ表示选择待选圆周像素点时的采样角度步长，Δθ采样角度被限制在扇形区域 和/>
S15、利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取；
其中，卷积操作使用的是VGG16的网络结构，整个网络模型包括卷积层、全连接层、Softmax等操作，缩小特征图依靠池化操作，并逐层提取图像特征。卷积操作的输入尺寸为64×128，降采样通过卷积操作实现，分别得到尺寸为32×64、16×32、8×16、4×8和2×4的特征图，每次卷积操作后连接优化Bneck网络，Bneck结构块数量依次为1∶1∶2∶2∶2，分别用BSneck1、BSneck2、...、BSneck7和BSneck8表示。
请见图5，优化Bneck网络采用的是通道-空间混合注意力模块并行的方式，即优化Bneck网络包括并行的通道特征信息与空间注意力模型，使得网络在关注通道特征信息的同时关注空间位置信息，可以提高效率和识别率。需注意的是，优化Bneck网络中与空间注意力模型并行的通道特征信息，使用的依然是原Bneck结构中原有的SE结构。原Bneck网络如图8所示，NL表示激活函数，Dwise、1×1分别表示深度可分离卷积的两个步骤。优化Bneck网络采用的是通道-空间混合注意力模块并行的方式，是空间注意力模型SAM(SpatialAttention Module，SAM)与SE结构(通道特征信息)采取并行结构，SE结构(通道特征信息)与通道注意力模块CAM(ChannelAttention Module，CAM)的不同，SE结构还省略了最大池化过程。
优化Bneck网络模型既关注通道特征信息，又关注空间位置信息，可以提取到对识别更有利的特征信息。对于串行结构(空间注意力模型SAM与通道注意力模块CAM或SE结构串联的结构)来说，通道注意力模块的操作对象是原始特征图，空间注意力模块的操作对象是已经去除一部分信息后的特征图，而对于本发明使用的并行结构来说，通道注意力模块和空间注意力模块的操作对象都是原始特征图，能最大程度的保留“关键”信息。
优化Bneck网络需要确定深度可分离卷积核大小、升维通道数、输出通道数、是否使用SE-SAM模块以及所使用的激活函数几个参数，如图6所示。激活函数有H-swish和ReLU两种，分别用HS和RE表示。Relu全称为Linear rectification function，是深度学习中的一种激活函数。H-swish激活函数能够在不影响性能的情况下大大减少计算量，x表示当层输入，H-swish激活函数表达式为：
SAM结构见图7，具体来说，空间位置是空间注意力模型(Spatial AttentionModule，SAM)“重点关注”的信息，获取不同区域对当前目标任务的贡献程度，调整不同区域特征表达。
SE结构，可以关注通道有用信息，如图8所示。SE过程可以拆分为Squeeze和Excitation：Squeeze即压缩，输入特征图采用平均池化得到全局压缩特征图；Excitation即激发，连接了两个全连接层，目的是根据当前的任务目标调整上一步骤中得到的特征图中的通道权值，并与原始输入特征图进行相乘作为下一层网络的输入。引入SE结构的目的是获取不同通道对当前网络任务的贡献程度，关注的是通道特征信息，与通道注意力模块CAM(Channel Attention Module，CAM)的不同是省略了最大池化过程。
网络输入为尺寸为64×128的图像对(图像对包括待识别整张人脸的图像/双眼图像，和已经录入的人脸图像/虹膜图像)，经过这一阶段的网络作用，得到两个2×4×256的特征向量，作为后续相似度决策网络的输入。
S16、根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
经过上一阶段的特征提取，得到两个2×4×256的特征向量，首先对这两个特征向量进行欧式距离的计算，得到通过第一部分网络的特征向量，并进行欧式距离计算，作为该图像对的相似度。如向量X＝(x1，x2，…xn)和Y＝(y1，y2，…，yn)的欧式距离如下：
将欧式距离计算结果经过相似度决策网络，该网络包括一个卷积层、两个全连接层对该距离进行学习，在网络输出处增加Sigmoid激活函数，使第二个全连接层的输出结果在0-1之间，表示输入的两张图像的相似程度。Sigmoid函数公式为：
其中，z表示Sigmoid函数的输入，也即上一网络层的输出。其特点是可以将输入的实数变换为0-1之间，0表示相似程度低，即不同类别：1表示相似程度高，即同一类别。这种相似度是通过距离表现的，该相似度决策网络可以对距离学习优化以区分同类样本和异类样本。
本发明提供的方法，通过对输入的整张人脸进行人脸关键点粗定位，根据所述人脸关键点粗定位的结果裁剪出双眼区域图像，对剪裁得到的双眼区域图像进行消除光斑的预处理，根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像，利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型，根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。本发明提供的方法将人脸关键点定位与虹膜定位相结合，能够有效提升定位的精度，另外，本方法还可以清除图像中因镜面反射而引起的光斑，进一步有效提升定位的精度。此外，本方法除了使用卷积操作得到更加充分的特征信息，还利用优化Bneck网络并行的通道特征信息与空间注意力模型，能够更加关注有用信息的提取。最后，使用相似度决策网络通过对输入图像提取得到的特征向量的欧氏距离进行学习，达到同一类别样本距离缩小、不同类别样本距离扩大的目的。
为解决上述技术问题，本发明实施例还提供一种虹膜定位识别方法装置。具体请参阅图9，图9为本实施虹膜定位识别方法装置的基本结构框图，包括：
粗定位模块，用于对输入的整张人脸进行人脸关键点粗定位；
剪裁模块，用于根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
预处理模块，用于对剪裁得到的双眼区域图像进行消除光斑的预处理；
定位模块，用于根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
特征提取模块，用于利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型；
识别模块，用于根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
可选地，剪裁模块包括：
标准变换模块，用于根据所述人脸关键点粗定位的结果对所述整张人脸进行标准变换，得到拟标准人脸图像；
区域剪裁模块，用于根据所述人脸关键点粗定位的结果，在所述拟标准人脸图像上进行裁剪得到双眼区域图像。
可选地，预处理模块还可以实现：将所述剪裁得到的双眼区域图像进行灰度化；确定所述剪裁得到的双眼区域图像上灰度值高于预设灰度阈值的像素点及其相邻像素，组成像素数组；将灰度值高于预设灰度阈值的像素点确定为未绘制像素点，对未绘制像素点降序排序，所述降序排序依据是未绘制像素点具有的已绘制邻居像素点数量；从所述像素数组中已绘制邻居数量最多的未绘制像素点开始，利用线性插值算法补全灰度值，直至全部未绘制像素点灰度值补全，得到消除光斑后的双眼区域图像。
为解决上述技术问题，本发明实施例还提供一种芯片，该芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器，处理器用于支持终端执行上述相关步骤，例如从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行，以实现上述各个实施例中的虹膜定位识别方法。
可选的在一些示例下，该芯片还包括收发器，收发器用于接受处理器的控制，用于支持终端执行上述相关步骤，以实现上述各个实施例中的虹膜定位识别方法。
可选的，该芯片还可以包括存储介质。
需要说明的是，该芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmablelogicdevice，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
本发明还提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现如上介绍的任一项虹膜定位识别方法的步骤。
具体请参阅图10，图10为示出的一种终端的基本结构框图，该终端包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该终端的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种虹膜定位识别方法。该终端的处理器用于提供计算和控制能力，支撑整个终端的运行。该终端的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种虹膜定位识别方法。该终端的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的电子设备。这种电子设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal DigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile InternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一虹膜定位识别方法方法的步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述介绍的虹膜定位识别方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种虹膜定位识别方法，其特征在于，包括：
对输入的整张人脸进行人脸关键点粗定位；
根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
对剪裁得到的双眼区域图像进行消除光斑的预处理；
根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型；
根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
2.如权利要求1所述的虹膜定位识别方法，其特征在于，所述根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果，包括：
确定取得的虹膜特征X＝(x1，x2，…xn)与预录入人脸的虹膜特征Y＝(y1，y2，…，yn)的欧式距离D(X，Y)：
将所述欧式距离D(X，Y)输入相似度决策网络，所述相似度决策网络包括一个卷积层、两个全连接层，所述相似度决策网络的输出还包括Sigmoid激活函数，使第二个全连接层的输出结果在0-1之间，若所述Sigmoid激活函数输出0，则表示相似程度低，所述整张人脸与所述预录入人脸不匹配，若所述Sigmoid激活函数输出1，则表示相似程度高，所述整张人脸与所述预录入人脸匹配，所述Sigmoid函数公式为：
其中，z表示Sigmoid函数的输入，也为上一网络层的输出。
3.如权利要求1所述的虹膜定位识别方法，其特征在于，所述对剪裁得到的双眼区域图像进行消除光斑的预处理包括：
将所述剪裁得到的双眼区域图像进行灰度化；
确定所述剪裁得到的双眼区域图像上灰度值高于预设灰度阈值的像素点及其相邻像素，组成像素数组；
将灰度值高于预设灰度阈值的像素点确定为未绘制像素点，对未绘制像素点降序排序，所述降序排序依据是未绘制像素点具有的已绘制邻居像素点数量；
从所述像素数组中已绘制邻居数量最多的未绘制像素点开始，利用线性插值算法补全灰度值，直至全部未绘制像素点灰度值补全，得到消除光斑后的双眼区域图像。
4.如权利要求1所述的虹膜定位识别方法，其特征在于，所述根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像包括：
使用(x，y)表示左眼或右眼的精确虹膜区域，则精确虹膜区域可以表示为：
x＝l Δrsin(nΔθ+x0)
y＝l Δrcos(nΔθ+y0)
其中，(x0，y0)表示待选的某点圆心，l表示选择半径时的步长系数，Δr表示迭代时的步长，n表示位于待选圆周上的像素点个数，Δθ表示选择待选圆周像素点时的采样角度步长，Δθ采样角度被限制在扇形区域和/>所述θ1，θ2为利用所述人脸关键点粗定位中预设关键点根据几何计算得到的扇形区域角度。
5.如权利要求1至4任意一项所述的人脸表情识別方法，其特征在于，所述根据所述人脸关键点粗定位的结果裁剪出双眼区域图像，包括：
根据所述人脸关键点粗定位的结果对所述整张人脸进行标准变换，得到拟标准人脸图像；
根据所述人脸关键点粗定位的结果，在所述拟标准人脸图像上进行裁剪得到双眼区域图像。
6.如权利要求5所述的虹膜定位识别方法，其特征在于，
所述人脸关键点粗定位得到关键点坐标(xi(raw),yi(raw))，(xi,yi)表示所述标准变换后的关键点坐标，所述标准变换公式包括：
其中i＝1,2…24，s是相似变换的尺度变换因子，θ为变换的顺时针角度，dx、dy为x、y方向上的平移。
7.如权利要求5所述的虹膜定位识别方法，其特征在于，所述在所述拟标准人脸图像上进行裁剪方式包括：
wc＝kw(x8-xc)
hc＝kh(max(y9，y10)-yc)
所述x1、x5、x8、y1、y6、y7、y9、y10为所述人脸关键点粗定位得到的预设关键点坐标，所述(xc,yc)表示裁剪矩形框的左上角坐标，所述wc、hc表示裁剪矩形框的宽和高，所述kw、kh为控制剪裁矩形框大小的比例系数。
8.一种人脸识别装置，其特征在于，包括：
粗定位模块，用于对输入的整张人脸进行人脸关键点粗定位；
剪裁模块，用于根据所述人脸关键点粗定位的结果裁剪出双眼区域图像；
预处理模块，用于对剪裁得到的双眼区域图像进行消除光斑的预处理；
定位模块，用于根据改进后的Daugman虹膜定位算法对处理后的双眼区域图像进行虹膜定位得到精确虹膜区域图像；
特征提取模块，用于利用卷积操作和优化Bneck网络对输入的精确虹膜区域图像进行特征提取，所述优化Bneck网络包括并行的通道特征信息与空间注意力模型；
识别模块，用于根据提取得到的虹膜特征确定所述整张人脸的人脸识别结果。
9.一种芯片，其特征在于，包括：第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的虹膜定位识别方法的各个步骤。
10.一种终端，其特征在于，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的虹膜定位识别方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310929321.9A CN116959085A (zh) | 2023-07-27 | 2023-07-27 | 一种虹膜定位识别方法、装置、芯片及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310929321.9A CN116959085A (zh) | 2023-07-27 | 2023-07-27 | 一种虹膜定位识别方法、装置、芯片及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116959085A true CN116959085A (zh) | 2023-10-27 |
Family
ID=88456240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310929321.9A Pending CN116959085A (zh) | 2023-07-27 | 2023-07-27 | 一种虹膜定位识别方法、装置、芯片及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116959085A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079676A (zh) * | 2019-12-23 | 2020-04-28 | 浙江大学 | 一种人眼虹膜检测方法和装置 |
| CN112766158A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多任务级联式人脸遮挡表情识别方法 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
| CN115359376A (zh) * | 2022-08-19 | 2022-11-18 | 南京航空航天大学 | 一种无人机视角下轻量级YOLOv4的行人检测方法 |
| CN115546506A (zh) * | 2022-09-26 | 2022-12-30 | 中国科学院合肥物质科学研究院 | 基于双池化通道注意力和空洞卷积的图像识别方法及系统 |
-
2023
- 2023-07-27 CN CN202310929321.9A patent/CN116959085A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079676A (zh) * | 2019-12-23 | 2020-04-28 | 浙江大学 | 一种人眼虹膜检测方法和装置 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
| CN112766158A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多任务级联式人脸遮挡表情识别方法 |
| CN115359376A (zh) * | 2022-08-19 | 2022-11-18 | 南京航空航天大学 | 一种无人机视角下轻量级YOLOv4的行人检测方法 |
| CN115546506A (zh) * | 2022-09-26 | 2022-12-30 | 中国科学院合肥物质科学研究院 | 基于双池化通道注意力和空洞卷积的图像识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 丁洋凯: "基于人脸关键点定位的虹膜定位算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 40 - 86 * |
| 赵雪青: "视觉计算与图像复原", 31 January 2022, 中国纺织出版社有限公司 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
| CN111444881B (zh) | 伪造人脸视频检测方法和装置 | |
| US10984289B2 (en) | License plate recognition method, device thereof, and user equipment | |
| CN107229904B (zh) | 一种基于深度学习的目标检测与识别方法 | |
| US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| CN112686331B (zh) | 伪造图像识别模型训练方法及伪造图像识别方法 | |
| CN111612017B (zh) | 一种基于信息增强的目标检测方法 | |
| CN113642634A (zh) | 一种基于混合注意力的阴影检测方法 | |
| CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN113361495A (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| CN113326930A (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| CN115937655A (zh) | 多阶特征交互的目标检测模型及其构建方法、装置及应用 | |
| CN114529982A (zh) | 基于流式注意力的轻量级人体姿态估计方法及系统 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN113361493B (zh) | 一种对不同图像分辨率鲁棒的人脸表情识别方法 | |
| CN109784154B (zh) | 基于深度神经网络的情绪识别方法、装置、设备及介质 | |
| US11989888B2 (en) | Image sensor with integrated efficient multiresolution hierarchical deep neural network (DNN) | |
| CN116704206A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN114219757B (zh) | 一种基于改进Mask R-CNN的车辆智能定损方法 | |
| CN116959085A (zh) | 一种虹膜定位识别方法、装置、芯片及终端 | |
| Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning | |
| CN112347843A (zh) | 一种训练皱纹检测模型的方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |