CN117115898A - 一种眼周样本扩增方法及其应用 - Google Patents
一种眼周样本扩增方法及其应用 Download PDFInfo
- Publication number
- CN117115898A CN117115898A CN202311086875.3A CN202311086875A CN117115898A CN 117115898 A CN117115898 A CN 117115898A CN 202311086875 A CN202311086875 A CN 202311086875A CN 117115898 A CN117115898 A CN 117115898A
- Authority
- CN
- China
- Prior art keywords
- periocular
- iris
- region
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003321 amplification Effects 0.000 title claims abstract description 20
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 20
- 210000001747 pupil Anatomy 0.000 claims abstract description 98
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 claims abstract description 19
- 238000011049 filling Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 210000000744 eyelid Anatomy 0.000 claims description 18
- 238000007667 floating Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 210000000554 iris Anatomy 0.000 description 108
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000005530 etching Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种眼周样本扩增方法，包括以下步骤：将样本图像划分为眼周区域、虹膜区域和瞳孔区域；计算扩增图像与样本图像之间的坐标映射关系，使得扩增图像中虹膜区域和瞳孔区域的半径比为m/1；对样本图像进行插值运算来计算扩增图像每个像素的像素值；分别对扩增图像中虹膜区域和瞳孔区域的信息缺损区域进行填充，获得增强的扩增图像；将增强的扩增图像加入眼周样本库，参与眼周识别模型的训练。本发明还公开了一种眼周样本扩增方法的应用，使用训练好的眼周识别模型对采集到的眼周图像进行分类。本发明有效排除了由于同一人在不同场景条件下采集到的眼周图像瞳孔、虹膜大小不一致导致的眼周识别错误，提高了深度学习实现眼周识别的效果。
Description
技术领域
本发明属于图形识别技术领域，具体涉及一种眼周样本扩增方法及其应用。
背景技术
现代社会的发展对人类自身身份识别的准确性、安全性与使用性提出了更高的要求。目前，传统的照片识别目前己无法满足时代的要求，生物特征识别开始逐渐取代照片识别成为主流的身份识别手段。生物特征识别技术是指使用人体本身所固有的生理特征或行为特征进行身份识别。由于生物特征具有普遍性、唯一性、稳定性、方便性等优点，并且很难伪造和模仿，所以在很多领域中都作出了巨大的贡献。
其中，在众多的生物特征里面，眼周特征因在一定时间内具有稳定性、唯一性、非侵犯性，以及具有随机的细节特征和纹理特征，使其具有非常大的优势，同时，眼周识别技术还具有不需要接触式采集的优点，使其拥有广泛的市场前景和科学研究价值。现有的眼周检测基于深度学习技术实现，即通过对深度神经网络进行大量眼周样本的训练，使训练后的深度神经网络对于某种特定类型的眼周图像拥有检测和准确分类的能力。
对于眼周识别的训练样本和检测样本来说，由于采集场景和条件存在多样性和复杂性，使得样本存在瞳孔大小，虹膜大小各不相同的问题。哪怕是同一个人，由于采样的环境、条件不同，也会采集到瞳孔、虹膜大小各不相同的样本。
而在深度神经网络构成的眼周识别模型中，这种眼周样本虽然归属同一个人，但虹膜大小、瞳孔大小不相同甚至差异很大的情况，会成为识别的干扰项，影响眼周识别模型识别的准确度。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种眼周样本扩增方法及其应用，其结构简单、设计合理，按照瞳孔区域和虹膜区域的半径比调整瞳孔半径，获得扩增图像；将双线性插值法中的权值从距离改为距离的平方，利用双线性插值法获得像素点的像素；对扩增图像中出现信息缺损的区域进行信息填充，获得增强后的扩增图像，可以有效排除由于同一人在不同场景条件下采集到的眼周图像瞳孔、虹膜大小不一致导致的眼周识别错误，提高了利用深度学习技术实现眼周识别的学习效果。
为解决上述技术问题，本发明采用的技术方案是：一种眼周样本扩增方法，其特征在于：包括以下步骤，
步骤1、从眼周样本库中提取预存的样本图像，将样本图像划分为眼周区域、虹膜区域和瞳孔区域；
步骤2、扩增图像区域归一化：计算扩增图像与样本图像之间的坐标映射关系，使得扩增图像中虹膜区域和瞳孔区域的半径比为m/1，获得扩增图像中虹膜区域和瞳孔区域的坐标，虹膜区域和瞳孔区域的坐标构成坐标点集(X，Y)，m为正整数；
步骤3、对样本图像进行插值运算来计算扩增图像每个像素的像素值：其中(Xt，Yt)表示扩增图像中坐标点集(X，Y)中的第t个坐标，f(Xt，Yt)表示扩增图像中的坐标(Xt，Yt)的像素值，(Xt，Yt)映射到样本图像坐标系下的浮点坐标记为(x′t，y′t)，(xαt，yαt)表示在样本图像坐标系下与浮点坐标(x′t，y′t)最近的第α个整数坐标点，ωa表示权重，α＝1,2,3,4，/>表示与第α个整数坐标点(xαt，yαt)与浮点坐标(x′t，y′t)的距离的平方值，/>表示与/>相关的函数；
步骤4、判断虹膜区域是否存在信息缺损区域，若不存在，进入步骤6，若存在，进入步骤5；
步骤5、填充扩增图像的信息缺损区域：对扩增图像中虹膜区域的信息缺损区域进行填充，获得增强的扩增图像；
步骤6：将增强的扩增图像加入眼周样本库，参与眼周识别模型的训练。
上述的一种眼周样本扩增方法，其特征在于：所述步骤2中，
上述的一种眼周样本扩增方法，其特征在于：所述步骤2中，
上述的一种眼周样本扩增方法，其特征在于：所述步骤5的具体方法为，
步骤501、将扩增图像划分为眼周区域、虹膜遮挡区域和虹膜已知区域；
步骤502、腐蚀虹膜遮挡区域：利用形态学算法，将虹膜遮挡区域从第一边缘向第二边缘的方向进行腐蚀，每一轮被腐蚀z单位，被腐蚀的虹膜遮挡区域的像素点被赋成黑色；
步骤503、填充虹膜遮挡区域：根据公式计算被腐蚀的虹膜遮挡区域的点的像素值f(p,q)，其中(p,q)表示被腐蚀的虹膜遮挡区域的像素点，(pv，qv)表示位于虹膜已知区域且与(p,q)相邻的像素点，1≤v≤u，u为不小于2的正整数，将像素值f(p,q)赋与像素点(p,q)，将像素点(p,q)加入到虹膜已知区域；
步骤504、重复步骤502和步骤503，直到虹膜遮挡区域全被腐蚀和填充。
上述的一种眼周样本扩增方法，其特征在于：所述腐蚀采用水平腐蚀或垂直腐蚀。
上述的一种眼周样本扩增方法，其特征在于：所述步骤3中，其中，d1表示(x′t，y′t)与(x1t，y1t)之间的距离，d2表示(x′t，y′t)与(x2t，y2t)之间的距离，d3表示(x′t，y′t)与(x3t，y3t)之间的距离，d4表示(x′t，y′t)与(x4t，y4t)之间的距离，
上述的一种眼周样本扩增方法，其特征在于：所述样本图像具有眼睑标记坐标、虹膜标记坐标和瞳孔标记坐标，根据眼睑标记坐标，拟合眼睑曲线；
根据瞳孔标记坐标，拟合瞳孔曲线；
根据虹膜标记坐标，拟合虹膜曲线；
根据眼睑曲线、瞳孔曲线和虹膜曲线将样本图像划分为眼周区域、瞳孔区域和虹膜区域。
一种眼周样本扩增方法的应用，其特征在于，对眼周样本库中的样本图像进行扩增，得到增强的扩增图像，将增强的扩增图像加入眼周样本库，根据眼周样本库中的样本，训练基于深度神经网络构成的眼周识别模型，得到训练好的眼周识别模型，使用训练好的眼周识别模型对采集到的眼周图像进行分类，用于身份识别。
本发明与现有技术相比具有以下优点：
1、本发明的结构简单、设计合理，实现及使用操作方便。
2、本发明将现有技术中双线性插值法中的权值从距离改为距离的平方，以整数坐标点距离的平方为权重ωa，结合四个整数坐标点的像素值，利用双线性插值法计算扩增图像中坐标(X，Y)的浮点坐标的插值，该插值即为扩增图像中坐标(X，Y)的像素值，从而使得插值具有更强的非线性特性，从而在虹膜区域的放大过程中较多得保留了原图纹理的锐度。
3、本发明按照瞳孔区域和虹膜区域的半径比确定扩增图像中的瞳孔半径，根据瞳孔半径的变化计算扩增图像的虹膜区域的坐标点与样本图像的虹膜区域的坐标点之间的坐标映射关系，并将扩增图像的瞳孔区域的每一个坐标点都对应到样本图像的瞳孔区域上的坐标点，可以有效排除由于同一人在不同场景条件下采集到的眼周图像瞳孔、虹膜大小不一致导致的眼周识别错误，提高了利用深度学习技术实现眼周识别的学习效果。
4、本发明对扩增图像中出现信息缺损的区域进行信息填充，能很好的恢复图像的结构特征，使修复结果更自然，提高增强后的扩增图像的质量，提升眼周识别模型的识别效率，提高了眼周识别模型的可靠性。
综上所述，本发明结构简单、设计合理，按照瞳孔区域和虹膜区域的半径比调整瞳孔半径，获得扩增图像；将双线性插值法中的权值从距离改为距离的平方，利用双线性插值法获得像素点的像素；对扩增图像中出现信息缺损的区域进行信息填充，获得增强后的扩增图像，有效排除由于同一人在不同场景条件下采集到的眼周图像瞳孔、虹膜大小不一致导致的眼周识别错误，提高了利用深度学习技术实现眼周识别的学习效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
图2为本发明归一化后的扩增图像与样本图像的对比图。
图3为本发明填充前后的扩增图像的对比图。
图4为采用加入增强的扩增图像和未加入增强的扩增图像的眼周样本库分别训练眼周识别模型得到的ROC性能曲线。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
实施例一
本申请实施例一提供了一种眼周样本扩增方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
如图1所示，本申请实施例一具体包括以下步骤：
步骤1、从眼周样本库中提取预存的样本图像，将样本图像划分为眼周区域、虹膜区域和瞳孔区域。
其中，样本图像为眼周样本图像，眼周样本图像包括眼周区域、虹膜区域和瞳孔区域，眼周区域为眼部周围区域，眼周区域为内至虹膜区域，外至太阳穴，上至上眼眶，下至下眼眶，中间这部分区域。
眼周样本库包括多张采集到的关于眼周的样本图像，实际使用时，在眼周样本库中调用部分样本图像，由专业的眼科医生对样本图像进行眼睑关键点、虹膜关键点和瞳孔关键点的标记，获取眼睑标记坐标、虹膜标记坐标和瞳孔标记坐标。
假设眼睑是一条二次项曲线，虹膜边缘为封闭的圆，瞳孔边缘为封闭的圆，根据标记坐标拟合，可形成眼睑曲线、虹膜曲线和瞳孔曲线，根据眼睑曲线、瞳孔曲线和虹膜曲线将样本图像划分为眼周区域、瞳孔区域和虹膜区域。
步骤2、扩增图像区域归一化：计算扩增图像与样本图像之间的坐标映射关系，使得扩增图像中虹膜区域和瞳孔区域的半径比为m/1，获得扩增图像中虹膜区域和瞳孔区域的坐标，虹膜区域和瞳孔区域的坐标构成坐标点集(X，Y)，m为正整数；获得扩增图像的坐标点集(X，Y)，(X，Y)＝{(X0i，Y0i)，(X1j，Y1j)}，(X0i，Y0i)表示在扩增图像中瞳孔区域内的坐标，(X1j，Y1j)表示在扩增图像中虹膜区域内的坐标。
在一个可能的实施例中，其中R表示样本图像的虹膜半径，r1表示样本图像的瞳孔半径，r3表示预设的瞳孔半径，d表示扩增图像上(X1j，Y1j)与瞳孔区域圆心的距离，(x0i，y0i)表示样本图像中瞳孔区域的第i个坐标，(X0i，Y0i)表示在扩增图像中瞳孔区域内与(x0i，y0i)对应的坐标，(x1j，y1j)表示样本图像中虹膜区域的第j个坐标，(X1j，Y1j)表示在扩增图像中虹膜区域内与(x1j，y1j)对应的坐标。
在一个可能的实施例中，r3表示扩增图像中瞳孔半径，r2表示扩增图像中虹膜半径，设定将当前样本图像的虹膜半径R/2，得到当前样本图像的理想瞳孔半径大小。然后根据样本图像的瞳孔半径r1，与理想瞳孔半径R/2之间的差异，调整瞳孔区域的大小，对虹膜区域的大小进行适应性调整，得到样本图像与扩增图像之间的坐标映射关系，得到扩增图像。
实际使用时，在瞳孔瞳孔+虹膜瞳孔总面积不变的情况下，如果按照瞳孔半径是虹膜半径的三分之一，将瞳孔区域放大，则虹膜区域所占面积必然相应会缩小。同理，如果要求瞳孔区域缩小，则虹膜区域所占面积必然相应会放大。
如图2所示，图2a为样本图像，图2a中，瞳孔半径远大于虹膜半径的的二分之一，样本图像不属于理想的样本图像。对图2a采用步骤2中的方法进行扩增，得到图2b，图2b为扩增图像，通过图2b可以清楚的看到，瞳孔区域所占面积减小，虹膜区域所占面积增加，图2b中，瞳孔半径等于虹膜半径的的二分之一。
在一个可能的实施例中，扩增图像的瞳孔区域的坐标点与样本图像的瞳孔区域的坐标点之间的坐标映射关系为 即通过这个算式，可以将扩增图像的瞳孔区域的每一个坐标点都对应到样本图像的瞳孔区域上的坐标点。
在一个可能的实施例中，扩增图像的虹膜区域的坐标点与样本图像的虹膜区域的坐标点之间的坐标映射关系为 即/>d表示扩增图像上(X1j，Y1j)与瞳孔区域圆心的距离，D表示样本图像上(x1j，y1j)与瞳孔区域圆心的距离，通过公式/>得到瞳孔半径的变化，然后根据瞳孔半径的变化计算扩增图像的虹膜区域的坐标点与样本图像的虹膜区域的坐标点之间的坐标映射关系。
步骤3、对样本图像进行插值运算来计算扩增图像每个像素的像素值：其中(Xt，Yt)表示扩增图像中坐标点集(X，Y)中的第t个坐标，f(Xt，Yt)表示扩增图像中的坐标(Xt，Yt)的像素值，(Xt，Yt)映射到样本图像坐标系下的浮点坐标记为(x′t，y′t)，(xαt，yαt)表示在样本图像坐标系下与浮点坐标(x′t，y′t)最近的第α个整数坐标点，ωa表示权重，α＝1,2,3,4，/> 表示与第α个整数坐标点(xαt，yαt)与浮点坐标(x′t，y′t)的距离的平方值，/>表示与/>相关的函数。
在一个可能的实施例中，所述步骤3中，其中，d1表示(x′t，y′t)与(x1t，y1t)之间的距离，d2表示(x′t，y′t)与(x2t，y2t)之间的距离，d3表示(x′t，y′t)与(x3t，y3t)之间的距离，d4表示(x′t，y′t)与(x4t，y4t)之间的距离，/>
需要说明的是，(X，Y)映射到样本图像坐标系下的浮点坐标记为(x'，y')，浮点坐标(x'，y')一般来说不是整数，而非整数的坐标是无法在图像这种离散数据上使用的，因此通过寻找距离这个浮点坐标(x'，y')最近的四个整数坐标点，来计算扩增图像中坐标(X，Y)的像素值。
例如，若(x'，y')的对应坐标值是(2.5,4.5)，那么与其最近的四个整数坐标点(xα，yα)分别为(2，4)、(2，5)、(3，4)，(3，5)。
在一个可能的实施例中，以第α个整数坐标点与浮点坐标(x'，y')的距离的平方值计算权重ωa，结合四个整数坐标点的像素值，利用双线性插值法计算扩增图像中坐标(X，Y)的浮点坐标的插值，该插值即为扩增图像中坐标(X，Y)的像素值。
本申请将现有技术中双线性插值法中的权值从距离改为距离的平方，可以视为是双线性插值法的进一步改变，从而使得插值具有更强的非线性特性，从而在虹膜区域的放大过程中较多得保留了原图纹理的锐度。
步骤4、判断虹膜区域是否存在信息缺损区域，若不存在，进入步骤6，若存在，进入步骤5。
判断虹膜区域是否存在信息缺损区域的方法不属于本申请的创新点，在一个可能的实施例中，优选的，判断虹膜区域是否存在信息缺损区域的方法可以为：首先通过定位，提取出扩增图像中的虹膜图像，然后对扩增图像中的虹膜图像进行4层多分辨率分解，通过统计分辨率下的细节分量的幅值较大点数目，并与预先设定的阈值进行比较，可以判断该虹膜图像是否存在眼睑遮挡问题。
步骤5、填充扩增图像的信息缺损区域：对扩增图像中虹膜区域的信息缺损区域进行填充，获得增强的扩增图像。
将样本图像中瞳孔区域和虹膜区域的大小进行归一化以后，可能会出现信息缺损区域，需要进行填充修复。这是因为在通常采集到的眼周样本中，有很多眼周样本会出现虹膜甚至瞳孔被眼睑遮蔽掉一部分的情况，而由于扩增图像需要调整瞳孔区域和虹膜区域的大小，对于原先存在虹膜区域被部分遮挡的情况，如果虹膜区域需要进行放大操作，那么得到的扩增图像，其边缘会有一小部分恰好落于原先样本图像中被眼睑遮蔽的区域，使得扩增图像中某些部分的信息在样本图像中找不到取值参考点，因此出现信息缺损。
如图3所示，图3a为样本图像，虹膜区域的上下部分均存在被眼睑遮蔽的区域，图3b为腐蚀后的样本图像，虹膜区域中被眼睑遮蔽的区域被赋予其他像素，图3c为修复填充后的样本图像，即增强的扩增图像，虹膜区域中被眼睑遮蔽的区域被赋予与其临近的像素点的像素插值。
在一个可能的实施例中，所述步骤5的具体方法为：
步骤501、将扩增图像划分为眼周区域、虹膜遮在挡区域和虹膜已知区域；
步骤502、腐蚀虹膜遮挡区域：利用形态学算法，将虹膜遮挡区域从第一边缘向第二边缘的方向进行腐蚀，每一轮被腐蚀z单位，被腐蚀的虹膜遮挡区域的像素点被赋成黑色。
腐蚀是最基本的形态学算法操作之一，它能够将图像的边界点消除，使图像沿着边界向内收缩。
在一个可能的实施例中，图像腐蚀主要使用的函数为erode()。腐蚀操作是对虹膜遮挡区域中的每一个像素x做如下处理：拿一个模板，像素x至于第一边缘，根据模版的大小，遍历所有被模板覆盖的其他像素，修改像素x的值。模板为1×1单位像素点。
步骤503、填充虹膜遮挡区域：根据公式计算被腐蚀的虹膜遮挡区域的点的像素值f(p,q)，其中(p,q)表示被腐蚀的虹膜遮挡区域的像素点，(pv，qv)表示位于虹膜已知区域且与(p,q)相邻的像素点，1≤v≤u，u为不小于2的正整数，将像素值f(p,q)赋与像素点(p,q)，将像素点(p,q)加入到虹膜已知区域。
步骤502中，每一轮被腐蚀的虹膜未知像素点，都取和他相邻的虹膜已知像素点的累加像素值的均值作为自身的像素值，并置自己的状态为虹膜已知。经过几轮填充以后，所有未知的像素均被填充像素值。
步骤504、重复步骤502和步骤503，直到虹膜遮挡区域全被腐蚀和填充。
对扩增图像中出现信息缺损的区域进行信息填充，能很好的恢复图像的结构特征，使修复结果更自然，提高增强后的扩增图像的质量，提升眼周识别模型的识别效率，提高了眼周识别模型的可靠性。
在一个可能的实施例中，所述腐蚀采用水平腐蚀或垂直腐蚀。
步骤6：将增强的扩增图像加入眼周样本库，参与眼周识别模型的训练。
本申请的方法生成的增强的扩增图像，可以作为一种特殊的眼周训练样本，和眼周样本库中预存的样本图像一起构成训练集，从而丰富眼周样本的多样性，对眼周识别模型进行训练。经过实际测试，本发明可以有效排除由于同一人在不同场景条件下采集到的眼周图像瞳孔、虹膜大小不一致导致的眼周识别错误，提高了深度学习实现眼周识别的效果。
ROC曲线对比是比较识别模型性能的常用方式，ROC性能曲线越高说明该识别模型性能越好。
如图4所示，曲线1为加入增强的扩增图像参与训练得到的训练好的眼周识别模型的ROC性能曲线。曲线2为只有样本图像参与训练得到的训练好的眼周识别模型的ROC性能曲线。
曲线1的ROC曲线全都领先于曲线2的ROC曲线。也就是说采用本发明的方法对样本图像进行归一化和增强，联合原本的样本图像一起进行训练的效果明显优于只采用原本的样本图像进行训练得到的效果。
在深度神经网络构成的眼周识别模型进行眼周图像检测之前，先将眼周图像利用本申请的扩增方法进行处理，排除因虹膜瞳孔大小差异而引起的干扰，提升眼周识别模型的识别效率，提高了眼周识别模型的可靠性。
实施例2
本实施例提供了一种眼周样本扩增方法的应用，对眼周样本库中的样本图像进行扩增，得到增强的扩增图像，将增强的扩增图像加入眼周样本库，根据眼周样本库中的样本，训练基于深度神经网络构成的眼周识别模型，得到训练好的眼周识别模型，使用训练好的眼周识别模型对应用场景中采集到的眼周图像进行分类，用于身份识别。
具体实施时，首先，获取多个样本图像，建立眼周样本库，样本图像包括图片和与各图片对应的标签；在一种可能实现的方式中，所述标签包括身份信息，身份信息包括但不限于工号、姓名、ID(Identitydocument，身份标识号)其中的任意一种。
然后对眼周样本库中的样本图像进行扩增，得到增强的扩增图像，将增强的扩增图像加入眼周样本库。
将眼周样本库中的样本输入到待训练的眼周识别模型，得到预测的各样本对应的标签，其中，待训练的眼周识别模型包括：待训练眼周特征提取网络与待训练全连接层以及待训练分类器，其中，待训练眼周特征提取网络用于提取样本图片的眼周特征。利用预设损失函数计算预测的样本对应的标签与其本身的标签之间的损失值。根据损失值对待训练的眼周识别模型行迭代训练，直至损失值小于预设损失阈值，得到最终训练好的眼周识别模型，其中最终训练好的眼周识别模型包括：眼周特征提取网络、全连接层以及分类器。
采集应用场景的眼周图像，将眼周图像输入到训练好的眼周识别模型，训练好的眼周识别模型输出预测到的眼周图像对应的标签，用于身份识别。
本申请实施例对眼周图像的采集场景不进行限制，可以为小区门口、实验室门口，银行窗口，工厂出入口等可以进行眼周特征提取的场景，例如，当应用场景为小区门口时，预先在小区门口位置放置摄像装置，摄像装置至少可以拍摄到人员的眼周图像。
本申请对样本图像的扩增，主要是调整虹膜区域和瞳孔区域的大小，实现区域归一化，虹膜区域和瞳孔区域的特征可以作为人员身份识别的依据。虹膜区域和瞳孔区域的特征可以通过计算机视觉、深度学习算法以及人工标注中的任意一种方式获得。本申请实施例不对利用虹膜区域和瞳孔区域进行身份识别的方法进行限定。
优选的，利用眼周特征进行身份识别的方法可以为：根据虹膜区域特征从对应关系中确定虹膜区域特征对应的身份信息，和/或根据瞳孔区域特征从对应关系中确定瞳孔区域特征对应的身份信息。
其中，对应关系为虹膜区域特征与虹膜区域特征对应的身份信息的对应关系，和/或瞳孔区域特征与瞳孔区域特征对应的身份信息的对应关系。
具体地，电子设备中预先保存有虹膜区域特征、身份信息的对应关系，和/或瞳孔区域特征、身份信息的对应关系。当提取到虹膜区域特征和/或瞳孔区域特征后，基于虹膜区域特征和/或瞳孔区域特征通过对应关系，确定虹膜区域特征和/或瞳孔区域特征对应的身份信息。
本申请实施例二由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (9)
1.一种眼周样本扩增方法，其特征在于：包括以下步骤，
步骤1、从眼周样本库中提取预存的样本图像，将样本图像划分为眼周区域、虹膜区域和瞳孔区域；
步骤2、扩增图像区域归一化：计算扩增图像与样本图像之间的坐标映射关系，使得扩增图像中虹膜区域和瞳孔区域的半径比为m/1，获得扩增图像中虹膜区域和瞳孔区域的坐标，虹膜区域和瞳孔区域的坐标构成坐标点集(X，Y)，m为正整数；
步骤3、对样本图像进行插值运算来计算扩增图像每个像素的像素值：其中(Xt，Yt)表示扩增图像中坐标点集(X，Y)中的第t个坐标，f(Xt，Yt)表示扩增图像中的坐标(Xt，Yt)的像素值，(Xt，Yt)映射到样本图像坐标系下的浮点坐标记为(xt'，yt')，(xαt，yαt)表示在样本图像坐标系下与浮点坐标(xt'，yt')最近的第α个整数坐标点，ωa表示权重，α＝1,2,3,4，/> 表示与第α个整数坐标点(xαt，yαt)与浮点坐标(xt'，yt')的距离的平方值，/>表示与/>相关的函数；
步骤4、判断虹膜区域是否存在信息缺损区域，若不存在，进入步骤6，若存在，进入步骤5；
步骤5、填充扩增图像的信息缺损区域：对扩增图像中虹膜区域的信息缺损区域进行填充，获得增强的扩增图像；
步骤6：将增强的扩增图像加入眼周样本库，参与眼周识别模型的训练。
2.按照权利要求1所述的一种眼周样本扩增方法，其特征在于：所述步骤2的具体方法为，(X，Y)＝{(X0i，Y0i)，(X1j，Y1j)}，其中(x0i，y0i)表示样本图像中瞳孔区域的第i个坐标，(X0i，Y0i)表示在扩增图像中瞳孔区域内与(x0i，y0i)对应的坐标，(x1j，y1j)表示样本图像中虹膜区域的第j个坐标，(X1j，Y1j)表示在扩增图像中虹膜区域内与(x1j，y1j)对应的坐标，R表示样本图像的虹膜半径，r1表示样本图像的瞳孔半径，r3表示预设的瞳孔半径，d表示扩增图像上(X1j，Y1j)与瞳孔区域圆心的距离。
3.按照权利要求2所述的一种眼周样本扩增方法，其特征在于：所述步骤2中，
4.按照权利要求2或3所述的一种眼周样本扩增方法，其特征在于：所述步骤2中，
5.按照权利要求1所述的一种眼周样本扩增方法，其特征在于：所述步骤5的具体方法为，
步骤501、将扩增图像划分为眼周区域、虹膜遮挡区域和虹膜已知区域；
步骤502、腐蚀虹膜遮挡区域：利用形态学算法，将虹膜遮挡区域从第一边缘向第二边缘的方向进行腐蚀，每一轮被腐蚀z单位，被腐蚀的虹膜遮挡区域的像素点被赋成黑色；
步骤503、填充虹膜遮挡区域：根据公式计算被腐蚀的虹膜遮挡区域的点的像素值f(p,q)，其中(p,q)表示被腐蚀的虹膜遮挡区域的像素点，(pv，qv)表示位于虹膜已知区域且与(p,q)相邻的像素点，1≤v≤u，u为不小于2的正整数，将像素值f(p,q)赋与像素点(p,q)，将像素点(p,q)加入到虹膜已知区域；
步骤504、重复步骤502和步骤503，直到虹膜遮挡区域全被腐蚀和填充。
6.按照权利要求5所述的一种眼周样本扩增方法，其特征在于：所述腐蚀采用水平腐蚀或垂直腐蚀。
7.按照权利要求1所述的一种眼周样本扩增方法，其特征在于：所述步骤3中，其中，d1表示(xt'，yt')与(x1t，y1t)之间的距离，d2表示(xt'，yt')与(x2t，y2t)之间的距离，d3表示(xt'，yt')与(x3t，y3t)之间的距离，d4表示(xt'，yt')与(x4t，y4t)之间的距离，/>
8.按照权利要求1所述的一种眼周样本扩增方法，其特征在于：所述样本图像具有眼睑标记坐标、虹膜标记坐标和瞳孔标记坐标，根据眼睑标记坐标，拟合眼睑曲线；
根据瞳孔标记坐标，拟合瞳孔曲线；
根据虹膜标记坐标，拟合虹膜曲线；
根据眼睑曲线、瞳孔曲线和虹膜曲线将样本图像划分为眼周区域、瞳孔区域和虹膜区域。
9.一种如权利要求1所述眼周样本扩增方法的应用，其特征在于，对眼周样本库中的样本图像进行扩增，得到增强的扩增图像，将增强的扩增图像加入眼周样本库，根据眼周样本库中的样本，训练基于深度神经网络构成的眼周识别模型，得到训练好的眼周识别模型，使用训练好的眼周识别模型对采集到的眼周图像进行分类，用于身份识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311086875.3A CN117115898A (zh) | 2023-08-25 | 2023-08-25 | 一种眼周样本扩增方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311086875.3A CN117115898A (zh) | 2023-08-25 | 2023-08-25 | 一种眼周样本扩增方法及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115898A true CN117115898A (zh) | 2023-11-24 |
Family
ID=88794413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311086875.3A Pending CN117115898A (zh) | 2023-08-25 | 2023-08-25 | 一种眼周样本扩增方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115898A (zh) |
-
2023
- 2023-08-25 CN CN202311086875.3A patent/CN117115898A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105956582B (zh) | 一种基于三维数据的人脸识别系统 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN106980852B (zh) | 基于角点检测与匹配的药品识别系统及其识别方法 | |
| CN105956578A (zh) | 一种基于身份证件信息的人脸验证方法 | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN104751147A (zh) | 一种图像识别方法 | |
| CN108960260B (zh) | 一种分类模型生成方法、医学影像图像分类方法及装置 | |
| CN107066969A (zh) | 一种人脸识别方法 | |
| CN108734138A (zh) | 一种基于集成学习的黑色素瘤皮肤病图像分类方法 | |
| CN110020692A (zh) | 一种基于印刷体模板的手写体分离与定位方法 | |
| CN110909636B (zh) | 一种基于非均匀分布的人脸识别方法 | |
| CN104766095A (zh) | 一种移动终端图像识别方法 | |
| CN109740417A (zh) | 发票类型识别方法、装置、存储介质和计算机设备 | |
| CN110119695A (zh) | 一种基于特征融合和机器学习的虹膜活性检测方法 | |
| CN105894037A (zh) | 一种基于sift训练样本提取的遥感图像全监督分类方法 | |
| CN112132812B (zh) | 证件校验方法、装置、电子设备及介质 | |
| CN111339932B (zh) | 一种掌纹图像预处理方法和系统 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
| CN107784263A (zh) | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 | |
| CN107729863B (zh) | 人体指静脉识别方法 | |
| CN109871825A (zh) | 一种基于改进的局部二维模式的人像识别方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN110210561B (zh) | 神经网络的训练方法、目标检测方法及装置、存储介质 | |
| CN117115898A (zh) | 一种眼周样本扩增方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |