CN111931617A - 基于图像处理的人眼图像识别方法、装置及自助终端 - Google Patents
基于图像处理的人眼图像识别方法、装置及自助终端 Download PDFInfo
- Publication number
- CN111931617A CN111931617A CN202010742658.5A CN202010742658A CN111931617A CN 111931617 A CN111931617 A CN 111931617A CN 202010742658 A CN202010742658 A CN 202010742658A CN 111931617 A CN111931617 A CN 111931617A
- Authority
- CN
- China
- Prior art keywords
- image data
- human eye
- eye image
- human
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像处理的人眼图像识别方法、装置及自助终端，所述方法包含：获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；通过特征提取法提取所述眼睛图像数据中多个关键点位置；根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
Description
技术领域
本发明涉及人脸识别领域，尤指一种基于图像处理的人眼图像识别方法、装置及自助终端。
背景技术
疫情期间，用户利用自助柜员机或其他智能设备进行交易时需要摘下口罩，在疫情期间是存在较大的风险的，而且在日常生活也可能存在由于流感、脸部受伤等，用户也佩戴口罩的情况，在交易过程中让用户摘下口罩存在一定的风险和不便。
传统的面部识别又无法在用户遮挡部分面部的情况下识别确认用户的身份，因此，业内需要一种在用户进行面部识别的过程中既可以减少不必要的风险来源，又可以提高验证的流畅性的方法，尽可能减少因上述情况造成的感染或者不必要的麻烦，提高身份识别的使用安全性，提高用户的体验舒适度。
发明内容
本发明目的在于提供基于人眼进行面部识别的方法、装置及自助终端，以在识别精准的基础上，提高用户的使用便利性。
为达上述目的，本发明所提供的基于图像处理的人眼图像识别方法，具体包含：获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；通过特征提取法提取所述眼睛图像数据中多个关键点位置；根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
在上述基于图像处理的人眼图像识别方法中，优选的，所述眼睛检测模型构建流程包含：于预定的人脸数据库中获得人脸图像数据，对所述人脸图像数据进行标注处理获得人眼区域矩形框图像数据；根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型。
在上述基于图像处理的人眼图像识别方法中，优选的，根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型包含：通过预设的一种或多种图像增强算法对所述人眼区域矩形框图像数据进行增强预处理，通过卷积神经网络对预处理后的所述人眼区域矩形框图像数据提取特征，生成特征集；于所述特征集选取真实特征图和验证特征图，并根据所述真实特征图设置真实框，根据所述验证特征图设置先验框；根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差；根据所述位置误差和所述置信度误差构建损失函数；根据所述损失函数和正负样本训练构建所述眼睛检测模型。
在上述基于图像处理的人眼图像识别方法中，优选的，根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差还包含：通过置信度误差调整所述正负样本中正样本和负样本的数量，使所述正样本和所述负样本数量平均。
在上述基于图像处理的人眼图像识别方法中，优选的，所述损失函数包含：
在上式中，N为先验框的正样本数量，c为指类别置信度的预测值，l为先验框的所对应边界框的位置预测值，g为真实框的位置参数，
为权重系统，通过交叉验证获得，L(x,c,l,g)为损失函数，Lconf(x,c)为置信度误差，Lloc(x,l,g)为位置误差；
所述置信度误差通过以下公式计算获得：
在上式中，p为类别，
其值为1时指第i个先验框与第j个真实框匹配，
为第i个先验框目标的置信度，
为正样本的置信度误差，
为负样本的置信度误差。
在上述基于图像处理的人眼图像识别方法中，优选的，通过特征提取法提取所述眼睛图像数据中多个关键点位置还包含：对预定的人脸数据库中存储的人脸图像数据进行关键点标定；计算标定关键点后的人脸图像数据中各关键点的局部二值特征；根据所述关键点对应的局部二值特征，通过模型训练构建关键点识别模型；根据所述关键点识别模型提取所述眼睛图像数据中多个关键点位置。
在上述基于图像处理的人眼图像识别方法中，优选的，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度包含：根据用户在预定的人脸数据库中存储的人脸图像数据计算获得所述人脸图像数据中内眼角坐标之间的欧式距离；以所述内眼角坐标之间的欧式距离作为基准对所述眼睛图像数据按比例放大或缩小后获得比对图像数据；根据所述比对图像数据和所述人脸图像数据的关键点位置之间的欧式距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度。
在上述基于图像处理的人眼图像识别方法中，优选的，根据所述比对图像数据和所述人脸图像数据的关键点位置及关键点位置之间的距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度包含：计算所述比对图像数据中关键点位置之间的欧式距离，并对所述比对图像数据对应的欧式距离进行反归一化处理；将反归一化处理后的欧式距离与所述人脸图像数据对应的欧式距离进行比较，获得离散程度；根据所述离散程度获得匹配相似度。
本发明还提供一种基于图像处理的人眼图像识别装置，所述装置包含预处理模组、标识模组、计算模组和处理模组；所述预处理模组用于获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；所述标识模组用于通过特征提取法提取所述眼睛图像数据中多个关键点位置；所述计算模组用于根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；所述处理模组用于根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
在上述基于图像处理的人眼图像识别装置中，优选的，所述预处理模组包含模型构建单元，所述模型构建单元用于于预定的人脸数据库中获得人脸图像数据，对所述人脸图像数据进行标注处理获得人眼区域矩形框图像数据；根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型。
在上述基于图像处理的人眼图像识别装置中，优选的，所述标识模组包含识别单元，所述识别单元用于对预定的人脸数据库中存储的人脸图像数据进行关键点标定；计算标定关键点后的人脸图像数据中各关键点的局部二值特征；根据所述关键点对应的局部二值特征，通过模型训练构建关键点识别模型。
在上述基于图像处理的人眼图像识别装置中，优选的，所述计算模组包含调整单元，所述调整单元用于根据用户在预定的人脸数据库中存储的人脸图像数据计算获得所述人脸图像数据中内眼角坐标之间的欧式距离；以所述内眼角坐标之间的欧式距离作为基准对所述眼睛图像数据按比例放大或缩小后获得比对图像数据；根据所述比对图像数据和所述人脸图像数据的关键点位置之间的欧式距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度。
本发明还提供一种包含上述基于图像处理的人眼图像识别装置的自助终端，所述自助终端用于采集用户的待测人脸图像数据；以及，根据所述人眼图像识别装置的人眼图像识别结果执行预定操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：通过本发明所提供的人眼图像识别方法进一步方便了戴口罩用户或者脸部受到遮挡的用户可以不摘口罩进行验证，尤其是在疫情期间有效防护用户因摘口罩而受到感染；基于图像处理，结合人眼检测和人眼关键点的特征提取方法，以及利用坐标点之间的欧式距离关系和反归一化，可以进一步提高人眼特征点验证的准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例所提供的基于图像处理的人眼图像识别方法的流程示意图；
图2A至图2C为本发明一实施例所提供的眼睛检测模型建模的流程示意图；
图3为本发明一实施例所提供的关键点位置确定的流程示意图；
图4A至图4C为本发明一实施例所提供的相似度比对的确定流程示意图；
图5为本发明一实施例所提供的基于图像处理的人眼图像识别装置的结构示意图；
图6为本发明一实施例所提供的自助终端的结构示意图；
图7为本发明一实施例所提供的自助终端的处理流程示意图；
图8为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图1所示，本发明所提供的一种基于图像处理的人眼图像识别方法，具体包含：
S101获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；
S102通过特征提取法提取所述眼睛图像数据中多个关键点位置；
S103根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；
S104根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
由此，基于该人眼图像识别方法在实际工作中可利用最后得出的相似度判断是否可进行交易，亦或是进行指纹识别或者人脸识别等操作；整体原理在于对人脸进行图像预处理，然后根据眼睛检测模型得到人脸中的眼睛区域，提取出人眼中的关键点，并计算出各点间的距离，利用标准差权衡得到最终的匹配相似度。
在上述实施例中，所述眼睛检测模型，包括利用开源的人脸库，对人脸库进行标注处理，得到人脸的眼睛部分区域矩形框，如图2A所示，得到人眼目标检测模型，同时对人眼进行标定，得到人眼特征点的具体坐标(1至14)，并按照顺序存储。计算出坐标两两之间的欧氏距离，将最终的距离数据保存。具体的，所述眼睛检测模型构建流程可包含：于预定的人脸数据库中获得人脸图像数据，对所述人脸图像数据进行标注处理获得人眼区域矩形框图像数据；根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型。请参考图2B所示，上述根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型可包含：
S201通过预设的一种或多种图像增强算法对所述人眼区域矩形框图像数据进行增强预处理，通过卷积神经网络对预处理后的所述人眼区域矩形框图像数据提取特征，生成特征集；
S202于所述特征集选取真实特征图和验证特征图，并根据所述真实特征图设置真实框，根据所述验证特征图设置先验框；
S203根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差；
S204根据所述位置误差和所述置信度误差构建损失函数；
S205根据所述损失函数和正负样本训练构建所述眼睛检测模型。
其中，根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差还包含：通过置信度误差调整所述正负样本中正样本和负样本的数量，使所述正样本和所述负样本数量平均。在步骤S204中所述损失函数包含：
在上式中，N为先验框的正样本数量，c为指类别置信度的预测值，l为先验框的所对应边界框的位置预测值，g为真实框的位置参数，
为权重系统，通过交叉验证获得，L(x,c,l,g)为损失函数，Lconf(x,c)为置信度误差，Lloc(x,l,g)为位置误差。
在公式中，所述置信度误差主要通过以下公式计算获得：
在上式中，p为类别，
其值为1时指第i个先验框与第j个真实框匹配，
为第i个先验框目标的置信度，
为正样本的置信度误差，
为负样本的置信度误差。
为便于更清楚的理解本发明所提供的眼睛检测模型建模过程，以下请参考图2C所示，对上述实施例做详细实例说明，本领域相关技术人员当可知，该实例仅为便于理解本发明所提供的眼睛检测模型建模应用方式，并不对其做进一步限定。
在该实例中主要目的在于建立人眼目标检测图像库。对已有的开源人脸库进行人眼截取，得到人眼目标检测图像库以及真实目标框，并对图像库进行训练，流程如下：
S2001首先采用多种数据增强的算法对训练图像进行预处理，包括水平翻转、缩放、裁剪等，使得模型对不同大小和形状的目标输入有更好的鲁棒性。经过卷积神经网络(CNN)提取特征，并生成特征集；
S2002抽取其中六层的特征图，然后设置特征图的先验框，不同特征图所设置的先验框数目也有所不同，先验框的设置需要考虑尺度和长宽比，尺度遵循现行递增规则，特征图变小，先验框尺度会线性增加，如公式1：
公式1：
其中Smin为0.2，表示最底层尺度；Smax是0.9，表示最高层尺度。
S2003采用卷积进行检测，即利用卷积对不同的特征图进行提取检测结果，包含类别置信度和边界框位置。首先寻找与每一个真实目标框有最大交并比的先验框，确保每个真实目标能与至少一个先验框相对应。随后将剩余未配对的先验框与任意一个真实框配对，若二者交并比大于0.5，即匹配，则为正样本，反之即为负样本。
S2004负样本抽样，保证正负样本尽量平衡，按照置信度误差进行降序排列，选择误差较大的前k个作为训练的负样本，因为预测背景置信度越小，误差越大。
S2005确定损失函数。损失函数为位置误差(Ioc)与置信度误差(conf)的加权和，如公式2。
公式2：
其中，N是先验框的正样本数量。C是指类别置信度的预测值，l是先验框的所对应边界框的位置预测值，而g是真实目标框的位置参数。权重系数α通过交叉验证设置为1。
对于位置误差，采用Smooth l1loss，如公式3。
公式3：
对于置信度误差，采用softmax loss，如公式4。
公式4：
S2006对待验证目标进行预测时将所有生成预测框都存入集合中，通过极大值抑制输出筛选后的框。
在本发明一实施例中，上述通过特征提取法提取所述眼睛图像数据中多个关键点位置还可包含：对预定的人脸数据库中存储的人脸图像数据进行关键点标定；计算标定关键点后的人脸图像数据中各关键点的局部二值特征；根据所述关键点对应的局部二值特征，通过模型训练构建关键点识别模型；根据所述关键点识别模型提取所述眼睛图像数据中多个关键点位置。具体的，可参考图3所示，在实际工作中对上述检测到的人眼区域进行特征点的提取，其方法流程如下：
S301对人眼图像库进行关键点标定，如图所示，标识出特征点，并对坐标进行存储。
S302特征提取。计算一个从当前形状到平均形状的变换矩阵，对转换后的图像中的每一个像素，都是用离其最近的一个标注点作为基准，随后在上述像素中选取q，可生成q2个像素对；然后将每个像素对之间的差值作为特征值。
S303训练模型。训练的目标函数如公式5：
公式5：
其中
是指所有标注点的局部二值特征集合，
表示第t级第l个标注点对应的提取出的局部二值特征，其中每一个特征点都有一个对应的森林，可对每一个标注点进行特征映射。I是指训练数据的基准点，φ代表特征提取函数。i表示第i个样本点，t表示第t个训练阶段。首先在标注点附近区域随机的选取500对像素不同的特征点，并且选取其中能够使得方差降低程度最大的作为分割阈值。训练后，每个叶子节点上存储落在此节点。最后以最小化目标函数为目标得到
最后把上次估计与当前估计的差值求和作为当前阶段的输出。
S304将上述局部二值特征集合输入全局的回归器进行预测。回归目标如公式6。
公式6：
使用双坐标下降法，使得预测的点半径不断回归减少至最优值。
在本发明一实施例中，上述最终的匹配相似度，是指利用上述模型提取的人眼关键点作为待验证数据，与数据库存储的合法持卡人图片数据进行对比，首先将内眼角之间的距离作为基准，对待验证用户的眼睛区域按比例放大或者缩小。所述对比方法，是利用数据的标准差进行衡量，得到最后的相似度。具体的，请参考图4A所示，在本发明一实施例中，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度包含：
S401根据用户在预定的人脸数据库中存储的人脸图像数据计算获得所述人脸图像数据中内眼角坐标之间的欧式距离；
S402以所述内眼角坐标之间的欧式距离作为基准对所述眼睛图像数据按比例放大或缩小后获得比对图像数据；
S403根据所述比对图像数据和所述人脸图像数据的关键点位置之间的欧式距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度。
该实例可作为对人眼图像识别的预处理过程，实际工作中可采用按基准缩放、滤波降噪，减少噪声带来的误差。例如：将上述处理后的图像进行人眼检测之后，得到的眼睛区域进行增强处理，突出眼睛边缘特性；用户双眼直视监控摄像头时，通过检测到的人眼关键点，计算得到内眼角之间的距离，与数据库存储的数据进行比较，得到缩放比例，同时对检测到的各关键点进行同比例缩放。
请参考图4B所示，在上述实施例中，根据所述比对图像数据和所述人脸图像数据的关键点位置及关键点位置之间的距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度包含：
S404计算所述比对图像数据中关键点位置之间的欧式距离，并对所述比对图像数据对应的欧式距离进行反归一化处理；
S405将反归一化处理后的欧式距离与所述人脸图像数据对应的欧式距离进行比较，获得离散程度；根据所述离散程度获得匹配相似度。
为便于理解本发明中计算相似值的具体流程，以下以实际工作中的应用实例予以详细说明上述各流程，请结合前述特征点识别流程和图4C所示，予以参考以下步骤：
S4001分别计算存储的用户图片以及对待验证用户图像点4、点5之间的欧式距离，根据其比例相应缩放待验证用户图像特征点，如公式7。
公式7：
其中，
为预测值坐标集合，最终得到变换后的所有特征点坐标集合。
S4002计算所有预测出的特征点集合中坐标两两之间的欧氏距离，并进行反归一化处理，如公式8，然后分别与存储的用户数据进行比较，计算出离散程度，如公式9，离散度越低，越相似。
公式8：fformal(x)＝-f(x)+s
将数据归一化至[0,1]区间，故s设置为1。
公式9：
ζ即为最后的相似度。
最后，基于前述确定的相似度即可确定人眼识别结果；例如设置阈值Q1、Q2。当戴口罩用户人眼验证相似度ζ≥Q1时，用户可直接进行交易操作，若Q2＜ζ≤Q1，用户需要进行指纹识别辅助验证，若指纹相似度δ与人眼验证相似度ζ的加权值低于Q1，或者人眼验证相似度ζ＜Q2，则需再进行人脸验证。
请参考图5所示，本发明还提供一种基于图像处理的人眼图像识别装置，所述装置包含预处理模组、标识模组、计算模组和处理模组；所述预处理模组用于获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；所述标识模组用于通过特征提取法提取所述眼睛图像数据中多个关键点位置；所述计算模组用于根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；所述处理模组用于根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。其中，所述预处理模组可包含模型构建单元，所述模型构建单元用于于预定的人脸数据库中获得人脸图像数据，对所述人脸图像数据进行标注处理获得人眼区域矩形框图像数据；根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型。所述标识模组可包含识别单元，所述识别单元用于对预定的人脸数据库中存储的人脸图像数据进行关键点标定；计算标定关键点后的人脸图像数据中各关键点的局部二值特征；根据所述关键点对应的局部二值特征，通过模型训练构建关键点识别模型。
在上述实施例中，所述计算模组可包含调整单元，所述调整单元用于根据用户在预定的人脸数据库中存储的人脸图像数据计算获得所述人脸图像数据中内眼角坐标之间的欧式距离；以所述内眼角坐标之间的欧式距离作为基准对所述眼睛图像数据按比例放大或缩小后获得比对图像数据；根据所述比对图像数据和所述人脸图像数据的关键点位置之间的欧式距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度。
请参考图6所示，本发明还提供一种包含上述基于图像处理的人眼图像识别装置的自助终端，所述自助终端用于采集用户的待测人脸图像数据；以及，根据所述人眼图像识别装置的人眼图像识别结果执行预定操作。该自助设备的处理流程具体可参考图7所示，首先自助终端采集人脸图像，在判断出用户带有口罩或遮挡部分面部信息时，开启人眼图像识别，经历上述人眼识别验证后，获得相似度；再将该相似度与预设阈值比较予以确定是否满足匹配要求，如满足即可进行后续交易；如不满足则进入补充验证环节，例如指纹识别等过程；其中，如用户未遮挡面部，在判断确定后也可进行常规的人脸识别。
本发明的有益技术效果在于：通过本发明所提供的人眼图像识别方法进一步方便了戴口罩用户或者脸部受到遮挡的用户可以不摘口罩进行验证，尤其是在疫情期间有效防护用户因摘口罩而受到感染；基于图像处理，结合人眼检测和人眼关键点的特征提取方法，以及利用坐标点之间的欧式距离关系和反归一化，可以进一步提高人眼特征点验证的准确率。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图8所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图8中所示的所有部件；此外，电子设备600还可以包括图8中没有示出的部件，可以参考现有技术。
如图8所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于图像处理的人眼图像识别方法，其特征在于，所述方法包含：
获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；
通过特征提取法提取所述眼睛图像数据中多个关键点位置；
根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；
根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
2.根据权利要求1所述的基于图像处理的人眼图像识别方法，其特征在于，所述眼睛检测模型构建流程包含：
于预定的人脸数据库中获得人脸图像数据，对所述人脸图像数据进行标注处理获得人眼区域矩形框图像数据；
根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型。
3.根据权利要求2所述的基于图像处理的人眼图像识别方法，其特征在于，根据所述人眼区域矩形框图像数据通过学习算法构建所述眼睛检测模型包含：
通过预设的一种或多种图像增强算法对所述人眼区域矩形框图像数据进行增强预处理，通过卷积神经网络对预处理后的所述人眼区域矩形框图像数据提取特征，生成特征集；
于所述特征集选取真实特征图和验证特征图，并根据所述真实特征图设置真实框，根据所述验证特征图设置先验框；
根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差；
根据所述位置误差和所述置信度误差构建损失函数；
根据所述损失函数和正负样本训练构建所述眼睛检测模型。
4.根据权利要求3所述的基于图像处理的人眼图像识别方法，其特征在于，根据所述先验框和所述真实框配对结果获得正负样本、位置误差和置信度误差还包含：
通过置信度误差调整所述正负样本中正样本和负样本的数量，使所述正样本和所述负样本数量平均。
5.根据权利要求3所述的基于图像处理的人眼图像识别方法，其特征在于，所述损失函数包含：
在上式中，N为先验框的正样本数量，c为指类别置信度的预测值，l为先验框的所对应边界框的位置预测值，g为真实框的位置参数，
为权重系统，通过交叉验证获得，L(x,c,l,g)为损失函数，Lconf(x,c)为置信度误差，Lloc(x,l,g)为位置误差；
所述置信度误差通过以下公式计算获得：
在上式中，p为类别，
其值为1时指第i个先验框与第j个真实框匹配，
为第i个先验框目标的置信度，
为正样本的置信度误差，
为负样本的置信度误差。
6.根据权利要求1所述的基于图像处理的人眼图像识别方法，其特征在于，通过特征提取法提取所述眼睛图像数据中多个关键点位置还包含：
对预定的人脸数据库中存储的人脸图像数据进行关键点标定；
计算标定关键点后的人脸图像数据中各关键点的局部二值特征；
根据所述关键点对应的局部二值特征，通过模型训练构建关键点识别模型；
根据所述关键点识别模型提取所述眼睛图像数据中多个关键点位置。
7.根据权利要求1所述的基于图像处理的人眼图像识别方法，其特征在于，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度包含：
根据用户在预定的人脸数据库中存储的人脸图像数据计算获得所述人脸图像数据中内眼角坐标之间的欧式距离；
以所述内眼角坐标之间的欧式距离作为基准对所述眼睛图像数据按比例放大或缩小后获得比对图像数据；
根据所述比对图像数据和所述人脸图像数据的关键点位置之间的欧式距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度。
8.根据权利要求7所述的基于图像处理的人眼图像识别方法，其特征在于，根据所述比对图像数据和所述人脸图像数据的关键点位置及关键点位置之间的距离，将所述比对图像数据与所述人脸图像数据进行比对获得匹配相似度包含：
计算所述比对图像数据中关键点位置之间的欧式距离，并对所述比对图像数据对应的欧式距离进行反归一化处理；
将反归一化处理后的欧式距离与所述人脸图像数据对应的欧式距离进行比较，获得离散程度；
根据所述离散程度获得匹配相似度。
9.一种基于图像处理的人眼图像识别装置，其特征在于，所述装置包含预处理模组、标识模组、计算模组和处理模组；
所述预处理模组用于获取用户的待测人脸图像数据，通过眼睛检测模型于所述待测人脸图像数据中获得眼睛图像数据；
所述标识模组用于通过特征提取法提取所述眼睛图像数据中多个关键点位置；
所述计算模组用于根据所述关键点位置之间的距离，将所述眼睛图像数据与用户在预定的人脸数据库中存储的人脸图像数据进行匹配，获得匹配相似度；
所述处理模组用于根据所述匹配相似度与预设阈值的比较结果，获得所述待测人脸图像数据的人眼图像识别结果。
10.一种包含权利要求9所述的基于图像处理的人眼图像识别装置的自助终端，其特征在于，所述自助终端用于采集用户的待测人脸图像数据；以及，根据所述人眼图像识别装置的人眼图像识别结果执行预定操作。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742658.5A CN111931617B (zh) | 2020-07-29 | 2020-07-29 | 基于图像处理的人眼图像识别方法、装置及自助终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742658.5A CN111931617B (zh) | 2020-07-29 | 2020-07-29 | 基于图像处理的人眼图像识别方法、装置及自助终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931617A true CN111931617A (zh) | 2020-11-13 |
| CN111931617B CN111931617B (zh) | 2023-11-21 |
Family
ID=73315529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010742658.5A Active CN111931617B (zh) | 2020-07-29 | 2020-07-29 | 基于图像处理的人眼图像识别方法、装置及自助终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931617B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634174A (zh) * | 2020-12-31 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN113689614A (zh) * | 2021-08-31 | 2021-11-23 | 王赓 | 一种带有人脸识别及紧急报警的互联网停车闸 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288023A (zh) * | 2017-12-20 | 2018-07-17 | 深圳和而泰数据资源与云技术有限公司 | 人脸识别的方法和装置 |
| CN108985159A (zh) * | 2018-06-08 | 2018-12-11 | 平安科技（深圳）有限公司 | 人眼模型训练方法、人眼识别方法、装置、设备及介质 |
| CN109086719A (zh) * | 2018-08-03 | 2018-12-25 | 北京字节跳动网络技术有限公司 | 用于输出数据的方法和装置 |
| CN109960975A (zh) * | 2017-12-23 | 2019-07-02 | 四川大学 | 一种基于人眼的人脸生成及其人脸识别方法 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
-
2020
- 2020-07-29 CN CN202010742658.5A patent/CN111931617B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288023A (zh) * | 2017-12-20 | 2018-07-17 | 深圳和而泰数据资源与云技术有限公司 | 人脸识别的方法和装置 |
| CN109960975A (zh) * | 2017-12-23 | 2019-07-02 | 四川大学 | 一种基于人眼的人脸生成及其人脸识别方法 |
| CN108985159A (zh) * | 2018-06-08 | 2018-12-11 | 平安科技（深圳）有限公司 | 人眼模型训练方法、人眼识别方法、装置、设备及介质 |
| CN109086719A (zh) * | 2018-08-03 | 2018-12-25 | 北京字节跳动网络技术有限公司 | 用于输出数据的方法和装置 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634174A (zh) * | 2020-12-31 | 2021-04-09 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN112634174B (zh) * | 2020-12-31 | 2023-12-12 | 上海明略人工智能(集团)有限公司 | 一种图像表示学习方法及系统 |
| CN113689614A (zh) * | 2021-08-31 | 2021-11-23 | 王赓 | 一种带有人脸识别及紧急报警的互联网停车闸 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931617B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961227B2 (en) | Method and device for detecting and locating lesion in medical image, equipment and storage medium | |
| US11861937B2 (en) | Facial verification method and apparatus | |
| WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
| CN108765131B (zh) | 基于微表情的信贷审核方法、装置、终端及可读存储介质 | |
| CN110751043B (zh) | 基于人脸可见性的人脸识别方法、装置及存储介质 | |
| US9208567B2 (en) | Object landmark detection in images | |
| EP3422250A1 (en) | Facial verification method and apparatus | |
| CN112488064B (zh) | 一种人脸追踪方法、系统、终端及存储介质 | |
| CN112232117A (zh) | 一种人脸识别方法、装置及存储介质 | |
| KR101426952B1 (ko) | 정보처리 장치, 정보처리 방법, 개인 식별 장치 및 개인 식별 장치에서 사전 데이터 생성/갱신 방법 | |
| CN110728234A (zh) | 驾驶员人脸识别方法、系统、设备及介质 | |
| WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
| CN112633144A (zh) | 人脸遮挡检测方法、系统、设备及存储介质 | |
| US10832032B2 (en) | Facial recognition method, facial recognition system, and non-transitory recording medium | |
| CN111931617B (zh) | 基于图像处理的人眼图像识别方法、装置及自助终端 | |
| EP2610820A2 (en) | Authentication apparatus, authentication program, and method of authentication | |
| CN111027400A (zh) | 一种活体检测方法及装置 | |
| CN112163110B (zh) | 图像分类方法、装置、电子设备和计算机可读存储介质 | |
| CN112784494B (zh) | 假阳性识别模型的训练方法、目标识别方法及装置 | |
| EP2128820A1 (en) | Information extracting method, registering device, collating device and program | |
| CN112200109A (zh) | 面部属性识别方法、电子设备以及计算机可读存储介质 | |
| CN108288023B (zh) | 人脸识别的方法和装置 | |
| TW202024991A (zh) | 指紋識別方法、裝置、儲存介質，及終端 | |
| CN115019364A (zh) | 基于人脸识别的身份认证方法、装置、电子设备及介质 | |
| CN114283448A (zh) | 一种基于头部姿态估计的儿童坐姿提醒方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |