CN117475502A - 基于矿用的虹膜和人脸融合识别方法及系统 - Google Patents
基于矿用的虹膜和人脸融合识别方法及系统 Download PDFInfo
- Publication number
- CN117475502A CN117475502A CN202311813864.0A CN202311813864A CN117475502A CN 117475502 A CN117475502 A CN 117475502A CN 202311813864 A CN202311813864 A CN 202311813864A CN 117475502 A CN117475502 A CN 117475502A
- Authority
- CN
- China
- Prior art keywords
- image
- iris
- face
- feature
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000009467 reduction Effects 0.000 claims abstract description 26
- 238000005065 mining Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 87
- 238000007781 pre-processing Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 38
- 210000000744 eyelid Anatomy 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 35
- 210000001747 pupil Anatomy 0.000 claims description 34
- 210000003786 sclera Anatomy 0.000 claims description 34
- 238000007477 logistic regression Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000013178 mathematical model Methods 0.000 claims description 7
- 230000005855 radiation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 230000036760 body temperature Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 241001417519 Priacanthidae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了基于矿用的虹膜和人脸融合识别方法及系统，涉及虹膜和人脸融合识别技术领域，包括获取入井前目标对象的人脸图像和虹膜图像；提取预处理后的人脸图像中的第一特征数据，对虹膜图像处理结果进行特征提取和匹配得到第二特征数据；计算得到目标对象的人脸区域的平均温度信息；通过特征融合算法对第一特征数据和第二特征数据进行串联融合，利用降维算法和贝叶斯分类器对多模态特征进行学习，得到识别结果。本发明的有益效果为根据检测到虹膜、人体体温、人脸的图像实现智能切换，有效提高识别速率和识别精度。
Description
技术领域
本发明涉及虹膜和人脸融合识别技术领域，具体而言，涉及基于矿用的虹膜和人脸融合识别方法及系统。
背景技术
身份识别是指使用技术对身份信息自动提取，并对身份信息按进行处理验证比对之后从数据库中得到相关人员信息得到最终身份信息，身份识别过程中会使用到的方法有很多密码、人脸信息、语音信息等等。现有的身份识别系统在使用过程中，只是采集单一数据进行身份识别，不能满足用户的使用需求，给身份识别系统的使用带来了一定的影响。其中生物特征识别技术是利用人的生理和行为特征进行身份鉴别，单一模态生物特征识别技术在研究和商业领域都已经有了重大的突破，但是单一模态的生物特征识别技术无论从算法的识别精度和产品的易用程度上，都离大规模的应用需求还有一定的距离，并且有些图像存在遮挡物，或者是无法对虹膜图像做细致的处理，即使是提取到人脸图像和虹膜图像，却无法在非常规场景下人群的对身份实现精准识别，识别精度无法保障，因此，如何充分将人脸识别和虹膜识别进行有效的融合是一个亟待解决的问题。
发明内容
本发明的目的在于提供基于矿用的虹膜和人脸融合识别方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了基于矿用的虹膜和人脸融合识别方法，包括：
获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；
对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；
提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；
通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；
将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别，得到识别结果。
优选地，所述对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中包括：
对目标对象的脸部图像特征进行预处理，得到第一预处理图像，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；
对背景环境图像进行预处理，得到第二预处理图像，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；
利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维Gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。
优选地，所述对虹膜图像进行预处理，其中包括：
获取虹膜图像归一化展开的灰色直方图，提取灰色直方图的最高峰点将灰色直方图分为第一区域和第二区域；
针对第一区域和第二区域，分别采用最大方差法获取二值化分割的第一阈值和第二阈值，并对虹膜图像采用二值化阈值进行分割处理，得到第一分割处理结果，其中，同一种特征区域的灰度分布情况相同，不同种特征区域的灰度分布不同；
调节第一阈值和第二阈值，基于第一分割处理结果，对虹膜图像顶部的内外边缘噪声区域采用二值化阈值分割处理，得到第二分割结果，其中第二分割结果包括黑色部分为噪声区域，白色部分为有效虹膜区域，得到预处理后新的虹膜图像，记作虹膜图像处理结果。
优选地，所述对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中还包括：
将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；
利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；
根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；
基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；
采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。
优选地，所述通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征，其中包括：
将第一特征数据和第二特征数据发送至Transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；
根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；
将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。
优选地，所述利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型，其中包括：
利用t-SNE对多模态特征进行降维计算，得到降维结果；
构建贝叶斯分类器，将降维结果输入至贝叶斯分类器进行分类，识别多模态特征中具备所有模态特征的最大概率，将最大概率记作学习结果；
采用Adam优化器、交叉熵损失函数以及学习率预热策略对学习结果进行计算，得到训练后的分类识别模型。
第二方面，本申请还提供了一种基于矿用的虹膜和人脸融合识别系统，包括获取模块、处理模块、结合模块、融合模块和识别模块，其中：
获取模块：用于获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；
处理模块：用于对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；
结合模块：用于提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；
融合模块：用于通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；
识别模块：用于将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别。
本发明的有益效果为：
本发明采用人脸和虹膜融合识别具有更高的稳定性，可靠程度比单独的人脸或虹膜识别更高。因为人脸和虹膜特征融合，可以降低对单一图像特征的依赖性，可以形成特征互补，降低整体复杂度，降低检测的波动性，算法的稳定性得到增强，并且增强识别系统的鲁棒性，提高系统的识别精度。
本发明采用模态生物特征融合识别可以有效地挖掘不同生物特征信息间的互补信息，减小了噪声等不利因素的影响，提升了系统的容错能力。相比单生物特征进行身份识别，系统的可靠性更强，并且适用性更广；多模态生物识别系统中同时被伪造多个生物特征信息更加困难，付出的成本代价更高，降低了识别系统被攻破的风险，进而提高了安全系数。
本发明集人脸识别距离远、虹膜识别精度高、皮层识别温度等操作，获取图像便捷的优势于一体，解决了小眼睛、眯缝眼、斜视等生物特征少提取困难和戴口罩、墨镜、黑脸等非常规场景下人群的身份精准识别的难题，实现管理无盲区人群全覆盖。
本发明采用多种生物特征的识别方式根据检测到虹膜、人体体温、人脸的图像实现智能切换，有效提高识别速率和识别精度。针对矿山不同应用场景开发出完整的软硬件产品体系，实现人员身份精准识别、入井前的综合检测以及入井后的跟踪提示，彻底杜绝伪造、替工、带病上岗、醉酒上岗、未带定位卡入井不良现象，落实煤矿安全生产政策，实现地面、井下作业人员的全流程管控与精准考勤，使监管形成闭环。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于矿用的虹膜和人脸融合识别方法流程示意图；
图2为本发明实施例中所述的基于矿用的虹膜和人脸融合识别系统结构示意图。
图中：701、获取模块；702、处理模块；7021、第一处理单元；7022、第二处理单元；7023、提取单元；7024、获取单元；7025、分割单元；7026、第三处理单元；7027、第四处理单元；7028、构建单元；7029、第一获得单元；7030、第二获得单元；7031、匹配单元；703、结合模块；704、融合模块；7041、第一计算单元；7042、第二计算单元；7043、输入单元；7044、降维计算单元；7045、分类识别单元；7046、第三计算单元；705、识别模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
本实施例提供了基于矿用的虹膜和人脸融合识别方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400、步骤S500。
S100、获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像。
可以理解的是，在本步骤中，对人脸图像进行处理，使得像素点属于五官像素点的重要程度的分析更加严谨，得到清晰度高的人脸图像，基于清晰度高的人脸图像进行图像识别，在保证图像细节特征的同时大大增强图像的对比度，从而提高了图像识别结果的准确性；对背景环境图像进行处理，剔除影响图像的处理和判断的冗杂背景图像；针对眼睑、瞳孔以及巩膜图像分别进行图像处理，提高图像的准确性。对目标对象进行识别过程中，只对人脸以及虹膜图像进行处理，可以减少每帧检测时间，避免无效计算，提高系统的使用效率。
S200、对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，其中预处理包括采用图像处理技术对眼睑、瞳孔以及巩膜图像进行定位分割处理，得到第二特征数据；
可以理解的是，在本步骤S200中提取预处理后的人脸图像中的第一特征数据，包括S201、S202和S203，其中：
S201、对目标对象的脸部图像特征进行预处理，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；
需要说明的是，对于人脸图像识别来讲，人脸预处理的质量直接决定后续的特征提取和匹配识别的准确性，其作用不言而喻。那么，人脸处理主要是从多个方面进行处理，其中包括：人脸定位：目的是定位出人脸的大概位置和尺度，为了后续提取特征数据做准备，检测定位方法有基于机器学习算法框架的人脸检测和基于深度学习框架的人脸检测，此处算法为现有技术，在此并不做过多赘述；图像去噪：在各种图像中普遍存在的众多噪声中，加性高斯白噪声、脉冲噪声（椒盐噪声）、量化噪声、泊松噪声以及散斑噪声最为突出，在图像去噪方面可采用中值滤波、高斯滤波对图像进行滤波处理，避免图像受外界干扰而变得模糊，将有效图像进行提取，对模糊图像进行去噪；归一化：则是为了保障去噪后的人脸图像中所提取的人脸区域具有同样大小尺寸且器官位置基本统一，常见方法包括平移、旋转和缩放，可以尽可能最大的保证减轻光照对图像所造成的影响，提高识别能力；角度校正：由于人脸图像是立体的，无法保证人脸的多个角度是正立的且清晰的，影响到图像的准确性，因此需要对人脸图像进行角度的矫正，方法包括模板匹配、对比以及姿态估计。
S202、对背景环境图像进行预处理，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；
需要说明的是，在本申请中调用语义分割数学模型剔除无效背景图像，得到去除背景后干净的背景图像，需要说明的是，语义分割数学模型为现有技术，对于本领域技术人而言，也可以采用其他算法实现分割背景的效果，同样可以保证图像的清晰度；在本申请中，通过膨胀对对背景环境图像中的既有像素点向外进行扩充，线段慢慢“变胖”，而那些断续的线段将因此汇聚并形成连续状态。当然，若断断续续的线段相隔较远，则不排除膨胀以后仍然无法合并成连续轮廓，但是通过膨胀操作能减少后期端点的识别量，实现轻量快捷对人脸图像进行后续的识别。在本实施例中，为了提高工地的安全管理和人员区分，不同身份和职能的工程人员佩戴不同颜色的安全帽，在预处理过程中同样需要识别，目标对象佩戴安全帽的颜色，方便后续对目标对象的识别增添识别信息，细化判断条件。其中，戴白色安全帽的通常为监理人或甲方；红色安全帽通常为技术人员、管理人员或甲方佩戴；戴蓝色安全帽的通常为技术人员；黄色安全帽为普通工人。
S203、利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维Gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。
需要说明的是，在本申请中，预设一组模板图，提取模板图上每个特征点位置信息和特征值，并将其存储在人脸弹性束图结构中。人脸弹性束图可以看做是一个描述特征点的数据库，包含了平均的人脸信息，在处理第一预处理图像和第二预处理图像定位特征点时，用作参考模板。按照模板图提供的特征点信息位置，通过Gabor 小波滤波，得到对应的特征值。所有模板图的特征值都存储到人脸弹性束图中，该结构包含了人脸上的每一个特征点及其对应的一系列特征值。基于第一预处理图像和第二预处理图像，确定特征点的位置，即特征点的定位，分为两步，其中包括：通过人脸弹性束图得到的平均人脸信息粗略估计特征点的大概位置；提取粗略估计位置处的特征值，与人脸弹性束图中的特征值比较以获得更准确的位置估计；然后，通过Gabor小波变换提取特征值；将所有的特征信息构成一个人脸图。
其中，在本步骤中采用Gabor小波变换核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，即能够捕捉到对应于空间频率（尺度）、空间位置及方向选择性的局部结构信息，被广泛地应用于图像分析和理解；Gabor 小波的特性使得其对于亮度和人脸图像中的表情的变化不敏感，对人脸识别有利。
在本发明中，该方法也充分保留了人脸二维图像空间上的全局特征和局部特征，当人脸的面部表情或光照等发生变化时，会引起弹性图的形变，局部节点的变化，而该方法仍具有很好的适应性。
需要说明的是，在本步骤S200中对虹膜图像进行预处理，其中包括S204、S205和S206，其中：
S204、获取虹膜图像归一化展开的灰色直方图，提取灰色直方图的最高峰点将灰色直方图分为第一区域和第二区域；
S205、针对第一区域和第二区域，分别采用最大方差法获取二值化分割的第一阈值和第二阈值，并对虹膜图像采用二值化阈值进行分割处理，得到第一分割处理结果，其中，同一种特征区域的灰度分布情况相同，不同种特征区域的灰度分布不同；
需要说明的是，根据先验知识以及归一化展开的虹膜图像的灰度特征表明，无噪声的虹膜区域的灰度分布比较均为，其像素值分布区间在80左右，且灰度直方图为单峰状。具体地，不同区域之间会呈现出显著的灰度差，即当两个区域之间的灰度差越大时，区域之间的方差就越大，则可表示为：
式中，g表示为方差，表示为第一区域内所有像素点个数和图像总像素点个数的比值，/>表示为第二区域内所有像素点个数和图像总像素点个数的比值，/>表示为第一区域的灰度阈值，/>表示为第二区域的灰度阈值。
S206、调节第一阈值和第二阈值，基于第一分割处理结果，对虹膜图像顶部的内外边缘噪声区域采用二值化阈值分割处理，得到第二分割结果，其中第二分割结果包括黑色部分为噪声区域，白色部分为有效虹膜区域；
需要说明的是，在本步骤中，位于归一化的虹膜图像顶部的内边缘噪声区域，将此区域高度划分为顶部N像素区间，位于底部的外边缘噪声区域，将此区域高度划分为底部2N像素区间，位于中间部分区域则是虹膜特征所在区域，此处区域划分的目的是采不同二值化处理阈值提取噪声，在内外边缘区域尽量多的提取噪声，之后将提取的噪声进行颜色区分，方便提取有效区域，得到预处理后新的虹膜图像，记作虹膜图像处理结果。
需要说明的是，在本步骤S200中对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中包括S206、S207、S208、S209和S2010，其中：
S206、将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；其中，虹膜在人喝酒前后有着细微的差别，虹膜交叉错杂的细丝、斑点和条纹等细微之物构成虹膜大量独一无二的信息特征，若是目标对象在下井前饮酒，获取虹膜图像后对图像进行处理，若发现问题，则会触发发出报警系统，能够大幅减少下井前饮酒带来的危险和伤害。
S207、利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；
可以理解的是，小波母函数表示为：
式中，为小波母函数，a为尺度因子，b为平移因子，x表示为方向。
分别对图像的行列进行一维离散小波变换可以得到图像的二维小波变换：
其中，为可分离的尺度和方向函数，/>表示尺度函数，方向函数中j的取值为0时代表水平方向H上的细节特征，j的取值为1时代表垂直方向V上的细节特征，j的取值为2时代表对角方向D上的细节特征，第一眼睑图像经过双层小波变换后，每一级分解将原图像分为4个频率带，其中，H、V、D为高频子带反应图像的细节内容，L为低频部分包括图像整体特征，对第一眼睑图像的灰度化图像经过两层小波变换后，得到6个高频系数和1个低频系数，对小波变换后提取到的6个高频系数求取平均值和方差得到第一特征向量；同理，对第一瞳孔图像的灰度化图像进行两层小波变换后得到第二特征向量；同理，对第一巩膜图像的灰度化图像进行两层小波变换后得到第三特征向量。
需要说明的是，在第一特征向量对应的低频子带小波系数构建第一灰度共生矩阵，在第二特征向量对应的低频子带小波系数构建第二灰度共生矩阵，在第三特征向量对应的低频子带小波系数构建第三灰度共生矩阵，其中，构建灰度共生矩阵为本领域技术人员熟知的技术，故不再赘述。
S208、根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；
可以理解的是，第四特征向量包括第一灰度共生矩阵的的熵，第五特征向量包括第二灰度共生矩阵的的熵，第六特征向量包括第三灰度共生矩阵的的熵。
S209、基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；
需要说明的是，在本步骤中，通过判断向量支架的欧式距离是否大于阈值距离来进行判断，若大于，则说明灰度化图像与预设的不相似，则继续计算，若小于，则说明灰度化图像与预设的相似，则可以得到纹理特征，便可得到三个特征向量融合后的特征数据。
S210、采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。
需要说明的是，汉明距离为两个（相同长度）字符串对应位置的不同字符的数量，对两个字符串进行异或运算，并统计结果为1的个数，采用汉明距离法对虹膜特征进行匹配，将两个不同的编码后的特征数据和预设的虹膜特征进行对比，该方法简单易用，计算量小，其具体的定义公式为：
式中，HD为汉明距离，N为字符个数，为特征数据A，/>为预设的虹膜特征数据B，为异或运算，当对应特征位不相等时取1，相等取0。在本申请中，1代表虹膜，0代表噪声，对两个虹膜特征码进行操作后，得到匹配结果，将其结果进行去噪，记作第二特征数据。
S300、提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息。
需要说明的是，其中包括通过分析红外热像仪获取的热辐射信息，结合第一特征数据和第二特征数据所提取得到的特征向量，计算出人脸区域的平均温度，然后将该温度和预设的温度阈值相比较，以确定是否超过设定的温度范围，其中温度阈值为待检测目标之前的历史平均温度范围，因为每个人的体温或多或少都会有不同。如果检测到人脸区域的温度超过了预设的范围阈值，系统会触发温度警报，发出警报并采取触发措施，即可以通过标注框圈出红外图像和可见光图像中的被警报温度的人体范围，同时显示出报警温度，对报警温度人体所在范围进行涂色。同时，也会和人脸识别以及虹膜识别进行融合和匹配，以确定人脸的身份信息。这种方法可以实现快速、非接触的人体识别，人体温度检测与身份相结合，提高安全性和准确性。
S400、通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习和判断，并使用损失函数进行训练，得到训练后的分类识别模型；
可以理解的是，在本步骤S400中通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征，包括S401、S402和S403，其中：
S401、将第一特征数据和第二特征数据发送至Transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；
S402、根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；其中，计算公式如下：
式中，为点积函数，/>和/>代表的是输入多头注意力机制的序列，/>和/>为线性变换矩阵，d为/>*/>的维度，T为转置。
S403、将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。
需要说明的是，Transformer是作为一种新的深度学习框架而被开发出来的，基于注意力机制和位置编码策略进行序列建模。Transformer完全建立在注意力机制上，这使得它能够访问序列的任何部分，无视其距离目标的距离。每个注意力关注输入序列的不同部分，目的是注意到不同子空间的信息，捕捉到更加丰富的特征信息。
具体地，多头注意力机制会计算输入序列之间的相关性，用来关注更加重要的信息。例如多头注意力机制对输入(a1, a2,…, an)进行操作，多头注意力机制会计算每一个输入序列与其他输入序列的相关性，之后会输出相同数量的序列(y1,y2,…,yn)。其中，神经网络模型可以是双向长短时记忆神经网络模型，将第一特征数据和第二特征数据发送至Transformer模型和残差神经网络进行处理，便可得到融合数据。
可以理解的是，在本步骤中利用降维算法和贝叶斯分类器对多模态特征进行学习和判断，并使用损失函数进行训练，得到训练后的分类识别模型，包括S404、S405和S406，其中：
S404、利用t-SNE对多模态特征进行降维计算，得到降维结果；
需要说明的是，将数据从高维数据转到低维数据，并在低维空间里也保持其在高维空间里所携带的信息（比如高维空间里有的清晰的分布特征，转到低维度时也依然存在）。
S405、构建贝叶斯分类器，将降维结果输入至贝叶斯分类器进行分类，识别多模态特征中具备所有模态特征的最大概率，将最大概率记作学习结果。
需要说明的是，本实施例采用此类分类器利用贝叶斯公式来计算后验概率，即P(A|B) = P(A)P(B|A) / P(B)。全概率公式这里也会用到P(B) = P(B|A)P(A)+P(B|A')P(A')，A'代表非A事件；对一复杂事件B的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。那么训练过程包括计算出降维结果属于每一个类别C的概率，并选择其中概率最大的类别作为其类别。即假设计算“眼睛大、鼻梁高、耳朵小”的条件下，这个人脸识别加虹膜识别是张三、李四、王五的概率，即求P(B|LSY)，P(A|LSY)，P(P|LSY)的概率分别是多少，概率最大的认为具备这三种类型的面部特征的概率最大。求解P(B|LSY)，P(A|LSY)，P(P|LSY)的概率分别是93%，0%，7%，因此具备三种面部特征，最大概率是张三。即该特征属于某一类的概率，选择具有最大后验概率类作为该特征所属的类，由最小错误概率判决规则，可得如下的函数作为判别函数：
式中，g（x）为判别函数，为/>发生的先验概率，/>为类别/>的概率密度函数，N为类别数；
S406、采用Adam优化器、交叉熵损失函数以及学习率预热策略对学习结果进行计算，得到训练后的分类识别模型。计算公式如下：
式中，为跨模态Transformer的输出维度，设置为512，/>为预热步数，设置为总步数的0.2倍，step表示迭代次数，由1开始计数。
S500、将人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别，得到识别结果；
需要说明的是，在本步骤后，对识别结果进行跟踪，得到跟踪曲线：将待识别的人脸图像、虹膜图像和平均温度信息发送至已经训练完成的模型中进行机器学习，对输入进去的人脸图像、虹膜图像和平均温度信息融合特征与已经训练的模板库进行匹配判断，得到识别结果，将识别结果与比较模型数据库来进行比较和识别，并识别目标对象的身份信息。因此，提高人员身份识别准确度的实质是尽可能有效地保留待检测的新特征，而模板特征数据库则需要尽可能多地包含特征值信息。即识别人眼时应该保留更多的特征，模板库内井下人员的特征信息应该尽量详细，这样才能提高目标人员身份识别的准确性，并将目标对象进行锁定之后，开始对目标对象进行跟踪，得到目标人员的跟踪曲线，方便后续对目标人员的监控，若有危险，为之后营救行动救援提供了巨大的帮助；若目标人员刷脸考勤后，并没有真正下井到岗，也将会识别并筛查出，并跟踪目标人员，得到跟踪曲线。
综上所述，人脸特征和虹膜特征融合，可以解决单一算法下面的识别率低的问题。在不同的信噪比环境下，人脸识别和虹膜识别效率和准确性比以往的单一识别方法的准确率更高。
在本步骤S500后，可采用贝塞尔曲线对跟踪曲线的关键点进行拟合得到目标对象下井路径，根据目标对象下井路径得到目标对象当前的危险程度；根据危险程度不同，调用井下不同摄像头对目标对象进行再次识别、拍摄和语音提示，进而完成下井工作。
需要说明的是，具体地，根据识别到的跟踪曲线上（也就是已识别到身份的目标对象下井后所行进的曲线上）识别关键点，关键点即为停靠时间较长的地点，利用贝塞尔曲线对所有地点进行标定，并将标定后的曲线划分为多个数据子集，基于决策树算法将每个数据子集进行计算，得到决策树，并对决策树进行裁剪处理，得到目标决策树；利用目标决策树对待识别的跟踪曲线进行识别，得到识别结果；并根据识别结果判断易坍塌、立井、斜井的井底、溜煤眼、下料眼内以及井下大型设备距离目标对象的距离，并根据距离，得到目标对象当前的危险程度。根据危险程度进行分析，若危险等级为轻度危险，则调用距离目标对象最近的摄像头进行识别拍摄；若危险程度为中度或者重度危险，则通过用于采矿场所的通信设备对目标对象进行语音提示并指导正确路径，预防危险发生。能高效准确地识别出井下人员信息，为发生险情时提供更准确的数据和营救行动救援提供帮助。
实施例2
如图2所示，本实施例提供了基于矿用的虹膜和人脸融合识别系统，参见图2所述系统包括获取模块701、处理模块702、结合模块703、融合模块704和识别模块705，其中：
获取模块701：用于获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；
处理模块702：用于对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；
结合模块703：用于提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；
融合模块704：用于通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；
识别模块705：用于将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别。
具体地，所述处理模块702，包括第一处理单元7021、第二处理单元7022和提取单元7023，其中：
第一处理单元7021：用于对目标对象的脸部图像特征进行预处理，得到第一预处理图像，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；
第二处理单元7022：用于对背景环境图像进行预处理，得到第二预处理图像，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；
提取单元7023：用于利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维Gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。
具体地，所述处理模块702，还包括获取单元7024、分割单元7025和第三处理单元7026，其中：
获取单元7024：用于获取虹膜图像归一化展开的灰色直方图，提取灰色直方图的最高峰点将灰色直方图分为第一区域和第二区域；
分割单元7025：用于针对第一区域和第二区域，分别采用最大方差法获取二值化分割的第一阈值和第二阈值，并对虹膜图像采用二值化阈值进行分割处理，得到第一分割处理结果，其中，同一种特征区域的灰度分布情况相同，不同种特征区域的灰度分布不同；
第三处理单元7026：用于调节第一阈值和第二阈值，基于第一分割处理结果，对虹膜图像顶部的内外边缘噪声区域采用二值化阈值分割处理，得到第二分割结果，其中第二分割结果包括黑色部分为噪声区域，白色部分为有效虹膜区域，得到预处理后新的虹膜图像，记作虹膜图像处理结果。
具体地，所述处理模块702，还包括第四处理单元7027、构建单元7028、第一获得单元7029、第二获得单元7030和匹配单元7031，其中：
第四处理单元7027：用于将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；
构建单元7028：用于利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；
第一获得单元7029：用于根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；
第二获得单元7030：用于基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；
匹配单元7031：用于采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。
具体地，所述融合模块704，其中包括第一计算单元7041、第二计算单元7042和输入单元7043，其中：
第一计算单元7041：用于将第一特征数据和第二特征数据发送至Transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；
第二计算单元7042：用于根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；
输入单元7043：用于将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。
具体地，所述融合模块704，其中包括降维计算单元7044、分类识别单元7045和第三计算单元7046，其中：
降维计算单元7044：用于利用t-SNE对多模态特征进行降维计算，得到降维结果；
分类识别单元7045：用于构建贝叶斯分类器，将降维结果输入至贝叶斯分类器进行分类，识别多模态特征中具备所有模态特征的最大概率，将最大概率记作学习结果；
第三计算单元7046：用于采用Adam优化器、交叉熵损失函数以及学习率预热策略对学习结果进行计算，得到训练后的分类识别模型。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.基于矿用的虹膜和人脸融合识别方法，其特征在于，包括：
获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；
对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；
提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；
通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；
将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别，得到识别结果。
2.根据权利要求1所述的基于矿用的虹膜和人脸融合识别方法，其特征在于，所述对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中包括：
对目标对象的脸部图像特征进行预处理，得到第一预处理图像，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；
对背景环境图像进行预处理，得到第二预处理图像，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；
利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维Gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。
3.根据权利要求1所述的基于矿用的虹膜和人脸融合识别方法，其特征在于，所述对虹膜图像进行预处理，其中包括：
获取虹膜图像归一化展开的灰色直方图，提取灰色直方图的最高峰点将灰色直方图分为第一区域和第二区域；
针对第一区域和第二区域，分别采用最大方差法获取二值化分割的第一阈值和第二阈值，并对虹膜图像采用二值化阈值进行分割处理，得到第一分割处理结果，其中，同一种特征区域的灰度分布情况相同，不同种特征区域的灰度分布不同；
调节第一阈值和第二阈值，基于第一分割处理结果，对虹膜图像顶部的内外边缘噪声区域采用二值化阈值分割处理，得到第二分割结果，其中第二分割结果包括黑色部分为噪声区域，白色部分为有效虹膜区域，得到预处理后新的虹膜图像，记作虹膜图像处理结果。
4.根据权利要求1所述的基于矿用的虹膜和人脸融合识别方法，其特征在于，所述对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中还包括：
将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；
利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；
根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；
基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；
采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。
5.根据权利要求1所述的基于矿用的虹膜和人脸融合识别方法，其特征在于，所述通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征，其中包括：
将第一特征数据和第二特征数据发送至Transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；
根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；
将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。
6.根据权利要求1所述的基于矿用的虹膜和人脸融合识别方法，其特征在于，所述利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型，其中包括：
利用t-SNE对多模态特征进行降维计算，得到降维结果；
构建贝叶斯分类器，将降维结果输入至贝叶斯分类器进行分类，识别多模态特征中具备所有模态特征的最大概率，将最大概率记作学习结果；
采用Adam优化器、交叉熵损失函数以及学习率预热策略对学习结果进行计算，得到训练后的分类识别模型。
7.一种基于矿用的虹膜和人脸融合识别系统，其特征在于，包括：
获取模块：用于获取入井前目标对象的人脸图像和虹膜图像，其中人脸图像包括目标对象的脸部图像特征和所处的背景环境图像，虹膜图像包括眼睑、瞳孔以及巩膜图像；
处理模块：用于对人脸图像进行预处理，并提取预处理后的人脸图像中的第一特征数据，其中第一特征数据为人脸图像所在的原始数据空间投影到识别阶段所用到的特征空间中的数据；对虹膜图像进行预处理，得到虹膜图像处理结果，并对虹膜图像处理结果进行特征提取和匹配，得到第二特征数据，其中预处理包括采用图像处理技术对眼睑、瞳孔和巩膜图像进行定位分割处理；
结合模块：用于提取脸部图像特征中人脸轮廓区域，并获取人脸轮廓区域上半部分额头处的红外热辐射信息，结合第一特征数据和第二特征信息，计算得到目标对象的人脸区域的平均温度信息；
融合模块：用于通过特征融合算法对第一特征数据和第二特征数据进行串联融合，得到融合后的用于识别目标对象的多模态特征；利用降维算法和贝叶斯分类器对多模态特征进行学习，并使用损失函数进行训练，得到训练后的分类识别模型；
识别模块：用于将待识别的人脸图像、虹膜图像和平均温度信息输入至训练后的分类识别模型进行识别。
8.根据权利要求7所述的基于矿用的虹膜和人脸融合识别系统，其特征在于，所述处理模块，其中包括：
第一处理单元：用于对目标对象的脸部图像特征进行预处理，得到第一预处理图像，其中预处理的过程包括对目标对象的人脸进行定位、图像去噪、归一化以及角度校正；
第二处理单元：用于对背景环境图像进行预处理，得到第二预处理图像，其中预处理的过程包括调用语义分割数学模型剔除无效背景图像，并对剔除后的背景图像中目标对象是否佩戴安全帽、矿灯和自救器进行识别和判断，识别判断后进行膨胀操作；
提取单元：用于利用弹性束图匹配算法对第一预处理图像和第二预处理图像进行特征提取，得到第一特征数据，其中提取过程包括将二维空间的第一预处理图像和第二预处理图像用等距离网格的标号图表示，标号图的每一个节点采用图像局部特征的二维Gabor小波分解变换系数表示，标号图的边采用相邻两个节点所对应位置的度量信息表示。
9.根据权利要求7所述的基于矿用的虹膜和人脸融合识别系统，其特征在于，所述处理模块，其中还包括：
第四处理单元：用于将虹膜图像处理结果中的眼睑、瞳孔以及巩膜图像分别进行灰度化处理，得到灰度化处理后的第一眼睑图像、第一瞳孔图像和第一巩膜图像；
构建单元：用于利用双层小波变换分别对第一眼睑图像、第一瞳孔图像和第一巩膜图像进行计算得到第一特征向量、第二特征向量和第三特征向量，并基于第一特征向量、第二特征向量和第三特征向量构建第一灰度共生矩阵、第二灰度共生矩阵和第三灰度共生矩阵；
第一获得单元：用于根据第一灰度共生矩阵进行特征提取得到第四特征向量，根据第二灰度共生矩阵进行特征提取得到第五特征向量，根据第三灰度共生矩阵进行特征提取得到第六特征向量；
第二获得单元：用于基于第四特征向量、第五特征向量和第六特征向量得到特征数据，其中第四特征向量包括眼睑图像的纹理特征、第五特征向量包括瞳孔图像的纹理特征和第六特征向量包括巩膜图像的纹理特征；
匹配单元：用于采用汉明距离法，对特征数据进行匹配，得到匹配结果，记作第二特征数据，其中匹配过程采用编码后的特征数据和预设的虹膜特征进行对比。
10.根据权利要求7所述的基于矿用的虹膜和人脸融合识别系统，其特征在于，所述融合模块，其中包括：
第一计算单元：用于将第一特征数据和第二特征数据发送至Transformer模型中，根据点积函数，计算得出第一特征数据和第二特征数据的序列之间的相关性值；
第二计算单元：用于根据相关性，对每一个序列进行逻辑回归函数计算，得到每一个序列的逻辑回归值；
输入单元：用于将每一个序列的逻辑回归值输入至残差神经网络，并把每一个序列的逻辑回归值与它相对应的序列数据相加，得到融合数据，记作用于识别目标对象的多模态特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813864.0A CN117475502B (zh) | 2023-12-27 | 2023-12-27 | 基于矿用的虹膜和人脸融合识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813864.0A CN117475502B (zh) | 2023-12-27 | 2023-12-27 | 基于矿用的虹膜和人脸融合识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117475502A true CN117475502A (zh) | 2024-01-30 |
| CN117475502B CN117475502B (zh) | 2024-03-15 |
Family
ID=89629677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311813864.0A Active CN117475502B (zh) | 2023-12-27 | 2023-12-27 | 基于矿用的虹膜和人脸融合识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117475502B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894107A (zh) * | 2024-03-14 | 2024-04-16 | 山东新竹智能科技有限公司 | 智能建筑安防监控系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932840A (zh) * | 2005-09-16 | 2007-03-21 | 中国科学技术大学 | 基于虹膜和人脸的多模态生物特征身份识别系统 |
| CN111292449A (zh) * | 2020-03-25 | 2020-06-16 | 深圳中科信迅信息技术有限公司 | 一种红外测温人脸识别门禁终端 |
| CN112581668A (zh) * | 2020-12-14 | 2021-03-30 | 成都科瑞特电气自动化有限公司 | 一种矿用唯一性检测装置控制系统 |
| CN112966643A (zh) * | 2021-03-23 | 2021-06-15 | 成都天佑路航轨道交通科技有限公司 | 基于自适应加权的人脸和虹膜融合识别方法及装置 |
| WO2021227124A1 (zh) * | 2020-05-13 | 2021-11-18 | 南京中科道置智能科技有限公司 | 一种基于面部虹膜识别和热成像技术的人脸识别活体检测方法 |
-
2023
- 2023-12-27 CN CN202311813864.0A patent/CN117475502B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932840A (zh) * | 2005-09-16 | 2007-03-21 | 中国科学技术大学 | 基于虹膜和人脸的多模态生物特征身份识别系统 |
| CN111292449A (zh) * | 2020-03-25 | 2020-06-16 | 深圳中科信迅信息技术有限公司 | 一种红外测温人脸识别门禁终端 |
| WO2021227124A1 (zh) * | 2020-05-13 | 2021-11-18 | 南京中科道置智能科技有限公司 | 一种基于面部虹膜识别和热成像技术的人脸识别活体检测方法 |
| CN112581668A (zh) * | 2020-12-14 | 2021-03-30 | 成都科瑞特电气自动化有限公司 | 一种矿用唯一性检测装置控制系统 |
| CN112966643A (zh) * | 2021-03-23 | 2021-06-15 | 成都天佑路航轨道交通科技有限公司 | 基于自适应加权的人脸和虹膜融合识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| BHUYAN, M.K等: "Intoxicated Person Identification Using Thermal Infrared Images and Gait", 《2018 INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS, SIGNAL PROCESSING AND NETWORKING (WISPNET)》, 1 January 2018 (2018-01-01), pages 1 - 3 * |
| 贾倪: "矿井视频人员目标跟踪与煤岩图像识别方法研究", 《中国博士学位论文全文数据库》, no. 9, 15 September 2018 (2018-09-15), pages 1 - 162 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894107A (zh) * | 2024-03-14 | 2024-04-16 | 山东新竹智能科技有限公司 | 智能建筑安防监控系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117475502B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahmoud et al. | Efficient iris segmentation method in unconstrained environments | |
| CN106682578B (zh) | 基于眨眼检测的弱光人脸识别方法 | |
| CN102844766B (zh) | 基于人眼图像的多特征融合身份识别方法 | |
| CN111488804A (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
| CN117475502B (zh) | 基于矿用的虹膜和人脸融合识别方法及系统 | |
| CN106128022B (zh) | 一种智慧金睛识别暴力动作报警方法 | |
| CN111582086A (zh) | 基于多特征的疲劳驾驶识别方法及系统 | |
| CN109255298A (zh) | 一种动态背景中的安全帽检测方法与系统 | |
| CN101201893A (zh) | 一种基于灰度信息的虹膜识别预处理方法 | |
| CN111539276B (zh) | 一种在电力场景下安全帽实时检测的方法 | |
| CN111062303A (zh) | 图像处理方法、系统及计算机存储介质 | |
| KR20140067604A (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| Shakya et al. | Human behavior prediction using facial expression analysis | |
| CN117372917A (zh) | 一种基于多维特征融合的安防异常行为识别方法 | |
| CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
| Jain et al. | Fusion of iris and sclera using phase intensive rubbersheet mutual exclusion for periocular recognition | |
| Lee et al. | Robust iris recognition baseline for the grand challenge | |
| CN114241542A (zh) | 基于图像拼接的人脸识别方法 | |
| Ives et al. | Iris recognition using the ridge energy direction (RED) algorithm | |
| Alkoot et al. | A review on advances in iris recognition methods | |
| KR101107308B1 (ko) | 영상 검색 및 인식 방법 | |
| Trokielewicz | Linear regression analysis of template aging in iris biometrics | |
| CN111738059A (zh) | 一种面向无感场景的人脸识别方法 | |
| CN115273150A (zh) | 基于人体姿态估计的安全帽佩戴的新型识别方法及系统 | |
| CN115100704A (zh) | 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |