CN115471887A - 一种无白光补光灯的双摄人脸识别方法、设备及介质 - Google Patents
一种无白光补光灯的双摄人脸识别方法、设备及介质 Download PDFInfo
- Publication number
- CN115471887A CN115471887A CN202211042869.3A CN202211042869A CN115471887A CN 115471887 A CN115471887 A CN 115471887A CN 202211042869 A CN202211042869 A CN 202211042869A CN 115471887 A CN115471887 A CN 115471887A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- color
- camera
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000005286 illumination Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 41
- 239000013589 supplement Substances 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 101001128138 Homo sapiens NACHT, LRR and PYD domains-containing protein 2 Proteins 0.000 claims description 9
- 101001128135 Homo sapiens NACHT, LRR and PYD domains-containing protein 4 Proteins 0.000 claims description 9
- 101000982939 Homo sapiens PAN2-PAN3 deadenylation complex catalytic subunit PAN2 Proteins 0.000 claims description 9
- 101000742934 Homo sapiens Retinol dehydrogenase 14 Proteins 0.000 claims description 9
- 102100031897 NACHT, LRR and PYD domains-containing protein 2 Human genes 0.000 claims description 9
- 102100031898 NACHT, LRR and PYD domains-containing protein 4 Human genes 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 7
- 101001109455 Homo sapiens NACHT, LRR and PYD domains-containing protein 6 Proteins 0.000 claims description 6
- 101001113056 Homo sapiens PAN2-PAN3 deadenylation complex subunit PAN3 Proteins 0.000 claims description 6
- 102100022696 NACHT, LRR and PYD domains-containing protein 6 Human genes 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000017525 heat dissipation Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种无白光补光灯的双摄人脸识别方法，包括：获取真实彩色图像和红外图像；处理得到实验彩色图像；输入实验彩色图像和红外图像进行训练，输出融合图像；计算出损失函数并调整模型参数；启动检测程序，等待光照亮度值稳定，获取当前的光照亮度值和白平衡值，当光照亮度值和白平衡值达到切换条件时，进行亮场模式和暗场模式的切换；若当前处于亮场模式，根据彩色摄像头和红外摄像头执行人脸识别；若当前处于暗场模式，采集当前环境下的目标彩色图像和目标红外图像，输入到图像融合模型，得到目标融合图像，根据目标融合图像和红外摄像头执行人脸识别。本发明还提供一种电子设备和介质，解决人在夜晚不会因为白光补光灯感觉刺眼的问题。
Description
技术领域
本发明涉及人脸识别技术领域，尤其是涉及一种无白光补光灯的双摄人脸识别方法、设备及介质。
背景技术
当前楼宇对讲对于小款主机设备的需求越来越高，针对于小款主机设备的主要难点为结构空间的利用情况、散热效果等。人们对生活品质的舒适度要求更高，常规的补光灯方式需要突兀显示补光灯位置，且补光灯为了满足在黑暗环境下进行人脸识别的要求需要将亮度调高，导致白光会刺眼，尤其是在暗场打开灯光的瞬间会使用户有不好的体验。
现有技术采用白光补光灯在黑暗环境下进行人脸识别的方式存在以下几个问题：
1、采用白光补光灯进行补光，白光补光灯所需要的功耗大，为了灯光寿命，需要对补光灯进行散热处理，就会采用铝基板等散热快的板材，这样造成成本会增加；
2、白光补光灯的补光效果和体验差异，有的用户需求在远距离处就开始补光，则白光补光灯需要更亮；白光补光灯亮度过亮就会导致白光很刺眼，需要降低白光补光灯亮度；
3、产品外观会因为有白色补光的匀光膜导致设备外观略显突兀，影响美感。
发明内容
为解决上述问题，本发明提供一种无白光补光灯的双摄人脸识别方法，取消由白光补光灯进行补光，可以解决人在夜晚不会因为白光补光灯感觉刺眼的问题。
本发明是通过以下技术方案予以实现：
本发明提供了一种无白光补光灯的双摄人脸识别方法，所述方法包括如下步骤：
步骤1、获取复数张在光线充足情况下的真实彩色图像和红外图像；并将所有真实彩色图像进行变暗处理得到实验彩色图像；
步骤2、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练，所述图像融合模型根据图像融合方法和模型参数对实验彩色图像和红外图像进行融合，输出融合图像；
步骤3、根据融合图像、真实彩色图像和损失函数公式计算出损失函数，根据损失函数的结果调整该模型参数继续训练，直至损失函数的值稳定，认为图像融合模型训练成功；
步骤4、启动检测程序，环境场景包括亮场模式和暗场模式，默认切换为亮场模式，等待光照亮度值稳定，通过彩色摄像头的图像信号处理器获取到当前环境的光照亮度值和白平衡值，当所述光照亮度值和白平衡值达到切换条件时，进行亮场模式和暗场模式的切换；
步骤5、若当前处于亮场模式，则根据彩色摄像头和红外摄像头执行人脸识别；若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像，将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显，并根据目标融合图像和红外摄像头执行人脸识别。
进一步的，所述步骤1具体包括：
步骤11、通过彩色摄像头拍摄复数张在光线充足的情况下的真实彩色图像，同时通过红外摄像头拍摄复数张在相同状态下的红外图像；
步骤12、将所有所述真实彩色图像的分辨率和对比度降低得到低分率的实验彩色图像；
步骤13、将所有实验彩色图像和红外图像作为数据集，所述数据集包括复数组图像数据，每组图像数据包括同一环境下的一张红外图像和一张实验彩色图像，将所述真实彩色图像作为数据集的真实标签。
进一步的，所述步骤2具体包括：
步骤21、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练；
步骤22、所述图像融合模型采用FusionCNN图像融合方法进行融合，所述模型参数包括每个卷积核对应的卷积核参数；
步骤23、所述实验彩色图像MS通过3*3卷积核及其卷积核参数将通道数提升到32，得到实验彩色图像MS1；所述实验彩色图像MS1通过3*3卷积核及其卷积核参数将通道数提升到64，得到实验彩色图像MS2；所述实验彩色图像MS2通过3*3卷积核及其卷积核参数将通道数提升到128，得到实验彩色图像MS3；
步骤24、所述红外图像PAN通过3*3卷积核及其卷积核参数将通道数提升到32，得到红外图像PAN1；所述红外图像PAN1通过3*3卷积核及其卷积核参数将通道数提升到64，得到红外图像PAN2；所述红外图像PAN2通过3*3卷积核及其卷积核参数将通道数提升到128，得到红外图像PAN3；
步骤25、将所述实验彩色图像MS与红外图像PAN进行拼接，并通过1*1卷积核及其卷积核参数将通道数提升为64，得到拼接图像PANMS1；所述拼接图像PANMS1再与实验彩色图像MS1和红外图像PAN1拼接，同样利用1*1卷积核及其卷积核参数调整通道数至128，得到拼接图像PANMS2；所述拼接图像PANMS2再与实验彩色图像MS2和红外图像PAN2拼接，同样利用1*1卷积核及其卷积核参数调整通道数至256，得到拼接图像PANMS3；
步骤26、再将所述实验彩色图像MS3、拼接图像PANMS3与红外图像PAN3拼接，利用1*1卷积核及其卷积核参数调整通道数至3，得到融合图像F并输出。
进一步的，所述步骤3具体包括：
步骤31、在训练图像融合模型过程中，先将所有组图像数据随机分配，按设定比例划分出训练集、验证集与测试集；
步骤32、利用之前在CIFAR开源数据集中已经训练好的模型作为图像融合模型的预训练模型；
步骤33、每次输入所述训练集中的一组图像数据到图像融合模型进行训练，输出融合图像；
步骤34、将所述融合图像和真实彩色图像代入损失函数公式进行计算，得到损失函数，所述损失函数公式为：
其中，I为真实彩色图像，F为融合图像，n为训练集容量，PAN为红外图像，MS为实验彩色图像，θ为图像融合模型的模型参数，L(θ)为损失函数；
步骤35、每训练一个周期，就使用验证集进行一次验证，观察训练集与验证集计算出来的损失函数的值的变化，判断损失函数的值是否趋于平稳，若是，则认为图像融合模型拟合成功，图像融合模型收敛；若否，则进入步骤36；
步骤36、对图像融合模型的模型参数进行微调优化，优化算法采用Adam下降算法，设置初始化步长，根据步长大小进行优化；重复步骤33-35继续训练，直至损失函数的值稳定；
步骤37、所述图像融合模型训练完后，使用测试集进行多次测试。
进一步的，所述步骤4具体包括：
步骤41、预先设置亮度的阈值：DN_MAX和DN_MIN，以及白平衡的阈值：AWB_MAX和AWB_MIN；
步骤42、启动检测程序，默认切换为亮场模式，等待光照亮度值稳定；
步骤43、通过彩色摄像头的图像信号处理器获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否大于DN_MAX，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否小于AWB_MIN，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，重复步骤43进行m次检测且结果相同后，切换为暗场模式，再次等待光照亮度值稳定；
步骤44、通过彩色摄像头的图像信号处理器获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否小于DN_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否大于AWB_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，重复步骤44进行m次检测且结果相同后，切换为亮场模式。
进一步的，所述步骤4中等待光照亮度值稳定；具体包括：
步骤45、通过彩色摄像头采集当前环境下的当前彩色图像；
步骤46、所述彩色摄像头的图像信号处理器根据当前彩色图像获取其光照亮度值；
步骤47、连续采集n次光照亮度值，并检测连续n次的光照亮度值是否都是白天的光照亮度值或者都是夜间的光照亮度值，若是，则认为光照稳定，可以进行检测；否则，继续获取光照亮度值。
进一步的，所述步骤5具体包括：
步骤51、若当前处于亮场模式，则说明当前环境光线充足，则通过彩色摄像头拍下目标彩色图像进行回显，再通过彩色摄像头进行人脸检测，并绘制出人脸框，彩色摄像头和红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标彩色图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程；
步骤52、若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像；
步骤53、将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显；
步骤54、再通过红外摄像头进行人脸检测，并绘制出人脸框，红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标融合图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程。
进一步的，所述步骤54中通过红外摄像头进行人脸检测过程中还包括：
进入暗场模式后，所述红外摄像头下的红外补光灯默认调整为最大功率，当检测到人脸时，将检测到的人脸大小映射为人脸和红外摄像头的距离，红外摄像头根据该距离大小，并采用PWM接口自动调节红外补光灯的功率大小，从而调整亮度大小；
在所述彩色摄像头和红外摄像头的屏幕上半部分采用暖色调纯色图片作为背景，在屏幕下半部作为图像预览界面。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种无白光补光灯的双摄人脸识别方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的一种无白光补光灯的双摄人脸识别方法。
本发明的有益效果是：
本发明是使得人脸识别在暗场环境下，不通过白色补光灯，采用彩色摄像头和红色摄像头完成图像回显及人脸识别，彩色摄像头保证图像可以显示正常颜色，红色摄像头保证图像的清晰度，通过多次输入暗场环境下的彩色图像和红外图像到图像融合模型进行融合后来模拟光线充足下的真实彩色图像，通过训练好的图像融合模型可以获得接近真实的图像，使得图像回显效果和人脸识别效果更好；
1、降低了设备的功耗和成本，删除了白色灯及散热器件；
2、提升用户体验，取消由白光灯进行补光，不会在夜晚的时候因为白光补光灯感觉刺眼；
3、外观的可选择性更多，提升产品美感，可以提高产品的综合竞争力。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的一种无白光补光灯的双摄人脸识别方法流程图。
图2是本发明实施例中图像融合模型的结构示意图。
图3是本发明实施例中亮场模式和暗场模式在不同切换条件下的切换流程图。
图4是本发明实施例中光照亮度稳定判断的流程图。
图5是本发明实施例中不同环境模式下的人脸识别流程图。
图6是本发明实施例提供的一种电子设备的示意图。
图7是本发明实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1-5所示，本发明实施例提供了一种一种无白光补光灯的双摄人脸识别方法，所述方法包括如下步骤：
步骤1、获取复数张在光线充足情况下的真实彩色图像和红外图像；并将所有真实彩色图像进行变暗处理得到实验彩色图像；
在本实施例中，该步骤具体包括：
步骤11、通过彩色摄像头拍摄复数张在光线充足的情况下的真实彩色图像，同时通过红外摄像头拍摄复数张在相同状态下的红外图像；
步骤12、将所有所述真实彩色图像的分辨率和对比度降低得到低分率的实验彩色图像；
步骤13、将所有实验彩色图像和红外图像作为数据集，所述数据集包括复数组图像数据，每组图像数据包括同一环境下的一张红外图像和一张实验彩色图像，将所述真实彩色图像作为数据集的真实标签；
该步骤的目的是在采集数据，方便对图像融合模型进行训练，每次训练都要相同环境下的红外图像和实验彩色图像才能融合出模拟真实彩色图像的融合图像，是图像融合模型的前提；
步骤2、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练，所述图像融合模型根据图像融合方法和模型参数对实验彩色图像和红外图像进行融合，输出融合图像；
在本实施例中，如图2所示，该步骤具体包括：
步骤21、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练；
步骤22、所述图像融合模型采用FusionCNN图像融合方法进行融合，所述模型参数包括每个卷积核对应的卷积核参数；
步骤23、所述实验彩色图像MS通过3*3卷积核及其卷积核参数将通道数提升到32，得到实验彩色图像MS1；所述实验彩色图像MS1通过3*3卷积核及其卷积核参数将通道数提升到64，得到实验彩色图像MS2；所述实验彩色图像MS2通过3*3卷积核及其卷积核参数将通道数提升到128，得到实验彩色图像MS3；
步骤24、所述红外图像PAN通过3*3卷积核及其卷积核参数将通道数提升到32，得到红外图像PAN1；所述红外图像PAN1通过3*3卷积核及其卷积核参数将通道数提升到64，得到红外图像PAN2；所述红外图像PAN2通过3*3卷积核及其卷积核参数将通道数提升到128，得到红外图像PAN3；
步骤25、将所述实验彩色图像MS与红外图像PAN进行拼接，并通过1*1卷积核及其卷积核参数将通道数提升为64，得到拼接图像PANMS1；所述拼接图像PANMS1再与实验彩色图像MS1和红外图像PAN1拼接，同样利用1*1卷积核及其卷积核参数调整通道数至128，得到拼接图像PANMS2；所述拼接图像PANMS2再与实验彩色图像MS2和红外图像PAN2拼接，同样利用1*1卷积核及其卷积核参数调整通道数至256，得到拼接图像PANMS3；
步骤26、再将所述实验彩色图像MS3、拼接图像PANMS3与红外图像PAN3拼接，利用1*1卷积核及其卷积核参数调整通道数至3，得到融合图像F并输出；
此步骤是采用将红外摄像头的灰度图与彩色摄像头的彩色图相融合的方法，来得到更好的预览效果，其原理是希望将灰度图得到的纹理信息将其与彩色图的色彩相融合，采用Ye fanjie等人提出的FusionCNN图像融合方法，这一步是图像进行融合的依据。
步骤3、根据融合图像、真实彩色图像和损失函数公式计算出损失函数，根据损失函数的结果调整该模型参数继续训练，直至损失函数的值稳定，认为图像融合模型训练成功；
在本实施例中，如图3所示，该步骤具体包括：
步骤31、在训练图像融合模型过程中，先将所有组图像数据随机分配，按设定比例划分出训练集、验证集与测试集；比例可设置为8：1：1；8:1:1的训练集、验证集和测试集指的是每八B还原为A的过程函数的均方差会加入B1-B8，一个图片验证函数是否能较大程度的还原为A1-A8，若还原度很差，则调整模型参数。加入一个完全没进入训练集的B9的图片验证是否能较大程度的还原A9；
步骤32、利用之前在CIFAR开源数据集中已经训练好的模型作为图像融合模型的预训练模型；
步骤33、每次输入所述训练集中的一组图像数据到图像融合模型进行训练，输出融合图像；
步骤34、将所述融合图像和真实彩色图像代入损失函数公式进行计算，得到损失函数，所述损失函数公式为：
其中，I为真实彩色图像，F为融合图像，n为训练集容量，PAN为红外图像，MS为实验彩色图像，θ为图像融合模型的模型参数，L(θ)为损失函数；真实彩色图像：指的是正常设备，正常环境下拍摄特定位置的图片，记作A图(效果良好)。将真实彩色图像通过降低分辨率、对比度及色彩亮度等，得到处理后的实验真实彩色图像，记作B图。B图还原为A图的过程可以得到一个函数，定义了还原的过程。每一个B图还原为A图的过程就可以得到许多组函数，将函数定义合成均方差的公式，就可以得到一个损失函数公式。这个损失函数公式就是我们的算法。
步骤35、每训练一个周期，就使用验证集进行一次验证，观察训练集与验证集计算出来的损失函数的值的变化，判断损失函数的值是否趋于平稳，若是，则认为图像融合模型拟合成功，图像融合模型收敛；若否，则进入步骤36；通过验证集进行验证是为了确保不发生过拟合；
步骤36、对图像融合模型的模型参数进行微调优化，优化算法采用Adam下降算法，设置初始化步长为0.001，根据步长大小进行优化，并保存每10个周期的模型参数；重复步骤33-35继续训练，直至损失函数的值稳定；
步骤37、所述图像融合模型训练完后，使用测试集进行多次测试；图像融合模型收敛后，则认为将正常暗场彩色图像与红外图像输入到图像融合模型可以得到融合图片为所希望的图像；
此步骤是对图像融合模型进行训练的过程，这一步是后期在暗场模式下的人脸识别提供前提。
步骤4、启动检测程序，环境场景包括亮场模式和暗场模式，默认切换为亮场模式，等待光照亮度值稳定，通过彩色摄像头的图像信号处理器获取到当前环境的光照亮度值和白平衡值，当所述光照亮度值和白平衡值达到切换条件时，进行亮场模式和暗场模式的切换；
在本实施例中，该步骤具体包括：
步骤41、预先设置亮度的阈值：DN_MAX和DN_MIN，以及白平衡的阈值：AWB_MAX和AWB_MIN；阈值的设定是切换条件的依据；
步骤42、启动检测程序，默认切换为亮场模式，等待光照亮度值稳定；
步骤43、通过彩色摄像头的图像信号处理器ISP获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否大于DN_MAX，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否小于AWB_MIN，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，重复步骤43进行m次检测且结果相同后，切换为暗场模式，再次等待光照亮度值稳定；
步骤44、通过彩色摄像头的图像信号处理器获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否小于DN_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否大于AWB_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，重复步骤44进行m次检测且结果相同后，切换为亮场模式；
此步骤是对不同环境模式(亮场模式和暗场模式)进行切换时的具体过程，不同环境模式所采用的人脸识别方式也有不同。当获取到稳定的gain值后，会根据亮度值gain和白平衡值，进行3次状态判断，在判断过程中，会对切换条件做临界判断，如果3次得到的结果相同，就会进行切换，若3次得到的结果不同，则不进行切换。采用上述机制可以有效的避免震荡带来的不良影响，提升用户体验。
在本实施例中，如图4所示，所述步骤4中等待光照亮度值稳定；具体包括：
步骤45、通过彩色摄像头采集当前环境下的当前彩色图像；
步骤46、所述彩色摄像头的图像信号处理器根据当前彩色图像获取其光照亮度值；
步骤47、连续采集n次光照亮度值，并检测连续n次的光照亮度值是否都是白天的光照亮度值或者都是夜间的光照亮度值，若是，则认为光照稳定，可以进行检测；否则，继续获取光照亮度值；数值n由用户自行设定；这里n＝3；
由于环境亮度可能存在一定范围内的频繁变化，ISP获取的亮度值gain不稳定，为避免获取到数据震荡，导致亮场和暗场模式来回切换，在开始检测时，会先检测gain值是否趋于稳定状态。避免物体在镜头面前不停晃动时的不停切换，设计的思想是如果认为镜头面前光线变化太大，那么就是不会进行切换的，等待曝光稳定，检测光照强度必须要连续3次都是白天的光照亮度或者都是夜间的亮度才会进行切换。
步骤5、若当前处于亮场模式，则根据彩色摄像头和红外摄像头执行人脸识别；若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像，将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显，并根据目标融合图像和红外摄像头执行人脸识别；
在本实施例中，如图5所示，该步骤具体包括：
步骤51、若当前处于亮场模式，则说明当前环境光线充足，则通过彩色摄像头拍下目标彩色图像进行回显，再通过彩色摄像头进行人脸检测，并绘制出人脸框，彩色摄像头和红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标彩色图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程；
步骤52、若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像；
步骤53、将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显；
步骤54、再通过红外摄像头进行人脸检测，并绘制出人脸框，红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标融合图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程；
此步骤是不同环境模式下的人脸识别方法，在亮场模式下，使用彩色摄像头输入的图像来检测人脸提取人脸特征进行人脸识别以及界面预览，使用红外摄像头进行辅助活体检测；在暗场模式下，使用红外摄像头来作为主摄像头，采用红外补光灯，进行人脸检测、识别、活体检测，结合FusionCNN图像融合方法进行界面预览。
在本实施例中，所述步骤54中通过红外摄像头进行人脸检测过程中还包括：
进入暗场模式后，所述红外摄像头下的红外补光灯默认调整为最大功率，当检测到人脸时，将检测到的人脸大小映射为人脸和红外摄像头的距离，红外摄像头根据该距离大小，并采用PWM接口自动调节红外补光灯的功率大小，从而调整亮度大小；暗场下进行人脸识别时，为了让红外摄像头能够拍摄更远更清晰的图像，提升识别距离，同时兼顾人脸靠近时图像不至于过曝，红外补光灯采用PWM接口结合功率由红外摄像头自动调整算法进行自动功率调节，功率越大，亮度越大。进入暗场模式后，红外补光灯默认调整为最大功率，可以在更远的距离检测到人脸，把检测到的人脸大小映射为人脸和摄像头的距离，当进入一个设定的近距离阈值范围内，调小红外补光灯功率，解决人脸过曝问题，提升图像质量和识别效果。
在所述彩色摄像头和红外摄像头的屏幕上半部分采用暖色调纯色图片作为背景，在屏幕下半部作为图像预览界面；这是为了减少亮场暗场临界状态下摄像头预览界面中的图像内容大幅度变化引起的亮度震荡对切换算法的影响，对人脸识别界面进行了调整，在屏幕上部分采用了较大面积温和的暖色调纯色图片作为背景，在屏幕下半部辅以较小面积的摄像头图像预览界面。
如图6所示，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种无白光补光灯的双摄人脸识别方法。
如图7所示，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种无白光补光灯的双摄人脸识别方法。
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种无白光补光灯的双摄人脸识别方法，其特征在于，所述方法包括如下步骤：
步骤1、获取复数张在光线充足情况下的真实彩色图像和红外图像；并将所有真实彩色图像进行变暗处理得到实验彩色图像；
步骤2、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练，所述图像融合模型根据图像融合方法和模型参数对实验彩色图像和红外图像进行融合，输出融合图像；
步骤3、根据融合图像、真实彩色图像和损失函数公式计算出损失函数，根据损失函数的结果调整该模型参数继续训练，直至损失函数的值稳定，认为图像融合模型训练成功；
步骤4、启动检测程序，环境场景包括亮场模式和暗场模式，默认切换为亮场模式，等待光照亮度值稳定，通过彩色摄像头的图像信号处理器获取到当前环境的光照亮度值和白平衡值，当所述光照亮度值和白平衡值达到切换条件时，进行亮场模式和暗场模式的切换；
步骤5、若当前处于亮场模式，则根据彩色摄像头和红外摄像头执行人脸识别；若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像，将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显，并根据目标融合图像和红外摄像头执行人脸识别。
2.根据权利要求1所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤1具体包括：
步骤11、通过彩色摄像头拍摄复数张在光线充足的情况下的真实彩色图像，同时通过红外摄像头拍摄复数张在相同状态下的红外图像；
步骤12、将所有所述真实彩色图像的分辨率和对比度降低得到低分率的实验彩色图像；
步骤13、将所有实验彩色图像和红外图像作为数据集，所述数据集包括复数组图像数据，每组图像数据包括同一环境下的一张红外图像和一张实验彩色图像，将所述真实彩色图像作为数据集的真实标签。
3.根据权利要求1所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤2具体包括：
步骤21、每次输入一组同一环境下的所述实验彩色图像和红外图像给图像融合模型进行训练；
步骤22、所述图像融合模型采用FusionCNN图像融合方法进行融合，所述模型参数包括每个卷积核对应的卷积核参数；
步骤23、所述实验彩色图像MS通过3*3卷积核及其卷积核参数将通道数提升到32，得到实验彩色图像MS1；所述实验彩色图像MS1通过3*3卷积核及其卷积核参数将通道数提升到64，得到实验彩色图像MS2；所述实验彩色图像MS2通过3*3卷积核及其卷积核参数将通道数提升到128，得到实验彩色图像MS3；
步骤24、所述红外图像PAN通过3*3卷积核及其卷积核参数将通道数提升到32，得到红外图像PAN1；所述红外图像PAN1通过3*3卷积核及其卷积核参数将通道数提升到64，得到红外图像PAN2；所述红外图像PAN2通过3*3卷积核及其卷积核参数将通道数提升到128，得到红外图像PAN3；
步骤25、将所述实验彩色图像MS与红外图像PAN进行拼接，并通过1*1卷积核及其卷积核参数将通道数提升为64，得到拼接图像PANMS1；所述拼接图像PANMS1再与实验彩色图像MS1和红外图像PAN1拼接，同样利用1*1卷积核及其卷积核参数调整通道数至128，得到拼接图像PANMS2；所述拼接图像PANMS2再与实验彩色图像MS2和红外图像PAN2拼接，同样利用1*1卷积核及其卷积核参数调整通道数至256，得到拼接图像PANMS3；
步骤26、再将所述实验彩色图像MS3、拼接图像PANMS3与红外图像PAN3拼接，利用1*1卷积核及其卷积核参数调整通道数至3，得到融合图像F并输出。
4.根据权利要求2所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤3具体包括：
步骤31、在训练图像融合模型过程中，先将所有组图像数据随机分配，按设定比例划分出训练集、验证集与测试集；
步骤32、利用之前在CIFAR开源数据集中已经训练好的模型作为图像融合模型的预训练模型；
步骤33、每次输入所述训练集中的一组图像数据到图像融合模型进行训练，输出融合图像；
步骤34、将所述融合图像和真实彩色图像代入损失函数公式进行计算，得到损失函数，所述损失函数公式为：
其中，I为真实彩色图像，F为融合图像，n为训练集容量，PAN为红外图像，MS为实验彩色图像，θ为图像融合模型的模型参数，L(θ)为损失函数；
步骤35、每训练一个周期，就使用验证集进行一次验证，观察训练集与验证集计算出来的损失函数的值的变化，判断损失函数的值是否趋于平稳，若是，则认为图像融合模型拟合成功，图像融合模型收敛；若否，则进入步骤36；
步骤36、对图像融合模型的模型参数进行微调优化，优化算法采用Adam下降算法，设置初始化步长，根据步长大小进行优化；重复步骤33-35继续训练，直至损失函数的值稳定；
步骤37、所述图像融合模型训练完后，使用测试集进行多次测试。
5.根据权利要求1所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤4具体包括：
步骤41、预先设置亮度的阈值：DN_MAX和DN_MIN，以及白平衡的阈值：AWB_MAX和AWB_MIN；
步骤42、启动检测程序，默认切换为亮场模式，等待光照亮度值稳定；
步骤43、通过彩色摄像头的图像信号处理器获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否大于DN_MAX，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否小于AWB_MIN，若否，则保持亮场模式，再次等待光照亮度值稳定；若是，重复步骤43进行m次检测且结果相同后，切换为暗场模式，再次等待光照亮度值稳定；
步骤44、通过彩色摄像头的图像信号处理器获取到当前环境下的光照亮度值gain和白平衡值TWB，判断光照亮度值gain是否小于DN_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，再判断白平衡值TWB是否大于AWB_MAX，若否，则保持暗场模式，再次等待光照亮度值稳定；若是，重复步骤44进行m次检测且结果相同后，切换为亮场模式。
6.根据权利要求1所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤4中等待光照亮度值稳定；具体包括：
步骤45、通过彩色摄像头采集当前环境下的当前彩色图像；
步骤46、所述彩色摄像头的图像信号处理器根据当前彩色图像获取其光照亮度值；
步骤47、连续采集n次光照亮度值，并检测连续n次的光照亮度值是否都是白天的光照亮度值或者都是夜间的光照亮度值，若是，则认为光照稳定，可以进行检测；否则，继续获取光照亮度值。
7.根据权利要求1所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤5具体包括：
步骤51、若当前处于亮场模式，则说明当前环境光线充足，则通过彩色摄像头拍下目标彩色图像进行回显，再通过彩色摄像头进行人脸检测，并绘制出人脸框，彩色摄像头和红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标彩色图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程；
步骤52、若当前处于暗场模式，则通过彩色摄像头和红色摄像头采集当前环境下的目标彩色图像和目标红外图像；
步骤53、将目标彩色图像和目标红外图像输入到训练好的图像融合模型，得到目标融合图像进行回显；
步骤54、再通过红外摄像头进行人脸检测，并绘制出人脸框，红外摄像头根据该人脸框检测是否活体，若是，则根据该人脸框和目标融合图像提取人脸特征，并与数据库的人脸特征比对进行人脸识别；若否，则结束流程。
8.根据权利要求7所述的一种无白光补光灯的双摄人脸识别方法，其特征在于，所述步骤54中通过红外摄像头进行人脸检测过程中还包括：
进入暗场模式后，所述红外摄像头下的红外补光灯默认调整为最大功率，当检测到人脸时，将检测到的人脸大小映射为人脸和红外摄像头的距离，红外摄像头根据该距离大小，并采用PWM接口自动调节红外补光灯的功率大小，从而调整亮度大小；
在所述彩色摄像头和红外摄像头的屏幕上半部分采用暖色调纯色图片作为背景，在屏幕下半部作为图像预览界面。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的一种无白光补光灯的双摄人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一项所述的一种无白光补光灯的双摄人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211042869.3A CN115471887A (zh) | 2022-08-29 | 2022-08-29 | 一种无白光补光灯的双摄人脸识别方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211042869.3A CN115471887A (zh) | 2022-08-29 | 2022-08-29 | 一种无白光补光灯的双摄人脸识别方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115471887A true CN115471887A (zh) | 2022-12-13 |
Family
ID=84369138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211042869.3A Pending CN115471887A (zh) | 2022-08-29 | 2022-08-29 | 一种无白光补光灯的双摄人脸识别方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471887A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116242254A (zh) * | 2023-05-12 | 2023-06-09 | 厦门微亚智能科技有限公司 | 手机屏体及fpc上预留基准点的同步检测方法和装置 |
-
2022
- 2022-08-29 CN CN202211042869.3A patent/CN115471887A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116242254A (zh) * | 2023-05-12 | 2023-06-09 | 厦门微亚智能科技有限公司 | 手机屏体及fpc上预留基准点的同步检测方法和装置 |
| CN116242254B (zh) * | 2023-05-12 | 2023-09-01 | 厦门微亚智能科技股份有限公司 | 手机屏体及fpc上预留基准点的同步检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791471B (zh) | 图像优化方法、图像优化装置和终端 | |
| CN106973278B (zh) | 一种参照人脸色彩特征的自动白平衡装置及方法 | |
| CN106454077B (zh) | 拍摄方法、拍摄装置和终端 | |
| EP2083566A2 (en) | Image capturing apparatus, image processing apparatus and method, and program therefor | |
| CN101115149B (zh) | 图像处理方法 | |
| CN107566695B (zh) | 一种补光方法及移动终端 | |
| CN108289173B (zh) | 一种摄像控制方法、装置、终端设备及存储介质 | |
| CN107948538A (zh) | 成像方法、装置、移动终端和存储介质 | |
| US9743009B2 (en) | Image processing method and image processing device | |
| CN114596620B (zh) | 人脸识别设备补光控制方法、装置、设备及存储介质 | |
| CN105872402A (zh) | 智能电视的拍照方法及系统 | |
| CN116055897B (zh) | 拍照方法及其相关设备 | |
| CN115471887A (zh) | 一种无白光补光灯的双摄人脸识别方法、设备及介质 | |
| CN111601373A (zh) | 背光亮度控制方法、装置、移动终端及存储介质 | |
| JP5316070B2 (ja) | 撮像装置 | |
| CN111541937B (zh) | 画质调整方法、电视机设备及计算机存储介质 | |
| CN112911146B (zh) | 基于人脸的智能调光方法 | |
| CN111724447A (zh) | 一种图像处理方法、系统及电子设备和存储介质 | |
| CN106791462B (zh) | 一种移动终端前置摄像头拍照补光的方法及系统 | |
| CN111726542A (zh) | 一种摄像头补光方法及终端、存储介质 | |
| CN111179877B (zh) | 一种屏幕显示效果的调节方法、移动设备及存储装置 | |
| JP5732799B2 (ja) | 画像処理装置、撮像装置、画像処理プログラム | |
| JP4885079B2 (ja) | デジタルカメラ、撮影方法及び撮影プログラム | |
| CN111553953B (zh) | 夜视仪伪彩标定系统和方法 | |
| CN113891139B (zh) | 一种操作界面主题切换方法、终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |