CN110602411A - 一种逆光环境下的人脸图像质量提升方法 - Google Patents

一种逆光环境下的人脸图像质量提升方法 Download PDF

Info

Publication number
CN110602411A
CN110602411A CN201910724789.8A CN201910724789A CN110602411A CN 110602411 A CN110602411 A CN 110602411A CN 201910724789 A CN201910724789 A CN 201910724789A CN 110602411 A CN110602411 A CN 110602411A
Authority
CN
China
Prior art keywords
face
training
quality
backlight
improving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910724789.8A
Other languages
English (en)
Inventor
张欢
李爱林
陈海东
陈兴委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co Ltd
Original Assignee
Shenzhen Huafu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co Ltd filed Critical Shenzhen Huafu Information Technology Co Ltd
Priority to CN201910724789.8A priority Critical patent/CN110602411A/zh
Publication of CN110602411A publication Critical patent/CN110602411A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开的属于数码摄像技术领域，具体为一种逆光环境下的人脸图像质量提升方法，该逆光环境下的人脸图像质量提升方法如下：S1：利用卷积神经网络进行深度学习，对人脸的轮廓位置进行定位训练，通过相机对人脸进行样本采集，S2：对步骤S1中的采集样本进行人工标注人脸位置，并将采集数据进行存储，S3：对步骤S2中存储采集数据通过深度学习方法，使用人脸边框预测的残差平方和作为损失函数来进行训练与学习，完成对人脸的轮廓定位的训练，并根据局部测光的结果进行曝光强度的调节训练，本发明通过综合使用神经网络技术以及摄像头调整策略，最终提高逆光环境下的人脸图像质量。该方法具有以下特点：兼容性佳，速度快，定位准确。

Description

一种逆光环境下的人脸图像质量提升方法
技术领域
本发明涉及数码摄像技术领域，具体为一种逆光环境下的人脸图像质量提升方法。
背景技术
在现有的拍照留念的行为为大众所重视时，各种数码摄像设备广受欢迎，而如何在逆光环境下的人脸图像质量提升是人脸识别产品的关键特性与难点,效果好坏直接影响产品的体验和兼容性。
现有方法之一是用背光补偿靠提升视场中央部分的亮度、降低视场四周部分的亮度来达到看清位于中央位置内物体的目的是以牺牲画面的对比度为代价的,且缺乏人脸目标不在视场中央时的动态灵活性。
现有方法之二是利用宽动态技术(HDR)基于多帧图像合成的多次曝光，不同帧之间的曝光采取时间差异，对明亮部分进行短曝。但由于快门速度不同，在两张(或更多)构成合成宽动态图像的单独快照中，捕捉图像时场景的移动部分会出现在不同的位置。宽动态打开时，其它方面的指数就会有所降低，比如清晰度、灵敏度、色彩等等，画面有可能会变得稍微模糊，色彩饱和度下降，画面显得较淡；在低照度环境中灵敏度下降等。
所以如何在逆光场景下实现人脸图像质量提升是需要不断改进优化的问题。
发明内容
本发明的目的在于提供一种逆光环境下的人脸图像质量提升方法，以解决上述背景技术中提出的如何在逆光场景下实现人脸图像质量提升的问题。
为实现上述目的，本发明提供如下技术方案：一种逆光环境下的人脸图像质量提升方法，该逆光环境下的人脸图像质量提升方法如下：
S1：利用卷积神经网络进行深度学习，对人脸的轮廓位置进行定位训练，通过相机对人脸进行样本采集；
S2：对步骤S1中的采集样本进行人工标注人脸位置，并将采集数据进行存储；
S3：对步骤S2中存储采集数据通过深度学习方法，使用人脸边框预测的残差平方和作为损失函数来进行训练与学习，完成对人脸的轮廓定位的训练；
S4：对步骤S3中的检测出的区域做局部测光，并根据局部测光的结果进行曝光强度的调节训练。
优选的，所述步骤S2中的采集样本采取逆光下脸部细节丢失的正脸、逆光下脸部细节丢失的侧脸、正常人脸、正常侧脸进行正反样本的搭配。
优选的，所述步骤S2中的采集数据采用VOC格式进行存储。
优选的，所述步骤S4中根据局部测光结果，该局部区域曝光过强则减小ISO、减小光圈、增加快门速度使测光区域区域柔和不过曝,曝光不足则增大ISO、增大光圈、降低快门速度使测光区域柔和不欠曝。
优选的，所述步骤S1中的卷积神经网络和所述步骤S4中的曝光强度调节训练均采用Tiny-DSOD计算网络进行训练学习。
与现有技术相比，本发明的有益效果是：本发明通过综合使用神经网络技术以及摄像头调整策略，最终提高逆光环境下的人脸图像质量。该方法具有以下特点：
兼容性佳：针对不同强度光环境特别是极端逆光环境下人脸细节完全丢失的场景下均能有效兼容。
速度快：仅通过一帧图像输入做处理判断,调整后第二帧即可获得质量提升。
定位准确：人脸在摄像头图像中的不同位置均能有效定位。
附图说明
图1为本发明系统原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1，本发明提供一种技术方案：一种逆光环境下的人脸图像质量提升方法，该逆光环境下的人脸图像质量提升方法如下：
S1：利用Tiny-DSOD计算网络进行深度学习，对人脸的轮廓位置进行定位训练，通过相机对人脸进行样本采集；
由于深度学习需要大量的训练数据，而针对特定任务需求的训练样本往往是有限的，通常情况下，目标检测算法会先使用在海量数据(如ImageNet数据集)上训练好的分类模型对需要训练的网络参数进行初始化(pre-train预训练)，然后使用训练样本对网络参数进行微调(fine-tune)，而Tiny-DSOD算法是一种无需预训练，直接基于训练样本从零开始训练目标检测模型的方法，能够从零开始训练检测网络，且效果可以与目前性能最好的模型相媲美，实现了轻量化模型设计，适用于移动端存储与部署。
DSOD的网络分为两个部分：提取特征的backbone网络和预测结果的前端网络。backbone网络是深度监督网络DenseNets的变形，由stem block、四个dense blocks、两个2个transition layers和2个transition w/o pooling layers组成。预测网络同样使用dense结构融合多尺度特征进行预测。
S2：对步骤S1中的采集样本进行人工标注人脸位置，采集样本采取逆光下脸部细节丢失的正脸、逆光下脸部细节丢失的侧脸、正常人脸、正常侧脸进行正反样本的搭配，增多各种情况拍摄下的对人脸轮廓的定位捕捉，提高数据样本数量，从而实现对多情况下人脸不易察觉中的对人脸轮廓的定位捕捉，更加适用于逆光下对人脸轮廓的定位，并以VOC格式将采集数据进行存储，通过VOC的数据集，并且按照VOC的数据集自身的架构，实现了深度学习中VOC数据集自身进行train文件训练数据存储，val文件的验证数据存储，trainval文件对所有训练和验证数据的存储，test文件的测试数据存储，实现了基于Tiny-DSOD计算网络进行学习时将深度学习的数据均保存在VOC数据集中；
S3：对步骤S2中存储采集数据通过Tiny-DSOD计算网络进行训练学习，使用人脸边框预测的残差平方和作为损失函数来进行训练与学习，完成对人脸的轮廓定位的训练；
S4：对步骤S3中的检测出的区域做局部测光，并根据局部测光的结果进行曝光强度的调节训练，根据局部测光结果，该局部区域曝光过强则减小ISO、减小光圈、增加快门速度使测光区域区域柔和不过曝,曝光不足则增大ISO、增大光圈、降低快门速度使测光区域柔和不欠曝，从而实现仅通过一帧图像输入做处理判断,调整后第二帧即可获得质量提升。
局部测光是TTL测光的一种方式，为的是确定画面中央部分的曝光，可对被摄体各个部位进行精密的测光。可对画面的某一局部进行测光，当被摄主体与背景有着强烈明暗反差，而且被摄主体所占画面的比例不大时，运用这种测光方式最合适；在这种情况下，局部测光比中央重点加权平均测光和点测光方式准确，又不像点测光方式那样由于测光点太狭小需要一定测光经验才不容易失误。从而适用于逆光环境下对人脸这一被摄主体抓捕后，从而在被摄主体所占画面比例不大时使用，测光更为准确，从而便于进行曝光增加和曝光降低调节使用，适合配用Tiny-DSOD计算网络下进行深度学习使用，从而提高逆光环境下的人脸图像质量提升。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种逆光环境下的人脸图像质量提升方法，其特征在于：该逆光环境下的人脸图像质量提升方法如下：
S1：利用卷积神经网络进行深度学习，对人脸的轮廓位置进行定位训练，通过相机对人脸进行样本采集；
S2：对步骤S1中的采集样本进行人工标注人脸位置，并将采集数据进行存储；
S3：对步骤S2中存储采集数据通过深度学习方法，使用人脸边框预测的残差平方和作为损失函数来进行训练与学习，完成对人脸的轮廓定位的训练；
S4：对步骤S3中的检测出的区域做局部测光，并根据局部测光的结果进行曝光强度的调节训练。
2.根据权利要求1所述的一种逆光环境下的人脸图像质量提升方法，其特征在于：所述步骤S2中的采集样本采取逆光下脸部细节丢失的正脸、逆光下脸部细节丢失的侧脸、正常人脸、正常侧脸进行正反样本的搭配。
3.根据权利要求1所述的一种逆光环境下的人脸图像质量提升方法，其特征在于：所述步骤S2中的采集数据采用VOC格式进行存储。
4.根据权利要求1所述的一种逆光环境下的人脸图像质量提升方法，其特征在于：所述步骤S4中根据局部测光结果，该局部区域曝光过强则减小ISO、减小光圈、增加快门速度使测光区域区域柔和不过曝,曝光不足则增大ISO、增大光圈、降低快门速度使测光区域柔和不欠曝。
5.根据权利要求1所述的一种逆光环境下的人脸图像质量提升方法，其特征在于：所述步骤S1中的卷积神经网络和所述步骤S4中的曝光强度调节训练均采用Tiny-DSOD计算网络进行训练学习。
CN201910724789.8A 2019-08-07 2019-08-07 一种逆光环境下的人脸图像质量提升方法 Pending CN110602411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910724789.8A CN110602411A (zh) 2019-08-07 2019-08-07 一种逆光环境下的人脸图像质量提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910724789.8A CN110602411A (zh) 2019-08-07 2019-08-07 一种逆光环境下的人脸图像质量提升方法

Publications (1)

Publication Number Publication Date
CN110602411A true CN110602411A (zh) 2019-12-20

Family

ID=68853738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910724789.8A Pending CN110602411A (zh) 2019-08-07 2019-08-07 一种逆光环境下的人脸图像质量提升方法

Country Status (1)

Country Link
CN (1) CN110602411A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488054A (zh) * 2020-12-17 2021-03-12 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112866581A (zh) * 2021-01-18 2021-05-28 盛视科技股份有限公司 摄像头自动曝光补偿方法、装置及电子设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973991A (zh) * 2014-05-12 2014-08-06 华中科技大学 一种基于b-p神经网络判断照明场景的自动曝光方法
CN105245786A (zh) * 2015-09-09 2016-01-13 厦门美图之家科技有限公司 一种基于智能测光的自拍方法、自拍系统及拍摄终端
CN105740758A (zh) * 2015-12-31 2016-07-06 上海极链网络科技有限公司 基于深度学习的互联网视频人脸识别方法
CN106534714A (zh) * 2017-01-03 2017-03-22 南京地平线机器人技术有限公司 曝光控制方法、装置和电子设备
WO2017097798A1 (en) * 2015-12-10 2017-06-15 Knorr-Bremse Systeme für Schienenfahrzeuge GmbH Railway vehicle maintenance system with modular recurrent neural networks for performing time series prediction
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置
CN107770451A (zh) * 2017-11-13 2018-03-06 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端和存储介质
CN107911625A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 测光方法、装置、可读存储介质和计算机设备
CN108090417A (zh) * 2017-11-27 2018-05-29 上海交通大学 一种基于卷积神经网络的人脸检测方法
CN108182394A (zh) * 2017-12-22 2018-06-19 浙江大华技术股份有限公司 卷积神经网络的训练方法、人脸识别方法及装置
CN108197601A (zh) * 2018-01-29 2018-06-22 深圳市巨龙创视科技有限公司 一种智能人脸跟踪曝光系统
CN108230257A (zh) * 2017-11-15 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN108881710A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109242089A (zh) * 2018-07-27 2019-01-18 大国创新智能科技(东莞)有限公司 递进监督深度学习神经网络训练方法、系统、介质和设备
CN109547701A (zh) * 2019-01-04 2019-03-29 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN109684967A (zh) * 2018-12-17 2019-04-26 东北农业大学 一种基于ssd卷积网络的大豆植株茎荚识别方法
US20190130545A1 (en) * 2017-11-01 2019-05-02 Google Llc Digital image auto exposure adjustment
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973991A (zh) * 2014-05-12 2014-08-06 华中科技大学 一种基于b-p神经网络判断照明场景的自动曝光方法
CN105245786A (zh) * 2015-09-09 2016-01-13 厦门美图之家科技有限公司 一种基于智能测光的自拍方法、自拍系统及拍摄终端
WO2017097798A1 (en) * 2015-12-10 2017-06-15 Knorr-Bremse Systeme für Schienenfahrzeuge GmbH Railway vehicle maintenance system with modular recurrent neural networks for performing time series prediction
CN105740758A (zh) * 2015-12-31 2016-07-06 上海极链网络科技有限公司 基于深度学习的互联网视频人脸识别方法
CN106534714A (zh) * 2017-01-03 2017-03-22 南京地平线机器人技术有限公司 曝光控制方法、装置和电子设备
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置
US20190130545A1 (en) * 2017-11-01 2019-05-02 Google Llc Digital image auto exposure adjustment
CN107770451A (zh) * 2017-11-13 2018-03-06 广东欧珀移动通信有限公司 拍照处理的方法、装置、终端和存储介质
CN108230257A (zh) * 2017-11-15 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN108090417A (zh) * 2017-11-27 2018-05-29 上海交通大学 一种基于卷积神经网络的人脸检测方法
CN107911625A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 测光方法、装置、可读存储介质和计算机设备
CN108182394A (zh) * 2017-12-22 2018-06-19 浙江大华技术股份有限公司 卷积神经网络的训练方法、人脸识别方法及装置
CN108881710A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN108197601A (zh) * 2018-01-29 2018-06-22 深圳市巨龙创视科技有限公司 一种智能人脸跟踪曝光系统
CN109242089A (zh) * 2018-07-27 2019-01-18 大国创新智能科技(东莞)有限公司 递进监督深度学习神经网络训练方法、系统、介质和设备
CN109684967A (zh) * 2018-12-17 2019-04-26 东北农业大学 一种基于ssd卷积网络的大豆植株茎荚识别方法
CN109547701A (zh) * 2019-01-04 2019-03-29 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488054A (zh) * 2020-12-17 2021-03-12 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112488054B (zh) * 2020-12-17 2023-10-27 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112866581A (zh) * 2021-01-18 2021-05-28 盛视科技股份有限公司 摄像头自动曝光补偿方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
CN107241558B (zh) 曝光处理方法、装置和终端设备
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN107833197A (zh) 图像处理的方法、装置、计算机可读存储介质和电子设备
CN114119378A (zh) 图像融合方法、图像融合模型的训练方法和装置
CN111126325A (zh) 一种基于视频的智能人员安防识别统计方法
CN113159019B (zh) 一种基于光流变换的暗光视频增强方法
CN113824884B (zh) 拍摄方法与装置、摄影设备及计算机可读存储介质
CN113643214B (zh) 一种基于人工智能的图像曝光校正方法及系统
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
CN110602411A (zh) 一种逆光环境下的人脸图像质量提升方法
CN110478862A (zh) 一种健身指导系统及其指导方法
CN109379584A (zh) 一种复杂环境光应用条件下的相机系统及像质调节方法
CN115063331B (zh) 基于多尺度块lbp算子无鬼影多曝光图像融合方法
CN110414558A (zh) 基于事件相机的特征点匹配方法
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
CN108322648A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107220945A (zh) 多重退化的极模糊图像的复原方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN106780544A (zh) 图像前景提取的方法和装置
CN110557572A (zh) 一种图像处理方法、装置及卷积神经网络系统
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220