CN113887371A - 一种用于低分辨率人脸识别的数据增强方法 - Google Patents
一种用于低分辨率人脸识别的数据增强方法 Download PDFInfo
- Publication number
- CN113887371A CN113887371A CN202111132441.3A CN202111132441A CN113887371A CN 113887371 A CN113887371 A CN 113887371A CN 202111132441 A CN202111132441 A CN 202111132441A CN 113887371 A CN113887371 A CN 113887371A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- resolution
- low
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 230000001815 facial effect Effects 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于低分辨率人脸识别的数据增强方法，包括：1)从训练数据集中抽取一个批次的人脸图像样本；2)从批次中随机地选取若干张人脸图像样本；3)对选取到的人脸图像样本进行预先设定倍率的下采样，得到低分辨人脸图像样本；4)对低分辨率人脸图像样本进行恢复和重建，得到与原始图像尺寸相同的高清人脸图像样本；5)使用重建的高清人脸图像样本替换步骤1)中该批次内对应位置上的原始人脸图像样本；6)将替换后的该批次人脸图像样本送入预先选定的人脸识别模型进行优化；7)验证人脸识别模型的性能是否达标，若达标，则停止训练；若不达标，则重复步骤1)‑7)。本发明解决了现有的人脸识别算法在低分辨率场景下准确率低的问题。
Description
技术领域
本发明涉及人脸识别的技术领域，尤其是指一种用于低分辨率人脸识别的数据增强方法。
背景技术
人脸识别是一种基于人脸的生物特征识别技术，由于其具有隐蔽性、唯一性和直接性等优势，因而被广泛应用于视频监控、智能安防、金融系统、公安系统和交通管理系统等领域，并且在未来的5G和物联网领域有着极大的研究价值和广泛的应用前景。
低分辨率人脸识别是一种经常遇到的识别场景。在实际应用中，我们经常采集到一些低分辨率的人脸图像，如监控视频、交管系统的电子眼图像数据等。然而，现有的人脸识别算法大多是在限制条件下设计并开发的，如光照条件、面部姿态、人脸和摄像头的距离等都是相对固定的，其输入的人脸图像也是相对清晰的。因此，在将现有的人脸识别算法直接应用到低分辨人脸输入的场景时，其性能会产生巨大的下降。目前，尽管有方法使用人脸超分辨率算法将低分辨率图像恢复重建为高清图像后送入人脸识别算法，但这种简单的两个网络前后串联的结合并不能有效提升其在低分辨人脸识别场景下的准确率。目前的人脸识别算法在低分辨率人脸输入场景下的性能和限定(高清)人脸输入场景下的性能仍然有较大的差距。
综合以上论述，发明一种用于低分辨率人脸识别的数据增强方法，具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种用于低分辨率人脸识别的数据增强方法，通过使用人脸超分辨算法增加了训练数据的多样性，使得现有的人脸识别算法可以学习到更加丰富和更具鲁棒性的人脸特征，从而提升了当前的人脸识别算法在低分辨率人脸识别场景下的性能。该数据增强方法通过提升人脸超分辨率算法和人脸识别算法之间的协作配合，解决了人脸识别算法在低分辨率人脸输入条件下识别性能低的问题。该数据增强方法不仅适用于低分辨率的人脸识别场景，同样也适用于低分辨情况下的其它人脸分析算法。实际操作中只需将人脸识别算法替换为其它人脸分析算法即可。
为实现上述目的，本发明所提供的技术方案为：一种用于低分辨率人脸识别的数据增强方法，包括以下步骤：
1)从训练数据集中抽取一个批次的人脸图像样本，每个批次包含数量固定的具有相同尺寸的人脸图像样本；
2)根据预先设定的概率，从步骤1)的批次中随机地选取若干张人脸图像样本；
3)以预先设定的插值方法，对步骤2)中选取到的人脸图像样本进行预先设定倍率的下采样，得到低分辨人脸图像样本；
4)使用预先选定的人脸超分辨率算法，对步骤3)中的低分辨率人脸图像样本进行恢复和重建，得到与原始图像尺寸相同的高清人脸图像样本；
5)使用步骤4)中重建的高清人脸图像样本替换步骤1)中该批次内对应位置上的原始人脸图像样本；
6)将步骤5)中替换后的该批次人脸图像样本送入预先选定的人脸识别模型，并对其参数进行优化；
7)验证人脸识别模型的性能是否达标，若达标，则停止训练；若不达标，则重复步骤1)至步骤7)。
进一步，在步骤1)中，人脸图像样本的尺寸是根据预先选定的人脸识别模型的输入尺寸设定的。
进一步，在步骤2)中，假设预先设定的概率p∈[0,1]，该批次人脸图像样本的数目为N，人脸图像样本的选取包括以下步骤：
2.1)随机初始化一个长度为N的向量
其各个位置上元素的取值范围为[0,1]，并满足均匀分布；
2.2)依次将
中的每个元素与p进行比较，若大于p，则将该元素赋值为0，若小于p，则将该元素赋值为1；
2.3)根据
中元素为1的位置从步骤1)的批次中选取对应位置上的人脸图像样本。
进一步，在步骤3)中，预先设定倍率是根据选定的人脸超分辨率算法的扩增倍率决定的，以确保该步骤中的低分辨率人脸图像样本经过恢复后具有与原始人脸图像样本相同的尺寸。
进一步，在步骤4)中，预先选定的人脸超分辨率算法能够将一张低分率人脸图像以固定的扩增倍率转化为高清的人脸图像。
进一步，在步骤5)中，使用重建后的人脸图像样本替换原始的人脸图像样本时，其位置是一一对应的，即步骤2.2)中
所确定的位置。
进一步，在步骤6)中，人脸识别模型的参数优化包括根据输入的人脸图像进行前向传播并计算损失，然后根据该损失进行反向传播并计算模型中各个参数的梯度值，最后根据得到的梯度值更新模型参数。
进一步，在步骤7)中，人脸识别模型的性能是在公开的标杆数据集上进行测试的，这里主要测试其在低分辨率人脸图像输入下的识别性能；在进行低分辨率人脸识别时，步骤4)中的人脸超分辨率算法和步骤6)中的人脸识别模型是相互协作的，即将一张低分辨率人脸图像送入人脸超分辨率算法并恢复为高清人脸图像后，再将其送入人脸识别模型进行识别，从而提升人脸识别模型在低分辨人脸图像测试条件下的准确率。
本发明与现有技术相比，具有如下优点与有益效果：
1、通过使用人脸超分辨率算法，进一步扩充了现有的人脸数据集并增加了其多样性，有利于模型学习到更加丰富的人脸特征。
2、通过在本数据增强方法处理过的数据集上重新训练或微调现有的人脸识别模型，进一步提升了人脸超分辨率算法和人脸识别模型之间的协作配合，从而极大地提升了现有的人脸识别模型在超低分辨人脸输入场景下的准确率。
3、本发明属于轻量的在线数据增强方法，既不会占用大量的存储空间，也不会增加过多计算资源的消耗，有利于快速地将其嵌入到其它训练过程中。
4、本发明属于通用的数据增强方法，不仅适用于低分率场景下的人脸识别算法(模型)，也适用于低分辨率场景下的其它人脸分析算法，如人脸对齐、关键点检测、3D人脸重建等。
附图说明
图1为本发明方法的数据处理流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实例所提供的用于低分辨率人脸识别的数据增强方法，包括以下步骤：
1)选定用于训练的数据集为MS-Celeb-1M-V2(包含来自85742个不同类别的5822653张人脸图像样本),并从该数据集中抽取一个批次的人脸图像样本，其中包含的人脸图像的数量为32，大小为112×112×3(分别代表输入图片的长、宽和色彩通道数)，像素值为范围从-1到1的浮点数。
2)设定每张图片被选取的概率p＝0.45，根据该批次人脸图像的数量N＝32，人脸图像样本的选取包括以下步骤：
2.1)随机初始化一个长度为N的向量
其各个位置上元素的取值范围为[0,1]，并满足均匀分布；
2.2)依次将
中的每个元素与p进行比较，若大于p，则将该元素赋值为0，若小于p，则将该元素赋值为1；
2.3)根据
中元素为1的位置从步骤1)的批次中选取对应位置上的人脸图像样本；每一批次中被选取的人脸图像样本的数量是不固定的，但总体上该数量的平均数为p×N。
3)选定下采样的插值方法为双三次插值算法(Bicubic interpolation)，下采样倍率为8；对步骤2)中选取的人脸图像样本进行下采样，得到低分辨率人脸图像样本，其大小为14×14×3。
4)选定人脸超分辨算法为FMANet，该网络的扩增倍率为8；使用FMANet对步骤3)中的低分辨人脸图像样本进行恢复和重建，得到高清人脸图像样本，其大小为112×112×3。
5)使用步骤4)中重建的高清人脸图像样本替换步骤1)中该批次内对应位置上的原始人脸图像样本，其中需要替换的位置由
所确定。
6)选定人脸识别模型为ResNet100，网络输入是形状为32×112×112×3的张量，输出的特征是形状为32×512的张量，其中32为该批次中样本的数量，512为预先设定的特征维度；将步骤5)中替换后的该批次人脸图像样本送入ResNet100进行前向传播，计算该批次样本的损失值；然后根据该损失值进行反向传播并计算模型中各个参数的梯度值，最后根据得到的梯度值更新模型参数。
7)选择用于验证的数据集为LFW，Age DB和CFP-FP，设定步骤6)中人脸识别模型在此三个验证集上的目标性能指标分别为99％，95％，90％。其中，这三个数据集中的人脸图像样本均通过双三次插值算法被下采样到14×14×3的大小。分别验证模型在这三个验证集上的低分辨率人脸识别性能，其过程包括以下两个步骤：
7.1)使用FMANet对来自验证数据集的低分辨率人脸图像样本进行恢复和重建，得到高清的人脸图像样本，大小为112×112×3；
7.2)将重建后的高清图像样本送入ResNet100提取人脸特征并计算准确率。
根据上述验证过程得到的准确率，判断其是否达到目标性能，若达标，则停止训练；若不达标，则重复步骤1)至步骤7)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种用于低分辨率人脸识别的数据增强方法，其特征在于，包括以下步骤：
1)从训练数据集中抽取一个批次的人脸图像样本，每个批次包含数量固定的具有相同尺寸的人脸图像样本；
2)根据预先设定的概率，从步骤1)的批次中随机地选取若干张人脸图像样本；
3)以预先设定的插值方法，对步骤2)中选取到的人脸图像样本进行预先设定倍率的下采样，得到低分辨人脸图像样本；
4)使用预先选定的人脸超分辨率算法，对步骤3)中的低分辨率人脸图像样本进行恢复和重建，得到与原始图像尺寸相同的高清人脸图像样本；
5)使用步骤4)中重建的高清人脸图像样本替换步骤1)中该批次内对应位置上的原始人脸图像样本；
6)将步骤5)中替换后的该批次人脸图像样本送入预先选定的人脸识别模型，并对其参数进行优化；
7)验证人脸识别模型的性能是否达标，若达标，则停止训练；若不达标，则重复步骤1)至步骤7)。
2.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤1)中，人脸图像样本的尺寸是根据预先选定的人脸识别模型的输入尺寸设定的。
3.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤2)中，假设预先设定的概率p∈[0,1]，该批次人脸图像样本的数目为N，人脸图像样本的选取包括以下步骤：
2.1)随机初始化一个长度为N的向量
其各个位置上元素的取值范围为[0,1]，并满足均匀分布；
2.2)依次将
中的每个元素与p进行比较，若大于p，则将该元素赋值为0，若小于p，则将该元素赋值为1；
2.3)根据
中元素为1的位置从步骤1)的批次中选取对应位置上的人脸图像样本。
4.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤3)中，预先设定倍率是根据选定的人脸超分辨率算法的扩增倍率决定的，以确保该步骤中的低分辨率人脸图像样本经过恢复后具有与原始人脸图像样本相同的尺寸。
5.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤4)中，预先选定的人脸超分辨率算法能够将一张低分率人脸图像以固定的扩增倍率转化为高清的人脸图像。
6.根据权利要求3所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤5)中，使用重建后的人脸图像样本替换原始的人脸图像样本时，其位置是一一对应的，即步骤2.2)中
所确定的位置。
7.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤6)中，人脸识别模型的参数优化包括根据输入的人脸图像进行前向传播并计算损失，然后根据该损失进行反向传播并计算模型中各个参数的梯度值，最后根据得到的梯度值更新模型参数。
8.根据权利要求1所述的一种用于低分辨率人脸识别的数据增强方法，特征在于，在步骤7)中，人脸识别模型的性能是在公开的标杆数据集上进行测试的，这里主要测试其在低分辨率人脸图像输入下的识别性能；在进行低分辨率人脸识别时，步骤4)中的人脸超分辨率算法和步骤6)中的人脸识别模型是相互协作的，即将一张低分辨率人脸图像送入人脸超分辨率算法并恢复为高清人脸图像后，再将其送入人脸识别模型进行识别，从而提升人脸识别模型在低分辨人脸图像测试条件下的准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132441.3A CN113887371B (zh) | 2021-09-26 | 一种用于低分辨率人脸识别的数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132441.3A CN113887371B (zh) | 2021-09-26 | 一种用于低分辨率人脸识别的数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113887371A true CN113887371A (zh) | 2022-01-04 |
| CN113887371B CN113887371B (zh) | 2024-05-28 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521810A (zh) * | 2011-12-16 | 2012-06-27 | 武汉大学 | 一种基于局部约束表示的人脸超分辨率重建方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN108509915A (zh) * | 2018-04-03 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
| CN111414888A (zh) * | 2020-03-31 | 2020-07-14 | 杭州博雅鸿图视频技术有限公司 | 低分辨率人脸识别方法、系统、装置及存储介质 |
| CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
| CN112818764A (zh) * | 2021-01-15 | 2021-05-18 | 西安交通大学 | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 |
| CN113420665A (zh) * | 2021-06-23 | 2021-09-21 | 平安国际智慧城市科技股份有限公司 | 对抗人脸图像生成、人脸识别模型训练方法、装置及设备 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521810A (zh) * | 2011-12-16 | 2012-06-27 | 武汉大学 | 一种基于局部约束表示的人脸超分辨率重建方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN108509915A (zh) * | 2018-04-03 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
| CN111414888A (zh) * | 2020-03-31 | 2020-07-14 | 杭州博雅鸿图视频技术有限公司 | 低分辨率人脸识别方法、系统、装置及存储介质 |
| CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
| CN112818764A (zh) * | 2021-01-15 | 2021-05-18 | 西安交通大学 | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 |
| CN113420665A (zh) * | 2021-06-23 | 2021-09-21 | 平安国际智慧城市科技股份有限公司 | 对抗人脸图像生成、人脸识别模型训练方法、装置及设备 |
Non-Patent Citations (4)
| Title |
|---|
| 卢涛等: "基于图像超分辨极限学习机的极低分辨率人脸识别", 计算机应用, vol. 36, no. 02, 29 February 2016 (2016-02-29), pages 580 - 585 * |
| 朱海等: "基于深度超分辨率重建的监控图像人脸识别", 电子测量技术, vol. 41, no. 16, 31 August 2018 (2018-08-31), pages 61 - 64 * |
| 罗莉莎等: "道路监控视频低清人脸重建与识别方法研究", 计算机时代, no. 01, 31 January 2020 (2020-01-31), pages 26 - 29 * |
| 陈湘骥: "基于多尺度相似学习的图像超分辨率重建算法研究", 中国博士学位论文全文数据库信息科技辑, no. 05, 15 May 2015 (2015-05-15), pages 138 - 72 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
| Shamsolmoali et al. | Deep convolution network for surveillance records super-resolution | |
| CN109785236B (zh) | 一种基于超像素和卷积神经网络的图像超分辨方法 | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN111161360A (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| Wang et al. | Adversarial multi-path residual network for image super-resolution | |
| Li et al. | DLGSANet: lightweight dynamic local and global self-attention networks for image super-resolution | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN104537381A (zh) | 一种基于模糊不变特征的模糊图像识别方法 | |
| CN113034361A (zh) | 一种基于改进esrgan的遥感影像超分重建方法 | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| Bai et al. | Survey of learning based single image super-resolution reconstruction technology | |
| He et al. | Global priors guided modulation network for joint super-resolution and SDRTV-to-HDRTV | |
| Catalbas | Modified VDSR-based single image super-resolution using naturalness image quality evaluator | |
| CN113887371B (zh) | 一种用于低分辨率人脸识别的数据增强方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| Yang et al. | Bokehornot: Transforming bokeh effect with image transformer and lens metadata embedding | |
| CN116228576A (zh) | 基于注意力机制与特征增强的图像去雾方法 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN113887371A (zh) | 一种用于低分辨率人脸识别的数据增强方法 | |
| Zhou et al. | Mixed Attention Densely Residual Network for Single Image Super-Resolution. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |