CN111275646B - 一种基于深度学习知识蒸馏技术的保边图像平滑方法 - Google Patents
一种基于深度学习知识蒸馏技术的保边图像平滑方法 Download PDFInfo
- Publication number
- CN111275646B CN111275646B CN202010066280.1A CN202010066280A CN111275646B CN 111275646 B CN111275646 B CN 111275646B CN 202010066280 A CN202010066280 A CN 202010066280A CN 111275646 B CN111275646 B CN 111275646B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- network
- structural
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003706 image smoothing Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005516 engineering process Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习知识蒸馏技术的保边图像平滑方法，属于图像处理技术领域。该方法基于新型的深度学习知识蒸馏技术，将边缘检测老师网络的边缘检测能力蒸馏到图像平滑学生网络里，从而使得学生网络具有保边的图像平滑能力。其中学生网络的任务是进行图像平滑，老师网络的任务是提取结构性边缘的信息。利用老师网络向学生网络进行结构性边缘知识的蒸馏迁移，使学生网络在进行图像平滑的任务的同时，具备老师网络的保留结构性边缘能力。本发明能够在不额外引入保留边缘信息的深度网络前提下保留图像平滑的结构性边缘，克服了传统图像平滑增强方法中如不能很好地保留图像边缘信息、模糊等图像质量损失的视觉影响，极大地提高了图像平滑的效果。
Description
技术领域
本发明属于图像处理技术领域，特别涉及到一种基于新型深度学习知识蒸馏技术的保边图像平滑方法。
背景技术
近年来随着多媒体技术的蓬勃发展，以及工业界的广泛需求，图像处理技术的应用场景不断扩大。现有的图像可以分为全局结构和局部纹理的融合，图像的纹理在一定程度上会影响图像结构信息的自动提取。此外，由于人们对拍照技术的需求，在拍摄人脸时会需要对脸部进行“磨皮”美化，从而使人脸显得更加美观。在进行风格迁移的时候，需要保留结构边缘而忽略具体纹理信息。基于这些需求，我们在拍摄图像后需要对图像进行保边性的平滑处理，从而使其更好地用于后续的图像美化、分析和处理。图像平滑技术是为了某种特定的需求，保留图像中的全局结构信息，去除图像中的局部纹理信息的一类计算机视觉任务。图像平滑的主要目的是通过增强图像结构相对于图像纹理的视觉效果，使得平滑后的图像更加便于人类或者机器进行分析和处理。图像平滑技术已经被广泛应用于各大手机拍照技术和社交媒体等领域中，在我们的生活中发挥着十分重要的作用。例如，美颜相机通常利用图像平滑技术对人脸进行平滑处理。
然而，在图像平滑任务中，还存在一些亟待解决的难点。比如图像平滑技术如何更好地保留结构性边缘的信息。人类直接通过人眼可以本能地在一幅图像复杂的纹理信息中提取有意义的结构性信息。然而，计算机程序很难自动区分图像中的结构信息和纹理信息，现有的图像平滑技术可能会为了去掉纹理信息而把结构的边缘部分也平滑掉。保留边缘的图像平滑技术可以在去除纹理的同时自动保留结构性边缘信息，这是一项非常具有挑战性的任务，对于计算机视觉应用非常重要。
Hinton等人在2015年公开的文章Distilling the knowledge in a NeuralNetwork(NIPS 2014 Deep Learning Workshop)首次提出了深度学习知识蒸馏的框架，引入“学生网络”与“老师网络”的概念，目的是将多个训练后的老师网络的知识集中迁移到一个学生网络中。这里利用知识蒸馏将分类数据集的“硬标签”推广到“软化标签”，从而可以学习到不同标签的图像之间的相似程度。训练好老师网络后，老师网络具备了提供隐藏在标签外的额外判别性和相似性知识，再通过知识蒸馏技术将该知识迁移到学生网络中。近年来随着计算设备的完善与改进，神经网络发展十分迅速。由于其具有强大的表示能力，目前神经网络已经被广泛应用于计算机视觉、自然语言处理等研究领域。目前关于神经网络的一大研究热点在于将神经网络部署在便携嵌入式设备中。由于神经网络本身的性质，往往其参数量越大则其模型性能越强。但是网络模型参数越多，网络需要占用更多的内存资源，运行也极为耗时，这与工业界占用资源少、运算时间短的需求相悖。而知识蒸馏技术可以有助于解决这一问题。知识蒸馏技术利用一个或多个具有大参数量的老师网络去提升一个具有小参数量的学生网络的性能。学生网络很可能最终性能无法与老师网络媲美，但是却比脱离老师网络而单独训练的学生网络更加强大。
然而常用的深度学习知识蒸馏方法并不能直接用在保边图像平滑任务里。其原因是在我们的任务里，老师网络主要是提取结构性边缘信息，学生网络主要是去除图像中的局部纹理。直接用训练好的老师网络来蒸馏学生网络，只能得到具有图像边缘提取和检测的学生网络，并不能得到具有图像平滑能力的学生网络。因此，我们提出一种新型的基于深度学习知识蒸馏技术，并运用到保边图像平滑任务里。这个方法可以在完成图像平滑任务的同时，具备保留结构性边缘的能力。
发明内容
本发明需要解决的技术问题是针对图像平滑任务中，在图像纹理被去掉的同时，保留图像的结构性边缘信息。本发明的目的是提出一种基于新型的深度学习知识蒸馏技术，将老师网络的提取结构性边缘能力向图像平滑的学生网络进行知识迁移，使学生网络在进行图像平滑的同时，可以具备老师网络的保留结构性边缘能力。
本发明的实现过程如下：
可选的，选择已有的深度学习模型或者重新训练一个深度学习模型作为老师网络，包括：
训练深度神经网络进行边缘检测任务；
可选的，利用老师网络辅助训练图像平滑学生网络，迭代包括：
将输入图像I输入到学生网络，得到平滑图像Is；
将输入图像I与平滑后的平滑图像Is分别输入到老师网络，得到输入图像的结构性边缘标签Ie与平滑图像的结构性边缘信息Ise；
将输入图像I利用现有常用的图像平滑算法(如L0)得到平滑图像标签Igt；
利用损失函数分别计算平滑图像Is与平滑图像标签Igt之间的距离损失，以及平滑图像的结构性边缘信息Ise与输入图像的结构性边缘标签Ie之间的距离损失；
对两种损失进行加权求和得到距离损失总和；
利用损失总和对学生网络进行梯度回传，更新学生网络参数。
利用多次上述迭代训练学生网络。
与现有技术相比，本发明的有益效果为：通过老师网络计算额外的结构性边缘信息计算损失来更新学生网络，使得学生网络不仅能够学习到图像平滑的能力，同时还能具备老师网络的保留结构性边缘的能力。这样可以弥补现有图像平滑方法中图像平滑无法很好保留结构性边缘的负面影响。
附图说明
图1为一种基于新型的深度学习知识蒸馏技术的保边图像平滑方法流程图。
图2为一种基于新型的深度学习知识蒸馏技术的保边图像平滑方法模型示意图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。在不脱离本发明的原理情况下，对本发明实施例做出变化、修改、替换和变形都属于本发明保护的范围。
本发明实施例提供了一种基于知识蒸馏技术的图像增强深度学习方法，流程如图1所示，所述方法包括：
S1、选择老师网络计算结构性边缘图。
可选的，结构性边缘信息为图像里的描述图像内容结构信息的边缘分布图；
可选的，选择已经训练好的可以提取结构性边缘信息的深度神经网络作为老师网络，也可以重新训练一个有类似功能的深度神经网络模型，这里可以采用 Holistic EdgeDetection边缘检测模型或经典的VGG模型，利用老师网络辅助训练图像平滑学生网络。
S2、由学生网络计算平滑图像。
可选的，学生网络结构使用经典深度神经网络，如VGG或者残差神经网络；
输入图像I经学生网络平滑后得到平滑图像Is，具体的，将待平滑图像输入到深度神经网络模型(如常用的VGGNet，拥有5个由卷积层，修正线性单元和最大池化操作组成的模块，3个全连接层和修正线性单元组成的模块，最后1 个softmax层)中，设计神经网络结构是“由图像预测图像”的结构(如之前介绍的VGGNet)，模型输出的是一幅与输入图像I尺寸相同的经过图像平滑后的输出图像。
S3、由老师网络计算结构性边缘信息标签与平滑后图像的结构性边缘信息。
具体的，将输入图像I与平滑图像Is分别输入到边缘检测老师网络，由老师网络预测出输入图像的结构性边缘标签Ie与平滑图像的结构性边缘信息Ise。在边缘检测老师网络中输入图像的结构性边缘标签Ie作为输入图像的边缘图像，平滑图像的结构性边缘信息Ise为边缘检测老师网络在平滑后图像上检测到的边缘图像。
S4、计算学生网络的损失来更新学生网络参数。
可选的，利用常用损失函数(比如L2范数，L1范数，交叉熵)分别计算平滑图像Is与平滑图像标签Igt之间的损失||Is-Igt||_{F}^{2}，以及平滑图像的结构性边缘信息Ise与输入图像的结构性边缘标签Ie之间的损失 ||Ise-Ie||_{F}^{2}；本发明中平滑图像标签Igt是将输入图像I利用现有常用的图像平滑算法(如L0)得到。
具体的，对两种损失进行加权求和得到损失总和，利用损失总和对学生网络进行常规的梯度回传(可通过深度学习框架PyTorch或Tensorflow里的SGD， Adam算法自动实现)，更新学生网络参数。
S5、多次迭代训练学生网络。
具体的，利用上述更新方式不断更新学习学生网络参数，训练学生网络，模型示意图如图2所示。训练过程中固定老师网络参数，即在训练学生网络的期间不更新老师网络参数。
Claims (4)
1.一种基于深度学习知识蒸馏技术的保边图像平滑方法，其特征在于：将老师网络的提取结构性边缘能力向图像平滑的学生网络进行知识迁移，使学生网络在进行图像平滑的同时，具备老师网络的保留结构性边缘能力，该方法包含如下步骤：
S1、训练保留结构性边缘的深度神经网络作为老师网络；
S2、将输入图像输入到学生网络，网络输出的是一幅与输入图像尺寸相同的经过图像增强后的平滑图像；
S3、将输入图像与平滑后的平滑图像分别输入到老师网络，得到输入图像的结构性边缘标签与平滑图像的结构性边缘信息；
将输入图像利用现有常用的图像平滑算法得到平滑图像标签；
S4、利用常用损失函数分别计算平滑图像与平滑图像标签之间的损失，以及平滑图像的结构性边缘信息与输入图像的结构性边缘标签之间的损失；对两种损失进行加权求和得到损失总和，利用损失总和对学生网络进行常规的梯度回传，更新学生网络参数；
S5、利用上述更新方式不断更新学习学生网络参数，训练学生网络的模型参数。
2.根据权利要求1所述的基于深度学习知识蒸馏技术的保边图像平滑方法，其特征在于：将输入图像与平滑图像分别输入到老师网络，提取输入图像的结构性边缘标签与平滑图像的结构性边缘信息，将边缘检测老师网络提取的输入图像的结构性边缘标签作为输入图像的边缘图像，将平滑图像的结构性边缘信息作为平滑后图像的边缘图像。
3.根据权利要求1所述的基于深度学习知识蒸馏技术的保边图像平滑方法，其特征在于：学生网络总的损失函数由两部分损失加权求和构成，一部分是利用常见损失函数计算平滑后图像与平滑图像标签之间的损失，另一部分是利用常见损失函数计算平滑图像的结构性边缘信息与输入图像的结构性边缘标签之间的损失。
4.根据权利要求1或2所述的基于深度学习知识蒸馏技术的保边图像平滑方法，其特征在于：老师网络是预先训练好的，训练学生网络过程中并不更新老师网络参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066280.1A CN111275646B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066280.1A CN111275646B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275646A CN111275646A (zh) | 2020-06-12 |
| CN111275646B true CN111275646B (zh) | 2022-04-26 |
Family
ID=71003289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010066280.1A Active CN111275646B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275646B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257864B (zh) * | 2020-10-22 | 2022-08-16 | 福州大学 | 一种用于解决灾难性遗忘问题的终生学习方法 |
| CN115631178B (zh) * | 2022-11-03 | 2023-11-10 | 昆山润石智能科技有限公司 | 自动晶圆缺陷检测方法、系统、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110689495A (zh) * | 2019-09-25 | 2020-01-14 | 安徽信息工程学院 | 一种深度学习的图像修复方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633486B (zh) * | 2017-08-14 | 2021-04-02 | 成都大学 | 基于三维全卷积神经网络的结构磁共振图像去噪方法 |
| CN107464227A (zh) * | 2017-08-24 | 2017-12-12 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络进行去除反射和平滑图像的方法 |
| CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
| CN108830813B (zh) * | 2018-06-12 | 2021-11-09 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109919855A (zh) * | 2019-01-17 | 2019-06-21 | 深圳禾苗通信科技有限公司 | 一种基于多帧影像的快速保边去噪方法 |
-
2020
- 2020-01-20 CN CN202010066280.1A patent/CN111275646B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110689495A (zh) * | 2019-09-25 | 2020-01-14 | 安徽信息工程学院 | 一种深度学习的图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275646A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107491726B (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN111160533B (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
| Gray et al. | Predicting facial beauty without landmarks | |
| CN110033007B (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| CN111783521B (zh) | 基于低秩先验引导的域不变信息分离的行人重识别方法 | |
| CN111274994B (zh) | 漫画人脸检测方法、装置、电子设备及计算机可读介质 | |
| CN109359527B (zh) | 基于神经网络的头发区域提取方法及系统 | |
| CN105184772A (zh) | 一种基于超像素的自适应彩色图像分割方法 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN111275646B (zh) | 一种基于深度学习知识蒸馏技术的保边图像平滑方法 | |
| CN110796018A (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| Chen et al. | SEMEDA: Enhancing segmentation precision with semantic edge aware loss | |
| CN115830652B (zh) | 一种深度掌纹识别装置及方法 | |
| CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN114529832A (zh) | 一种预设遥感图像重叠阴影分割模型训练方法及装置 | |
| CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN113076905B (zh) | 一种基于上下文交互关系的情绪识别方法 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| CN113537187A (zh) | 文本识别方法、装置、电子设备及可读存储介质 | |
| CN114743251B (zh) | 一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法 | |
| Wang et al. | Ink painting style transfer using asymmetric cycle-consistent GAN | |
| CN115359250A (zh) | 基于记忆力机制的跨域小样本图像语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |