CN111242870A - 一种基于深度学习知识蒸馏技术的低光图像增强方法 - Google Patents
一种基于深度学习知识蒸馏技术的低光图像增强方法 Download PDFInfo
- Publication number
- CN111242870A CN111242870A CN202010064079.XA CN202010064079A CN111242870A CN 111242870 A CN111242870 A CN 111242870A CN 202010064079 A CN202010064079 A CN 202010064079A CN 111242870 A CN111242870 A CN 111242870A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- enhancement
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 4
- 238000004821 distillation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013508 migration Methods 0.000 abstract description 2
- 230000005012 migration Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000003062 neural network model Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习知识蒸馏技术的低光图像增强方法，属于图像处理技术领域。该方法基于新型的深度学习知识蒸馏技术，将图像去噪老师网络的去噪能力蒸馏到图像增强学生网络里，从而使得学生网络在增强图像的过程中抑制并去除图片中的噪声。设定学生网络与老师网络：其中学生网络的任务是进行低光图像增强，老师网络的任务是去掉图像噪声。利用老师网络向学生网络进行图像去噪能力的蒸馏迁移，使学生网络在进行低光图像增强任务的同时，具备老师网络的图像去噪能力。本发明克服了传统低光图像增强方法中噪声随着图像增强而相应增强带来的质量损失和视觉影响，极大地提高了低光图像增强的效果。
Description
技术领域
本发明属于图像处理技术领域，特别涉及到一种基于知识蒸馏技术的图像增强深度学习方法。
背景技术
低光图像普遍存在于日程拍照和自动驾驶汽车的情景里。在夜晚或低光的场景里，拍摄的图像质量会严重下降，例如出现图像过暗、图像分辨率较低、有噪声等情况，不便于后续针对不同任务的图像分析和处理。而低光图像增强技术是为了将低光条件下拍摄到的图像增强到仿佛白天正常光照下拍摄到的场景，是一类重要的图像处理任务。低光图像增强的目的是通过提升低光图像的亮度，使得增强后的图像展示出更多信息，以便于人类或者机器进行处理或分析。低光图像增强技术已经被广泛应用于航空航天、道路识别、生物医学、救灾救援等领域中。例如，利用低光增强技术对医学影像进行增强，方便医生对病灶区域精确诊断；将低光照图像增强技术应用于视频监控中，可以解决低光照情况下对象难以识别的问题。由此可见，低光图像增强技术在我们的生活中发挥着十分重要的作用。
然而很多低光图像增强技术还存在一些亟待解决的难点。比如噪声会随着图像亮度的增强而增强，这使得增强后的图像噪声很大，在增强图像内容信号的同时损害了图像的清晰度。如何让低光增强方法同时具有去除图像噪声的能力是一项非常具有挑战性的任务，对于低光场景下的图像处理应用非常重要。
Hinton等人在2015年公开的文章Distilling the knowledge in a NerualNetwork(NIPS Deep Learning and Representation Learning Workshop,2015)首次提出了深度学习知识蒸馏的框架，引入“学生网络”与“老师网络”的概念，目的是将多个训练后的老师网络的知识集中迁移到一个学生网络中。这里利用知识蒸馏将分类数据集的“硬标签”推广到“软化标签”，从而可以学习到不同标签的图像之间的相似程度。训练好老师网络后，老师网络具备了提供隐藏在标签外的额外判别性和相似性知识，再通过知识蒸馏技术将该知识迁移到学生网络中。近年来随着计算设备的完善与改进，神经网络发展十分迅速。由于其具有强大的表示能力，目前神经网络已经被广泛应用于计算机视觉、自然语言处理等研究领域。目前关于神经网络的一大研究热点在于将神经网络部署在便携嵌入式设备中。由于神经网络本身的性质，往往其参数量越大则其模型性能越强。但是网络模型参数越多，网络需要占用更多的内存资源，运行也极为耗时，这与工业界占用资源少、运算时间短的需求相悖。而知识蒸馏技术可以有助于解决这一问题。知识蒸馏技术利用一个或多个具有大参数量的老师网络去提升一个具有小参数量的学生网络的性能。学生网络很可能最终性能无法与老师网络媲美，但是却比脱离老师网络而单独训练的学生网络更加强大。
但是现有的深度学习知识蒸馏方法并不能直接用在抑制噪声的低光图像增强任务里。其原因是：图像去噪老师网络主要是提供图像去噪的能力，学生网络主要是对低光图像进行增强，直接把老师网络蒸馏到学生网络里并不能让学生产生低光图像增强的效果。因此，我们提出一种新型的基于深度学习知识蒸馏技术，并运用到抑制噪声的低光图像增强任务里。这个方法可以在完成低光图像增强任务的同时，抑制或去掉低光图像里产生的噪声。
发明内容
本发明需要解决的技术问题是针对低光图像增强任务中，在图像亮度得到提升的同时，抑制和去除可能会被同时增强的图像噪声。本发明的目的是提出一种基于新型的深度学习知识蒸馏技术，利用图像去噪老师网络向低光图像增强学生网络进行知识迁移，使学生网络在进行低光图像增强的同时，具备老师网络的抑制和去掉图像噪声的能力。
本发明的实现过程如下：
可选的，利用已经训练好的经典深度学习模型或者重新训练一个深度学习模型作为老师网络，包括：
训练深度神经网络进行图像去噪；
可选的，利用老师网络辅助训练低光图像增强学生网络，迭代包括：
将有噪低光图像ln输入到学生网络，得到有噪增强图像hn；
将有噪低光图像ln与增强后的有噪增强图像hn分别输入到老师网络，分别得到无噪低光图像lc和增强后的无噪增强图像hc，增强后的无噪图像hc作为预测结果；将无噪低光图像lc输入到学生网络，得到增强后的增强无噪图像Hc，并将增强无噪图像Hc作为标签；
将有噪低光图像ln利用现有常用的低光图像增强算法得到增强图像标签h；
利用损失函数分别计算有噪增强图像hn与增强图像标签h之间的损失，以及低光增强后再去噪的无噪增强图像hc与去噪后再低光增强的增强无噪图像Hc之间的损失；
对两种损失进行加权求和得到损失总和；
利用损失总和对学生网络进行梯度回传，更新学生网络参数。
利用多次上述迭代训练学生网络。
与现有技术相比，本发明的有益效果为：通过老师网络对图像去噪信息计算损失来更新学生网络，使得学生网络不仅拥有低光图像增强的能力，同时还能具备老师网络的图像去噪能力。这样可以消除传统方法中低光图像增强同时带来噪声增强的负面影响。
附图说明
图1为一种基于新型的深度学习知识蒸馏技术的低光图像增强方法流程图。
图2为一种基于新型的深度学习知识蒸馏技术的低光图像增强方法模型示意图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。在不脱离本发明的原理情况下，对本发明实施例做出变化、修改、替换和变形都属于本发明保护的范围。
本发明实施例提供了一种基于知识蒸馏技术的图像增强深度学习方法，流程如图1所示，所述方法包括：
S1、选择老师网络。
可选的，选择已经训练好的或重新训练一个图像去噪深度学习网络作为老师网络，深度神经网络模型可以采用DnCNN去噪模型或重新训练一个VGG网络模型，利用图像去噪老师网络向低光图像增强学生网络进行知识迁移，使学生网络在进行低光图像增强的同时，具备老师网络的抑制和去掉图像噪声的能力。
S2、由学生网络计算低光增强后图像。
可选的，学生网络结构使用残差神经网络模型；
具体的，将有噪低光图像ln输入到神经网络模型中，设计神经网络结构是“由图像预测图像”的结构(如常用的VGGNet，拥有5个由卷积层，修正线性单元和最大池化操作组成的模块，3个全连接层和修正线性单元组成的模块，最后1个softmax层)，模型输出的是一幅与输入图像尺寸相同的经过图像增强后的有噪增强图像hn。
S3、由老师网络对有噪低光图像ln和增强后的有噪增强图像hn进行去噪。
具体的，将有噪低光图像ln与有噪增强图像hn分别输入到老师网络，得到去噪后的无噪低光图像lc和增强并去噪后的无噪增强图像hc作为预测图像，将去噪后的无噪低光图像lc输入到低光增强的学生网络，得到的增强无噪图像Hc作为标签。
S4、计算学生网络的损失来更新学生网络。
可选的，利用常用损失函数(比如L2范数，L1范数，交叉熵)分别计算有噪增强图像hn与增强图像标签h之间的损失，以及去噪后再低光增强后的预测图像与低光增强后再去噪的标签图像之间的损失；其中增强图像标签h是将有噪低光图像ln输入到图像去噪老师网络得到。
具体的，对两种损失进行加权求和得到损失总和，利用损失总和对学生网络进行梯度回传，更新学生网络参数。
S5、多次迭代训练学生网络。
具体的，利用上述更新方式不断更新学习学生网络参数，训练学生模型，模型示意图如图2所示。训练过程中固定老师网络参数，即在训练学生网络的期间不更新老师网络的参数。
Claims (5)
1.一种基于深度学习知识蒸馏技术的低光图像增强方法，利用图像去噪老师网络向低光图像增强学生网络进行知识迁移，使学生网络在进行低光图像增强的同时，具备老师网络的抑制和去掉图像噪声的能力，该方法包含如下步骤：
S1、选择已经训练好的拥有图像去噪能力的深度神经网络作为老师网络；
S2、将有噪低光图像输入到低光增强学生网络，得到有噪增强图像，该图像是一幅与输入图像尺寸相同的经过低光增强后的输出图像，低光增强后的图像作为预测的低光增强图像；
S3、将有噪低光图像与有噪增强图像分别输入到图像去噪老师网络，由老师网络进行图像去噪，分别得到无噪低光图像和增强后的无噪增强图像，将无噪低光图像输入到低光增强学生网络进行低光图像增强，增强后的图像作为无噪的低光增强图像标签；
S4、根据S2和S3的结果计算低光增强学生网络的损失函数，更新低光增强学生网络；
S5、重复上述S2-S4更新方式不断更新低光增强学生网络参数，训练学生模型。
2.根据权利要求1所述的基于深度学习知识蒸馏技术的低光图像增强方法，其特征在于：将有噪低光图像与有噪增强图像分别输入到图像去噪老师网络，分别得到无噪低光图像和无噪增强图像，将无噪低光图像输入到低光增强学生网络进行增强，将增强后得到的增强无噪图像作为标签，同时将有噪增强图像经图像去噪老师网络去噪后得到的无噪增强图像作为预测图。
3.根据权利要求1所述的基于深度学习知识蒸馏技术的低光图像增强方法，其特征在于：学生网络总的损失函数由两部分损失加权求和构成，一部分是利用常见损失函数计算低光增强后的有噪增强图像与增强图像标签之间的损失，另一部分是利用常见损失函数计算去噪并且低光增强后的增强无噪图像和经低光增强并去噪后的无噪增强图像之间的损失。
4.根据权利要求1或2所述的基于深度学习知识蒸馏技术的低光图像增强方法，其特征在于：训练学生网络过程中并不更新图像去噪老师网络的参数，经过图像去噪老师网络的输出需要再次经过低光增强学生网络才能得到无噪的低光增强图像标签。
5.根据权利要求3所述的基于深度学习知识蒸馏技术的低光图像增强方法，其特征在于：增强图像标签是将有噪低光图像利用现有常用的低光图像增强算法得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064079.XA CN111242870B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的低光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064079.XA CN111242870B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的低光图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111242870A true CN111242870A (zh) | 2020-06-05 |
| CN111242870B CN111242870B (zh) | 2023-05-05 |
Family
ID=70879667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010064079.XA Active CN111242870B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习知识蒸馏技术的低光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242870B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348167A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN112365885A (zh) * | 2021-01-18 | 2021-02-12 | 深圳市友杰智新科技有限公司 | 唤醒模型的训练方法、装置和计算机设备 |
| CN113780252A (zh) * | 2021-11-11 | 2021-12-10 | 深圳思谋信息科技有限公司 | 视频处理模型的训练方法、视频处理方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
-
2020
- 2020-01-20 CN CN202010064079.XA patent/CN111242870B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐奔;韩琦;: "图像处理算法及其应用研究" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348167A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN112348167B (zh) * | 2020-10-20 | 2022-10-11 | 华东交通大学 | 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质 |
| CN112365885A (zh) * | 2021-01-18 | 2021-02-12 | 深圳市友杰智新科技有限公司 | 唤醒模型的训练方法、装置和计算机设备 |
| CN113780252A (zh) * | 2021-11-11 | 2021-12-10 | 深圳思谋信息科技有限公司 | 视频处理模型的训练方法、视频处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111242870B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
| CN111242870B (zh) | 一种基于深度学习知识蒸馏技术的低光图像增强方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| CN112801182A (zh) | 一种基于困难样本感知的rgbt目标跟踪方法 | |
| CN111368634A (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN113763424A (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| Al Sobbahi et al. | Low-light image enhancement using image-to-frequency filter learning | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| CN116597144A (zh) | 一种基于事件相机的图像语义分割方法 | |
| CN116824352A (zh) | 一种基于语义分割与图像异常检测的水面漂浮物识别方法 | |
| CN116597424A (zh) | 一种基于人脸识别的疲劳驾驶检测系统 | |
| CN115984133A (zh) | 图像增强方法、车辆抓拍方法、设备及介质 | |
| Lan et al. | Online knowledge distillation network for single image dehazing | |
| CN115131844A (zh) | 一种无监督低光照人脸检测模型训练方法及检测方法 | |
| CN113065650A (zh) | 一种长期记忆学习的多通道神经网方法 | |
| CN113449611B (zh) | 一种基于yolo网络压缩算法的安全帽识别智能监控系统 | |
| Kakati et al. | Human pose detection: A machine learning approach | |
| CN116071825B (zh) | 一种动作行为识别方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |