CN114463189A - 一种基于密集残差型UNet的图像信息解析建模方法 - Google Patents
一种基于密集残差型UNet的图像信息解析建模方法 Download PDFInfo
- Publication number
- CN114463189A CN114463189A CN202011236954.4A CN202011236954A CN114463189A CN 114463189 A CN114463189 A CN 114463189A CN 202011236954 A CN202011236954 A CN 202011236954A CN 114463189 A CN114463189 A CN 114463189A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- image information
- unet
- information analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 33
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000010200 validation analysis Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000011084 recovery Methods 0.000 abstract description 16
- 238000005070 sampling Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明构建一种基于密集残差型UNet模型用于图像信息解析模型，并应用于图像恢复，具体步骤为：从原始图像中提取图像特征信息并对图像特征信息进行编码；将编码后的图像特征信息进行解码与上采样，得到基于密集残差型UNet的图像信息解析模型；实时采集图像作为数据集，并将数据集分为训练集和验证集，使用训练集数据对图像信息解析模型进行训练；使用验证集数据对图像信息解析模型进行评价。本发明建立的图像信息恢复模型具有恢复性能好，速度快，对图像信息解析度高等优点。于此同时，本发明提出的残差和密集型UNet在各项指标上都取得优异的结果，且该发明通过两种不同的基础模块可以满足不同图像信息恢复的要求。
Description
技术领域
本发明涉及构建一种残差和密集型UNet模型用于图像信息解析、恢复，并应于与屏下相机图像恢复，医学图像恢复等领域。即给定一张退化图片，恢复成可商用可医用的清晰图像，属于低层级视觉领域。
背景技术
在移动互联网时代，越来越多的人习惯用于手机拍摄。就质量而言，大多数手机设备都可以满足本发明的日常需求。随着硬件的不断升级，屏占比越来越大，但是前置摄像头的存在不仅影响前置屏幕的美观，同时由于摄像头的放置位置一般位于屏幕的上方，极大的减小了人机交互。因此，全面屏时代必将是手机前置相机的发展趋势。因此，屏下相机应运而生。
屏下相机是一种新的成像系统，该系统将相机放在屏幕下方以增强人机交互性并带来更大的屏占比。然而由于现有屏幕透光性等其他因素导致相机所拍摄的图像出现昏暗模糊等退化现象。因此，本发明需要对屏下相机图像进行信息解析，并通过深度学习的端到端方法进行恢复。因此，本发明可以将这个任务看作低层级视觉图像恢复，并包括去噪、去模糊，等其他图像增强手段。
图像增强，即通过算法调整图像的饱和度信息，色调信息，改变图像的整体或者局部信息。例如调亮偏暗的图片，调暗偏亮的图片，调高饱和度低的图片等，使得图像看上去更加饱满生动。在屏下相机成像系统中，本发明的任务是多样性的，不仅仅是图像的调亮，还包括去噪，去摩尔纹等。因此，图像增强技术在影视制作，摄影摄像，医学图像等领域都有着广泛的应用。本发明针对屏下相机成像退化进行图像信息的恢复增强。
传统的图像增强算法有直方图均衡(HE)算法、小波变换算法、偏微分方程算法和基于色彩恒常性理论的Retinex算法等。HE算法是最基本的图像增强算法，它的原理简单，易于实现，实时性好。直方图均衡化可以使图像灰度级的概率密度函数满足近似均匀分布的形式，以增大图像灰度的动态范围和提高图像对比度；小波变换算法将图像分解为低频图像和高频图像，通过对不同频率的图像进行增强，以达到突出图像细节信息的目的；Retinex图像增强算法可以去除原始图像中照度分量的影响，然后求解出反映物体本质颜色的反射分量，进而对图像进行增强。
近年来，基于深度学习的图像增强恢复技术得到了快速发展，这些算法通过有监督或者半监督学习方式，从大量的训练数据中，让神经网络学习图像增强前后的映射关系。本技术使用卷积神经网络，提出了一种新颖的屏下相机图像信息解析恢复算法，可以处理模糊，低光，摩尔纹等问题。
该网络的输入是一副经过T-OLED或者P-OLED成像退化图像(低光，模糊，摩尔纹等问题)，通过一个带跳跃连接的编码器-解码器网络，输出解析恢复后的结果。模型结构中，本发明研究发现不同的基础模块对不同屏幕的适应程度不同，因此本发明提出了两种不同的基础模块以应对不同的屏幕要求。与此同时，在训练中，监督信息为不经过任何屏幕的自然真实图像，输入为屏下成像图片。相比于传统方法，本发明端到端的学习方式可以适应不同图像场景，具有更好的适应性、鲁棒性、延拓性。
发明内容
编码器解码器结构常用于语义分割，图像恢复等领域，但是常用的方法存在处理精度差、处理速度慢、方法复杂度高、效果不理想等问题。本发明提出在原始的UNet方法基础上将残差结构以及残差密集性结构引入到UNet方法中，以提高方法的特征提取能力。并在解码上采样阶段，本发明灵活应用两种上采样方式，分别为双线性和PixelShuffle上采样。与此同时，为了满足不同场景的需求，本发明提出不同大小模型以应对恢复精度与速度的要求。
本发明为实现上述目的所采用的技术方案是：
一种基于密集残差型UNet的图像信息解析建模方法，包括以下步骤：
从原始图像中提取图像特征信息并对图像特征信息进行编码；
将编码后的图像特征信息进行解码与上采样，得到基于密集残差型UNet的图像信息解析模型；
实时采集图像作为数据集，并将数据集分为训练集和验证集，使用训练集数据对图像信息解析模型进行训练；
使用验证集数据对图像信息解析模型进行评价。
所述图像特征信息包括：语义信息和结构信息。
采用编码器对图像特征信息进行编码，所述编码器由残差块和密集型残差块两种基础模块组成。
所述残差块和密集型残差块的数量根据需求设定。
对编码后的图像特征信息进行解码时，采用跳跃连接使高层级的语义信息与低层级的结构信息直接拼接结合。
对编码后的图像特征信息使用双线性插值和PixelShuffle插值进行上采样。
使用均方误差MSE以及峰值信噪比PSNR对图像信息解析模型进行评价。
所述峰值信噪比PSNR计算公式为：
其中，MSE表示原始图像X和模型输出图像Y的均方误差，H、W分别为原始图像X和模型输出图像Y的高度和宽度；n为每像素的比特数，i，j分别为原始图像X和模型输出图像Y的横纵像素坐标。
本发明具有以下有益效果及优点：
恢复图像速度快；图像细节信息解析恢复更好、更准确；适用于多种图像退化；算法收敛速度快，较其他模型有显著的提高。尤其在实际应用场景的屏下相机的图像信息解析恢复中有非常明显的效果，综合性能非常优异。
附图说明
图1为本发明提出的图像信息解析恢复网络结构示意图；
图2为本发明提出的两种基础模块图；
图3为低质量P-OLED图像的比较和本发明的预测结果图；
图4为低质量T-OLED图像的比较和本发明的预测结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
1.图像特征提取与和编码
本发明方法中是一个完整的编码器解码器结构，如图1所示。其中图像特征信息是利用一个编码器结构进行提取图像的低层级结构信息，如图2所示，该编码器由本发明提出的残差块和密集型残差块两种基础模块组成，其中，残差块，由一个残差连接组成；残差密集块，由四个卷积层组成的残差密集块。这两种基础模块是为了满足不同的场景需求。同时为了平衡精度与速度，本发明的基础模块数量可以控制。因此本发明分别提出了密集型残差UNet方法和残差型UNet方法。
2.图像特征信息解码与上采样
在解码阶段，本发明利用跳跃连接使得高层级的语义信息与低层级的结构信息相结合，并使用不同的采样方式(双线性插值，PixelShuffle)。针对于ResUNet(残差型UNet)，实验表明采用PixelShuffle不仅可以减小参数的同时提高模型的性能，与ResUNet不同的是，RDUNet(密集型残差UNet)对双线性上采样表现更加优异,其中，语义信息分为视觉层、对象层和概念层，即图像中物体表现出的信息，结构信息即为图像中的纹理结构，指图像上色调的排列和频率。
3.图像信息解析恢复模型整体框架
本模型整体框架遵循端到端的编码器-解码器结构。模型的优越性体现在针对不同屏幕造成的退化现象采用不同的基础模块，同时平衡恢复精度与速度。同时为了减少不必要的参数，本发明将编码阶段的3*3卷积替换为1*1卷积，模型参数减少约2千万。
4.评价指标
本发明模型中采用PSNR(Peak Singal to Noise Ratio)与SSIM(StructuralSimilarity)、恢复速率对模型性能进行综合评价。PSNR即峰值信噪比，一种全参考的图像质量评价指标。PSNR的计算方式如式：
其中，MSE表示当前图像X和参考图像Y的均方误差(Mean Square Error),H、W分别为图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰度为256。PSNR的单位是dB，数值越大表示失真越小。
5.训练模型
为了评估本发明的RDUNet和ResUNet在图像还原方面的性能，本发明使用了“'ECCV Challenge on ImageRestoration for Under-display Camera”提供的数据集，即T-OLED数据集和P-OLED数据集。T-OLED数据集和P-OLED数据集分别包含总共270对图像，其中训练集包含240对1024×2048图像，总共480个图像，而验证集是剩余的30对1024×2048图像本发明使用MultiStepLR优化器训练模型，并且动量为0.9，学习率初始化为1。整个算法基于PyTorch框架开发。
本发明设计了一个交叉实验，以验证不同屏幕造成的图像退化对不同算法的适应性。因此，本发明设计了四个实验，以UNet为基本网络，以残差块和残差密集块为基本模块，分别构建5个编码器的ResUNet-5网络和带有RDUNet-5网络。本发明对两种退化图像进行实验，实验结果如下所示：
表1：两种模型在两个数据集上的性能比较。ResUNet-n和RDUNet-n,n表示基本块的数量，可以表示网络的深度。
实验表明，RDUNet对低质量的T-OLED UDC图像具有更好的恢复性能。ResUNet更适合于低质量的P-OLED UDC图像。
在与基线模型的对比中，本发明模型表现依然优异。为了验证本发明发明的优异性，本发明在两种屏幕造成的退化图像上进行实验。同时本发明探索了编码模块，上采样方式，Patch Size(训练图片尺寸)对模型性能的影响。本发明的实验结果如下。
在P-OLED数据集上表现如下：
表2：P-OLED数据集上不同方法和机制的比较。ResUNet中的i代表编码器块的数量。BL和PS分别表示Bilinear和PixelShuffle上采样。W2代表哈尔小波变换和逆小波变换。
当patch size为1024×1024时，ResUNet-5-PS在数据集上获得最佳性能为32.54dB。
图3为低质量P-OLED图像的比较和本发明方法的预测结果。其中，第一行：本发明方法的预测结果。第二行：生成图像的三个局部样本。第三行：输入图像的三个局部样本。第四行：输入P-OLED数据集的低质量图像。
在T-OLED数据集上表现如下：
表4：T-OLED数据集上不同方法和机制的比较。ResUNet中的i代表编码器块的数量。BL和PS分别表示Bilinear和PixelShuffle上采样。W2代表哈尔小波变换和逆小波变换。
当patch size为192×192时，RDUNet-4在数据集上获得最佳性能为38.98dB。
图4为低质量T-OLED图像的比较和本发明方法的预测结果。其中，第一行：本发明方法的预测结果。第二行：生成图像的三个局部样本。第三行：输入图像的三个局部样本。第四行：输入T-OLED数据集的低质量图像。
Claims (8)
1.一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，包括以下步骤：
从原始图像中提取图像特征信息并对图像特征信息进行编码；
将编码后的图像特征信息进行解码与上采样，得到基于密集残差型UNet的图像信息解析模型；
实时采集图像作为数据集，并将数据集分为训练集和验证集，使用训练集数据对图像信息解析模型进行训练；
使用验证集数据对图像信息解析模型进行评价。
2.根据权利要求1所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，所述图像特征信息包括：语义信息和结构信息。
3.根据权利要求1所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，采用编码器对图像特征信息进行编码，所述编码器由残差块和密集型残差块两种基础模块组成。
4.根据权利要求3所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，所述残差块和密集型残差块的数量根据需求设定。
5.根据权利要求1所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，对编码后的图像特征信息进行解码时，采用跳跃连接使高层级的语义信息与低层级的结构信息直接拼接结合。
6.根据权利要求1所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，对编码后的图像特征信息使用双线性插值和PixelShuffle插值进行上采样。
7.根据权利要求1所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，使用均方误差MSE以及峰值信噪比PSNR对图像信息解析模型进行评价。
8.根据权利要求7所述的一种基于密集残差型UNet的图像信息解析建模方法，其特征在于，所述峰值信噪比PSNR计算公式为：
其中，MSE表示原始图像X和模型输出图像Y的均方误差，H、W分别为原始图像X和模型输出图像Y的高度和宽度；n为每像素的比特数，i，j分别为原始图像X和模型输出图像Y的横纵像素坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011236954.4A CN114463189A (zh) | 2020-11-09 | 2020-11-09 | 一种基于密集残差型UNet的图像信息解析建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011236954.4A CN114463189A (zh) | 2020-11-09 | 2020-11-09 | 一种基于密集残差型UNet的图像信息解析建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463189A true CN114463189A (zh) | 2022-05-10 |
Family
ID=81404174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011236954.4A Pending CN114463189A (zh) | 2020-11-09 | 2020-11-09 | 一种基于密集残差型UNet的图像信息解析建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463189A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952968A (zh) * | 2024-03-26 | 2024-04-30 | 沐曦集成电路(上海)有限公司 | 一种基于深度学习的图像质量评价方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
-
2020
- 2020-11-09 CN CN202011236954.4A patent/CN114463189A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| QIRUI YANG ET AL.: "Residual and Dense UNet for Under-display Camera Restoration", 《ECCV 2020》, 28 August 2020 (2020-08-28), pages 398 - 408 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952968A (zh) * | 2024-03-26 | 2024-04-30 | 沐曦集成电路(上海)有限公司 | 一种基于深度学习的图像质量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| CN109360155B (zh) | 基于多尺度特征融合的单帧图像去雨方法 | |
| Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
| CN111047529B (zh) | 一种基于机器学习的视频处理方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| Chen et al. | Compressed domain deep video super-resolution | |
| CN114187203A (zh) | 注意力优化的深度编解码去雾生成对抗网络 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN111553856A (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN114463189A (zh) | 一种基于密集残差型UNet的图像信息解析建模方法 | |
| CN115442613A (zh) | 一种利用gan的基于帧间信息的噪声去除方法 | |
| CN117351340A (zh) | 基于双颜色空间的水下图像增强算法 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| CN112070686A (zh) | 一种基于深度学习的逆光图像协同增强方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| CN113643202B (zh) | 一种基于噪声注意力图指导的微光图像增强方法 | |
| CN115829868A (zh) | 基于光照与噪声残差图的水下暗光图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| US20150003511A1 (en) | WEAV Video Super Compression System | |
| CN112907456B (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 | |
| Han et al. | Low-light images enhancement and denoising network based on unsupervised learning multi-stream feature modeling | |
| Yang et al. | Semantic preprocessor for image compression for machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |