CN110378845A - 一种基于卷积神经网络的极端条件下的图像修复方法 - Google Patents
一种基于卷积神经网络的极端条件下的图像修复方法 Download PDFInfo
- Publication number
- CN110378845A CN110378845A CN201910520242.6A CN201910520242A CN110378845A CN 110378845 A CN110378845 A CN 110378845A CN 201910520242 A CN201910520242 A CN 201910520242A CN 110378845 A CN110378845 A CN 110378845A
- Authority
- CN
- China
- Prior art keywords
- convolution
- output
- layer
- image
- sizes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 17
- 230000008439 repair process Effects 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000005286 illumination Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000000049 pigment Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的极端条件下的图像修复方法。本发明包括如下步骤：步骤1：对获取到的短曝光图像进行预处理；步骤2：将预处理后的图像输入U‑Net卷积神经网络进行训练；步骤3：计算误差并进行迭代训练；步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。本发明有效地解决低光下快速成像的问题，同时也为图像去噪、去模糊提供了一种新的可行方法。
Description
技术领域
本发明涉及图像修复领域，尤其涉及基于卷积神经网络在极端条件下对图像的修复方法。
背景技术
在低照度环境下，成像系统采集到的视频图像由于环境照度较低，使得视频图像中有用信息和噪声混合在一起，导致目标特征不明显，清晰度不高，难于辨别，需要使用数字图像处理技术来降低噪声对人眼识别景物的影响。与此同时，在夜间城镇环境中，由于城市照明光的覆盖面较小，城市道路存在较多的光覆盖盲点。因此，给夜间视频检测带来了严重挑战。其主要表现为：一是图像呈现大量暗区，暗区内容模糊不清、细节丢失；二是在人工光源下，图像又出现部分高光区，使得图像整体亮度严重不均，图像质量严重下降。虽然高照度和长曝光时间可以提高成像质量，但其存在不可避免的缺陷。例如，在提高照度的同时也会放大噪声。在延长曝光时间的同时，也会由于相机抖动或物体运动而导致成像模糊。
目前，许多关于图像去噪、去模糊和低光图像增强等技术相继提出，但这些技术通常的操作目标为较暗条件下捕获到的图像，即图像只携带有中等程度的噪声。相反，我们更感兴趣的是在极端低光条件下，如严重受限的光照和极短时间的曝光。在这种情况下，传统相机的处理方式已不再适用。
得益于最近几年神经网络的兴起，许多研究人员将神经网络应用于图像去噪领域，而且取得了不错的效果，但大多数方法只针对于合成模糊图像或者是只适用于特定的噪声图像，并不能得到广泛的推广。
发明内容：
本发明提出了一种基于卷积神经网络的在极端条件下的图像修复方法。该方法能够直接建立模糊图像与清晰图像间的联系，可以快速的产生清晰图像，从而获取所需信息。
具体来说，我们训练深度神经网络学习低光照条件下原始数据的图像处理技术，包括颜色转换、去马赛克、降噪和图形增强等。我们通过端对端的方式来进行模型训练，以避免图像处理中噪声的放大和误差的累计。
传统的基于卷积神经网络的图像去噪方法，大多是在合成数据集上进行的实验，例如在清晰图像中加入高斯噪声或椒盐噪声以合成模糊图像用于实验。由于这类数据集不能很好地模拟真实场景中存在的噪声，所以训练出的模型也不能得到广泛的应用。因此，我们需重新建立一个数据集来进行模型训练。为了得到模糊图像更加完整的信息，我们选择原始的传感器数据(即.RAW格式的图片)来进行训练。这样可以有效地避免传统相机处理流水线导致的信息丢失。
该数据集由原始的低照度、短曝光时间图像和相应的长曝光时间参考图像组成，值得注意的是，多张短曝光图像可以对应于相同的长曝光时间的参考图像，这样可以有效地增加训练模型的鲁棒性。
我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄所得。在室外场景下，相机的照度一般在0.2lux和5lux之间。室内相机的照度则更暗，一般在0.03lux和0.3lux之间。短曝光图像的曝光时间设置为1/30秒到1/10秒。相应的参考图像的曝光时间需要延长100到300倍，即10到30秒。
数据采集时，相机固定在三脚架上。为了避免由于镜面反射引起的干扰，我们使用无反射镜的相机进行拍摄。在每个场景中，首先拍摄长曝光参考图像。拍摄时，将光圈、感光度、焦点和焦距等调节为最优状态，以最大化的提高参考图像的质量。之后，使用远程控制程序将曝光时间进行缩短以进行短曝光图像拍摄。在整个拍摄过程中，我们要确保相机不会发生移动。
在完成数据集采集后，我们的实验步骤如下：
步骤1：对获取到的短曝光图像进行预处理；
1-1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类。由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道。此时每个通道的空间分辨率为原始图像的一半。
1-2.理想情况下，在暗光条件下获取到的图像中，黑色像素的灰度值应该为“0”，而实际情况中，在有外界干扰的情况下这一值是大于“0”的。因此，我们需对像素灰度值进行“归零”处理，其具体过程为：首先，将拍摄得到的图片输入程序中，检测到该“归零”阈值为“512”。其次，将图片中所有像素的灰度值减去该阈值。最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变。经“归零”处理后，可使图像中像素的灰度值与光照强度呈线性关系，方便后续处理。
步骤2：将预处理后的图像输入U-Net卷积神经网络进行训练。
2-1.通过端对端的方式对U-Net网络进行训练，以避免图像中噪声的放大和误差的累计。
2-2.在训练中，随机裁剪一个512×512的补丁用于训练，这样可以在保证网络训练质量的情况下极大的减少网络的训练时间。同时，我们对裁剪的补丁随机进行翻转、旋转等操作来增强训练数据。
步骤3：计算误差并进行迭代训练。
3-1.U-Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半。
3-2.对U-Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像。
3-3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数。考虑到Adam优化算法能够基于训练数据迭代的更新神经网络的权重，因此，我们选择Adam算法作为网络的优化器。
步骤4：对训练模型进行评估。我们以图像的峰值信噪比(PSNR)和结构相似性(SSIM)作为最终结果的评判标准。
本发明的有益效果：
由于低光子数和低信噪比的原因，快速低光成像系统是一个艰巨的挑战。在本发明中，我们创建了一个低照度条件下的数据集，利用该数据集，我们提出了一种基于全卷积神经网络的模型结构，通过端到端训练，改善了传统处理低光图像的方法。该方法的提出，可以有效地解决低光下快速成像的问题，同时也为图像去噪、去模糊提供了一种新的可行方法。
附图说明
图1是系统的整体流程图；
图2是图像预处理阶段；
图3是系统中使用的U-Net卷积神经网络示意图；
图4是系统中用到的亚像素卷积层示意图；
具体实施方式：
以下结合附图对本发明进行详细说明。
图1是本发明的整体理流程图。系统以.RAW数据作为输入，其形状为H×W×1,对输入数据进行打包，分为四个通道，打包后的形状为H/2×W/2×4。打包过程的示意图如图2所示，其为Sonyα7S II相机拍摄得到的.RAW数据格式示意图，从图中可以清楚的看到图像阵列中的R、G、B像素等间隔均匀分布，而且其中R、G、B的数量比为1:2:1，为了使输入神经网络的图像形状一样，因此我们将.RAW图像阵列分为四个通道，每个通道的空间分辨率只有原始图像的一半。
在将.RAW图像阵列分为四个通道后，我们需对每个通道进行“归零”处理，即减去“Black Level”，这样可以使像素的灰度值与光照呈线性关系，有助于模型的训练。
图3为本发明中使用的U-Net卷积神经网络示意图，其由10个卷积层、4个池化层和4个上采样层组成。其输入的图像为我们选取的512×512的补丁，并且经过了随机翻转和旋转变换。即输入网络的图像形状为：512×512×4，其卷积实现过程如下：
1)第一层卷积：对输入图像使用32个大小为3×3×4的卷积核进行卷积，输出为512×512×32。
第一层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为256×256×32。
2)第二层卷积：对输入图像使用64个大小为3×3×32的卷积核进行卷积，输出为256×256×64。
第二层下池化：对卷积层的输出使用大小为2×2的模板进行maxpooling，其的输出为128×128×64。
3)第三层卷积：对输入图像使用128个大小为3×3×64的卷积核进行卷积，输出为128×128×128。
第三层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其的输出为64×64×128。
4)第四层卷积：对输入图像使用256个大小为3×3×128的卷积核进行卷积，输出为64×64×256。
第四层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其的输出为32×32×256。
5)第五层卷积：对输入图像使用512个大小为3×3×256的卷积核进行卷积，输出为32×32×512。
6)第一层上采样：对卷积层的输出使用256个大小为2×2×512的模板进行上采样，其输出为64×64×256。将输出与第四层卷积的输出进行组合，其最终输出为64×64×512。
第六层卷积：对输入图像使用256个大小为3×3×512的卷积核进行卷积，输出为64×64×256。
7)第二层上采样：对卷积层的输出使用128个大小为2×2×256的模板进行上采样，其输出为128×128×128。将输出与第三层卷积的输出进行组合，其最终输出为128×128×256。
第七层卷积：对输入图像使用128个大小为3×3×256的卷积核进行卷积，输出为128×128×128。
8)第三层上采样：对卷积层的输出使用64个大小为2×2×128的模板进行上采样，其输出为256×256×64。将输出与第二层卷积的输出进行组合，其最终输出为256×256×128。
第八层卷积：对输入图像使用64个大小为3×3×128的卷积核进行卷积，输出为256×256×64。
9)第四层上采样：对卷积层的输出使用32个大小为2×2×64的模板进行上采样，其输出为512×512×32。将输出与第一层卷积的输出进行组合，其最终输出为512×512×64。
第九层卷积：对输入图像使用32个大小为3×3×64的卷积核进行卷积，输出为512×512×32。
10.第十层卷积：对输入图像使用12个大小为3×3×32的卷积核进行卷积，输出为512×512×12。
以上即为U-Net卷积神经网络的详细实现过程，从中我们可以看到，网络并没有改变输入图像的尺寸，只是将输入的四个通道经过多层特征提取后，最终输出为12通道。
图4为亚像素卷积层示意图，其中图(a)为卷积示意图，即经过亚像素卷积层后，各通道像素按规律进行组合，其空间分辨率扩大一倍。图(b)为本发明中最后的输出结果，其输出为RGB图像。将输出结果与参考图像进行比较，并计算损失函数，通过优化器更新网络参数，并进行后续的迭代训练。
对训练好的模型进行测试时，我们选用PSNR和SSIM作为评测标准，以进一步改善训练模型，达到最优化。
Claims (4)
1.一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于包括如下步骤：
步骤1：对获取到的短曝光图像进行预处理；
1-1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类；由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道；此时每个通道的空间分辨率为原始图像的一半；
1-2.对像素灰度值进行“归零”处理，可使图像中像素的灰度值与光照强度呈线性关系；其具体过程为：
首先，将拍摄得到的图像进行检测，检测到该“归零”阈值为“512”；
其次，将图像中所有像素的灰度值减去该阈值；
最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变；
步骤2：将预处理后的图像输入U-Net卷积神经网络进行训练；
2-1.通过端对端的方式对U-Net网络进行训练，以避免图像中噪声的放大和误差的累计；
2-2.在训练中，随机裁剪一个512×512的补丁用于训练，同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据；
步骤3：计算误差并进行迭代训练；
3-1.U-Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半；
3-2.对U-Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像；
3-3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数；选择Adam算法作为网络的优化器；
步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。
2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于所述的以.RAW数据作为输入，其形状为H×W×1,对输入数据进行打包，分为四个通道，打包后的形状为H/2×W/2×4；所述的图像阵列中的R、G、B像素等间隔均匀分布。
3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于所述的U-Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成；其输入的图像为选取的512×512的补丁，并且经过了随机翻转和旋转变换；即输入网络的图像形状为：512×512×4，其卷积实现过程如下：
①第一层卷积：对输入图像使用32个大小为3×3×4的卷积核进行卷积，输出为512×512×32；
第一层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为256×256×32；
②第二层卷积：对输入图像使用64个大小为3×3×32的卷积核进行卷积，输出为256×256×64；
第二层下池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其的输出为128×128×64；
③第三层卷积：对输入图像使用128个大小为3×3×64的卷积核进行卷积，输出为128×128×128；
第三层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其的输出为64×64×128；
④第四层卷积：对输入图像使用256个大小为3×3×128的卷积核进行卷积，输出为64×64×256；
第四层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其的输出为32×32×256；
⑤第五层卷积：对输入图像使用512个大小为3×3×256的卷积核进行卷积，输出为32×32×512；
⑥第一层上采样：对卷积层的输出使用256个大小为2×2×512的模板进行上采样，其输出为64×64×256；将输出与第四层卷积的输出进行组合，其最终输出为64×64×512；
第六层卷积：对输入图像使用256个大小为3×3×512的卷积核进行卷积，输出为64×64×256；
⑦第二层上采样：对卷积层的输出使用128个大小为2×2×256的模板进行上采样，其输出为128×128×128；将输出与第三层卷积的输出进行组合，其最终输出为128×128×256；
第七层卷积：对输入图像使用128个大小为3×3×256的卷积核进行卷积，输出为128×128×128；
⑧第三层上采样：对卷积层的输出使用64个大小为2×2×128的模板进行上采样，其输出为256×256×64；将输出与第二层卷积的输出进行组合，其最终输出为256×256×128；
第八层卷积：对输入图像使用64个大小为3×3×128的卷积核进行卷积，输出为256×256×64；
⑨第四层上采样：对卷积层的输出使用32个大小为2×2×64的模板进行上采样，其输出为512×512×32；将输出与第一层卷积的输出进行组合，其最终输出为512×512×64；
第九层卷积：对输入图像使用32个大小为3×3×64的卷积核进行卷积，输出为512×512×32；
⑩第十层卷积：对输入图像使用12个大小为3×3×32的卷积核进行卷积，输出为512×512×12。
4.根据权利要求2所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于将输入的四个通道经过多层特征提取后，最终输出为12通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520242.6A CN110378845B (zh) | 2019-06-17 | 2019-06-17 | 一种基于卷积神经网络的极端条件下的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520242.6A CN110378845B (zh) | 2019-06-17 | 2019-06-17 | 一种基于卷积神经网络的极端条件下的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378845A true CN110378845A (zh) | 2019-10-25 |
| CN110378845B CN110378845B (zh) | 2021-05-25 |
Family
ID=68248896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910520242.6A Active CN110378845B (zh) | 2019-06-17 | 2019-06-17 | 一种基于卷积神经网络的极端条件下的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378845B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028167A (zh) * | 2019-12-05 | 2020-04-17 | 广州市久邦数码科技有限公司 | 一种基于深度学习的图像修复方法 |
| CN111126568A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
| CN111192224A (zh) * | 2020-01-13 | 2020-05-22 | 北京联合大学 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
| CN111325679A (zh) * | 2020-01-08 | 2020-06-23 | 深圳深知未来智能有限公司 | 一种Raw到Raw的暗光图像增强方法 |
| CN111402146A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
| CN111612703A (zh) * | 2020-04-22 | 2020-09-01 | 杭州电子科技大学 | 一种基于生成对抗网络的图像盲去模糊方法 |
| CN111681223A (zh) * | 2020-06-09 | 2020-09-18 | 安徽理工大学 | 基于卷积神经网络的低照度条件下矿井井壁检测方法 |
| CN112581392A (zh) * | 2020-12-15 | 2021-03-30 | 中山大学 | 基于双向光照估计与融合修复的图像曝光校正方法、系统及存储介质 |
| CN113095470A (zh) * | 2020-01-08 | 2021-07-09 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN113269701A (zh) * | 2021-05-08 | 2021-08-17 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| WO2022027216A1 (zh) * | 2020-08-04 | 2022-02-10 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像降噪方法及其应用 |
| US11468543B1 (en) | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
| CN115564671A (zh) * | 2022-09-23 | 2023-01-03 | 哈尔滨工业大学 | 基于长短曝光图像对的自监督图像复原系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180060649A1 (en) * | 2016-08-30 | 2018-03-01 | Irida Labs S.A. | Fast, embedded, hybrid video face recognition system |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| US20180359416A1 (en) * | 2017-06-13 | 2018-12-13 | Adobe Systems Incorporated | Extrapolating lighting conditions from a single digital image |
| CN109087375A (zh) * | 2018-06-22 | 2018-12-25 | 华东师范大学 | 基于深度学习的图像空洞填充方法 |
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109658383A (zh) * | 2018-11-22 | 2019-04-19 | 杭州电子科技大学 | 基于卷积神经网络和卡尔曼滤波的道路损伤识别方法 |
-
2019
- 2019-06-17 CN CN201910520242.6A patent/CN110378845B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180060649A1 (en) * | 2016-08-30 | 2018-03-01 | Irida Labs S.A. | Fast, embedded, hybrid video face recognition system |
| US20180359416A1 (en) * | 2017-06-13 | 2018-12-13 | Adobe Systems Incorporated | Extrapolating lighting conditions from a single digital image |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| CN109087375A (zh) * | 2018-06-22 | 2018-12-25 | 华东师范大学 | 基于深度学习的图像空洞填充方法 |
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109658383A (zh) * | 2018-11-22 | 2019-04-19 | 杭州电子科技大学 | 基于卷积神经网络和卡尔曼滤波的道路损伤识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG Y , SUN L , YAN C , ET AL.: "Adaptive Residual Networks for High-Quality Image Restoration", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 张绍堂; 任友俊; 徐昆良: "机器视觉系统中低照度彩色图像自适应增强", 《自动化技术与应用》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028167A (zh) * | 2019-12-05 | 2020-04-17 | 广州市久邦数码科技有限公司 | 一种基于深度学习的图像修复方法 |
| CN111126568A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
| CN111126568B (zh) * | 2019-12-09 | 2023-08-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
| CN111325679A (zh) * | 2020-01-08 | 2020-06-23 | 深圳深知未来智能有限公司 | 一种Raw到Raw的暗光图像增强方法 |
| CN113095470B (zh) * | 2020-01-08 | 2024-04-23 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN113095470A (zh) * | 2020-01-08 | 2021-07-09 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN111192224A (zh) * | 2020-01-13 | 2020-05-22 | 北京联合大学 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
| CN111192224B (zh) * | 2020-01-13 | 2024-03-19 | 北京联合大学 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
| CN111402146B (zh) * | 2020-02-21 | 2022-05-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
| CN111402146A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
| WO2021164234A1 (zh) * | 2020-02-21 | 2021-08-26 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
| CN111612703A (zh) * | 2020-04-22 | 2020-09-01 | 杭州电子科技大学 | 一种基于生成对抗网络的图像盲去模糊方法 |
| CN111681223B (zh) * | 2020-06-09 | 2023-04-18 | 安徽理工大学 | 基于卷积神经网络的低照度条件下矿井井壁检测方法 |
| CN111681223A (zh) * | 2020-06-09 | 2020-09-18 | 安徽理工大学 | 基于卷积神经网络的低照度条件下矿井井壁检测方法 |
| WO2022027216A1 (zh) * | 2020-08-04 | 2022-02-10 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像降噪方法及其应用 |
| CN112581392A (zh) * | 2020-12-15 | 2021-03-30 | 中山大学 | 基于双向光照估计与融合修复的图像曝光校正方法、系统及存储介质 |
| CN113269701A (zh) * | 2021-05-08 | 2021-08-17 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| CN113269701B (zh) * | 2021-05-08 | 2024-04-26 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| US11468543B1 (en) | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
| CN115564671A (zh) * | 2022-09-23 | 2023-01-03 | 哈尔滨工业大学 | 基于长短曝光图像对的自监督图像复原系统 |
| CN115564671B (zh) * | 2022-09-23 | 2024-05-03 | 哈尔滨工业大学 | 基于长短曝光图像对的自监督图像复原系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378845B (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378845A (zh) | 一种基于卷积神经网络的极端条件下的图像修复方法 | |
| CN111915526B (zh) | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN109255758B (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN111064904A (zh) | 一种暗光图像增强方法 | |
| CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN103314572A (zh) | 用于图像处理的方法和设备 | |
| CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
| CN107370910B (zh) | 基于最优曝光的最小包围曝光集合获取方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN114399431A (zh) | 一种基于注意力机制的暗光图像增强方法 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| Ye et al. | Single exposure high dynamic range image reconstruction based on deep dual-branch network | |
| CN116614714A (zh) | 相机感知特性引导的真实曝光校正方法和系统 | |
| Lapray et al. | Smart camera design for realtime high dynamic range imaging | |
| WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| CN115661012A (zh) | 一种基于全局-局部聚合学习的多曝光图像融合系统 | |
| CN114283101A (zh) | 一种多曝光图像融合的无监督学习方法、装置及电子设备 | |
| CN113658068A (zh) | 基于深度学习的cmos相机的去噪增强系统及方法 | |
| Yang et al. | Multi-scale extreme exposure images fusion based on deep learning | |
| CN113487520B (zh) | 基于转炉温度测量的高动态范围图像生成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |