CN116823662A - 一种融合原生特征的图像去噪去模糊方法 - Google Patents
一种融合原生特征的图像去噪去模糊方法 Download PDFInfo
- Publication number
- CN116823662A CN116823662A CN202310793102.2A CN202310793102A CN116823662A CN 116823662 A CN116823662 A CN 116823662A CN 202310793102 A CN202310793102 A CN 202310793102A CN 116823662 A CN116823662 A CN 116823662A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- denoising
- deblurring
- blurred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000007634 remodeling Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000002699 waste material Substances 0.000 abstract description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种融合原生特征的图像去噪去模糊方法，属于计算机视觉领域，该方法首先通过摄像机拍摄获取数据集中的原始数据，并进行数据集合成，得到合成后的模糊清晰图像对。其次构建原生图像估计网络，得到估计的原生图像。最后构建融合原生特征的图像去噪去模糊网络，实现去噪和去模糊，输出不同尺度的去噪去模糊后的清晰图像。本发明在联合去噪去模糊方面优于以往的方法，有助于提高图像质量，降低相机成本，减少资源浪费，对智慧交通、人脸识别等领域具有非常重要的意义。
Description
技术领域
本发明属于计算机视觉领域，具体涉及到一种融合原生特征的图像去噪去模糊方法。
背景技术
随着人工智能技术的发展，目标检测和目标识别技术在生活中已经被广泛使用，如运用在交通违法拍照的车牌号检测，刷脸支付使用的人脸识别技术等等。然而，这些场景中由于拍摄目标的快速移动，会产生模糊和噪声等低质量的图像，这样就对相机硬件配置的要求大大提高，成本也随之上升。因此，针对相机拍摄的低质量图像，提供相应的图像复原技术使图像变清晰显得尤为重要，也是降低相机成本必须要解决的问题。
在图像拍摄过程中，长曝光的拍摄时间较长，当目标运动较复杂时会产生难以恢复的模糊，因此在车辆检测和识别等高级图像任务中一般使用相对较短的曝光时间，而短曝光拍摄的图像会产生较大的噪声，同样会降低拍摄图像的质量。为了平衡图像中的模糊和噪声大小，曝光时间不会设置过长或过短，而这样的设置会产生同时带有轻微模糊和部分噪声的图像。目前针对带噪声模糊图像的复原技术仍不成熟。现有技术中，多数方法仅针对模糊或噪声的一种图像低质问题进行复原。图像去模糊的方法只能去除图像中的运动模糊，不能去除拍摄过程中产生的噪声；同样，图像去噪的方法也仅对噪声有效，运动产生的模糊仍然存在。这样的方法用于同时带有模糊和噪声的图像是无效的，难以复原出高质量的清晰图像。
发明内容
本发明针对相机拍摄的低质量图像，考虑到相机成像过程的复杂性，以降低相机拍照成本为切入点，聚焦低质量图像去噪去模糊这一问题，提出了一种融合原生特征的图像去噪去模糊方法，该方法能够将图像去噪和去模糊统一在一个框架模型下，实现对相机拍摄低质图像的高质量复原，能够用于对已安装的监控设备升级改造，起到降低成本，减少资源浪费，同时提高工作效率的作用。
本发明具体采用的技术方案如下：
步骤(1)原始数据获取：首先获取数据集中的原始数据，该数据由高速率摄像机拍摄，对每一帧数据导出为图像，得到清晰图像，其中包括若干个场景。
步骤(2)数据集合成：根据步骤(1)中获取到的清晰图像，对于每个场景，选取连续拍摄的7～13张清晰图像作为一组。每张图像依次使用逆伽马函数、逆颜色转换、马赛克、逆白平衡，把该清晰图像从RGB空间(红、绿、蓝三原色空间)转换到原生图像空间。对这组原生图像进行平均，得到模糊的原生图像。对模糊的原生图像，加入与信号相关的泊松噪声分量和与信号无关的高斯噪声分量。然后对每一张加噪后模糊的原生图像顺序使用相机的图像处理管道，包括白平衡、去马赛克、颜色转换和伽马函数映射，得到一张带噪声的模糊RGB图像(以下简称模糊图像)。选取这7～13张清晰图像的中间图像作为这张模糊图像对应的清晰图像。最终得到合成后的模糊清晰图像对，遍历每一个场景生成模糊清晰图像对，并划分得到训练集与验证集，用于训练和验证。
步骤(3)数据集预处理：对于用于训练的每一个模糊清晰图像对，将图像像素大小进行裁剪，并进行随机翻转和随机旋转操作对数据集进行增强。然后，把模糊和清晰图像对重塑为原图像的三个尺度，其中模糊图像作为网络训练时的输入。
步骤(4)原生图像估计网络：使用三层的U型网络用于原生图像的估计。具体步骤为把步骤(3)中重塑的(1×1)尺度的模糊图像输入三层的U型网络，在网络的每一层中依次使用卷积操作、残差连接和ReLU激活函数，在两层之间使用下采样和上采样操作，得到原生图像特征。使用卷积层将解码得到的原生图像特征转化为通道数为1的图像并输出，得到估计的原生图像。
步骤(5)融合原生特征的图像去噪去模糊网络：使用融合原生图像特征的多尺度网络实现去噪和去模糊的功能。具体步骤为把步骤(3)中重塑的三个尺度的模糊图像输入到图像去噪去模糊网络中，分别对每个尺度的图像进行编码和解码，在编码器和解码器中把上一尺度得到的特征与当前尺度得到的特征相融合。同时，将步骤(4)中原生图像估计网络中解码得到的不同尺度的原生图像特征和图像去噪去模糊网络中编码或解码得到的RGB图像特征共同输入特征融合模块中进行融合，将融合后的特征加入图像去噪去模糊网络中继续进行编码和解码，最终输出不同尺度的去噪去模糊后的清晰图像。
步骤(6)训练网络参数：对于步骤(4)中原生图像估计网络输出的估计图像和其对应清晰图像依次使用逆伽马函数、逆颜色转换、马赛克、逆白平衡得到的原生图像，使用L1损失函数计算网络损失，训练得到原生图像估计网络参数θ1。对于步骤(5)中融合原生特征的图像去噪去模糊网络输出的清晰图像和步骤(3)中重塑得到的三个尺度的清晰图像，使用L1损失函数计算网络损失，训练得到融合原生特征的图像去噪去模糊网络参数θ2。
步骤(7)最优参数下测试验证集中的新样本：对于一张模糊图像，使用步骤(6)中估计的网络参数θ1和θ2，分别放入步骤(4)和(5)的网络中，得到去噪去模糊后的清晰图像。
本发明的有益效果：本发明针对相机拍摄的低质量图像，使用了一种融合原生特征的带噪声模糊图像的复原方法，在数据集合成阶段，使用相机处理管道的逆过程把图像由RGB空间转换到原生图像空间，平均并加入噪声得到原生空间的带噪声模糊图像，通过相机的图像处理管道得到用于训练的带噪声模糊图像。在图像去噪去模糊阶段，使用三层的U型网络对原生图像进行估计，把解码出的原生图像特征输入到多尺度网络进行融合，最终得到复原后的清晰图像。通过在合成数据集上进行实验，证明了该方法在联合去噪去模糊方面优于以往的方法，有助于提高图像质量，降低相机成本，减少资源浪费。
附图说明
图1为方法的框架流程图；
图2为方法的网络模型图；
图3为数据集合成流程图；
图4为实验测试效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1、2、3、4，对本发明提供的针对带噪声模糊图像的融合原生特征的图像去噪去模糊方法进行进一步详细说明。
步骤(1)原始数据获取：首先获取GOPRO数据集中的原始数据，该数据由高速率摄像机以每秒240帧的速率拍摄，对每一帧数据导出为图像而得，其中包括33个场景，共计34874张清晰图像。
步骤(2)数据集合成：对于步骤(1)中获取到的清晰图像，对于每个场景，选取连续拍摄的7～13张清晰图像作为一组。每张图像依次使用逆伽马函数、逆颜色转换、马赛克、逆白平衡，把图像从RGB空间转换到原生图像空间。对这组原生图像进行平均，得到模糊的原生图像：
其中Rblur表示模糊的原生图像，M表示采样帧的数量，R[i]表示第i帧原生图像。对模糊后的原生图像，加入高斯噪声和泊松噪声的混合：
Rbn＝α(Rblur+Ns)+Nc (2)其中Rbn表示加噪后的模糊原生图像，Rblur表示模糊的原生图像，Ns和Nc分别表示传感器引入的信号相关噪声和信号无关噪声，α是根据模拟增益和数字增益确定的总增益，设置为8.8915e-5。把(Rblur+Ns)建模为与信号相关的泊松分布，把Nc建模为与信号无关的高斯分布：
其中和/>分别表示泊松分布和高斯分布。β表示高斯分布的方差，设置为2.9430e-5。对每一张原生图像顺序使用相机的图像处理管道，包括白平衡、去马赛克、颜色转换和伽马函数映射，得到带噪声的模糊图像：
其中BSyn表示最终合成的带噪声模糊图像，ISP是对相机图像处理管道的模拟。选取这7～13张清晰图像的中间图像作为这张模糊图像对应的清晰图像。最终得到合成后的模糊清晰图像对共3214个，其中2103个图像对用于训练，1111个图像对用于测试。
步骤(3)数据集预处理：对于用于训练的每一个模糊清晰图像对，将像素大小由1280×720裁剪为256×256的图像，并进行随机翻转和随机旋转操作对数据集进行增强。然后，把模糊和清晰图像对重塑为原图像的三个尺度，其中模糊图像作为网络训练时的输入。
步骤(4)原生图像估计网络：使用三层的U型网络用于原生图像的估计。具体步骤为：
4.1把步骤(3)中重塑的(1×1)模糊图像B1输入三层的U型网络，在第一层网络中经过一个通道数为32的3×3卷积后，图像的通道数由3变为32，再通过4个通道数为32的残差块后，将其输入到第二层网络中。
4.2第二层网络首先经过一个步长为2且通道数为64的3×3卷积对输入的特征图进行下采样，再经过4个通道数为64的残差块后，将特征图传入第三层网络中。
4.3第三层网络先是经过同样步长为2但通道数为128的3×3卷积，进一步下采样特征图，然后经过8个通道数为128的残差块后，将此时的特征定义为F3。
4.4在第二层中对F3使用步长为2且通道数为64的反卷积操作将特征图上采样，通过4个通道数为64的残差块后，将特征定义为F2。然后把F2传递至第一层网络中。
4.5在第一层中对F2使用步长为2且通道数为32的反卷积操作对特征图上采样，将图像的信息进行还原。经过4个通道数为32的残差模块后，特征被定义为F1。最后经过一个3×3卷积将图像通道数还原为1，得到估计的原生图像。
步骤(5)融合原生特征的图像去噪去模糊网络：使用融合原生特征的多尺度网络实现去噪和去模糊的功能。具体步骤为：
5.1把步骤(3)中重塑的模糊图像B1、B2、B3输入到网络中，B2、B3分别由B1、B2下采样得到。B1首先输入第一层网络中的编码器EB1，在编码器EB1中先经过一个通道数为32的3×3卷积后，图像的通道数由3变为32。使用特征融合模块将RGB图像特征与步骤(4.5)中得到的原生图像特征F1相融合。再通过8个通道数为32的残差模块后，将其输入到第二层网络中的编码器EB2。(在特征融合模块中，将RGB图像特征与原生图像特征相乘，将相乘后特征的最大池化和平均池化拼接，通过7×7的卷积后归一化得到权重，与RGB图像特征相乘后输出)。
5.2在第二层网络的EB2中首先经过一个步长为2且通道数为64的3×3卷积对输入的特征图进行下采样，并通过特征融合模块将RGB特征与步骤(4.4)得到的原生图像特征F2相融合。在特征注意力模块中与B2经过浅卷积操作SCM2提取的特征相乘，并通过通道数为64的3×3卷积进行融合。再经过8个通道数为64的残差块后，将特征图传入第三层网络中的编码器EB3。(其中，在SCM2中B2先输入两个通道为16的3×3卷积，再输入一个通道数为29的1×1卷积，与B2在通道维度上拼接后，通过一个通道数为32的1×1卷积并输出)。
5.3在第三层网络的EB3中先是经过同样步长为2但通道数为128的3×3卷积进一步下采样特征图，并通过特征融合模块将RGB特征与步骤(4.3)得到的原生图像特征F3相融合。在特征注意力模块中与B3经过SCM3提取的特征相乘，并通过通道数为128的3×3卷积进行融合。然后经过8个通道数为128的残差块后，将特征图传入第三层网络中的解码器DB3。(其中，SCM3与SCM2使用相同的卷积操作，得到的特征与B3在通道维度上拼接后，通过一个通道数为32的1×1卷积并输出)。
5.4在第三层网络的DB3中先通过一个特征融合模块将RGB特征与原生图像特征F3相融合，然后经过8个通道数为128的残差模块后，使用一个步长为2且通道数为64的4×4反卷积操作将特征上采样至第二层网络。
5.5在第二层网络中首先与非对称特征融合模块AFF2输出的特征进行拼接，接着输入解码器DB2。在DB2中经过一个通道数为64的1×1卷积、一个特征融合模块将RGB特征与原生图像特征F2相融合、8个通道数为64的残差块和一个步长为2且通道数为32的4×4的反卷积层，然后将特征上采样至第一层网络。(在AFF2中把EB1、EB2、EB3编码后的特征在通道维度上拼接，并通过两个通道数为64的1×1卷积)。
5.6在第一层网络中首先与非对称特征融合模块AFF1输出的特征进行拼接，然后输入解码器DB1。在DB1中经过一个通道数为32的1×1卷积、一个特征融合模块将RGB特征与原生图像特征F1相融合、8个通道数为32的残差块，最后经过一个通道数为3的3×3卷积后，和原图相加得到复原图像同样的，在第二层和第三层的最后分别使用通道为3的3×3卷积得到复原图像/>和/>(在AFF1中把EB1、EB2、EB3编码后的特征在通道维度上拼接，并通过两个通道数为32的1×1卷积)。
步骤(6)训练网络参数：
依据步骤(4)训练原生图像估计网络的θ1参数：
使用L1损失函数计算网络估计的原生图像与步骤(3)中重塑得到的清晰图像的原生图像之间的损失：
其中，表示原生图像估计网络的输出，Rs表示清晰图像的原生图像，/>表示傅里叶变换操作，‖·‖1表示L1损失函数。
依据步骤(5)训练融合原生特征的图像去噪去模糊网络的θ2参数：
使用L1损失函数计算网络输出的复原图像与步骤(3)中重塑得到的清晰图像之间的损失：
其中，表示融合原生特征的图像去噪去模糊网络第k层的输出，Sk表示相应尺度的清晰图像，‖·‖1表示L1损失函数。
把Lc1(θ1)、LF1(θ1)、Lc2(θ2)、LF2(θ2)拼接，输入一个拥有4个输入、1个输出的全连接网络得到整个网络的损失Ltotal：
Ltotal＝W×Concat(Lc1(θ1),LF1(θ1),Lc2(θ2),LF2(θ2)) (10)
其中W是使用全连接网络优化得到的参数，Concat(·)表示拼接操作。
步骤(7)最优参数下测试新样本：对于一张需要复原的模糊图像，使用步骤(6)中估计的网络参数θ1和θ2，分别放入步骤(4)和(5)的网络中，得到去噪去模糊后的清晰图像。实验结果如图4所示，从图中可以看出通过本发明可以得到精确的去噪去模糊图像。
Claims (6)
1.一种融合原生特征的图像去噪去模糊方法，其特征在于，包括如下步骤：
步骤1、获取数据集中的原始数据，该数据由高速率摄像机拍摄，将每一帧数据导出为图像，得到清晰图像，其中包括若干个场景；
步骤2、根据清晰图像，对于每个场景，得到模糊清晰图像对，并划分训练集与验证集；
步骤3、对于训练集中的每一个模糊清晰图像对进行增强，然后将模糊清晰图像对重塑为原图像的三个尺度；
步骤4、使用三层U型网络构建原生图像估计网络，由重塑的(1×1)尺度模糊图像，得到估计的原生图像；
步骤5、构建融合原生特征的图像去噪去模糊网络，由重塑后三个尺度的模糊图像，得到不同尺度的去噪去模糊后的清晰图像；
步骤6、训练网络参数，得到原生图像估计网络参数θ1，以及融合原生特征的图像去噪去模糊网络参数θ2；
步骤7、获取验证集中的模糊图像，使用网络参数θ1和θ2，分别放入原生图像估计网络和图像去噪去模糊网络，得到去噪去模糊后的清晰图像。
2.根据权利要求1所述的一种融合原生特征的图像去噪去模糊方法，其特征在于，步骤2具体过程如下：
2.1、对于每个场景，选取连续拍摄的7～13张清晰图像作为一组；
2.2、对每张清晰图像依次使用逆伽马函数、逆颜色转换、马赛克、逆白平衡，把该清晰图像从RGB空间转换到原生图像空间，对这组原生图像进行平均，得到模糊的原生图像；
2.3、对模糊的原生图像，加入与信号相关的泊松噪声分量和与信号无关的高斯噪声分量；
2.4、对每一张加噪后模糊的原生图像顺序使用相机的图像处理管道，包括白平衡、去马赛克、颜色转换和伽马函数映射，得到一张带噪声的模糊RGB图像，即模糊图像，选取这一组清晰图像的中间图像作为这张模糊图像对应的清晰图像，得到合成后的模糊清晰图像对；
2.5、遍历每一个场景生成模糊清晰图像对，并划分得到训练集与验证集。
3.根据权利要求2所述的一种融合原生特征的图像去噪去模糊方法，其特征在于，步骤3中所述模糊清晰图像对增强的具体过程为：对图像的像素大小进行裁剪，并进行随机翻转和随机旋转操作。
4.根据权利要求3所述的一种融合原生特征的图像去噪去模糊方法，其特征在于，步骤4具体过程为：
4.1、将重塑的(1×1)尺度的模糊图像输入三层的U型网络，在网络的每一层中依次使用卷积操作、残差连接和ReLU激活函数，在两层之间使用下采样和上采样操作，得到原生图像特征；
4.2、使用卷积层将原生图像特征转化为通道数为1的图像并输出，得到估计的原生图像。
5.根据权利要求4所述的一种融合原生特征的图像去噪去模糊方法，其特征在于，步骤5具体过程为：将重塑后三个尺度的模糊图像输入到图像去噪去模糊网络中，分别对每个尺度的图像进行编码和解码，在编码器和解码器中把上一尺度得到的特征与当前尺度得到的特征相融合；同时，将步骤4中原生图像估计网络中解码得到的不同尺度的原生图像特征和图像去噪去模糊网络中编码或解码得到的RGB图像特征，共同输入特征融合模块中进行融合，将融合后的特征加入图像去噪去模糊网络中继续进行编码和解码；最后将解码得到的特征经过一个卷积层后与重塑后对应尺度的模糊图像相加，输出不同尺度的去噪去模糊后的清晰图像。
6.根据权利要求5所述的一种融合原生特征的图像去噪去模糊方法，其特征在于，步骤6训练网络参数的具体过程如下：
6.1、对于步骤4中原生图像估计网络输出的估计图像和其对应清晰图像依次使用逆伽马函数、逆颜色转换、马赛克、逆白平衡得到的原生图像，使用L1损失函数计算网络损失，训练得到原生图像估计网络参数θ1；
6.2、对于步骤5中融合原生特征的图像去噪去模糊网络输出的清晰图像和步骤3中重塑得到的三个尺度的清晰图像，使用L1损失函数计算网络损失，训练得到融合原生特征的图像去噪去模糊网络参数θ2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793102.2A CN116823662A (zh) | 2023-06-30 | 2023-06-30 | 一种融合原生特征的图像去噪去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793102.2A CN116823662A (zh) | 2023-06-30 | 2023-06-30 | 一种融合原生特征的图像去噪去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823662A true CN116823662A (zh) | 2023-09-29 |
Family
ID=88119926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310793102.2A Pending CN116823662A (zh) | 2023-06-30 | 2023-06-30 | 一种融合原生特征的图像去噪去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823662A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117544863A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市索智科技股份有限公司 | 一种基于记录仪的信息采集方法、系统及记录仪 |
-
2023
- 2023-06-30 CN CN202310793102.2A patent/CN116823662A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117544863A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市索智科技股份有限公司 | 一种基于记录仪的信息采集方法、系统及记录仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN108257095B (zh) | 用于处理图像的系统 | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| Guo et al. | Joint denoising and demosaicking with green channel prior for real-world burst images | |
| Niu et al. | Low cost edge sensing for high quality demosaicking | |
| CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN116823662A (zh) | 一种融合原生特征的图像去噪去模糊方法 | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| Yang et al. | Joint image dehazing and super-resolution: Closed shared source residual attention fusion network | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN112070686B (zh) | 一种基于深度学习的逆光图像协同增强方法 | |
| CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
| CN115249211A (zh) | 一种基于水下非均匀入射光模型的图像复原方法 | |
| CN116433525A (zh) | 一种基于边缘检测函数变分模型的水下图像去雾方法 | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| Bae et al. | DenSE SwinHDR: SDRTV to HDRTV Conversion Using Densely Connected Swin Transformer With Squeeze and Excitation Module | |
| CN116634284B (zh) | Raw域视频去噪方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |