CN113487528B - 图像处理方法及装置、计算机可读存储介质、终端 - Google Patents
图像处理方法及装置、计算机可读存储介质、终端 Download PDFInfo
- Publication number
- CN113487528B CN113487528B CN202110745028.8A CN202110745028A CN113487528B CN 113487528 B CN113487528 B CN 113487528B CN 202110745028 A CN202110745028 A CN 202110745028A CN 113487528 B CN113487528 B CN 113487528B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- processed
- encoder
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种图像处理方法及装置、计算机可读存储介质、终端，图像处理方法包括：获取待处理图像；将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；输出所述处理后的图像。本发明技术方案能够提升图像去噪和亮度提升的效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质、终端。
背景技术
高质量图像为图像的后处理和传输信息的准确性提供保障，在弱光环境中，通过设备往往不能直接获得高质量及高对比度的图像。当前的低照度场景增强方法(Low LightEnhancement,LLE)在实际应用中，面对着弱光图像色调偏冷噪声大，无法恢复细节等情况，前者会影响视觉观看体验，后者会导致信息传递的失误。
当前的低光增强方法大多基于RGB图像进行处理，包含直方图均衡、色调曲线映射、Retinex方法、小波变换、基于去雨去雾模型的深度学习方法等。对RGB图像进行增强，使用基于卷积神经网络的联合图像去噪与弱光增强的方法。
但是，现有技术中的方法只能对RGB图像进行增强，原始传感器(sensor)捕获的细节在得到RGB图像的过程中已经丢失，无法通过低照度的RGB图恢复细节信息。而且，提取特征的网络结构感受野较小，网络容量有限，对于图像信息提取的效果不佳。
发明内容
本发明解决的技术问题是如何提升图像去噪和亮度提升的效果。
为解决上述技术问题，本发明实施例提供一种图像处理方法，图像处理方法包括：获取待处理图像；将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；输出所述处理后的图像。
可选的，所述神经网络模型包括：输入层，用于接收所述待处理图像；依次耦接的所述多个编码器；卷积层或池化层，耦接于所述输入层与首个编码器之间，以及相邻的两个编码器之间；依次耦接的所述多个解码器；输出层，用于输出所述处理后的图像。
可选的，所述多个编码器与所述多个解码器之间存在跳跃连接。
可选的，所述编码器包括：编码输入层，用于接收输入图像；多个卷积层，用于提取所述输入图像的特征；池化层；注意力节点，用于对池化后的特征图进行注意力操作；池化恢复层，用于对池化后的特征图进行恢复；特征融合节点，用于融合输入图像与具有不同尺度的特征图或叠加不同的颜色通道；编码输出层，用于输出融合后的图像。
可选的，所述解码器包括：解码输入层，用于接收输入图像；多个卷积层，用于提取所述输入图像的特征；特征融合节点，用于融合输入图像与所述多个卷积层输出的特征图；解码输出层，用于输出融合后的图像。
可选的，所述获取待处理图像之前还包括：获取原始图像；对所述原始图像中的数据进行归一化处理，以得到初始数据；利用预设调整参数对所述初始数据进行调整，以使调整后的初始数据的数值处于预设范围。
可选的，编码器的输入图像具有对应的标签图像，每一编码器采用以下方式计算损失值包括：利用池化后的特征图与所述编码器的输入图像对应的标签图像下采样后的特征图计算第一损失；利用所述神经网络模型输出的处理后的图像与所述标签图像计算第二损失；将所述第一损失与所述第二损失进行加权求和，以作为所述损失值。
可选的，所述待处理图像为原始RAW图像，所述多个解码器输出的图像为RAW图像，所述神经网络模型还包括：去马赛克层，用于将所述RAW图像转换为RGB图像。
为解决上述技术问题，本发明实施例还公开一种图像处理装置，图像处理装置包括：图像获取模块，用于获取待处理图像；图像处理模块，用于将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；图像输出模块，用于输出所述处理后的图像。
本发明实施例还公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述图像处理方法的步骤。
本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述图像处理方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案中，在利用神经网络模型进行图像处理时，在对输入的待处理图像进行编码时，使用融合多尺度信息的网络结构提取图像的信息，如色相、饱和度、亮度以及细节特征，能够实现对图像更好的去噪和亮度提升处理，并提高信息容量；而在卷积神经网络的恢复阶段，使用简单的结构的解码器对编码器获得的信息进行解码恢复，也即不采用复杂的网络结构即可恢复出图片的大部分信息，提升图像处理效率。
进一步地，本发明技术方案使用传感器采集到的低照度场景下RAW图像作为输入图像，使用神经网络模型对RAW图进行图像增强和噪点去除，再在神经网络模型中加上去马赛克模块，可以很好的解决低照度场景图像质量不高的问题。
进一步地，本发明技术方案还设置预设调整参数，能够在图像预处理阶段，也即图像输入至神经网络模型之前，针对不同用户的需求，控制图像亮度的强度，以使神经网络模型输出符合用户需求的暗光场景增强程度的图像。
附图说明
图1是本发明实施例一种图像处理方法的流程图；
图2是本发明实施例一种神经网络的结构图；
图3是本发明实施例一种编码器的结构图；
图4是本发明实施例另一种编码器的结构图；
图5是本发明实施例一种解码器的结构示意图；
图6是本发明实施例一种图像处理装置的结构示意图。
具体实施方式
如背景技术中所述，现有技术中的方法只能对RGB图像进行增强，原始传感器(sensor)捕获的细节在得到RGB图像的过程中已经丢失，无法通过低照度的RGB图恢复细节信息。而且，提取特征的网络结构感受野较小，网络容量有限，对于图像信息提取的效果不佳。
本发明技术方案中，在利用神经网络模型进行图像处理时，在对输入的待处理图像进行编码时，使用融合多尺度信息的网络结构提取图像的信息，如色相、饱和度、亮度以及细节特征，能够实现对图像更好的去噪和亮度提升处理，并提高信息容量；而在卷积神经网络的恢复阶段，使用简单的结构的解码器对编码器获得的信息进行解码恢复，也即不采用复杂的网络结构即可恢复出图片的大部分信息，提升图像处理效率。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种图像处理方法的流程图。
本发明实施例的图像处理方法可以用于终端设备侧，也即可以由终端设备执行所述方法的各个步骤。
具体地，所述图像处理方法可以包括以下步骤：
步骤S101：获取待处理图像；
步骤S102：将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；
步骤S103：输出所述处理后的图像。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
本发明实施例中，神经网络模型可以是预先构建，以及预先训练好的。在需要对图像进行暗光场景下的去噪处理以及亮度增强时，将待去噪图像输入至该神经网络模型即可，该神经网络模型能够输出去噪以及亮度增强后的图像。
具体地，神经网络模型的训练过程可以是在终端设备出厂之前完成的，训练完成的神经网络模型被部署在终端设备中，可以用于图像的去噪和亮度增强处理。
本发明实施例中，神经网络模型可以是基于残差结构构建的神经网络。
具体实施中，神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同尺度的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像。其中，经过多个编码器处理后，可以得到去除噪声后的尺寸较小的特征图。多个编码器将编码后的图像，也即上述尺寸较小的特征图，输入多个解码器进行解码，以恢复被噪声掩盖的特征，得到完整的图像。
具体实施中，感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征；而感受野的值越小则表示其所包含的特征越趋向于局部和细节。感受野的值可以大致用来判断每一层的抽象层次。
具体实施中，编码器融合具有不同感受野的特征图是指编码器将不同的特征图的像素进行加和(add)；编码器叠加不同的颜色通道是将不同的颜色通道在维度上进行扩展(concat)，以使叠加后的图像信息更加丰富。
本发明实施例的编码器能够融合具有不同感受野的特征图或叠加不同的颜色通道，从而能够提取图像中更多的细节特征，实现更好的去噪效果。
本发明实施例在利用神经网络模型进行图像处理时，在对输入的待处理图像进行编码时，使用融合多尺度信息的网络结构提取图像的信息，如色相、饱和度、亮度以及细节特征，能够实现对图像更好的去噪和亮度提升处理，并提高信息容量；而在卷积神经网络的恢复阶段，使用简单的结构的解码器对编码器获得的信息进行解码恢复，也即不采用复杂的网络结构即可恢复出图片的大部分信息，提升图像处理效率。
在本发明一个非限制性的实施例中，所述神经网络模型包括：输入层，用于接收所述待处理图像；依次耦接的所述多个编码器；卷积层或池化层，耦接于所述输入层与首个编码器之间，以及相邻的两个编码器之间；依次耦接的所述多个解码器；输出层，用于输出所述处理后的图像。
其中，最后一个编码器与首个解码器相连接。
具体请参照图2，图2示出了本发明实施例的神经网络的结构。
在图2示出的神经网络结构中，输入层20获取待处理图像，待处理图像可以是传感器的原始RAW图像，也可以是RGB图像。输入层20将图像输入至编码器1。
卷积层或池化层21能够缩小图像尺寸，例如图像每经过一个卷积层或池化层21，该图像的尺寸减少1/4。这也就意味着，输入不同编码器的图像的尺寸是不同的。换言之，当前编码器的结果通过降低特征图大小传输给下一个编码器使用。具体地，编码器1输出的特征图经过尺寸减小后输入至编码器2，编码器n-1输出的特征图经过尺寸减小后输入至编码器n。
多个编码器22通过对输入图像的图像进行特征提取、融合等操作，实现图像的去噪和亮度增强，最终输出尺寸较小的特征图。多个解码器23对该尺寸较小的特征图进行恢复，以恢复至输入层输入的待处理图像的尺寸，并活肤更多的细节特征，例如被噪声掩盖的特征。
编码器n与解码器1相连接。也即编码器n将编码后的图像输入至解码器1。经过多层解码后，解码器n将恢复后的图像经过输出层24进行输出。换句话说，编码器n和解码器1在最小的特征图尺寸上直接相连，即编码器n的输出作为解码器1的输入。
进一步地，所述多个编码器与所述多个解码器之间存在跳跃连接。也就是说，编码器的结果除了输出给下一层的编码器之外，还可以通过跳跃连接，输出该结果给解码器。
本发明实施例通过编码器和解码器之间的跳跃连接，能够解决神经网络模型在层数较多时带来的梯度消失问题，有助于反向传播。
需要说明的是，编码器、解码器、跳跃连接的组合数目可以根据实际的应用需求进行扩展，按照图2所示网络结构的组织形式进行扩展即可。
在本发明一个非限制性的实施例中，编码器和解码器之间的跳跃连接可以是直接连接，也可以是通过跳跃连接层相连接。
跳跃连接层的具体结构可以参照图5所示解码器的结构。跳跃连接层可以包括输入层50、卷积层51、特征融合节点52和输出层53。其中，输入层50用于接收来自编码器的图像，输出层53将图像输出至相应的解码器。卷积层51可以执行提取特征的卷积操作，包括但不限于3×3、5×5等卷积形式。特征融合节点52将特征图相加或颜色通道进行叠加。
通过上述跳跃连接层结构实现跳跃连接，能够在使得网络输出的图中在细节方面表现更加突出。
在本发明一个非限制性的实施例中，所述编码器包括：编码输入层，用于接收输入图像；多个卷积层，用于提取所述输入图像的特征；池化层；注意力节点，用于对池化后的特征图进行注意力操作；池化恢复层，用于对池化后的特征图进行恢复；特征融合节点，用于融合输入图像与具有不同尺度的特征图或叠加不同的颜色通道；编码输出层，用于输出融合后的图像。
具体请参照图3，图3示出了一种编码器结构的示意图。
如图3所示，输入层30用于接收输入至该编码器的图像，具体可以是从神经网络模型的输入层接收的，也可以是从上一层编码器的输出层接收的。例如，第一层编码器的输入层从神经网络模型的输入层接收图像，第二层编码器的输入层从第一层编码器的输出层接收图像，第三层编码器的输入层从第二层编码器的输出层接收图像，以此类推。
卷积层31能够执行增加维度的操作、降低维度的操作以及提取特征的操作。具体地，卷积层1可以执行增加维度的操作，卷积层3可以执行降低维度的操作。卷积核的大小具体可以是1×1。卷积层2和卷积层4可以执行提取特征的操作。卷积核大小可以选自3×3、5×5等。
需要说明的，本发明实施例仅以卷积层数为4进行说明，关于卷积层31的具体层数可以根据实际的应用场景进行设置，本发明实施例对此不做限制。
池化层32可以执行将特征图尺寸减小的操作。注意力节点33可以对特征图尺寸减小后的图进行注意力操作。池化恢复层34可以执行将特征图恢复到减小前的尺寸的操作，以保证输出层36输入的图像尺寸与输入层30输入的图像的尺寸是一致的。
特征融合节点35可以将输入层的图像、卷积层3输出的图像以及池化恢复层34输出的图像进行融合，以实现将残差、两个不同视野感知的卷积信息进行特征图相加或通道叠加，融合多尺度的信息后得到网络输出(也即输出层36输出的图像)。
本发明实施例的注意力节点33是通道的注意力(Channel Attention)，用于捕获颜色信息。由此，利用图3所示编码器构建的神经网络模型中，编码器能够叠加不同的颜色通道。
具体请参照图4，图4示出了一种编码器结构的示意图。
如图4所示，输入层40用于接收输入至该编码器的图像，具体可以是从神经网络模型的输入层接收的，也可以是从上一层编码器的输出层接收的。例如，第一层编码器的输入层从神经网络模型的输入层接收图像，第二层编码器的输入层从第一层编码器的输出层接收图像，第三层编码器的输入层从第二层编码器的输出层接收图像，以此类推。
本实施例中，卷积层1可以执行增加维度的操作，卷积层3可以执行降低维度的操作。卷积核的大小具体可以是1×1。卷积层2和卷积层4可以执行提取特征的操作。卷积核大小可以选自3×3、5×5等。
池化层42可以执行将特征图尺寸减小的操作。卷积层5可以将尺寸减小后的特征图进行特征提取。池化恢复层34可以执行将特征图恢复到减小前的尺寸的操作，以保证输出层36输入的图像尺寸与输入层30输入的图像的尺寸是一致的。注意力节点33可以将两个不同视野感知的卷积通路信息，使用注意力机制进行信息融合。
特征融合节点45将残差连接和特征融合后的特征图相加或通道叠加，融合多尺度的信息后得到网络输出。
与前述实施例中注意力节点33是通道的注意力(Channel Attention)，用于捕获颜色信息不同的是，本发明实施例的注意力节点44为空间注意力(Spatial Attention)，用于描述图片中各个像素点之间的关系。由此，利用图4所示编码器构建的神经网络模型中，编码器能够融合具有不同感受野的特征图。
需要说明的，本发明实施例仅以卷积层数为5进行说明，关于卷积层31的具体层数可以根据实际的应用场景进行设置，本发明实施例对此不做限制。
本发明实施例的编码器在编码阶段使网络结构包含多尺度的信息，提取信息时使用多尺度模块对整个神经网络进行重构，提高效率和信息容量；在网络前向推理过程中提取RAW图像的关键信息，从传感器(sensor)图像中提取有效信号，最终形成小尺寸的特征图供解码器使用。
在本发明一个非限制性的实施例中，所述解码器包括：解码输入层，用于接收输入图像；多个卷积层，用于提取所述输入图像的特征；特征融合节点，用于融合输入图像与所述多个卷积层输出的特征图；解码输出层，用于输出融合后的图像。
请参照图5，本发明实施例还示出了一种解码器的结构。
如图5所示，输入层50用于接收输入至该解码器的图像，具体可以是从最后一层的编码器的输出层接收的(也即编码器和解码器在最小的特征图尺寸上直接相连)，或者从上一层的解码器的输出层接收的。在存在跳跃连接的情况下，该输入层还可以从其他层的编码器的输出层接收图像。
例如，第一层解码器的输入层可以从最后一层编码器的输出层接收图像，第二层的解码器的输入层可以从第一层解码器的输出层接收图像，以此类推。
卷积层51可以执行提取特征的卷积操作，包括但不限于3×3、5×5等卷积形式。特征融合节点52将特征图相加或颜色通道进行叠加。
本发明实施例中，通过解码器实现图像的恢复，在图像恢复阶段，神经网络学习的是一个上采样的过程，该部分的方法理论类似于插值和超分辨率，网络学习的是可以用数学多项式恢复图像信息、以及颜色矩阵校正的拟合过程。
需要说明的是，解码器的卷层的层数可以是2，也可以是其他任意可实施的卷积层数，本发明实施例对此不作限制。
在本发明一个非限制性的实施例中，在图1所示步骤S101之前还可以包括以下步骤：获取原始图像；对所述原始图像中的数据进行归一化处理，以得到初始数据；利用预设调整参数对所述初始数据进行调整，以使调整后的初始数据的数值处于预设范围。
本发明实施例中，在训练神经网络模型或者运行神经网络模型时，对于输入神经网络模型的图像需要进行预处理，具体可以是归一化处理以及调整处理。
对原始图像中的数据进行归一化处理可以是对图像中的像素数据进行归一化的过程，例如可以是均值与方差的比值。为了避免输入的数据过小影响模型的收敛，还可以对归一化后的初始数据进行调整，例如可以将初始数据与预设调整参数进行相乘，以使得输入神经网络模型的数据在预设的数值范围内，保证神经网络更好的收敛。
具体地，在对输入数据进行预处理时，还可以根据不同相机厂商给出的拜耳模式(Bayer Pattern)格式，将单通道的RAW数据重新组合，得到RGrGbB四通道分开的特征图，将该重新组合后的特征图输入卷积神经网络中进行训练。
在本发明一个非限制性的实施例中，编码器的输入图像具有对应的标签图像，每一编码器采用以下方式计算损失值包括：利用池化后的特征图与所述编码器的输入图像对应的标签图像下采样后的特征图计算第一损失；利用所述神经网络模型输出的处理后的图像与所述标签图像计算第二损失；将所述第一损失与所述第二损失进行加权求和，以作为所述损失值。
本发明实施例中，第一损失Loss1主要计算结构相似度，用于衡量结构信息是否缺失。第二损失Loss2衡量结构信息是否恢复完全，以及对于各个通道的强度值调整是否正常。总的损失函数Loss＝a×Loss1+b×Loss2，a和b分别表示第一损失和第二损失对应的权重，a和b之和为1，通过调整两个损失函数权重(a和b)的不同组合，能够得到最佳的性能表现。
具体地，在输入图像为RAW图像，输出图像为RGB图像的情况下，第一损失Loss1为降低尺寸后的RAW特征图与标签图像下采样及去马赛克(remosaic)后的特征图计算的损失。第二损失Loss2为去马赛克后的网络输出RGB与标签图像处理后的RGB图计算的损失。
在本发明一个非限制性的实施例中，所述待处理图像为原始RAW图像，所述多个解码器输出的图像为RAW图像，所述神经网络模型还包括：去马赛克层，用于将所述RAW图像转换为RGB图像。
现有技术中的方法采用的输入数据本身是彩色图像，本身就有损失。对于低照度场景恢复方法，采用包含更多原始信息的RAW图处理在理论上可得到更好的效果。
具体实施中，在神经网络输出RGB图像时，可以采用四通道的特征图处理，将其通道数扩充为8后，增加冗余信息，有利于信息的重建和恢复，之后再将其转换为三通道图，去马赛克的作用更加显著。
在一个具体应用场景中，根据设置好的网络结构训练网络，端到端的进行训练，从低照度的RAW数据中获取信息，进行低光增强、去噪、去马赛克。通过调整数据输入时设置的调整参数，可针对不同用户的需求，使用手动调节的方式决定网络输出的暗光场景增强程度。
在一个具体应用场景中，在神经网络模型部署在终端设备之前，需要构建神经网络、构建训练样本以及对神经网络进行训练。具体实施中，在网络模型结构设计时，编码器部分的卷积层使用融合多尺度信息的卷积模块，该模块在固定特征图(feature map)下，融合多尺度信息进行特征提取；解码器部分的卷积层恢复信息；中间的跳跃连接层使用包含注意力机制的卷积模块，激活函数可以采用线性整流(Rectified Linear Units,ReLU)。在训练数据集的选取和预处理时，对训练数据输入网络时的归一化超参数(也即预设调整参数)进行设置，该参数在网络进行推断时可用于模型的增强效果调整。再进行损失函数设计和超参数设计，最后进行网络模型训练和推理应用。
请参照图6，本发明实施例还公开了一种图像处理装置。图像处理装置60可以包括：
图像获取模块601，用于获取待处理图像；
图像处理模块602，用于将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；
图像输出模块603，用于输出所述处理后的图像。
本发明实施例中，在利用神经网络模型进行图像处理时，在对输入的待处理图像进行编码时，使用融合多尺度信息的网络结构提取图像的信息，如色相、饱和度、亮度以及细节特征，能够实现对图像更好的去噪和亮度提升处理，并提高信息容量；而在卷积神经网络的恢复阶段，使用简单的结构的解码器对编码器获得的信息进行解码恢复，也即不采用复杂的网络结构即可恢复出图片的大部分信息，提升图像处理效率。
关于所述图像处理装置60的工作原理、工作方式的更多内容，可以参照图1至图5中的相关描述，这里不再赘述。
在具体实施中，上述图像处理装置60可以对应于终端设备中具有图像处理功能的芯片，例如SOC(System-On-a-Chip，片上系统)、基带芯片等；或者对应于终端设备中包括具有图像处理功能的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于终端设备。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1中所示的图像处理方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序。所述处理器运行所述计算机程序时可以执行图1中所示的图像处理方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
本申请实施例中的终端可以指各种形式的用户设备(user equipment，简称UE)、接入终端、用户单元、用户站、移动站、移动台(mobile station，建成MS)、远方站、远程终端、移动设备、用户终端、终端设备(terminal equipment)、无线通信设备、用户代理或用户装置。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，简称SIP)电话、无线本地环路(Wireless Local Loop，简称WLL)站、个人数字处理(Personal Digital Assistant，简称PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，未来5G网络中的终端设备或者未来演进的公用陆地移动通信网络(Public Land Mobile Network，简称PLMN)中的终端设备等，本申请实施例对此并不限定。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/“，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，以得到处理后的图像；
输出所述处理后的图像；
所述神经网络模型包括：
输入层，用于接收所述待处理图像；
依次耦接的所述多个编码器；
卷积层或池化层，耦接于所述输入层与首个编码器之间，以及相邻的两个编码器之间；
依次耦接的所述多个解码器，第n个编码器与第一个解码器相连接，n为编码器的数量；
输出层，用于输出所述处理后的图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述多个编码器与所述多个解码器之间存在跳跃连接。
3.根据权利要求1所述的图像处理方法，其特征在于，所述编码器包括：
编码输入层，用于接收输入图像；
多个卷积层，用于提取所述输入图像的特征；
池化层；
注意力节点，用于对池化后的特征图进行注意力操作；
池化恢复层，用于对池化后的特征图进行恢复；
特征融合节点，用于融合输入图像与具有不同尺度的特征图或叠加不同的颜色通道；
编码输出层，用于输出融合后的图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述解码器包括：
解码输入层，用于接收输入图像；
多个卷积层，用于提取所述输入图像的特征；
特征融合节点，用于融合输入图像与所述多个卷积层输出的特征图；
解码输出层，用于输出融合后的图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理图像之前还包括：
获取原始图像；
对所述原始图像中的数据进行归一化处理，以得到初始数据；
利用预设调整参数对所述初始数据进行调整，以使调整后的初始数据的数值处于预设范围。
6.根据权利要求1所述的图像处理方法，其特征在于，编码器的输入图像具有对应的标签图像，每一编码器采用以下方式计算损失值包括：
利用池化后的特征图与所述编码器的输入图像对应的标签图像下采样后的特征图计算第一损失；
利用所述神经网络模型输出的处理后的图像与所述标签图像计算第二损失；将所述第一损失与所述第二损失进行加权求和，以作为所述损失值。
7.根据权利要求1所述的图像处理方法，其特征在于，所述待处理图像为原始RAW图像，所述多个解码器输出的图像为RAW图像，所述神经网络模型还包括：
去马赛克层，用于将所述RAW图像转换为RGB图像。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
图像处理模块，用于将所述待处理图像输入至训练好的神经网络模型，所述神经网络模型包括多个编码器和多个解码器，不同编码器输出具有不同尺度的特征图，每一编码器融合具有不同感受野的特征图或叠加不同的颜色通道，每一解码器将编码后的特征图进行恢复，并输出处理后的图像；
图像输出模块，用于输出所述处理后的图像，
所述神经网络模型包括：
输入层，用于接收所述待处理图像；
依次耦接的所述多个编码器；
卷积层或池化层，耦接于所述输入层与首个编码器之间，以及相邻的两个编码器之间；
依次耦接的所述多个解码器，第n个编码器与第一个解码器相连接，n为编码器的数量；
输出层，用于输出所述处理后的图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7中任一项所述图像处理方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745028.8A CN113487528B (zh) | 2021-06-30 | 2021-06-30 | 图像处理方法及装置、计算机可读存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745028.8A CN113487528B (zh) | 2021-06-30 | 2021-06-30 | 图像处理方法及装置、计算机可读存储介质、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487528A CN113487528A (zh) | 2021-10-08 |
| CN113487528B true CN113487528B (zh) | 2022-11-29 |
Family
ID=77939971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110745028.8A Active CN113487528B (zh) | 2021-06-30 | 2021-06-30 | 图像处理方法及装置、计算机可读存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487528B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021041772A1 (en) | 2019-08-30 | 2021-03-04 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising |
| CN114372941B (zh) * | 2021-12-16 | 2024-04-26 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
| CN115526857A (zh) * | 2022-09-26 | 2022-12-27 | 深圳先进技术研究院 | 一种pet图像去噪的方法、终端设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN111768351A (zh) * | 2020-06-22 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像去噪方法、图像去噪装置、存储介质与电子设备 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112602088A (zh) * | 2018-09-06 | 2021-04-02 | Oppo广东移动通信有限公司 | 提高弱光图像的质量的方法、系统和计算机可读介质 |
| CN112801901A (zh) * | 2021-01-21 | 2021-05-14 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
-
2021
- 2021-06-30 CN CN202110745028.8A patent/CN113487528B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112602088A (zh) * | 2018-09-06 | 2021-04-02 | Oppo广东移动通信有限公司 | 提高弱光图像的质量的方法、系统和计算机可读介质 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN111768351A (zh) * | 2020-06-22 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像去噪方法、图像去噪装置、存储介质与电子设备 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112801901A (zh) * | 2021-01-21 | 2021-05-14 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487528A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487528B (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN111031315B (zh) | 基于注意力机制和时间依赖性的压缩视频质量增强方法 | |
| CN112991231B (zh) | 单图像超分与感知图像增强联合任务学习系统 | |
| WO2023061116A1 (zh) | 图像处理网络的训练方法、装置、计算机设备和存储介质 | |
| CN113034413A (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| WO2024164694A9 (zh) | 图像压缩方法、装置、电子设备、计算机程序产品及存储介质 | |
| CN114758203B (zh) | 用于高光谱图像分类的残差密集视觉转换方法和系统 | |
| Wan et al. | Purifying low-light images via near-infrared enlightened image | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| CN115810159A (zh) | 视频处理方法及视频处理电路 | |
| CN115409716A (zh) | 视频处理方法、装置、存储介质及设备 | |
| CN116156202A (zh) | 一种实现视频错误隐藏的方法、系统、终端及介质 | |
| CN116977191A (zh) | 画质提升模型的训练方法和视频会议系统画质的提升方法 | |
| CN117576483B (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| Wang et al. | A encoder-decoder deblurring network combined with high-frequency a priori | |
| WO2023133888A1 (zh) | 图像处理方法、装置、遥控设备、系统及存储介质 | |
| CN115471417A (zh) | 图像降噪处理方法、装置、设备、存储介质和程序产品 | |
| KR20230035225A (ko) | 얼굴 색소 검출 모델 훈련 방법, 장치, 장비 및 저장 매체 | |
| CN111553961B (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 | |
| CN113781346A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Cho et al. | PyNET-Q× Q: An Efficient PyNET Variant for Q× Q Bayer Pattern Demosaicing in CMOS Image Sensors | |
| Huang et al. | Attention-based dual-color space fusion network for low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |