CN111681187B - 降彩噪方法、装置、电子设备和可读存储介质 - Google Patents
降彩噪方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111681187B CN111681187B CN202010538775.XA CN202010538775A CN111681187B CN 111681187 B CN111681187 B CN 111681187B CN 202010538775 A CN202010538775 A CN 202010538775A CN 111681187 B CN111681187 B CN 111681187B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- noise
- loss function
- color noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 71
- 230000009467 reduction Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 235000002566 Capsicum Nutrition 0.000 claims description 19
- 239000006002 Pepper Substances 0.000 claims description 19
- 241000722363 Piper Species 0.000 claims description 19
- 235000016761 Piper aduncum Nutrition 0.000 claims description 19
- 235000017804 Piper guineense Nutrition 0.000 claims description 19
- 235000008184 Piper nigrum Nutrition 0.000 claims description 19
- 150000003839 salts Chemical class 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 8
- 239000003086 colorant Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种降彩噪方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法首先获取待处理图像，然后将待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。如此，通过采用不同区域的损失函数共同训练预先构建的神经网络模型，得到降彩噪模型，通过降彩噪模型对待处理图像进行降彩噪，可以较好的保护待处理图像中色彩鲜艳的物体，避免待处理图像受降彩噪影响而失真。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种降彩噪方法、装置、电子设备和可读存储介质。
背景技术
手机等电子设备在夜间或光线不良环境拍照时得到的图像，常常带有严重的彩噪，处理图像前需要先对图像进行降彩噪处理。
目前，往往采用滤波的方法对图像进行降彩噪，得到的降彩噪后的图像较干净，但是这种方法会导致图像的整体画质偏灰，尤其是会导致图像中人像的脸部偏灰，妆容变色，造成图像的一些细节丢失。
如何在保证图像的细节尽可能多的情况下降彩噪是值得研究的问题。
发明内容
有鉴于此，本申请提供了一种降彩噪方法、装置、电子设备和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种降彩噪方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，所述降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。
在可选的实施方式中，所述降彩噪模型是通过以下步骤进行训练得到的：
获取不包括彩噪的第一图像；
对所述第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像；
将所述第二图像作为训练样本，并采用预设的局部损失函数、全局损失函数及所述目标图像对所述神经网络模型进行训练，得到所述降彩噪模型。
在可选的实施方式中，所述第一图像的色彩格式为RGB格式；
所述对所述第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像的步骤包括：
将所述第一图像的色彩格式由RGB格式转换为YUV格式，得到色彩格式为YUV的中间图像；
将预设的彩噪添加至所述中间图像，并将所述中间图像的色彩格式由YUV格式转换为RGB格式，得到包括彩噪的第二图像；
将预设的椒盐噪声添加至所述中间图像，得到包括椒盐噪声的目标图像，其中，所述椒盐噪声在所述目标图像中的分布与所述彩噪在所述第二图像中的分布相同。
在可选的实施方式中，所述将所述第二图像作为训练样本，并采用局部损失函数、目标图像及全局损失函数对所述神经网络模型进行训练，得到所述降彩噪模型的步骤包括：
将所述第二图像作为训练样本，输入所述神经网络模型，得到降彩噪后的初步结果图像；
利用所述初步结果图像与所述目标图像，计算所述局部损失函数的第一输出值；
利用所述初步结果图像与所述目标图像，计算所述全局损失函数的第二输出值；
计算所述第一输出值与所述第二输出值的加权和；
判断所述加权和是否小于预设阈值；
若是，则将所述神经网络模型作为所述降彩噪模型；
若否，则依据所述第一输出值和所述第二输出值更新所述神经网络模型的参数，并重复执行上述步骤，直至所述加权和小于所述预设阈值，得到所述降彩噪模型。
在可选的实施方式中，所述初步结果图像的色彩格式为RGB格式；
在所述将所述第二图像作为训练样本，输入所述神经网络模型，得到降彩噪后的初步结果图像之后，所述将所述第二图像作为训练样本，并采用局部损失函数、目标图像及全局损失函数对所述神经网络模型进行训练，得到所述降彩噪模型的步骤，还包括：
将所述初步结果图像的色彩格式由RGB格式转换为YUV格式，所述初步结果图像包括多个第一图像块；
对所述目标图像进行语义分割，得到多个第二图像块，其中，所述第一图像块与所述第二图像块一一对应。
在可选的实施方式中，所述全局损失函数为：
Loss1＝|XUV-YUV|
其中，Loss1为所述全局损失函数，XUV为初步结果图像的色度值，YUV为所述目标图像的色度值。
在可选的实施方式中，所述局部损失函数为：
其中，wk为权重。
Loss2为所述局部损失函数，Xk UV为所述初步结果图像中第k个第一图像块的色度值，Yk UV为所述目标图像中第k个第二图像块的色度值，
为所述目标图像中第k个第二图像块的色度值的平均值，/>
为所述目标图像的色度值的平均值，n为所述第一图像块的数量或所述第二图像块的数量。
第二方面，本申请实施例提供一种降彩噪装置，所述装置包括：
获取模块，用于获取待识别聊天截图；
内容识别模块，用于将所述待识别聊天截图输入预先建立的内容识别模型中，得到所述待识别聊天截图中的至少一个聊天内容信息及每个聊天内容信息的位置信息；
排列模块，用于按照每个聊天内容信息的位置信息，将至少一个聊天内容信息进行排列，得到所述待识别聊天截图的还原聊天内容。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述的聊天截图内容处理方法的步骤。
第四方面，本申请实施例提供可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的聊天截图内容处理方法。
本申请实施例提供了一种降彩噪方法、装置、电子设备和可读存储介质，该方法首先获取待处理图像，然后将所述待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，所述降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。如此，4。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的降彩噪方法的流程图。
图3为本申请实施例提供的训练降彩噪模型方法的流程图。
图4为本申请实施例提供的神经网络模型的网络结构示意图。
图5为本申请实施例提供的降彩噪装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-降彩噪装置；131-获取模块；132-降噪模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，手机等电子设备在夜间或光线不良环境拍照时得到的图像，常常带有严重的彩噪，处理图像前需要先对图像进行降彩噪处理。
目前，往往采用滤波的方法对图像进行降彩噪，得到的降彩噪后的图像较干净，但是这种方法会导致图像的整体画质偏灰，尤其是会导致图像中人像的脸部偏灰，妆容变色，造成图像的一些细节丢失。
如何在保证图片的细节尽可能多的情况下降彩噪是值得研究的问题。
有鉴于此，本申请实施例提供了一种降彩噪方法、装置、电子设备和可读存储介质，该方法通过采用不同区域的损失函数共同训练预先构建的神经网络，可以较好的保护图像中色彩鲜艳的物体，避免图像受降彩噪影响而失真，下面对上述方案进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构框图。该电子设备10可以包括处理器120、存储器110、降彩噪装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行降彩噪方法的步骤。
所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。降彩噪装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述降彩噪装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random ACCess memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任意实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
在本申请实施例中，电子设备100可以是但不限于智能手机、个人电脑、平板电脑等具有处理功能的设备。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
作为一种可能的实施方式，本申请实施例提供了一种降彩噪方法，请结合参阅图2，图2本申请实施例提供的降彩噪方法的流程图。
步骤S1，获取待处理图像。
步骤S2，将待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。
目前，手机等电子设备在夜间或光线不良环境拍照时得到的图像，常常带有严重的彩噪，处理图像前往往需要先对图像进行降彩噪处理。因此，作为一种可能的实施场景，当用户使用手机等具有拍照功能的电子设备拍照获得待处理图像时，可在手机内存中调取待处理图像，按下虚拟处理按键，使得电子设备获取待处理图像，利用降彩噪模型对待处理图像进行处理，得到降彩噪后的结果图像。
如此，用户可快速便捷地获得画质良好且无彩噪的图像。
可以理解的是，上述降彩噪模型可以是预先在其他电子设备中训练得到后迁移至当前电子设备，也可以是在当前电子设备中预先训练得到的。
作为一种可选的实施方式，请结合参阅图3，上述降彩噪模型是通过以下步骤进行训练得到的：
步骤S100，获取不包括彩噪的第一图像。
步骤S200，对第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像。
步骤S300，将第二图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对神经网络模型进行训练，得到降彩噪模型。
其中，第一图像的色彩格式为RGB格式(RGB color mode)。RGB格式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
可以理解，为了使训练得到的降彩噪模型的降彩噪效果良好，第一图像的数量可以是多个，例如1000个、2000个、3000个等等。对应地，预处理后得到的第二图像及目标图像也可以为多个，且与第一图像的个数相同。
作为一种可能的实施方式，可通过以下方式对第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像：
首先，将第一图像的色彩格式由RGB格式转换为YUV格式，得到色彩格式为YUV的中间图像。
接着，将预设的彩噪添加至中间图像，并将中间图像的色彩格式由YUV格式转换为RGB格式，得到包括彩噪的第二图像。
然后，将预设的椒盐噪声添加至中间图像，得到包括椒盐噪声的目标图像，其中，椒盐噪声在目标图像中的分布与彩噪在第二图像中的分布相同。
应当理解，在其它实施例中，上述本实施方式中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
其中，YUV是编译true-color颜色空间(color space)的种类。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
为了便于对不包括彩噪的第一图像添加彩噪，而保证图片的亮度不变，只对第一图像的颜色信息进行数据扰动。因此，可将第一图像的色彩格式由RGB格式转换为YUV格式的中间图像，只在中间图像的UV通道上进行彩噪扰动。在保证图像亮度不变的情况下，只对图像的颜色信息进行数据扰动，不过多干扰其他噪声，从而能更好的训练模型，保持图像的更多细节信息。
同时，对中间图像添加与彩噪在第二图像中的分布相同的椒盐噪声，利用分布相同的第二图像和目标图像共同对网络进行训练，可使得训练好的降彩噪模型仅仅对彩噪进行处理，而不干扰图像的其他信息，在降彩噪的同时保证高画质。
作为一种可能的实施方式，可通过以下方式采用局部损失函数、目标图像及全局损失函数对神经网络模型进行训练，得到降彩噪模型：
首先，将第二图像作为训练样本，输入神经网络模型，得到降彩噪后的初步结果图像。
接着，利用初步结果图像与目标图像，计算局部损失函数的第一输出值。
然后，利用初步结果图像与目标图像，计算全局损失函数的第二输出值。
然后，计算第一输出值与第二输出值的加权和。
最后，判断加权和是否小于预设阈值。若是，则将神经网络模型作为降彩噪模型。若否，则依据第一输出值和第二输出值更新神经网络模型的参数，并重复执行上述步骤，直至加权和小于预设阈值，得到降彩噪模型。
请结合参阅图4，图4为本申请实施例提供的神经网络模型的网络结构示意图。该神经网络模型可以为U-Net网络模型，U-Net网络模型包括编码-解码网络。
请结合参阅表1，表1为上述U-Net网络模型各个阶段对应的输入输出通道数以及特征图尺寸大小。
表1
| 网络阶段 | 特征图尺寸(HxWxC) |
| Input | 512x512x3 |
| Encoder1 | 256x256x32 |
| Encoder2 | 128x128x64 |
| Encoder3 | 64x64x128 |
| Decoder1 | 128x128x64 |
| Decoder2 | 256x256x32 |
| Decoder3 | 512x512x3 |
在编码部分对输入图片，即上述第二图像，利用最大池化层进行3次下采样。可以根据表格中看出，编码部分对第二图像进行下采样，得到的特征图的尺寸逐步变小。在解码部分利用双线性插值法对第二图像进行3次上采样，可以根据表格中看出，解码部分对第二图像进行上采样，得到的特征图的尺寸逐步变大，直至恢复原本的尺寸。为叙述方便，本申请实施利用Input表示U-Net网络模型中的输入层，利用Encode1，Encode2，Encode3分别表示U-Net网络模型中各个编码阶段，利用Decode1，Decode2，Decode3分别表示U-Net网络模型中各个解码阶段，利用Loss表示U-Net网络模型中的损失函数。
图中虚线表示网络部分采用concat()连接操作，concat()方法用于连接两个或多个数组，该方法不会改变现有的数组，而仅仅会返回被连接数组的一个副本，实线表示网络输出数据流。
如此，可通过编码网络提取图像的颜色和边缘特征，通过解码网络恢复图像的细节边缘，例如图像中包括的眼珠和眼线等。通过对该U-Net网络训练使网络对物体具备一定的识别能力，从而提高特征提取能力。
同时，本申请实施例通过局部损失函数和全局损失函数共同对上述网络模型进行训练，可较好的保护图像中鲜艳的物体，如口红，腮红，等色彩避免受降彩噪影响而失真。
进一步地，作为另一种可选的实施方式，当神经网络模型为U-Net网络时，还可以通过以下方式采用局部损失函数、目标图像及全局损失函数对神经网络模型进行训练，得到降彩噪模型：
首先，将第二图像作为训练样本，输入神经网络模型，得到降彩噪后的初步结果图像。
接着，将初步结果图像的色彩格式由RGB格式转换为YUV格式，初步结果图像包括多个第一图像块。
然后，利用初步结果图像与目标图像，计算局部损失函数的第一输出值。
然后，利用初步结果图像与目标图像，计算全局损失函数的第二输出值。
然后，计算第一输出值与第二输出值的加权和。
最后，判断加权和是否小于预设阈值。若是，则将神经网络模型作为降彩噪模型。若否，则依据第一输出值和第二输出值更新神经网络模型的参数，并重复执行上述步骤，直至加权和小于预设阈值，得到降彩噪模型。
其中，初步结果图像包括的多个第一图像块可由U-Net网络中的编码网络对初步结果图像进行语义分割得到。
同样地，可通过其他网络对目标图像进行语义分割，得到多个第二图像块，其中，第一图像块与第二图像块一一对应。
可通过以下公式计算第一输出值与第二输出值的加权和：
Loss＝Loss1+θLoss2
其中，Loss为加权和，Loss1为全局损失函数，Loss2为局部损失函数，θ为权重。可选地，θ可以为1.2。
作为一种可能的实施方式，全局损失函数为：
Loss1＝|XUV-YUV|
其中，Loss1为全局损失函数，XUV为初步结果图像的色度值，YUV为目标图像的色度值。
作为一种可能的实施方式，局部损失函数为：
其中，wk为权重。
Loss2为局部损失函数，Xk UV为初步结果图像中第k个第一图像块的色度值，Yk UV为目标图像中第k个第二图像块的色度值，
为目标图像中第k个第二图像块的色度值的平均值，/>
为目标图像的色度值的平均值，n为第一图像块的数量或第二图像块的数量。
基于同一发明构思，请结合参阅图5，本申请实施例中还提供了与上述降彩噪方法对应的降彩噪装置130，装置包括：
获取模块131，用于获取待处理图像。
降噪模块132，用于将待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述降彩噪方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本实施例也提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现上述的降彩噪方法。
综上所述，本申请实施例提供了一种降彩噪方法、装置、电子设备和可读存储介质，该方法首先获取待处理图像，然后将待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的。如此，通过采用不同区域的损失函数共同训练预先构建的神经网络模型，得到降彩噪模型，通过降彩噪模型对待处理图像进行降彩噪，可以较好的保护待处理图像中色彩鲜艳的物体，避免待处理图像受降彩噪影响而失真。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种降彩噪方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，所述降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的；所述降彩噪模型是通过以下步骤进行训练得到的：
获取不包括彩噪的第一图像；
对所述第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像；
将所述第二图像作为训练样本，并采用预设的局部损失函数、全局损失函数及所述目标图像对所述神经网络模型进行训练，得到所述降彩噪模型；所述第一图像的色彩格式为RGB格式；
所述对所述第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像的步骤包括：
将所述第一图像的色彩格式由RGB格式转换为YUV格式，得到色彩格式为YUV的中间图像；
将预设的彩噪添加至所述中间图像，并将所述中间图像的色彩格式由YUV格式转换为RGB格式，得到包括彩噪的第二图像；
将预设的椒盐噪声添加至所述中间图像，得到包括椒盐噪声的目标图像，其中，所述椒盐噪声在所述目标图像中的分布与所述彩噪在所述第二图像中的分布相同；所述将所述第二图像作为训练样本，并采用局部损失函数、目标图像及全局损失函数对所述神经网络模型进行训练，得到所述降彩噪模型的步骤包括：
将所述第二图像作为训练样本，输入所述神经网络模型，得到降彩噪后的初步结果图像；
利用所述初步结果图像与所述目标图像，计算所述局部损失函数的第一输出值；
利用所述初步结果图像与所述目标图像，计算所述全局损失函数的第二输出值；
计算所述第一输出值与所述第二输出值的加权和；
判断所述加权和是否小于预设阈值；
若是，则将所述神经网络模型作为所述降彩噪模型；
若否，则依据所述第一输出值和所述第二输出值更新所述神经网络模型的参数，并重复执行上述步骤，直至所述加权和小于所述预设阈值，得到所述降彩噪模型。
2.根据权利要求1所述的降彩噪方法，其特征在于，所述初步结果图像的色彩格式为RGB格式；
在所述将所述第二图像作为训练样本，输入所述神经网络模型，得到降彩噪后的初步结果图像之后，所述将所述第二图像作为训练样本，并采用局部损失函数、目标图像及全局损失函数对所述神经网络模型进行训练，得到所述降彩噪模型的步骤，还包括：
将所述初步结果图像的色彩格式由RGB格式转换为YUV格式，所述初步结果图像包括多个第一图像块；
对所述目标图像进行语义分割，得到多个第二图像块，其中，所述第一图像块与所述第二图像块一一对应。
3.根据权利要求2所述的降彩噪方法，其特征在于，所述全局损失函数为：
Loss1＝|XUV-YUV|
其中，Loss1为所述全局损失函数，XUV为初步结果图像的色度值，YUV为所述目标图像的色度值。
4.根据权利要求2所述的降彩噪方法，其特征在于，所述局部损失函数为：
其中，wk为权重，
Loss2为所述局部损失函数，Xk UV为所述初步结果图像中第k个第一图像块的色度值，Yk UV为所述目标图像中第k个第二图像块的色度值，
为所述目标图像中第k个第二图像块的色度值的平均值，/>
为所述目标图像的色度值的平均值，n为所述第一图像块的数量或所述第二图像块的数量。
5.一种降彩噪装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；
降噪模块，用于将所述待处理图像输入预先建立的降彩噪模型，得到降彩噪后的结果图像，其中，所述降彩噪模型是通过将包括彩噪的图像作为训练样本，并采用预设的局部损失函数、全局损失函数及目标图像对预先构建的神经网络模型进行训练得到的；
所述获取模块还用于：获取不包括彩噪的第一图像；
对所述第一图像进行预处理，得到包括彩噪的第二图像及包括椒盐噪声的目标图像；
将所述第二图像作为训练样本，并采用预设的局部损失函数、全局损失函数及所述目标图像对所述神经网络模型进行训练，得到所述降彩噪模型；
所述第一图像的色彩格式为RGB格式；
所述获取模块还用于：
将所述第一图像的色彩格式由RGB格式转换为YUV格式，得到色彩格式为YUV的中间图像；
将预设的彩噪添加至所述中间图像，并将所述中间图像的色彩格式由YUV格式转换为RGB格式，得到包括彩噪的第二图像；
将预设的椒盐噪声添加至所述中间图像，得到包括椒盐噪声的目标图像，其中，所述椒盐噪声在所述目标图像中的分布与所述彩噪在所述第二图像中的分布相同；
所述获取模块还用于：
将所述第二图像作为训练样本，输入所述神经网络模型，得到降彩噪后的初步结果图像；
利用所述初步结果图像与所述目标图像，计算所述局部损失函数的第一输出值；
利用所述初步结果图像与所述目标图像，计算所述全局损失函数的第二输出值；
计算所述第一输出值与所述第二输出值的加权和；
判断所述加权和是否小于预设阈值；
若是，则将所述神经网络模型作为所述降彩噪模型；
若否，则依据所述第一输出值和所述第二输出值更新所述神经网络模型的参数，并重复执行上述步骤，直至所述加权和小于所述预设阈值，得到所述降彩噪模型。
6.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-4任意一项所述的降彩噪方法的步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-4任意一项所述的降彩噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538775.XA CN111681187B (zh) | 2020-06-13 | 2020-06-13 | 降彩噪方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538775.XA CN111681187B (zh) | 2020-06-13 | 2020-06-13 | 降彩噪方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111681187A CN111681187A (zh) | 2020-09-18 |
| CN111681187B true CN111681187B (zh) | 2023-06-16 |
Family
ID=72455057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010538775.XA Active CN111681187B (zh) | 2020-06-13 | 2020-06-13 | 降彩噪方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681187B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542593B (zh) * | 2021-06-16 | 2023-04-07 | 深圳市景阳科技股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN114240794A (zh) * | 2021-12-21 | 2022-03-25 | 苏州科达科技股份有限公司 | 图像处理方法、系统、设备及存储介质 |
| CN116563556B (zh) * | 2023-07-05 | 2023-11-10 | 杭州海康威视数字技术股份有限公司 | 模型训练方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161188A (zh) * | 2019-12-30 | 2020-05-15 | 珠海全志科技股份有限公司 | 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质 |
| CN111226257A (zh) * | 2017-09-22 | 2020-06-02 | 豪夫迈·罗氏有限公司 | 组织图像中的伪像移除 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3689607B2 (ja) * | 1999-12-15 | 2005-08-31 | キヤノン株式会社 | 画像処理方法、装置および記憶媒体 |
| CN108846842B (zh) * | 2018-07-04 | 2021-04-27 | 武汉斗鱼网络科技有限公司 | 一种图像噪声检测方法、装置及电子设备 |
| CN109064428B (zh) * | 2018-08-01 | 2021-04-13 | Oppo广东移动通信有限公司 | 一种图像去噪处理方法、终端设备及计算机可读存储介质 |
-
2020
- 2020-06-13 CN CN202010538775.XA patent/CN111681187B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111226257A (zh) * | 2017-09-22 | 2020-06-02 | 豪夫迈·罗氏有限公司 | 组织图像中的伪像移除 |
| CN111161188A (zh) * | 2019-12-30 | 2020-05-15 | 珠海全志科技股份有限公司 | 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进双域滤波的视频降噪算法;权利;胡越黎;诸安骥;燕明;;计算机科学(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111681187A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681187B (zh) | 降彩噪方法、装置、电子设备和可读存储介质 | |
| US9582853B1 (en) | Method and system of demosaicing bayer-type image data for image processing | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN109658330B (zh) | 一种发色调整方法及装置 | |
| CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| CN111783146B (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
| CN112997479B (zh) | 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质 | |
| CN110069974B (zh) | 高光图像处理方法、装置和电子设备 | |
| US11070705B2 (en) | System and method for image dynamic range adjusting | |
| CN107204034A (zh) | 一种图像处理方法及终端 | |
| CN108122238A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US11972543B2 (en) | Method and terminal for improving color quality of images | |
| CN113939845A (zh) | 提高图像色彩质量的方法、系统和计算机可读介质 | |
| CN113674232A (zh) | 图像噪声预估方法、装置、电子设备和存储介质 | |
| CN113744294B (zh) | 图像处理方法及相关装置 | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN107808404A (zh) | 图像处理方法、系统、可读存储介质及移动摄像设备 | |
| WO2015010559A1 (en) | Devices, terminals and methods for image processing | |
| US20190205689A1 (en) | Method and device for processing image, electronic device and medium | |
| CN108470327B (zh) | 图像增强方法、装置、电子设备及存储介质 | |
| CN108270973B (zh) | 一种拍照处理方法、移动终端及计算机可读存储介质 | |
| Kim et al. | Color modification for color-blind viewers using the dynamic color transformation | |
| CN113674169B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN111784726A (zh) | 人像抠图方法和装置 | |
| CN106887024B (zh) | 照片的处理方法及处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |