CN112801888A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请关于一种图像处理方法、装置、计算机设备及存储介质，以更好的去除图像中的噪声。该方法包括：获取待处理图像；将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图；待处理图像的整体特征图的维度以及噪声特征图的维度均高于待处理图像的维度；根据整体特征图以及噪声特征图对待处理图像进行去噪处理，得到去噪后的图像。

Description

图像处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及图像处理方法、装置、计算机设备及存储介质。

背景技术

随着图像内容识别的广泛应用，图像中存在的条纹噪声逐渐成为人们关注的焦点。图像中的条纹噪声降低了图像识别结果的准确性，限制了对图像中信息的进一步分析。因此，需要在进行图像识别之前，去除图像中的条纹噪声。

目前，通常采用检测图像中的条纹噪声区域，并对条纹噪声区域进行去噪处理的方法去除图像中的条纹噪声。该种方法存在图像中的条纹噪声去除不干净和/或图像非噪声像素点损失等问题。

发明内容

本申请提供一种图像处理方法、装置、计算机设备及存储介质，以更好的去除图像中的噪声。

本申请的技术方案如下：

第一方面，本申请提供一种图像处理方法，该方法包括：获取待处理图像；将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图；待处理图像的整体特征图用于表征待处理图像的整体特征；噪声特征图用于表征待处理图像中的噪声特征；待处理图像的整体特征图的维度以及噪声特征图的维度均高于待处理图像的维度；根据待处理图像的整体特征图以及噪声特征图对待处理图像进行去噪处理，得到去噪后的图像。

本申请中的目标图像处理模型提取待处理图像的整体特征图以及待处理图像的噪声特征图，待处理图像的整体特征图以及待处理图像的噪声特征图，从比待处理图像的维度更高的维度对待处理图像以及待处理图像中的噪声进行了描述，例如，待处理图像的维度通常为三维，特征图可以从更高维度表征图像的低层特征，如32维、64维或512维等更高维度的特征图用于描述图像的像素级特征，图像去噪的过程中对噪声和背景的区分是一个很重要的步骤，在对三维的待处理图像进行噪声和背景分割的过程中采用语义分割，如果取小的图像块，难以抽取到有效的特征，去噪不彻底，如果取的图像块比较大，去噪的过程中会损失原图像的像素，而特征图可以做到对待处理图像进行逐像素分类，使得在对噪声和背景区分的过程中粒度更小，更准确区分噪声与背景，从而根据该目标图像处理模型对待处理图像进行去噪的效果更好。

在另一种可能的实现方式中，该方法还包括：获取多个样本图像，每个样本图像是在原始图像中添加目标类型的噪声得到的；原始图像未包括目标类型的噪声；根据多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到目标图像处理模型；目标图像处理模型用于去除其他图像中的目标类型的噪声，其他图像包括待处理图像。

在另一种可能的实现方式中，上述“根据多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到目标图像处理模型”，包括：将目标样本图像输入初始图像处理模型，进行去噪处理，得到去噪后的目标样本图像；目标样本图像为多个样本图像中的任意一个样本图像；根据去噪后的目标样本图像对应的原始图像与去噪后的目标样本图像的图像差值，确定第一损失；获取去噪后的目标样本图像对应的原始图像的整体特征图以及去噪后的目标样本图像的整体特征图；根据原始图像的整体特征图与去噪后的样本图像的整体特征图的图像差值，确定第二损失；根据目标损失，训练初始图像处理模型，得到目标图像处理模型；目标损失包括第一损失和第二损失。

可以看出，在训练目标图像处理模型的过程中，不仅参考了去噪后的样本图像与原始图像的损失(如：第一损失)，还参考了去噪后的样本图像的整体特征图与原始图像的整体特征图的损失(如：第二损失)。这样，本申请提供的图像处理方法中，感知损失得到加强，例如，特征图中的底层特征对图像边缘的低频特征信息感知加强，这样，在对待处理图像去噪的过程中减少损失原图像中的像素，从而使得目标图像处理模型能够更好的去除图像中的噪声。

在另一种可能的实现方式中，上述根据目标损失，训练初始图像处理模型，得到目标图像处理模型，包括：将目标样本图像输入预设的特征图提取模型得到目标样本图像的样本特征图；样本特征图用于表征目标样本图像的整体特征；将去噪后的目标样本图像与目标类型的噪声融合得到融合图像；将融合图像输入特征图提取模型得到融合图像的融合特征图；融合特征图用于表征融合图像的整体特征；根据样本特征图与融合特征图的图像差值，确定第三损失；目标损失还包括第三损失；根据第一损失、第二损失和第三损失训练初始图像处理模型，得到目标图像处理模型。

由于参与训练的样本图像皆为将原始图像与噪声图像合成的图像，而在现实中目标图像处理模型则是用于处理本身就包括噪声的图像。这样，去噪后的样本图像与目标类型的噪声融合得到的融合图像的融合特征图与样本特征图的图像差值用于模拟合成的图像与本身包括噪声的图像的损失，得到的目标图像处理模型多了合成的包括噪声的图像与原始包括噪声的图像的损失的考虑，比仅通过第一损失和第二损失训练得到的模型在进行图像去噪时更准确，效果更好。

在另一种可能的实现方式中目标图像处理模型包括骨干网络和噪声去除网络，上述“将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图”，包括：将待处理图像输入至目标图像处理模型；通过骨干网络对待处理图像提取特征，得到待处理图像的整体特征图；通过噪声去除网络提取整体特征图的噪声特征，得到待处理图像的噪声特征图。

在另一种可能的实现方式中，上述骨干网络包括N个网络层，N为正整数；对于N个网络层中的第i个网络层而言，在i＝1的情况下，第i个网络层的输入是待处理图像；在1＜i＜N的情况下，第i个网络层的输入是第i-1个网络层的输出；在i＝N的情况下，第i个网络层的输入是第一个网络层到第N-1个网络层的输出。

在另一种可能的实现方式中，上述噪声去除网络包括以ResNet作为基本网络单元，且基本网络单元之间以全局残差进行连接的残差网络。这样，以ResNet基本网络单元，且基本网络单元间以全局残差进行连接的残差网络不会因为网络深度的增加，带来梯度消散，使得目标图像处理模型的预测误差能够有效的反向传播，从而目标图像处理模型对待处理图像去噪效果更好更准确。

第二方面，提供一种图像处理装置，该图像处理装置包括获取模块，用于获取待处理图像；提取模块，用于将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图；待处理图像的整体特征图用于表征待处理图像的整体特征；噪声特征图用于表征待处理图像中的噪声特征；待处理图像的整体特征图的维度以及噪声特征图的维度均高于待处理图像的维度；去噪模块，用于根据待处理图像的整体特征图以及噪声特征图对待处理图像进行去噪处理，得到去噪后的图像。

可选的，获取模块，还用于获取多个样本图像，每个样本图像是在原始图像中添加目标类型的噪声得到的；原始图像未包括目标类型的噪声；该图像处理装置还包括训练模块，用于根据多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到目标图像处理模型；目标图像处理模型用于去除待处理图像中的目标类型的噪声。

可选的，训练模块具体用于将目标样本图像输入初始图像处理模型，进行去噪处理，得到去噪后的目标样本图像；目标样本图像为多个样本图像中的任意一个样本图像；根据去噪后的目标样本图像对应的原始图像与去噪后的目标样本图像的图像差值，确定第一损失；获取去噪后的目标样本图像对应的原始图像的整体特征图以及去噪后的目标样本图像的整体特征图；根据原始图像的整体特征图与去噪后的样本图像的整体特征图的图像差值，确定第二损失；根据目标损失，训练初始图像处理模型，得到目标图像处理模型；目标损失包括第一损失和第二损失。

可选的，训练模块具体用于将所述目标样本图像输入预设的特征图提取模型得到目标样本图像的样本特征图；样本特征图用于表征目标样本图像的整体特征；将去噪后的目标样本图像与目标类型的噪声融合得到融合图像；将融合图像输入特征图提取模型得到融合图像的融合特征图；融合特征图用于表征融合图像的整体特征；根据样本特征图与融合特征图的图像差值，确定第三损失；目标损失还包括第三损失；根据第一损失、第二损失和第三损失训练初始图像处理模型，得到目标图像处理模型。

可选的，提取模块具体用于：将待处理图像输入至目标图像处理模型；通过骨干网络对待处理图像提取特征，得到待处理图像的整体特征图；通过噪声去除网络提取整体特征图的噪声特征，得到待处理图像的噪声特征图。

可选的，上述骨干网络包括N个网络层，N为正整数；对于N个网络层中的第i个网络层而言，在i＝1的情况下，第i个网络层的输入是待处理图像；在1＜i＜N的情况下，第i个网络层的输入是第i-1个网络层的输出；在i＝N的情况下，第i个网络层的输入是第一个网络层到第N-1个网络层的输出。

可选的，上述噪声去除网络包括以ResNet作为基本网络单元，且基本网络单元之间以全局残差进行连接的残差网络。

第三方面，提供一种计算机设备，包括：处理器；用于存储处理器可执行指令的存储器。其中，处理器被配置为执行所述指令，以实现上述第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

第四方面，提供一种计算机可读存储介质，当该存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

第五方面，提供一种计算机程序产品，可直接加载到计算机设备的内部存储器中，并含有软件代码，该计算机程序经由计算机设备载入并执行后能够实现第一方面以及第一方面的任一种可能的实现方式所示的图像处理方法。

第六方面，提供一种芯片系统，该芯片系统应用于图像处理装置；该芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联；接口电路用于从图像处理装置的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，图像处理装置执行如第一方面及其任一种可能的设计方式所提供的图像处理方法。

上述提供的任一种图像处理装置、计算机设备、计算机可读存储介质、计算机程序产品或芯片系统用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。

图1是本申请提供的技术方案所适用的一种计算机设备的结构示意图；

图2是本申请实施例所提供的一种获取样本图像集的方法的流程示意图；

图3是本申请实施例所提供的一种将原始图像与目标类型的噪声进行图像融合处理得到样本图像的过程示意图；

图4是本申请实施例所提供的一种图像处理方法中获取样本图像的过程示意图；

图5是本申请实施例所提供的一种图像处理方法中图像处理模型的训练过程的流程示意图；

图6是本申请实施例所提供的一种图像处理方法中图像处理的过程的流程示意图；

图7A是本申请实施例所提供的一种骨干网络的结构示意图；

图7B是本申请实施例所提供的一种噪声去除网络的一个基本网络单元的示意图；

图8是本申请实施例所提供的一种目标图像处理模型对待处理图像进行图像处理的过程示意图；

图9是本申请实施例所提供的一种图像处理装置的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，在本申请的实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请实施例中，“至少一个”是指一个或多个。“多个”是指两个或两个以上。

在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

需要说明的是，本申请实施例提供的图像处理方法可以应用于计算机设备。其中，计算机设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、服务器等。服务器可以为一台服务器，或者，也可以为由多台服务器组成的服务器集群，本申请对此不做限定。

如图1所示，本申请提供的技术方案所适用的一种计算机设备的结构示意图。图1所示的计算机设备10可以包括至少一个处理器101，通信线路102，存储器103以及至少一个通信接口104。

处理器101可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路102可包括至少一条通路，比如数据总线，和/或控制总线，用于在上述组件(如至少一个处理器101，通信线路102，存储器103以及至少一个通信接口104)之间传送信息。

通信接口104，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如广域网(wide area network，WAN)，局域网(local area networks，LAN)等。

存储器103，可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器103可以是独立存在，通过通信线路102与处理器101相连接。存储器103也可以和处理器101集成在一起。本申请实施例提供的存储器103通常包括非易失性存储器。其中，存储器103用于存储执行本申请方案的计算机指令，并由处理器101来控制执行。处理器101用于执行存储器103中存储的计算机指令，从而实现本申请下述实施例提供的方法。

存储器103包括内存和硬盘。

可选的，本申请实施例中的计算机指令也可以称之为应用程序代码或系统，本申请实施例对此不作具体限定。

可选地，存储器103中还可以存储训练好的用于定位问题的数据模型，用于存放问题单的数据库等。

在具体实现中，作为一种实施例，计算机设备10可以包括多个处理器，这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，计算机设备10还可以包括输出设备105和/或输入设备106。输出设备105和处理器101通信，可以以多种方式来显示信息。例如，输出设备105可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emittingdiode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备106和处理器101通信，可以以多种方式接收用户的输入。例如，输入设备106可以是鼠标、键盘、触摸屏设备或传感设备等。

需要说明的是，图1所示的计算机设备仅为示例，其不对本申请实施例可适用的计算机设备构成限定。实际实现时，计算机设备可以包括比图1中所示的更多或更少的设备或器件。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请实施例提供的图像处理方法包括：计算机设备获取待处理图像，并将待处理图像输入预先训练好的目标图像处理模型，提取该待处理图像的整体特征图以及该待处理图像的噪声特征图，根据该待处理图像的整体特征图以及该待处理图像的噪声特征图对该待处理图像进行去噪处理，得到去噪后的图像。实施本申请实施例提供的图像处理方法需要训练目标图像处理模型，而训练目标图像处理模型需要获取参与训练的样本图像集。下面先对本申请实施例涉及到的“获取参与训练的样本图像集”的过程进行描述。

如图2所示，图2为根据一示例性实施例示出的一种图像处理方法中获取样本图像集的过程的流程示意图。图2所示的方法可以包括以下S100至S102：

S100：计算机设备获取原始图像。其中，原始图像为不包括目标类型的噪声的图像。

在一个例子中，假设，目标类型的噪声为彩虹纹，那么，原始图像为不包括彩虹纹的图像。

S101：计算机设备获取目标类型的噪声。

在一种可能的实现方式中，计算机设备获取预存的目标类型的噪声。

在另一种可能的实现方式中，计算机设备获取包括目标类型的噪声的噪声图像，并对获取的噪声图像进行滤波处理，得到目标类型的噪声。噪声类型可以为雨滴噪声类型、条纹噪声类型或彩虹纹噪声类型等。噪声图像可以为包括雨滴的图像、包括彩虹纹的图像或包括条纹噪声的图像中的任意一种噪声图像。其中，滤波处理可以为低通滤波处理。低通滤波处理所使用的滤波器可以为线性的均值滤波器、高斯滤波器，非线性的双边滤波器或中值滤波器中的任意一种。

S102：计算机设备将原始图像与目标类型的噪声融合为样本图像。

具体的，计算机设备对原始图像与目标类型的噪声进行图像融合，得到样本图像。

如图3所示，图3为将原始图像与目标类型的噪声进行图像融合处理得到样本图像的过程示意图。图3中将原始图像与目标类型的噪声进行图像融合处理，输出样本图像，样本图像为包括噪声的图像。

在一个例子中，如图4所示，图4是获取样本图像的示意图，图4中A图为目标类型的噪声，图4中B图为自然采集无需去噪的原始图像；图4中C图为将图4中A图与图4中B图进行图像融合处理后得到的样本图像，该样本图像中包括彩虹纹。

可以理解的是，上述S100～S102仅以获取一个样本图像为例进行说明，在实际应用过程中，可以获取多个原始图像和目标类型的至少一个噪声，将多个原始图像与目标类型的至少一个噪声进行融合得到样本图像集，该样本图像集与每个样本图像对应的原始图像组成参与训练的数据集。每个样本图像与生成该样本图像的原始图像对应。

接下来对“训练目标图像处理模型”的流程进行描述。

如图5所示，图5是本申请实施例所提供的图像处理模型的训练过程的流程示意图。图5所示的方法可以应用于计算机设备。图5所示的方法可以包括以下S200至S210：

S200：计算机设备获取样本图像集以及由与该样本图像集中每个样本图像对应的原始图像组成的原始图像集。

可选的，计算机设备获取与样本图像集中每个样本图像对应的目标类型的噪声组成的噪声集；其中，样本图像对应的目标类型的噪声为生成该样本图像的目标类型的噪声。

S201：计算机设备将样本图像集输入初始图像处理模型，进行去噪处理，得到去噪后的样本图像集。

S202：计算机设备根据去噪后的样本图像集与原始图像集，确定第一损失集。

具体的，计算机设备获取去噪后的样本图像集中每一个去噪后的样本图像和与之对应的原始图像的图像差值，将获取的图像差值确定为第一损失，得到第一损失集。

在一个例子中，假设，去噪后的样本图像以及与之对应的原始图像都是以红(R)绿(G)蓝(B)色彩模式所表征的，那么，计算机设备获取去噪后的样本图像中每个像素点的RGB值，并获取与每个像素点对应的原始图像中像素点的RGB值，然后，计算机设备将去噪后的样本图像中每个像素点的RGB值与对应的原始图像中像素点的RGB值做差，得到去噪后的样本图像和与之对应的原始图像的图像差值，将获取的图像差值确定为第一损失。

S203：计算机设备获取去噪后的样本图像集中每个去噪后的样本图像的整体特征图，得到去噪后的样本图像的特征图集。

具体的，计算机设备将去噪后的样本图像集输入预设的特征图提取模型中，输出去噪后的样本图像的特征图集。其中，预设的特征图提取模型是基于卷积神经网络(visualgeometry group，VGG)19或VGG16的网络模型。每个样本图像的整体特征图用于表征该样本图像的整体特征。

S204：计算机设备获取原始图像集中每个原始图像的整体特征图，得到原始图像的特征图集。具体的，将原始图像集输入预设的特征图提取模型中，输出原始图像的特征图集。

S205：计算机设备根据原始图像的特征图集中每个原始图像的整体特征图和与之对应的去噪后的样本图像的整体特征图，确定第二损失。

具体的，参考计算机设备确定第一损失的方式，不再赘述。

S206：计算机设备将样本图像集输入预设的特征图提取模型，得到样本图像集的样本特征图集。

S207：计算机设备将去噪后的样本图像集中每个样本图像与目标类型的噪声融合得到融合图像集。

S208：计算机设备将融合图像集输入预设的特征图提取模型，输出融合图像集的融合特征图集。每个融合特征图用于标识融合图像的整体特征。

S209：计算机设备根据样本特征图集中每个样本特征图和与之对应的融合特征图，获取第三损失。

第三损失满足如下公式：

Lper(vgg(x’+n-128)，vgg(x))

其中，Lper()为获取损失的函数。x’为为去噪后的样本图像，n为目标类型的噪声，x为样本图像。vgg()为特征图提取模型。x’+n-128用于表征去噪后的样本图像与目标类型的噪声融合得到融合图像。

需要说明的是，本申请实施例中上述S206～S209为可选的步骤，且对上述S203～S205以及S206～S209的执行顺序不进行限定，示例性的，在执行了S206～S209之后再执行S203～S205。

S210：计算机设备根据目标损失，训练初始图像处理模型，得到目标图像处理模型。

在没有获取第三损失的情况下：目标损失包括第一损失和第二损失。根据第一损失和第二损失，训练初始图像处理模型，得到目标图像处理模型。

具体的，计算机设备在通过目标损失训练初始图像处理模型的过程中，可以通过构造损失函数结合第一损失和第二损失对该初始图像处理模型进行训练。示意性的，该构造函数满足：

Ltotal＝L1_loss+μLper_loss

其中，Ltotal为目标损失，L1_loss为第一损失，Lper_loss为第二损失。μ为超参数，用于平衡第一损失和第二损失。

可以理解的是，目标损失中一个损失对初始图像处理模型进行一次训练作为一次迭代优化训练，目标损失中的所有损失均对初始图像处理模型进行训练后，得到目标图像处理模型。

在获取了第三损失的情况下：目标损失包括第一损失、第二损失和第三损失。根据第一损失、第二损失和第三损失训练初始图像处理模型，得到目标图像处理模型。由于参与训练的样本图像皆为将原始图像与噪声图像合成的图像，而在现实中目标图像处理模型则是用于处理本身就包括噪声的图像。这样，去噪后的样本图像与目标类型的噪声融合得到的融合图像的融合特征图与样本特征图的图像差值用于模拟合成的图像与本身包括噪声的图像的损失，得到的目标图像处理模型多了合成的包括噪声的图像与原始包括噪声的图像的损失的考虑，比仅通过第一损失和第二损失训练得到的模型在进行图像去噪时更准确，效果更好。

本申请实施例中，在训练初始图像处理模型，得到目标图像处理模型的过程中，不仅参考了去噪后的样本图像与原始图像的损失(如：上述第一损失)，还参考了去噪后的样本图像的整体特征图与原始图像的整体特征图的损失(如：上述第二损失)，感知损失得到加强，例如，特征图中的底层特征对图像边缘的低频特征信息感知加强，这样，在对待处理图像去噪的过程中减少损失原图像中的像素，从而使得目标图像处理模型能够更好的去除图像中的噪声。

如图6所示，图6是本申请实施例所提供的一种图像处理方法中图像处理的过程的流程示意图。图6所示的方法可以应用于计算机设备。图6所示的方法可以包括以下S300至S302：

S300：计算机设备获取待处理图像。

在一种可能的实现方式中，计算机设备通过集成的采集设备采集得到待处理图像。

示例性的，计算机设备为用于采集路面车辆图像的摄像装置，该摄像装置采集得到待处理图像为带有彩虹纹的车辆图像。

在另一种可能的实现方式中，计算机设备通过接收其他设备发送的待处理图像。

在另一种可能的实现方式中，计算机设备读取预存的待处理图像。

S301：计算机设备将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图。

在一种可能的实现方式中，目标图像处理模型包括骨干网络和噪声去除网络，计算机设备将待处理图像输入至目标图像处理模型；计算机设备通过骨干网络提取特征，得到待处理图像的整体特征图；计算机设备通过噪声去除网络提取待处理图像的特征图中的噪声特征，得到待处理图像的噪声特征图。

可选的，骨干网络包括N个网络层，N为正整数；对于N个网络层中的第i个网络层而言，在i＝1的情况下，第i个网络层的输入是待处理图像；在1＜i＜N的情况下，第i个网络层的输入是第i-1个网络层的输出；在i＝N的情况下，第i个网络层的输入是第一个网络层到第N-1个网络层的输出。这样，在提取待处理图像的特征图时，在保证充分提取待处理图像的特征的前提下，提高了模型的执行速度。

在一个例子中，如图7A所示为骨干网络的结构示意图。图7A中骨干网络包括4个网络层。前三个网络层均包括卷积核为3×3的卷积层，前三个网络层中每一个网络层的输入仅为与之邻接的上一个网络层的输出。第四个网络层的输入为前三个网络层的输出。第四个网络层包括卷积核为1×1的卷积层以及稀疏(rectified liner uints，Relu)激活函数。

可选的，噪声去除网络包括以ResNet作为基本网络单元，且所述基本网络单元之间以全局残差进行连接的残差网络。这样，以ResNet基本网络单元，且基本网络单元间以全局残差进行连接的残差网络不会因为网络深度的增加，带来梯度消散，使得目标图像处理模型的预测误差能够有效的反向传播，从而目标图像处理模型对待处理图像去噪效果更好更准确。

在一个例子中，如图7B所示为噪声去除网络的一个基本网络单元的示意图。图7B所示的噪声去除网络的一个基本网络单元包括卷积核为为3×3，步长为1的两个卷积层和Relu激活函数。

S302：计算机设备根据待处理图像的整体特征图以及待处理图像的噪声特征图，得到去噪后的图像。

具体的，计算机设备对待处理图像的整体特征图以及待处理图像的噪声特征图进行处理，得到去噪后的图像的过程可以通过如下步骤实现：

步骤一：计算机设备对待处理图像的整体特征图以及待处理图像的噪声特征图进行叠加处理，得到去噪后的待处理图像的特征图。

步骤二：计算机设备将去噪后的待处理图像的特征图进行卷积处理得到RGB三通道表征的去噪后的图像。

在一个例子中，如图8所示为目标图像处理模型对待处理图像进行图像处理的过程示意图，图8所示的目标图像处理模型包括骨干网络和噪声去除网络。待处理图像输入骨干网络提取特征之后，输出待处理图像的整体特征图，将待处理图像的特征图输入噪声去除网络，得到待处理图像的噪声特征图，根据待处理图像的整体特征图和待处理图像的噪声特征图，处理得到去噪后的图像。

本申请实施例所提供的图像处理方法，使用目标图像处理模型提取待处理图像的整体特征图以及待处理图像的噪声特征图，待处理图像的整体特征图以及待处理图像的噪声特征图，从比待处理图像的维度更高的维度对待处理图像以及待处理图像中的噪声进行了描述，例如，待处理图像的维度通常为三维，特征图可以从更高维度表征图像的低层特征，如32维、64维或512维等更高维度的特征图用于描述图像的像素级特征，特征图可以做到对待处理图像进行逐像素分类，使得在对噪声和背景区分的过程中粒度更小，更准确区分噪声与背景，从而根据该目标图像处理模型对待处理图像进行去噪的效果更好。另一方面，本申请实施例使用了前述训练得到的目标图像处理模型，其在对待处理图像进行去噪的过程中所能达到的有益效果必然包括上述目标图像处理模型所能达到的有益效果，不再赘述。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9是根据一示例性实施例示出的一种图像处理装置的结构示意图。参照图9，该图像处理装置90包括获取模块901、提取模块902和去噪模块903。其中：获取模块901用于获取待处理图像。例如，结合图6，获取模块901可以用于执行S300。结合图2，获取模块901可以用于执行S100～S102，结合图5，获取模块901可以用于执行S200～S201、S203～S209。提取模块902用于将待处理图像输入预先训练好的目标图像处理模型，提取待处理图像的整体特征图以及待处理图像的噪声特征图；待处理图像的整体特征图用于表征待处理图像的整体特征；噪声特征图用于表征待处理图像中的噪声特征；待处理图像的整体特征图的维度以及噪声特征图的维度均高于待处理图像的维度；例如，结合图6提取模块可以用于执行S301。去噪模块903，用于根据待处理图像的整体特征图以及噪声特征图对待处理图像进行去噪处理，得到去噪后的图像。例如，结合图6，去噪模块903可以用于执行S302。

可选的，获取模块901，还用于获取多个样本图像，每个样本图像是在原始图像中添加目标类型的噪声得到的；原始图像未包括目标类型的噪声；该图像处理装置还包括训练模块904，用于根据多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到目标图像处理模型；目标图像处理模型用于去除待处理图像中的目标类型的噪声。

可选的，训练模块904具体用于将目标样本图像输入初始图像处理模型，进行去噪处理，得到去噪后的目标样本图像；目标样本图像为多个样本图像中的任意一个样本图像；根据去噪后的目标样本图像对应的原始图像与去噪后的目标样本图像的图像差值，确定第一损失；获取去噪后的目标样本图像对应的原始图像的整体特征图以及去噪后的目标样本图像的整体特征图；根据原始图像的整体特征图与去噪后的样本图像的整体特征图的图像差值，确定第二损失；根据目标损失，训练初始图像处理模型，得到目标图像处理模型；目标损失包括第一损失和第二损失。

可选的，提取模块902还用于将目标样本图像输入预设的特征图提取模型得到目标样本图像的样本特征图；样本特征图用于表征目标样本图像的整体特征；将去噪后的目标样本图像与目标类型的噪声融合得到融合图像；将融合图像输入特征图提取模型得到融合图像的融合特征图；融合特征图用于表征融合图像的整体特征；根据样本特征图与融合特征图的图像差值，确定第三损失；目标损失还包括第三损失；训练模块904具体用于：根据第一损失、第二损失和第三损失训练初始图像处理模型，得到目标图像处理模型。

可选的，提取模块902具体用于：将待处理图像输入至目标图像处理模型；通过骨干网络对待处理图像提取特征，得到待处理图像的整体特征图；通过噪声去除网络提取整体特征图的噪声特征，得到待处理图像的噪声特征图。

可选的，上述骨干网络包括N个网络层，N为正整数；对于N个网络层中的第i个网络层而言，在i＝1的情况下，第i个网络层的输入是待处理图像；在1＜i＜N的情况下，第i个网络层的输入是第i-1个网络层的输出；在i＝N的情况下，第i个网络层的输入是第一个网络层到第N-1个网络层的输出。

可选的，上述噪声去除网络包括以ResNet作为基本网络单元，且基本网络单元之间以全局残差进行连接的残差网络。

在一个示例中，参见图2，上述获取模块901的接收功能可以由图2中的通信接口104实现。上述获取模块901的处理功能、提取模块902、去噪模块903和训练模块904均可以由图2中的处理器101调用存储器103中存储的计算机程序实现。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种图像处理装置90的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

需要说明的是，上述各个模块对应执行的动作仅是具体举例，各个单元实际执行的动作参照上述基于图2、图5、图6所述的实施例的描述中提及的动作或步骤。

本申请实施例还提供了一种计算机设备，包括：存储器和处理器；该存储器用于存储计算机程序，该处理器用于调用该计算机程序，以执行上文提供的任一实施例中提及的动作或步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上文提供的任一实施例中提及的动作或步骤。

本申请实施例还提供一种芯片系统，该芯片系统应用于计算机设备。该芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从计算机设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，计算机设备执行上述方法实施例所示的方法流程中计算机设备执行的各个步骤。

可选的，该芯片系统支持的功能可以包括基于图2、图5、图6所述的实施例中的处理动作，此处不再赘述。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可通过程序来指令相关的硬件完成。所述的程序可以存储于一种计算机可读存储介质中。上述提到的存储介质可以是只读存储器，随机接入存储器等。上述处理单元或处理器可以是中央处理器，通用处理器、特定集成电路(application specific integrated circuit，ASIC)、微处理器(digital signal processor，DSP)，现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

本申请实施例还提供了一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得计算机执行上述实施例中的任意一种方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

应注意，本申请实施例提供的上述用于存储计算机指令或者计算机程序的器件，例如但不限于，上述存储器、计算机可读存储介质和通信芯片等，均具有非易失性(non-transitory)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入预先训练好的目标图像处理模型，提取所述待处理图像的整体特征图以及所述待处理图像的噪声特征图；所述待处理图像的整体特征图用于表征所述待处理图像的整体特征；所述噪声特征图用于表征所述待处理图像中的噪声特征；所述待处理图像的整体特征图的维度以及所述噪声特征图的维度均高于所述待处理图像的维度；

根据所述待处理图像的整体特征图以及所述噪声特征图对所述待处理图像进行去噪处理，得到去噪后的图像。

2.根据权利要求1所述的图像处理方法，其特征在于，在将所述待处理图像输入预先训练好的目标图像处理模型之前，所述方法还包括：

获取多个样本图像，每个样本图像是在原始图像中添加目标类型的噪声得到的；所述原始图像未包括所述目标类型的噪声；

根据所述多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到所述目标图像处理模型；所述目标图像处理模型用于去除所述待处理图像中的目标类型的噪声。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述多个样本图像以及每个样本图像对应的原始图像，训练预设的初始图像处理模型得到所述目标图像处理模型，包括：

将目标样本图像输入所述初始图像处理模型，进行去噪处理，得到去噪后的目标样本图像；所述目标样本图像为所述多个样本图像中的任意一个样本图像；

根据所述去噪后的目标样本图像对应的原始图像与所述去噪后的目标样本图像的图像差值，确定第一损失；

获取所述去噪后的目标样本图像对应的原始图像的整体特征图以及所述去噪后的目标样本图像的整体特征图；

根据所述原始图像的整体特征图与所述去噪后的样本图像的整体特征图的图像差值，确定第二损失；

根据目标损失，训练所述初始图像处理模型，得到所述目标图像处理模型；所述目标损失包括所述第一损失和所述第二损失。

4.根据权利要求3所述的图像处理方法，其特征在于，

所述根据目标损失，训练所述初始图像处理模型，得到所述目标图像处理模型，包括：

将所述目标样本图像输入预设的特征图提取模型得到所述目标样本图像的样本特征图；所述样本特征图用于表征所述目标样本图像的整体特征；

将所述去噪后的目标样本图像与所述目标类型的噪声融合得到融合图像；

将所述融合图像输入所述特征图提取模型得到所述融合图像的融合特征图；所述融合特征图用于表征所述融合图像的整体特征；

根据所述样本特征图与所述融合特征图的图像差值，确定第三损失；所述目标损失还包括所述第三损失；

根据所述第一损失、所述第二损失和所述第三损失训练所述初始图像处理模型，得到所述目标图像处理模型。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，所述目标图像处理模型包括骨干网络和噪声去除网络，所述将所述待处理图像输入预先训练好的目标图像处理模型，提取所述待处理图像的整体特征图以及所述待处理图像的噪声特征图，包括：

将所述待处理图像输入至所述目标图像处理模型；

通过所述骨干网络对所述待处理图像提取特征，得到所述待处理图像的整体特征图；

通过所述噪声去除网络提取所述整体特征图的噪声特征，得到所述待处理图像的噪声特征图。

6.根据权利要求5所述的图像处理方法，其特征在于，所述骨干网络包括N个网络层，N为正整数；

对于所述N个网络层中的第i个网络层而言，在i＝1的情况下，第i个网络层的输入是所述待处理图像；

在1＜i＜N的情况下，第i个网络层的输入是第i-1个网络层的输出；

在i＝N的情况下，第i个网络层的输入是第一个网络层到第N-1个网络层的输出。

7.根据权利要求5所述的图像处理方法，其特征在于，所述噪声去除网络包括以ResNet作为基本网络单元，且所述基本网络单元之间以全局残差进行连接的残差网络。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像；

提取模块，用于将所述待处理图像输入预先训练好的目标图像处理模型，提取所述待处理图像的整体特征图以及所述待处理图像的噪声特征图；所述待处理图像的整体特征图用于表征所述待处理图像的整体特征；所述噪声特征图用于表征所述待处理图像中的噪声特征；所述待处理图像的整体特征图的维度以及所述噪声特征图的维度均高于所述待处理图像的维度；

去噪模块，用于根据所述待处理图像的整体特征图以及所述噪声特征图对所述待处理图像进行去噪处理，得到去噪后的图像。

9.一种计算机设备，其特征在于，包括：

处理器和用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1-7任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得所述计算机设备能够执行如权利要求1-7任一项所述的图像处理方法。

Images