CN111062883B - 图像处理方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、计算机可读介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：获取待处理图像，并利用待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，第一中间图像和第二中间图像均是在待处理图像的去噪过程中生成的图像；结束迭代过程后，输出第一中间图像或第二中间图像，作为与待处理图像对应的处理后的图像；其中，迭代过程包括：基于目标函数，利用待处理图像和第一中间图像确定出第二中间图像；利用噪声估计模型和第二中间图像确定第三中间图像；将第三中间图像作为第一中间图像。本公开可以减少图像中的噪声。

Description

图像处理方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读介质和电子设备。

背景技术

随着移动终端的发展，影像功能越来越得到重视，由此带来的是，摄像模组的光学传感器、镜片及整体结构设计均得到了快速发展。从CCD(Charge Coupled Device，电荷耦合器件)到CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)，从几万像素到上亿像素，从塑胶镜片到蓝宝石镜片，从普通镜头到潜望式模组，无一不反映了从厂商到用户对影像功能的追求。

在移动终端上集成高像素的传感器，已经成为移动终端发展的趋势。为了得到更好的图像解析力，在移动终端不断迭代的过程中，传感器的像素总量成倍增加，然而，传感器实际感光尺寸的增长有限。这就造成像素密度不断增加而各个像素点接收到的信号越来越微弱且电子串扰情况越发严重的问题，由此导致输出的图像中噪点较多，信噪比低，严重限制了高像素传感器的应用场景。

发明内容

本公开提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，进而至少在一定程度上克服拍摄图像中噪点较多的问题。

根据本公开的第一方面，提供了一种图像处理方法，包括：获取待处理图像，并利用待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，第一中间图像和第二中间图像均是在待处理图像的去噪过程中生成的图像；结束迭代过程后，输出第一中间图像或第二中间图像，作为与待处理图像对应的处理后的图像；其中，迭代过程包括：基于目标函数，利用待处理图像和第一中间图像确定出第二中间图像；利用噪声估计模型和第二中间图像确定第三中间图像；将第三中间图像作为第一中间图像。

根据本公开的第二方面，提供了一种图像处理装置，包括：图像去噪模块，用于获取待处理图像，并利用待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，第一中间图像和第二中间图像均是在待处理图像的去噪过程中生成的图像；图像输出模块，用于结束迭代过程后，输出第一中间图像或第二中间图像，作为与待处理图像对应的处理后的图像；其中，迭代过程包括：基于目标函数，利用待处理图像和第一中间图像确定出第二中间图像；利用噪声估计模型和第二中间图像确定第三中间图像；将第三中间图像作为第一中间图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法。

根据本公开的第四方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述图像处理方法。

在本公开的一些实施例所提供的技术方案中，基于待处理图像，执行不断确定第一中间图像与第二中间图像的迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，在这种情况下，将第一中间图像或第二中间图像作为处理后的图像。具体的，针对迭代过程，基于目标函数，利用待处理图像和第一中间图像确定第二中间图像，利用噪声估计模型和第二中间图像再确定出第三中间图像，并将第一中间图像替换为第三中间图像，以实现第一中间图像的更新。一方面，本公开结合一噪声估计模型完成迭代处理过程，相比于一些技术中仅采用正则化约束进行不断优化迭代的过程，复杂度大大降低，在可以获取较好去噪效果的同时，耗时短；另一方面，采用本公开方案能够有效去除图像噪声，使得高像素摄像模组可以应用于弱光环境下，大大扩展了高像素摄像模组的应用场景；再一方面，本公开方案无需辅助工具或硬件上改动，易于实施。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；

图3示出了根据本公开的示例性实施方式的引入辅助变量后确定最优解的过程示意图；

图4示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；

图5示意性示出了根据本公开的示例性实施方式的迭代过程的流程图；

图6示出了根据本公开的示例性实施方式的噪声估计模型的结构示意图；

图7示出了根据本公开的示例性实施方式的可视化迭代处理的示意图；

图8示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图；

图9示意性示出了根据本公开的另一示例性实施方式的图像处理装置的方框图；

图10示意性示出了根据本公开的又一示例性实施方式的图像处理装置的方框图；

图11示意性示出了根据本公开的再一示例性实施方式的图像处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”等仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。

如图1所示，系统架构1000可以包括终端设备1001、1002、1003中的一种或多种，网络1004和服务器1005。网络1004用于在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

例如，终端设备1001、1002、1003可以获取待处理图像，具体的，可以将终端设备1001、1002、1003通过其摄像模组拍摄的图像作为待处理图像。接下来，终端设备1001、1002、1003可以执行下述迭代过程，直至与待处理图像相关联的第一中间图像与第二中间图像之间的相似度小于相似度阈值为止，并在迭代过程结束后，将第一中间图像或第二中间图像作为处理后的图像。

其中，迭代过程可以包括：第一步，将待处理图像和第一中间图像代入一预配置的目标函数中，以确定出第二中间图像；第二步，利用噪声估计模型和第二中间图像确定出第三中间图像，将第三中间图像作为第一中间图像，以更新第一中间图像。由此，不断重复上述第一步与第二步，实现迭代过程。

针对噪声估计模型，可以采用例如卷积神经网络的机器学习模型，该噪声估计模型的训练过程可以由服务器1005进行，服务器1005将训练好的模型参数通过网络1004传递给终端设备1001、1002、1003，从而较好地解决了终端设备1001、1002、1003处理能力不足的问题。

然而，需要理解的是，本公开涉及的图像处理方法的主要步骤还可以由服务器1005执行。具体的，终端设备1001、1002、1003将由摄像模组拍摄的图像通过网络1004发送至服务器1005，该图像即为待处理图像，服务器1005利用该待处理图像执行上述迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止。迭代过程结束后，将第一中间图像或第二中间图像作为处理后的图像，并将确定出的处理后的图像通过网络1004发送给终端设备1001、1002、1003，以便用户查看到去噪后的图像。

需要说明的是，本公开示例性实施方式的图像处理方法一般由终端设备1001、1002、1003执行，具体的，通常由例如手机的移动终端执行。相应地，下面描述的图像处理装置一般配置在终端设备1001、1002、1003中。

图2示出了适于用来实现本公开示例性实施方式的电子设备的计算机系统的结构示意图。该电子设备对应于执行本公开示例性实施方式的图像处理方法的终端设备。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标、触控屏等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

在以手机等终端设备实现本公开方案的情况下，系统结构中还可以包括摄像模组。具体的，可以包括双摄、三摄、四摄等，丰富拍摄的模式，满足不同拍摄场景需求。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

在一些技术中，采用基于预置先验约束的统计模型来抑制图像噪声。这种方法可以灵活求解各种噪声相关的反问题，但其解法需要大量的迭代过程，耗费时间较长，并且去噪效果严重依赖于预置的初始值，极容易陷入局部最优或者影响算法收敛。

在另一些技术中，利用机器学习模型来实现噪声的估计。虽然利用这种方法可以拟合复杂度较高的噪声模型以达到较好的处理效果，并且处理时间短。然而，这种方法的处理效果严重依赖于模型训练过程中的样本容量与状况。

在本公开的示例性实施方式中，图像去噪问题可以被认为是图像修复领域的主要分支，基于图像修复领域的构思，图像去噪可以由一退化模型示出，具体可以采用公式1进行表示：

y＝Hx+n (公式1)

其中，y表示去噪前的图像，x表示去噪后的图像，H表示单位矩阵，n表示标准差为σ的加性高斯白噪声。

在仅已知y的情况下求解x，这是一个病态问题，对于这个病态问题的求解，从统计学贝叶斯学派角度可以转化为一个求取最大后验概率(MAP，Maximum A Posterior)的过程，表示为公式2：

其中，

表示x的估计，log p(y|x)表示似然函数的对数，log p(x)表示先验概率的对数。进一步地，上述问题可以变换为公式3：

其中，λ表示正则化参数，用来衡量前一项约束与后一项约束的重要性，如果λ较大，则说明整个约束中后一项更加重要，如果λ较小(例如，远小于二分之一)，则说明前一项约束更加重要。Φ(x)是一种对信号先验分布的概述性表示，表示对信号分布的一种预判性的约束，例如，可以是梯度上的约束，也可以是空间上的约束，还可以是频域上的约束，本公开对此不做限制。

在本公开中，公式3对应的函数又可被称为中间函数。另外，

又被称为保真项(fidelity term)，而Φ(x)可被称为正则化项。

针对公式3，可以通过一些耗时较长的迭代优化算法来逼近最优解。而对于模型学习方法，求解过程是需要得到一组先验参数Θ，这组先验参数Θ是待优化的损失函数的相关参数，通过使用噪声图像与无噪图像一一对应的大容量训练集来确定出符合二者之间对应关系的最佳参数

利用这个损失函数估计噪声图像对应的无噪图像。因此，对于模型学习方法来说，公式3可以改写为公式4：

其中，l表示损失函数。由此，上述MAP问题转化为求解非线性方程。

从统计模型的解法出发，可以利用HQS(Half Quadratic Splitting，半二次方分裂)方法求解此问题。具体的，由上述参数可知，直接通过x的方向寻找全局最优解是困难的，运算量大。因此，本公开引入一个辅助变量(即与x的方向不同的方向)，通过不断迭代求解辅助变量和x的方式从两个方向逼近最优解。应当理解的是，这两个方向彼此近似。

在这种情况下，引入辅助变量z，假设z是x的一个替代解，并添加限制条件使得二者尽可能接近，由此，可以将上述公式3转化为公式5：

这里的限制及条件可以适当松弛，转化为2范数的正则化约束，见公式6：

其中，u表示正则化参数，用于表示约束项的重要性，是保证x与z相似的约束。

可以基于公式6，分别求解x的估计

和z的估计

逐步逼近最优解x，具体可以表示为公式7：

这种处理策略可以被理解为是一个探索“下山”的过程。如图3所示，虽然不知道从初始点开始哪个方向能够找到最优解，然而，已知存在两个方向，从两个方向逼近最优解(目标函数最小值)。

对于公式7的(i)而言，可以通过二次项求极值的方式进行求解。而对于公式7的(ii)，则重新回到了一个标准的统计模型的解法上，这个方程的求解依赖先验的情况。此问题以往的求解方法认为关于z的某一变换域维度上(频域、差分域等)具有一定的稀疏特性，然而，噪声并非稀疏的，因此可以将公式7中的(ii)转化为公式8：

其中，R表示一些可能的变换算子(傅里叶变换算子、差分算子等)，p表示范数约束的形式，例如，p＝1或0。

然而，这种计算方法严重依赖于变换域与初始位置的选择与正则化约束的松紧程度。过紧致的约束会导致求解更加耗时且困难，不佳的初始位置极容易导致局部最优，算法稳定性差。

鉴于此，在图像去噪方面，本公开示例性实施方式提供了一种新的图像处理方法。

图4示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图4，所述图像处理方法可以包括以下步骤：

S42.获取待处理图像，并利用待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，第一中间图像和第二中间图像均是在待处理图像的去噪过程中生成的图像。

在本公开的示例性实施方式中，待处理图像可以是由终端设备的摄像模组拍摄的图像，也可以是从其他终端设备或网络上获取的图像。另外，待处理图像还可以是视频中任意一待进行去噪处理的图像。本公开对待处理图像的来源、尺寸、拍摄场景等均不做限制。

终端设备在获取到待处理图像后，可以利用该待处理图像执行迭代过程。下面将参考图5中的步骤S52至步骤S56对本公开涉及的迭代过程进行说明。

在步骤S52中，基于目标函数，利用待处理图像和第一中间图像确定出第二中间图像。

需要说明的是，步骤S52至步骤S56仅描述了一次迭代过程。在第一次进行迭代的过程中，包括初始化第一中间图像的过程。具体的，可以对待处理图像进行滤波处理，以得到初始化的第一中间图像，作为首次执行迭代过程的第一中间图像，例如，可以采用高通滤波器、低通滤波器中之一或它们的组合来实现上述滤波处理过程。

在初始化第一中间图像后，可以利用待处理图像和第一中间图像确定第二中间图像。在本公开的示例性实施方式中，可以基于一目标函数确定出第二中间图像。

针对本公开示例性实施方式的目标函数，对应于上述公式7中的(i)。也就是说，根据本公开示例性实施方式，首先，可以基于图像恢复的退化模型(见公式1)构建出中间函数(见公式3)；接下来，可以利用辅助变量z将中间函数的保真项与正则化项解耦，以确定出公式7中的(i)。

需要理解的是，在目标函数中，辅助变量与第一中间图像相对应，也就是说，辅助变量z能够反映出第一中间图像的所有信息。另外，作为待处理图像去噪后的估计，

可以作为本公开示例性实施方式中的第二中间图像。

针对求解公式7中(i)的过程，可以采用两个二次项求解极值的方式进行处理，通过求导的方式，可以得到：

x_k+1＝(H^TH+uI)^-1(H^Ty+uz_k) (公式9)

其中，I为单位矩阵。

鉴于针对去噪的情况，H为单位矩阵，因此，公式9还可以改写为：

x_k+1＝(H+uI)^-1(y+uz_k) (公式10)

由此，在y表示待处理图像、H和I为单位矩阵、u表示正则化参数的情况下，已知第一中间图像z_k，即可确定出第二中间图像x_k+1。

在步骤S54中，利用噪声估计模型和第二中间图像确定第三中间图像。

在本公开的示例性实施方式中，噪声估计模型可以是基于卷积神经网络的模型。图6示意性示出了该模型的网络结构，该模型可以是一个7层的卷积神经网络，包括第一层61、第二层62、第三层63、第四层64、第五层65、第六层66和第七层67。

该网络结构可以是基于膨胀卷积而构建，例如，第一层61由膨胀卷积单元和修正线性单元(ReLU)构成，第二层62、第三层63、第四层64、第五层65、第六层66均由膨胀卷积单元、批量归一化单元(BN)和修正线性单元(ReLU)构成，第七层67由膨胀卷积单元构成。第一层61中的膨胀卷积单元的感受器的尺寸为3×3，也就是说，卷积核的大小为3×3。针对整个网络，在膨胀系数依次为1、2、3、4、3、2、1的情况下，对应的每一层的感受器尺寸为(2s+1)*(2s+1)，其中，s为膨胀系数，由此，可以确定出每一层的感受器的尺寸分别为3×3、5×5、7×7、9×9、7×7、5×5、3×3。另外，可以将每一层的维度设置为64，即，每一层特征图(feature map)的数量设置为64。

采用基于膨胀卷积的卷积神经网络作为本公开中的噪声估计模型，可以更有效地获取语义信息，进而保证了去噪结果的准确性。

然而，应当理解的是，除上述示例性示出的噪声估计模型外，还可以采用其他的卷积神经网络或采用其他的网络配置来实现噪声估计模型。本公开对此不做限制。

在确定出噪声估计模型的网络结构后，可以预先在服务器进行模型的训练过程。

首先，服务器可以获取训练集。该训练集可以包括多个噪声图像以及与各噪声图像对应的去噪图像，并且各噪声图像之间的噪声强度差异在差异阈值内，其中，差异阈值可以由开发人员根据预先进行的试验进行设定，本公开对其具体取值不做限制。

通过将噪声强度差异控制在一定范围内，使得训练集中各噪声图像的噪声水平一致，便于提高训练效果。

接下来，可以利用训练集中的图像对噪声估计模型进行训练，以得到训练后的模型。

具体的，针对训练集中的每一噪声图像及对应的去噪图像，将噪声图像输入卷积神经网络中，在这种情况下，卷积神经网络的输出为与该噪声图像对应的图像，记为训练输出图像。接下来，在确定出该卷积神经网络的损失函数的情况下，可以利用该噪声图像对应的训练输出图像和对应的去噪图像，计算损失函数。通过不断输入样本进行上述过程，使损失函数最小化，以完成该卷积神经网络的训练过程。

在服务器对噪声估计模型进行训练后，服务器可以将模型的参数信息发送给终端设备，以便终端设备可以利用该噪声估计模型执行迭代过程。

利用服务器进行模型训练，解决了终端设备处理能力不足的问题。

然而，应当注意的是，在终端设备处理能力足够进行模型训练的情况下，模型的训练过程还可以在上述终端设备中进行，本公开对此不做限制。

在确定出训练后的噪声估计模型后，终端设备可以将步骤S52确定出的第二中间图像输入该训练后的噪声估计模型中，以确定出第二中间图像对应的噪声估计值。接下来，可以根据第二中间图像与其噪声估计值确定第三中间图像。

具体的，可以采用公式11确定出第三中间图像：

z_k+1＝x_k+1-f(x_k+1；Θ) (公式11)

其中，f(x_k+1；Θ)表示针对第二中间图像的噪声估计值，这里的Θ表示模型参数。

在步骤S56中，将第三中间图像作为第一中间图像，以实现第一中间图像的更新。

由此，如此反复执行步骤S52至步骤S56，并在执行的过程中，不断确定第一中间图像与第二中间图像的相似度，直至确定出第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，结束迭代过程。其中，相似度阈值可以由开发人员根据试验的结果自行设定，本公开对此不做限制。在第一中间图像与第二中间图像之间的相似度大于相似度阈值的情况下，可以认为寻找到了最优解，该最优解即是去噪后的图像。

需要说明的是，在终端设备执行上述步骤S52至步骤S56的迭代过程中，每执行一次迭代过程，均会更新模型参数，并利用更新的参数执行下一次的迭代过程。也就是说，在迭代的过程中，噪声估计模型的参数会发生变化，以确保利用上述公式7中的(1)以及公式11的迭代过程不断逼近最优解。

此外，上述通过第一中间图像与第二中间图像之间的相似度来确定迭代过程是否结束，容易理解的是，在第一中间图像与第二中间图像之间的差异较小时，迭代过程结束。在这种情况下，还可以采用图像差异这一指标来确定迭代过程是否结束，例如，当第一中间图像与第二中间图像之间的图像差异小于一预设阈值时，则可以确定出迭代过程结束。

S44.结束迭代过程后，输出第一中间图像或第二中间图像，作为与待处理图像对应的处理后的图像。

在步骤S42中所涉的迭代过程结束后，根据本公开的一些实施例，由于第一中间图像与第二中间图像的差异较小，因此，终端设备可以输出第一中间图像或第二中间图像作为待处理图像对应的处理后的图像。

根据本公开的另一些实施例，每更新第一中间图像或第二中间图像后，执行相似度的判断过程。例如，在更新第一中间图像后，如果第一中间图像与第二中间图像的相似度小于相似度阈值，则输出第一中间图像作为处理后的图像。又例如，在更新第二中间图像后，如果第一中间图像与第二中间图像的相似度小于相似度阈值，则输出第二中间图像作为处理后的图像。

输出的处理后的图像可以直接保存至终端终端，还可以进行展示，以便用户查看。

参考图7，上述实现图像去噪的过程可以被理解为：从起始点的位置“下山”，一只脚走路(直接求解无噪图像)较困难且容易出现局部最优的情况。在这种情况下，引入另一只脚(辅助变量z，也即是上面的第一中间图像)，由此，整个过程变为两步求解。然而，针对如何确定出辅助变量的问题，本公开示例性实施方式可以采用卷积神经网络来求解。还应该注意的是，整个过程受到||x-z_k||²的约束，这种约束保证x与z保持较大的相似度，也就是说，上述例子中保证两只脚均向前走。

在图7中，x与z，这两个变量之间的夹角α实际上是一个很小的角度，保证二者相似度高。由此，整个二维信息展开是一个狭长的曲面，使得求解全局最优更加有利。

基于本公开示例性实施方式的图像处理方法，一方面，本公开结合一噪声估计模型完成迭代处理过程，相比于一些技术中仅采用正则化约束进行不断优化迭代的过程，复杂度大大降低，在可以获取较好去噪效果的同时，耗时短；另一方面，采用本公开方案能够有效去除图像噪声，使得高像素摄像模组可以应用于弱光环境下，大大扩展了高像素摄像模组的应用场景；再一方面，本公开方案无需辅助工具或硬件上改动，易于实施。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种图像处理装置。

图8示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图8，根据本公开的示例性实施方式的图像处理装置8可以包括图像去噪模块81和图像输出模块83。

具体的，图像去噪模块81可以用于获取待处理图像，并利用待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，第一中间图像和第二中间图像均是在待处理图像的去噪过程中生成的图像；其中，迭代过程包括：基于目标函数，利用待处理图像和第一中间图像确定出第二中间图像；利用噪声估计模型和第二中间图像确定第三中间图像；将第三中间图像作为第一中间图像。

图像输出模块83可以用于结束迭代过程后，输出第一中间图像或第二中间图像，作为与待处理图像对应的处理后的图像。

利用本公开示例性实施方式的图像处理装置，一方面，本公开结合一噪声估计模型完成迭代处理过程，相比于一些技术中仅采用正则化约束进行不断优化迭代的过程，复杂度大大降低，在可以获取较好去噪效果的同时，耗时短；另一方面，采用本公开方案能够有效去除图像噪声，使得高像素摄像模组可以应用于弱光环境下，大大扩展了高像素摄像模组的应用场景；再一方面，本公开方案无需辅助工具或硬件上改动，易于实施。

根据本公开的示例性实施例，图像去噪模块81利用噪声估计模型和第二中间图像确定第三中间图像的过程可以被配置为执行：将第二中间图像输入噪声估计模型，确定与第二中间图像对应的噪声估计值；根据第二中间图像与噪声估计值确定第三中间图像。

根据本公开的示例性实施例，参考图9，相比对图像处理装置8，图像处理装置9还可以包括模型训练模块91。

具体的，模型训练模块91可以被配置为执行：获取训练集；其中，训练集包括多个噪声图像以及与各噪声图像对应的去噪图像，并且各噪声图像之间的噪声强度差异在一差异阈值内；将训练集中的噪声图像输入一卷积神经网络，卷积神经网络输出与噪声图像对应的训练输出图像；利用噪声图像对应的训练输出图像和去噪图像，计算卷积神经网络的损失函数，以对卷积神经网络进行训练；将训练后的卷积神经网络确定为噪声估计模型。

根据本公开的示例性实施例，图像去噪模块81还可以被配置为执行：每执行一次迭代过程，更新卷积神经网络的参数，并利用更新的参数执行下一次迭代过程。

根据本公开的示例性实施例，卷积神经网络包括级联的多个卷积层，每一卷积层均包括膨胀卷积单元。

根据本公开的示例性实施例，参考图10，相比对图像处理装置8，图像处理装置10还可以包括初始化模块101。

具体的，初始化模块101可以被配置为执行：对待处理图像进行滤波处理，得到初始化的第一中间图像，作为首次执行迭代过程的第一中间图像。

根据本公开的示例性实施例，参考图11，相比对图像处理装置8，图像处理装置11还可以包括目标函数确定模块111。

具体的，目标函数确定模块111可以被配置为执行：基于图像恢复的退化模型构建出中间函数，中间函数包括保真项和正则化项；利用一辅助变量将中间函数的保真项与正则化项解耦，并根据解耦后的结果确定出目标函数；其中，辅助变量与第一中间图像相对应。

由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，对所述待处理图像进行滤波处理，得到初始化的第一中间图像，作为首次执行迭代过程的第一中间图像，利用所述待处理图像执行所述迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，所述第一中间图像和所述第二中间图像均是在所述待处理图像的去噪过程中生成的图像；

结束所述迭代过程后，输出所述第一中间图像或所述第二中间图像，作为与所述待处理图像对应的处理后的图像；

其中，所述迭代过程包括：

基于目标函数，利用所述待处理图像和所述第一中间图像确定出所述第二中间图像；

利用噪声估计模型和所述第二中间图像确定第三中间图像；

将所述第三中间图像作为所述第一中间图像；

所述图像处理方法中确定所述目标函数的过程包括：

基于图像恢复的退化模型构建出中间函数，所述中间函数包括保真项和正则化项；

利用一辅助变量将所述中间函数的保真项与正则化项解耦，并根据解耦后的结果确定出所述目标函数，所述辅助变量与所述第一中间图像相对应。

2.根据权利要求1所述的图像处理方法，其特征在于，利用噪声估计模型和所述第二中间图像确定第三中间图像包括：

将所述第二中间图像输入所述噪声估计模型，确定与所述第二中间图像对应的噪声估计值；

根据所述第二中间图像与所述噪声估计值确定第三中间图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取训练集；其中，所述训练集包括多个噪声图像以及与各所述噪声图像对应的去噪图像，并且各所述噪声图像之间的噪声强度差异在一差异阈值内；

将所述训练集中的噪声图像输入一卷积神经网络，所述卷积神经网络输出与所述噪声图像对应的训练输出图像；

利用所述噪声图像对应的训练输出图像和去噪图像，计算所述卷积神经网络的损失函数，以对所述卷积神经网络进行训练；

将训练后的所述卷积神经网络确定为所述噪声估计模型。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：

每执行一次所述迭代过程，更新所述卷积神经网络的参数，并利用更新的参数执行下一次所述迭代过程。

5.根据权利要求3所述的图像处理方法，其特征在于，所述卷积神经网络包括级联的多个卷积层，每一所述卷积层均包括膨胀卷积单元。

6.一种图像处理装置，其特征在于，包括：

图像去噪模块，用于获取待处理图像，并利用所述待处理图像执行迭代过程，直至第一中间图像与第二中间图像之间的相似度大于相似度阈值为止，所述第一中间图像和所述第二中间图像均是在所述待处理图像的去噪过程中生成的图像；

图像输出模块，用于结束所述迭代过程后，输出所述第一中间图像或所述第二中间图像，作为与所述待处理图像对应的处理后的图像；

其中，所述迭代过程包括：基于目标函数，利用所述待处理图像和所述第一中间图像确定出所述第二中间图像；利用噪声估计模型和所述第二中间图像确定第三中间图像；将所述第三中间图像作为所述第一中间图像；

所述图像处理装置还包括初始化模块，用于对所述待处理图像进行滤波处理，得到初始化的第一中间图像，作为首次执行所述迭代过程的第一中间图像；

所述图像处理装置还包括目标函数确定模块，用于基于图像恢复的退化模型构建出中间函数，所述中间函数包括保真项和正则化项；利用一辅助变量将所述中间函数的保真项与正则化项解耦，并根据解耦后的结果确定出所述目标函数，所述辅助变量与所述第一中间图像相对应。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的图像处理方法。

Images