CN116681618A - 图像去噪方法、电子设备及存储介质 - Google Patents

图像去噪方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116681618A
CN116681618A CN202310700833.8A CN202310700833A CN116681618A CN 116681618 A CN116681618 A CN 116681618A CN 202310700833 A CN202310700833 A CN 202310700833A CN 116681618 A CN116681618 A CN 116681618A
Authority
CN
China
Prior art keywords
image
denoising
model
loss function
denoised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310700833.8A
Other languages
English (en)
Inventor
宋凌
方刚
秦岚
杨光明
印胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Union Strong Beijing Technology Co ltd
Original Assignee
Union Strong Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Union Strong Beijing Technology Co ltd filed Critical Union Strong Beijing Technology Co ltd
Priority to CN202310700833.8A priority Critical patent/CN116681618A/zh
Publication of CN116681618A publication Critical patent/CN116681618A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪方法、电子设备及存储介质。该图像去噪方法包括：获取待去噪图像；将待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像；其中，图像去噪模型基于原始样本图像集以及去噪样本图像集训练得到；去噪样本图像集为分别对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。本申请提供的技术方案能够针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。

Description

图像去噪方法、电子设备及存储介质
技术领域
本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种图像去噪方法、电子设备及存储介质。
背景技术
医学图像的质量受采集设备、扫描协议、扫描方法等因素的影响，导致不同医学图像的数据信噪比(SNR)差别比较大。在医学图像的后处理应用中，需要针对医学图像进行不同程度的去噪，以使后续的计算结果更加稳定可靠。
在现有技术中，医学图像的后处理去噪方法可以分为传统去噪方法和基于深度学习的去噪方法。其中，传统去噪方法可以包括有均值滤波、中值滤波、高斯滤波等，前述的这些去噪方法去噪速度快，平滑效果好，但会造成图像边缘失真。虽然传统去噪方法还可以包括例如双边滤波、曲率流滤波和三维块匹配算法(BM3D)等具有较好的平滑效果而且可以保留图像边缘特征的方法，但是传统去噪方法均需要根据图像质量的好坏来定制化设置滤波参数，而且滤波参数的计算非常耗时，导致调试工作量大且处理速度慢的同时，去噪一致性差。
另外，基于深度学习的去噪方法一般采用低质量和高质量的图像数据对进行训练，从而使训练所得的模型能够学习到从低质量图像数据恢复到高质量图像数据的能力。这种方法图像数据获取难度很高，而且模型主要应用于特定机型。
有鉴于此，亟需提供一种图像去噪方法，以便可以针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。
发明内容
为了至少解决如上所提到的一个或多个技术问题，本申请提出了一种图像去噪方法、电子设备及存储介质，该图像去噪方法能够针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。
在第一方面中，本申请提供一种图像去噪方法，包括：获取待去噪图像；将待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像；其中，基于原始样本图像集和去噪样本图像集训练得到图像去噪模型；去噪样本图像集为对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。
在一个实施例中，基于原始样本图像集和去噪样本图像集训练得到图像去噪模型包括：获取原始样本图像集；基于预设信噪比和预设去噪算法对原始样本图像集中的每一原始样本图像进行去噪处理，得到去噪样本图像集；将原始样本图像集中的每一原始样本图像分别与对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像一一对应匹配，形成多组配对图像；将多组配对图像输入初始去噪模型中进行训练，得到图像去噪模型。
在一个实施例中，初始去噪模型包含编码器和解码器，并且其中将多组配对图像输入初始去噪模型中进行训练包括：将配对图像中的原始样本图像输入编码器中，得到由解码器输出的模型去噪图像；基于目标损失函数、模型去噪图像和配对图像中的去噪样本图像确定损失函数值；对目标损失函数进行优化并基于更新的损失函数值确定是否输出图像去噪模型。
在一个实施例中，编码器包括N层卷积层，每一卷积层包含卷积核以及Relu激活层；解码器包括N层反卷积层，每一反卷积层包含反卷积核以及Relu激活层；N层反卷积层中加入了若干残差连接；将配对图像中的原始样本图像输入编码器中，得到由解码器输出的模型去噪图像包括：将原始样本图像输入编码器中，得到编码器输出的中间特征图；将中间特征图输入解码器中，得到解码器输出的模型去噪图像。
在一个实施例中，目标损失函数包含第一损失函数和第二损失函数，其中基于目标损失函数、模型去噪图像和配对图像中的去噪样本图像确定损失函数值包括：根据模型去噪图像的像素值、去噪样本图像的像素值以及第一损失函数确定第一损失值；根据模型去噪图像的像素值、模型去噪图像的平均亮度、去噪样本图像的像素值、去噪样本图像的平均亮度以及第二损失函数确定第二损失值；根据第一损失值和第二损失值确定损失函数值。
在一个实施例中，根据模型去噪图像的像素值、去噪样本图像的像素值以及第一损失函数确定第一损失值包括：将模型去噪图像的像素值和去噪样本图像的像素值输入第一损失函数，得到第一损失值；第一损失函数为：
其中，x为模型去噪图像，y为去噪样本图像，为第i个去噪样本图像的像素值，为第i个模型去噪图像的像素值，n为去噪样本图像的总数。
在一个实施例中，根据模型去噪图像的像素值、模型去噪图像的平均亮度、去噪样本图像的像素值、去噪样本图像的平均亮度以及第二损失函数确定第二损失值包括：根据n个模型去噪图像的像素值确定模型去噪图像对应的第一图像方差；根据n个去噪样本图像的像素值确定去噪样本图像对应的第二图像方差；根据n个模型去噪图像的像素值和n个去噪样本图像的像素值确定模型去噪图像和去噪样本图像之间的图像协方差；基于第一图像方差、第二图像方差、图像协方差、模型去噪图像的平均亮度、去噪样本图像的平均亮度以及第二损失函数确定第二损失值。
在一个实施例中，基于第一图像方差、第二图像方差、图像协方差、模型去噪图像的平均亮度、去噪样本图像的平均亮度以及第二损失函数确定第二损失值包括：将第一图像方差、第二图像方差、图像协方差、模型去噪图像的平均亮度和去噪样本图像的平均亮度输入第二损失函数，得到第二损失值；第二损失函数为：
其中，为模型去噪图像的平均亮度，为去噪样本图像的平均亮度，为第一图像方差，为第二图像方差，为图像协方差。
在一个实施例中，根据第一损失值和第二损失值确定损失函数值包括：将第一损失值和第二损失值进行求和，得到损失函数值。
在一个实施例中，对目标损失函数进行优化并基于更新的损失函数值确定是否输出图像去噪模型包括：通过Adam优化器对目标损失函数进行优化；基于每一优化后的目标损失函数确定每一更新的损失函数值；若优化时长达到预设训练时长，和/或若在每一更新的损失函数值中连续m次更新的损失函数值不降低，则确定输出图像去噪模型。
本申请第二方面提供一种电子设备，包括：
处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的图像去噪方法、电子设备及存储介质，通过获取待去噪图像，进而将待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像。其中，图像去噪模型基于原始样本图像集以及去噪样本图像集训练得到，而去噪样本图像集为分别对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。从而能够让图像去噪模型从大量的原始样本图像和去噪样本图像中学习到图特征和噪声特征，进而学习到不同信噪比的原始样本图像与最优滤波效果的去噪样本图像之间的映射关系，使得图像去噪模型能够在训练完成之后针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1示出了本申请一些实施例的图像去噪方法的示例性流程图；
图2示出了本申请另一些实施例的图像去噪方法的示例性流程图；
图3示出了本申请再一些实施例的图像去噪方法的示例性流程图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述公知的方法、过程和组件，以免模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的实施例的范围。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本申请披露的权利要求、说明书及附图中的可能术语“第一”或“第二”等是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
医学图像的后处理去噪方法可以分为传统去噪方法和基于深度学习的去噪方法。其中，传统去噪方法可以包括有均值滤波、中值滤波、高斯滤波等，前述的这些去噪方法去噪速度快，平滑效果好，但会造成图像边缘失真。虽然传统去噪方法还可以包括例如双边滤波、曲率流滤波和三维块匹配算法(BM3D)等具有较好的平滑效果而且可以保留图像边缘特征的方法，但是传统去噪方法均需要根据图像质量的好坏来定制化设置滤波参数，而且滤波参数的计算非常耗时，导致调试工作量大且处理速度慢的同时，去噪一致性差。另外，基于深度学习的去噪方法一般采用低质量和高质量的图像数据对进行训练，从而使训练所得的模型能够学习到从低质量图像数据恢复到高质量图像数据的能力。这种方法图像数据获取难度很高，而且模型主要应用于特定机型。
有鉴于此，亟需提供一种图像去噪方法，以便可以针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。
下面结合附图来详细描述本申请的具体实施方式。
图1示出了本申请一些实施例的图像去噪方法的示例性流程图。请参阅图1，本申请实施例示出的图像去噪方法可以包括：
在步骤S101中，获取待去噪图像。在本申请实施例中，前述的待去噪图像是指等待进行去噪操作的图像，该图像示例性地可以是医学图像，也可以是其他类型的图像。可以理解的是，在实际应用中，需根据实际应用情况确定待去噪图像的图像类型，本申请在此方面不作任何限制。
在步骤S102中，将待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像。在本申请实施例中，前述的图像去噪模型基于原始样本图像集以及去噪样本图像集训练得到。
其中，去噪样本图像集为分别对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。可以理解的是，前述的原始样本图像集中的每一原始样本图像是指图像采集设备采集得到的未经过处理的信噪比不同的图像，示例性地，可以是医疗机构中的影像扫描设备采集得到的图像。
另外，去噪样本图像为原始样本图像经过去噪处理后所得的图像，可以理解的是，去噪处理的实现方式是多样的，在实际应用中，可以采用现有的各向异性滤波算法来进行去噪处理，需根据实际应用情况来确定去噪处理的实现方式，本申请在此方面不作任何限制。
还可以理解的是，在本申请实施例中，一张原始样本图像经过去噪处理后对应得到一张去噪样本图像，从而对原始样本图像集中的n张原始样本图像完成去噪处理之后，将会得到具有n张去噪样本图像的去噪样本图像集，n为正整数。换句话来说，原始样本图像集中的图像与去噪样本图像集中的图像是一一对应的，对应的两个图像分别为去噪前的图像和去噪后的图像。从而基于大量去噪前的图像和去噪后的图像进行训练所得到的图像去噪模型能够学习到图特征和噪声特征的同时，能够学习到不同信噪比的原始样本图像与最优滤波效果的去噪样本图像之间的映射关系，进而使得图像去噪模型能够在训练完成之后具备针对不同质量的图像进行自适应滤波去噪的能力。
通过获取待去噪图像，进而将待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像。其中，图像去噪模型基于原始样本图像集以及去噪样本图像集训练得到，而去噪样本图像集为分别对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。从而能够让图像去噪模型从大量的原始样本图像和去噪样本图像中学习到图特征和噪声特征，进而学习到不同信噪比的原始样本图像与最优滤波效果的去噪样本图像之间的映射关系，使得图像去噪模型能够在训练完成之后针对不同质量的图像进行自适应滤波去噪，输出信噪比一致的图像。
在一些实施例中，可以对图像去噪模型的训练步骤进行进一步设计。下文将结合图2来对图像去噪模型的训练步骤进行详细说明。图2示出了本申请另一些实施例的图像去噪方法的示例性流程图，请参阅图2，本申请实施例示出的图像去噪方法中，图像去噪模型的训练步骤可以包括：
在步骤S201中，获取原始样本图像集。前述的原始样本图像集示例性地可以调取各种图像采集设备的存储数据库来进行获取。作为示例，假设原始样本图像集是医学图像的集合，那么可以从医学图像采集设备的存储库中调取扫描或成像完成的且未经过处理的图像作为原始样本图像集。
可以理解的是，获取原始样本图像集的方式是多样的，在实际应用中，需根据原始样本图像的图像类型以及实际应用情况来确定原始样本图像集的方式，本申请在此方面不作任何限制。
在步骤S202中，基于预设信噪比和预设去噪算法对原始样本图像集中的每一原始样本图像进行去噪处理，得到去噪样本图像集。在本申请实施例中，会预先设定一个预设信噪比，然后通过预设去噪算法来分别对原始样本图像集中的每一原始样本图像进行去噪处理，从而得到具有相同预设信噪比的多个去噪样本图像，以构成上述的去噪样本图像集。
示例性地，预设去噪算法可以采用各向异性滤波算法，例如是双边滤波、曲率流滤波和三维块匹配算法(BM3D)等。可以理解的是，在实际应用中，对原始样本图像集中的每一原始样本图像进行去噪处理的预设去噪算法是多样的，需根据实际应用该情况来确定预设去噪算法，本申请在此方面不作任何限制。
在步骤S203中，将原始样本图像集中的每一原始样本图像分别与对原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像一一对应匹配，形成多组配对图像。可以理解的是，原始样本图像集中的图像与去噪样本图像集中的图像是一一对应的，对应的两个图像分别为去噪前的图像和去噪后的图像。在本申请实施例中，分别将对应的去噪前的图像和去噪后的图像进行配对，从而形成多组配对图像。
在步骤S204中，将多组配对图像输入初始去噪模型中进行训练，得到图像去噪模型。在训练过程中，会对图像数据和数据标签进行数据增强，包括patch填充、切片、旋转、缩放等操作。在本申请实施例中，通过大量去噪前的图像和去噪后的图像对初始去噪模型进行训练，能够使得训练所得到的图像去噪模型能够学习到图特征和噪声特征的同时，能够学习到不同信噪比的原始样本图像与最优滤波效果的去噪样本图像之间的映射关系，进而使得图像去噪模型能够在训练完成之后具备针对不同质量的图像进行自适应滤波去噪的能力，输出信噪比一致的图像。
在一些实施例中，会对将多组配对图像输入初始去噪模型中进行训练的过程进行进一步设计。下文将结合图3来对将多组配对图像输入初始去噪模型中进行训练的过程进行详细描述。图3示出了本申请再一些实施例的图像去噪方法的示例性流程图，请参阅图3，本申请实施例示出的图像去噪方法可以包括：
在步骤S301中，将配对图像中的原始样本图像输入编码器中，得到由解码器输出的模型去噪图像。在本申请实施例中，初始去噪模型包含编码器和解码器。其中，编码器包括N层卷积层，每一卷积层包含卷积核以及Relu激活层。示例性地，每一卷积层所包含的卷积核可以是kernel size(卷积核尺寸)为3、stride(步长)为1、padding(填充属性)为0的卷积核。可以理解的是，在实际应用中，需根据实际应用情况来对卷积核的参数进行设定，本申请在此方面不作任何限制。
另外，Relu激活层是指Relu激活函数层，Relu激活函数即是线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数。激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层卷积层就相当于矩阵相乘。
每一层卷积层的输入和输出的张量尺寸为均可表示为[N,C,H,W]，其中N为训练数据样本个数(Batch size)，C为网络通道(channel)数，H指特征图的高度，W指特征图的宽度。Batch size可以根据显存大小设置，设置越大收敛性越好。第一层卷积层输入channel数大小可以为1，输出channel数可以为96，后续每一层卷积层的的输入和输出channel数都可以设置为96。可以理解的是，在实际应用中，channel数可以根据实际应用情况进行调整，本申请在此方面不作任何限制。
作为示例，假设输入的原始样本图像为尺寸为256×256的噪声图像，在Batchsize设置为4、channel数设置为96以及卷积层层数为5层的情况下，编码器的第一层卷积层的输入张量为4×1×256×256，后续每层卷积层的输出特征向量依次为4×96×254×254，4×96×252×252，4×96×250×250，4×96×248×248以及4×96×246×246。
另一方面，解码器包括N层反卷积层，每一反卷积层包含反卷积核以及Relu激活层。反卷积是卷积过程的逆操作，参数与上述的卷积过程一致，因此，最后一层反卷积层的channel数大小可以为1，用于输出去噪后的图像，其尺寸与输入的原始样本图像大小一致。作为示例，假设输入的原始样本图像为尺寸为256×256的噪声图像，在Batch size设置为4、channel数设置为96以及反卷积层层数为5层的情况下，解码器的第一层反卷积层输入的中间特征图的张量尺寸为4×96×246×246，后续每层反卷积层的输出特征向量依次为4×96×248×248，4×96×250×250，4×96×252×252，4×96×254×254以及4×1×256×256。
进一步地，在本申请实施例中，N层反卷积层中加入了若干残差连接。引入残差连接的目的是为了避免模型退化问题，使得模型性能可以随着层数的增加而提升。具体地可以使用skip-connection将空间信息从编码器绕到解码器，使得解码器在进行上采样时能够获取到更多的高分辨率信息，进而更完善地恢复原始样本图像中的细节信息。
在本申请实施例中，可以每一层反卷积层加入残差连接，也可以在相间的反卷积层加入残差连接。假设反卷积层层数为5层，那么可以在第一层反卷积层、第三层反卷积层和第五层反卷积层分别加入残差连接，从而将编码器第一层卷积层的输入张量信息绕到解码器第五层反卷积层中，将编码器第三层卷积层的输入张量信息(即编码器第三层卷积层的输出特征向量)绕到解码器第三层反卷积层中，以及将编码器第五层卷积层的输入张量信息(即编码器第四层卷积层的输出特征向量)绕到解码器第第一层反卷积层中。
在本申请实施例中，具体地可以将原始样本图像输入编码器中，得到编码器输出的中间特征图，进而将中间特征图输入解码器中，得到解码器输出的模型去噪图像。
在步骤S302中，基于目标损失函数、模型去噪图像和配对图像中的去噪样本图像确定损失函数值。在本申请实施例中，前述的目标损失函数包含第一损失函数和第二损失函数。
首先，可以根据模型去噪图像的像素值、去噪样本图像的像素值以及第一损失函数确定第一损失值。具体地，将模型去噪图像的像素值和去噪样本图像的像素值输入第一损失函数，得到第一损失值。第一损失函数示例性地为平均绝对值误差损失函数，可以表示为：
其中，x为模型去噪图像，y为去噪样本图像，为第i个去噪样本图像的像素值，为第i个模型去噪图像的像素值，n为去噪样本图像的总数。
然后，可以根据模型去噪图像的像素值、模型去噪图像的平均亮度、去噪样本图像的像素值、去噪样本图像的平均亮度以及第二损失函数确定第二损失值。具体地，根据n个模型去噪图像的像素值确定模型去噪图像对应的第一图像方差，可以先计算n个模型去噪图像的像素值的平均值然后再根据平均值来计算方差。同时可以根据n个去噪样本图像的像素值确定去噪样本图像对应的第二图像方差，可以先计算n个去噪样本图像的像素值的平均值然后再根据平均值来计算方差。进而根据n个模型去噪图像的像素值和n个去噪样本图像的像素值确定模型去噪图像和去噪样本图像之间的图像协方差。进而基于第一图像方差、第二图像方差、图像协方差、模型去噪图像的平均亮度、去噪样本图像的平均亮度以及第二损失函数确定第二损失值。
作为示例，可以将第一图像方差、第二图像方差、图像协方差、模型去噪图像的平均亮度和去噪样本图像的平均亮度输入第二损失函数，得到第二损失值，第二损失函数示例性地为结构相似度误差损失函数，可以表示为：
其中，为模型去噪图像的平均亮度，为去噪样本图像的平均亮度，为第一图像方差，为第二图像方差，为图像协方差。
接着，可以根据第一损失值和第二损失值确定损失函数值。在本申请实施例中，可以将第一损失值和第二损失值进行求和，得到损失函数值。可以理解的是，目标损失函数可以通过第一损失函数和第二损失函数相加而构成。
在步骤S303中，对目标损失函数进行优化并基于更新的损失函数值确定是否输出图像去噪模型。在本申请实施例中，可以通过Adam优化器对目标损失函数进行优化，Adam优化器是梯度下降法的一个扩展，可以让学习率可以自适应调整的同时引入动量。进一步地，基于每一优化后的目标损失函数确定每一更新的损失函数值，若优化时长达到预设训练时长，和/或若在每一更新的损失函数值中连续m次更新的损失函数值不降低，则确定输出图像去噪模型，m为正整数，优选地，可以取值为5，需根据实际应用情况而设置m的取值，本申请在此方面不作任何限制。
与前述应用功能实现方法实施例相对应，本申请还提供了一种用于执行图像去噪方法的电子设备及相应的实施例。
图4示出可以实施本申请实施例的图像去噪方法的电子设备400的硬件配置的框图。如图4所示，电子设备400可以包括处理器410和存储器420。在图4的电子设备400中，仅示出了与本实施例有关的组成元素。因此，对于本领域普通技术人员而言显而易见的是：电子设备400还可以包括与图4中所示的组成元素不同的常见组成元素。比如：定点运算器。
电子设备400可以对应于具有各种处理功能的计算设备，例如，用于生成神经网络、训练或学习神经网络、将浮点型神经网络量化为定点型神经网络、或者重新训练神经网络的功能。例如，电子设备400可以被实现为各种类型的设备，例如个人计算机(PC)、服务器设备、移动设备等。
处理器410控制电子设备400的所有功能。例如，处理器410通过执行电子设备400上的存储器420中存储的程序，来控制电子设备400的所有功能。处理器410可以由电子设备400中提供的中央处理单元(CPU)、图形处理单元(GPU)、应用处理器(AP)、人工智能处理器芯片(IPU)等来实现。然而，本申请不限于此。
在一些实施例中，处理器410可以包括输入/输出(I/O)单元411和计算单元412。I/O单元411可以用于接收各种数据，例如待去噪图像。示例性地，计算单元412可以用于将经由I/O单元411接收的待去噪图像输入至图像去噪模型中，得到图像去噪模型输出的目标去噪图像。此目标去噪图像例如可以由I/O单元411输出。输出数据可以提供给存储器420以供其他设备(未示出)读取使用，也可以直接提供给其他设备使用。
存储器420是用于存储电子设备400中处理的各种数据的硬件。例如，存储器420可以存储电子设备400中的处理过的数据和待处理的数据。存储器420可存储处理器410已处理或要处理的图像去噪方法过程中涉及的数据集，例如，待去噪图像等。此外，存储器420可以存储要由电子设备400驱动的应用、驱动程序等。例如：存储器420可以存储与将由处理器410执行的图像去噪方法有关的各种程序。存储器420可以是DRAM，但是本申请不限于此。存储器420可以包括易失性存储器或非易失性存储器中的至少一种。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻RAM(RRAM)、铁电RAM(FRAM)等。易失性存储器可包括动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)、PRAM、MRAM、RRAM、铁电RAM(FeRAM)等。在实施例中，存储器420可以包括硬盘驱动器(HDD)、固态驱动器(SSD)、高密度闪存(CF)、安全数字(SD)卡、微安全数字(Micro-SD)卡、迷你安全数字(Mini-SD)卡、极限数字(xD)卡、高速缓存(caches)或记忆棒中的至少一项。
综上，本说明书实施方式提供的电子设备400的存储器420和处理器410实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
在本实施方式中，处理器410可以按任何适当的方式实现。例如，处理器410可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
还应当理解，本文示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
虽然本文已经示出和描述了本申请的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中，可以采用对本文所描述的本申请实施例的各种替代方案。所附权利要求书旨在限定本申请的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (12)

1.一种图像去噪方法，其特征在于，包括：
获取待去噪图像；
将所述待去噪图像输入至图像去噪模型中，得到所述图像去噪模型输出的目标去噪图像；
其中，基于原始样本图像集和去噪样本图像集训练得到所述图像去噪模型；所述去噪样本图像集为对所述原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像的集合。
2.根据权利要求1所述的图像去噪方法，其特征在于，所述基于原始样本图像集和去噪样本图像集训练得到所述图像去噪模型包括：
获取所述原始样本图像集；
基于预设信噪比和预设去噪算法对所述原始样本图像集中的每一原始样本图像进行去噪处理，得到所述去噪样本图像集；
将所述原始样本图像集中的每一原始样本图像分别与对所述原始样本图像集中的每一原始样本图像进行去噪处理后所得的去噪样本图像一一对应匹配，形成多组配对图像；
将多组配对图像输入初始去噪模型中进行训练，得到所述图像去噪模型。
3.根据权利要求2所述的图像去噪方法，其特征在于，所述初始去噪模型包含编码器和解码器，并且其中所述将多组配对图像输入初始去噪模型中进行训练包括：
将所述配对图像中的原始样本图像输入所述编码器中，得到由所述解码器输出的模型去噪图像；
基于目标损失函数、所述模型去噪图像和所述配对图像中的去噪样本图像确定损失函数值；
对所述目标损失函数进行优化并基于更新的损失函数值确定是否输出所述图像去噪模型。
4.根据权利要求3所述的图像去噪方法，其特征在于，所述编码器包括N层卷积层，每一卷积层包含卷积核以及Relu激活层；所述解码器包括N层反卷积层，每一反卷积层包含反卷积核以及Relu激活层；所述N层反卷积层中加入了若干残差连接；
所述将所述配对图像中的原始样本图像输入所述编码器中，得到由所述解码器输出的模型去噪图像包括：
将所述原始样本图像输入所述编码器中，得到所述编码器输出的中间特征图；
将所述中间特征图输入所述解码器中，得到所述解码器输出的所述模型去噪图像。
5.根据权利要求3所述的图像去噪方法，其特征在于，所述目标损失函数包含第一损失函数和第二损失函数，其中所述基于目标损失函数、所述模型去噪图像和所述配对图像中的去噪样本图像确定损失函数值包括：
根据所述模型去噪图像的像素值、所述去噪样本图像的像素值以及所述第一损失函数确定第一损失值；
根据所述模型去噪图像的像素值、所述模型去噪图像的平均亮度、所述去噪样本图像的像素值、所述去噪样本图像的平均亮度以及所述第二损失函数确定第二损失值；
根据所述第一损失值和所述第二损失值确定所述损失函数值。
6.根据权利要求5所述的图像去噪方法，其特征在于，所述根据所述模型去噪图像的像素值、所述去噪样本图像的像素值以及第一损失函数确定第一损失值包括：
将所述模型去噪图像的像素值和所述去噪样本图像的像素值输入所述第一损失函数，得到所述第一损失值；
所述第一损失函数为：
其中，x为所述模型去噪图像，y为所述去噪样本图像，yi为第i个去噪样本图像的像素值，f(xi)为第i个模型去噪图像的像素值，n为所述去噪样本图像的总数。
7.根据权利要求5所述的图像去噪方法，其特征在于，所述根据所述模型去噪图像的像素值、所述模型去噪图像的平均亮度、所述去噪样本图像的像素值、所述去噪样本图像的平均亮度以及第二损失函数确定第二损失值包括：
根据n个模型去噪图像的像素值确定所述模型去噪图像对应的第一图像方差；
根据n个去噪样本图像的像素值确定所述去噪样本图像对应的第二图像方差；根据所述n个模型去噪图像的像素值和所述n个去噪样本图像的像素值确定所述模型去噪图像和所述去噪样本图像之间的图像协方差；
基于所述第一图像方差、所述第二图像方差、所述图像协方差、所述模型去噪图像的平均亮度、所述去噪样本图像的平均亮度以及所述第二损失函数确定所述第二损失值。
8.根据权利要求7所述的图像去噪方法，其特征在于，所述基于所述第一图像方差、所述第二图像方差、所述图像协方差、所述模型去噪图像的平均亮度、所述去噪样本图像的平均亮度以及所述第二损失函数确定所述第二损失值包括：
将所述第一图像方差、所述第二图像方差、所述图像协方差、所述模型去噪图像的平均亮度和所述去噪样本图像的平均亮度输入所述第二损失函数，得到所述第二损失值；
所述第二损失函数为：
其中，μx为模型去噪图像的平均亮度，μy为去噪样本图像的平均亮度，σx为所述第一图像方差，σy为所述第二图像方差，σxy为所述图像协方差。
9.根据权利要求5所述的图像去噪方法，其特征在于，所述根据所述第一损失值和所述第二损失值确定所述损失函数值包括：
将所述第一损失值和所述第二损失值进行求和，得到所述损失函数值。
10.根据权利要求3所述的图像去噪方法，其特征在于，所述对所述目标损失函数进行优化并基于更新的损失函数值确定是否输出所述图像去噪模型包括：通过Adam优化器对所述目标损失函数进行优化；
基于每一优化后的目标损失函数确定每一更新的损失函数值；
若优化时长达到预设训练时长，和/或若在每一更新的损失函数值中连续m次更新的损失函数值不降低，则确定输出所述图像去噪模型。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-10中任一项所述的方法。
12.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-10中任一项所述的方法。
CN202310700833.8A 2023-06-13 2023-06-13 图像去噪方法、电子设备及存储介质 Pending CN116681618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310700833.8A CN116681618A (zh) 2023-06-13 2023-06-13 图像去噪方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310700833.8A CN116681618A (zh) 2023-06-13 2023-06-13 图像去噪方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116681618A true CN116681618A (zh) 2023-09-01

Family

ID=87778913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310700833.8A Pending CN116681618A (zh) 2023-06-13 2023-06-13 图像去噪方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116681618A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109754376A (zh) * 2018-12-28 2019-05-14 深圳美图创新科技有限公司 图像去噪方法及装置
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质
CN110599409A (zh) * 2019-08-01 2019-12-20 西安理工大学 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111145102A (zh) * 2019-11-22 2020-05-12 南京理工大学 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN111402174A (zh) * 2020-04-03 2020-07-10 北京图湃影像科技有限公司 一种单张OCT B-scan图像去噪方法及装置
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113658050A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN114218982A (zh) * 2021-11-26 2022-03-22 三峡大学 基于改进WGAN网络和CBDNet的微地震记录去噪方法
CN114966860A (zh) * 2022-05-13 2022-08-30 重庆科技学院 一种基于卷积神经网络的地震数据去噪方法
CN115170812A (zh) * 2022-06-09 2022-10-11 浙江华睿科技股份有限公司 图像去噪模型训练、降噪方法及其设备、存储介质
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN115526857A (zh) * 2022-09-26 2022-12-27 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN116229081A (zh) * 2023-03-09 2023-06-06 苏州三介飞航无人机科技有限公司 基于注意力机制的无人机全景图像去噪方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876737A (zh) * 2018-06-06 2018-11-23 武汉大学 一种联合残差学习和结构相似度的图像去噪方法
CN109754376A (zh) * 2018-12-28 2019-05-14 深圳美图创新科技有限公司 图像去噪方法及装置
CN110599409A (zh) * 2019-08-01 2019-12-20 西安理工大学 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质
CN111145102A (zh) * 2019-11-22 2020-05-12 南京理工大学 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN111402174A (zh) * 2020-04-03 2020-07-10 北京图湃影像科技有限公司 一种单张OCT B-scan图像去噪方法及装置
CN113658050A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114218982A (zh) * 2021-11-26 2022-03-22 三峡大学 基于改进WGAN网络和CBDNet的微地震记录去噪方法
CN114966860A (zh) * 2022-05-13 2022-08-30 重庆科技学院 一种基于卷积神经网络的地震数据去噪方法
CN115170812A (zh) * 2022-06-09 2022-10-11 浙江华睿科技股份有限公司 图像去噪模型训练、降噪方法及其设备、存储介质
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN115526857A (zh) * 2022-09-26 2022-12-27 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN116229081A (zh) * 2023-03-09 2023-06-06 苏州三介飞航无人机科技有限公司 基于注意力机制的无人机全景图像去噪方法

Similar Documents

Publication Publication Date Title
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
Yu et al. A unified learning framework for single image super-resolution
US11741581B2 (en) Training method for image processing model, image processing method, network device, and storage medium
US10198801B2 (en) Image enhancement using self-examples and external examples
US11386293B2 (en) Training image signal processors using intermediate loss functions
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
JP7143529B2 (ja) 画像復元方法及びその装置、電子機器並びに記憶媒体
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
WO2021135702A1 (zh) 一种视频去噪方法和电子设备
Zhao et al. A deep cascade of neural networks for image inpainting, deblurring and denoising
US9495734B2 (en) Information processing apparatus, system, method, and medium storing program
CN112001923B (zh) 一种视网膜图像分割方法及装置
CN104657951A (zh) 图像乘性噪声移除方法
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN113724136A (zh) 一种视频修复方法、设备及介质
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN116681618A (zh) 图像去噪方法、电子设备及存储介质
Zhang et al. A new image filtering method: Nonlocal image guided averaging
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
CN114612316A (zh) 一种核预测网络图像去雨方法和装置
CN116912345B (zh) 一种人像动漫化处理方法、装置、设备和存储介质
Shi et al. DDABNet: a dense Do-conv residual network with multisupervision and mixed attention for image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination