CN115170812A - 图像去噪模型训练、降噪方法及其设备、存储介质 - Google Patents

图像去噪模型训练、降噪方法及其设备、存储介质 Download PDF

Info

Publication number
CN115170812A
CN115170812A CN202210660153.3A CN202210660153A CN115170812A CN 115170812 A CN115170812 A CN 115170812A CN 202210660153 A CN202210660153 A CN 202210660153A CN 115170812 A CN115170812 A CN 115170812A
Authority
CN
China
Prior art keywords
image
trained
noise
residual
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210660153.3A
Other languages
English (en)
Inventor
陶家威
朱斌才
郭鹰鸿
吕焱飞
王熙星
王宗苗
吕海岳
李朋飞
史为平
贾根发
张剑荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202210660153.3A priority Critical patent/CN115170812A/zh
Publication of CN115170812A publication Critical patent/CN115170812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪模型训练、降噪方法及其设备、存储介质，该模型训练方法包括：获取噪声图像数据集，并将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测，其中，图像去噪模型至少包括并联的两个卷积层，进一步地，利用图像去噪模型的预测噪声点以及待训练图像中的真实噪声点，对图像去噪模型进行训练，以得到最终的图像去噪模型。通过上述方法，本申请利用并联的卷积层，减少网络参数量，以及提升图像去噪模型对不同图像噪声检测的鲁棒性，从而训练出准确、高效的图像去噪模型。

Description

图像去噪模型训练、降噪方法及其设备、存储介质
技术领域
本申请涉及图像去噪技术领域，特别是涉及一种图像去噪模型训练、降噪方法及其设备、存储介质。
背景技术
图像是人类传递信息的媒介之一，但在图像传播或记录的过程中，难免会受到各种噪声的影响，影响图像的视觉效果。因此，对图像降噪技术的研究是有重要理论和实际应用价值的。传统的图像去噪方法有均值滤波、高斯滤波、中值滤波、双边滤波和BM3D算法等。随着人工智能技术的发展，深度学习在图像去噪任务上取得重大突破。与传统的图像去噪方法相比，如何利用深度学习提供一种降低图像噪声的同时仍能保留足够的细节或边缘信息、并减少处理时间/提高网络速度的图像降噪方式是亟待解决的问题。
发明内容
本申请提供一种图像去噪模型训练、降噪方法及其设备、存储介质，提供一种新的图像去噪模型，实现对图像去噪处理，得到去噪图像，且可以减少图像去噪的处理时间的技术效果。
为了解决上述技术问题，本申请采用的一个技术方案是：提供一种模型训练方法，该方法包括：获取噪声图像数据集，并将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测，之后，利用图像去噪模型的预测噪声点以及待训练图像中的真实噪声点，对图像去噪模型进行训练，以得到最终的图像去噪模型。
其中，图像去噪模型至少包括并联的两个卷积层。
其中，图像去噪模型包括残差结构，所述残差结构至少包括并联的两个卷积层；其中，一个卷积层为1*3的卷积层，另一个为3*1的卷积层。
其中，图像去噪模型包括第一残差结构、第二残差结构、第三残差结构、第四残差结构以及第五残差结构。
其中，将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测，包括：将待训练图像输入第一残差结构，将第一残差结构的输出特征进行下采样之后，输入第二残差结构；将第二残差结构的输出特征进行下采样之后，输入第三残差结构；将第一残差结构输出特征下采样结果、第二残差结构的输出特征以及第三残差结构的输出特征上采样结果，输入所述第四残差结构；将第四残差结构的输出特征上采样结果、第一残差结构的输出特征以及第二残差结构的输出特征上采样结果，输入第五残差结构；利用第五残差结构的输出特征对待训练图像的噪声进行预测。
其中，获取噪声图像数据集之后，包括：对噪声图像数据集的所有待训练图像进行图像预处理。
其中，图像预处理包括图像拼接、图像合成、图像翻转和/或图像缩放。
其中，对噪声图像数据集的所有待训练图像进行图像预处理，包括：将待训练图像划分为若干个待训练子图；将若干个待训练子图按照预设顺序或者随机顺序重新拼接成新的待训练图像。
其中，所述模型训练方法还包括：获取模型训练过程中，图像去噪模型输出的预测噪声点；基于所述预测噪声点对待训练图像进行去噪，得到训练去噪图像；获取训练去噪图像的信噪比；在信噪比高于等于预设信噪比阈值时，完成对图像去噪模型的训练。
其中，获取噪声图像数据集，包括：获取噪声图像数据集中所有待训练图像的信噪比；将信噪比高于等于预设信噪比阈值的待训练图像从噪声图像数据集中删除。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种图像降噪方法，该方法包括：获取待降噪图像，并将所述待降噪图像输入至预先训练好的图像去噪模型，之后，基于所述图像去噪模型的噪声预测结果对待降噪图像进行去噪处理，以得到去噪图像。
其中，图像去噪模型由上述模型训练方法得到。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种图像去噪设备，该设备包括存储器和处理器，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述的模型训练方法或图像降噪方法。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机额可读存储介质存储有程序数据，程序数据在被处理器执行时，用于实现如上述的模型训练方法或图像降噪方法。
本申请的有益效果是：区别于现有技术，本申请提供的模型训练方法，通过将获取的噪声图像数据集中的待训练图像输入图像去噪模型进行预测，之后，利用图像去噪模型的预测噪声点以及待训练图像中的真实噪声点，对图像去噪模型进行训练，以得到最终的图像去噪模型。值得注意的是，在一实施例中，图像去噪模型至少包括并联的两个卷积层，利用并联的卷积层，减少网络参数量，以及提升图像去噪模型对不同图像噪声检测的鲁棒性，从而训练出准确、高效的图像去噪模型，且通过此图像去噪模型可以不仅可以完成图像去噪任务，还可以减少图像去噪的处理时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像去噪模型训练方法第一实施例的流程示意图；
图2是本申请提供的图像去噪模型训练方法第二实施例的流程示意图；
图3是本申请提供的图像去噪模型中残差结构的结构示意图；
图4是本申请提供的图像去噪模型的结构示意图；
图5是本申请提供的图像去噪模型训练方法第三实施例的流程示意图；
图6是本申请提供的图像拼接第一实施例的结构示意图；
图7是本申请提供的图像拼接第二实施例的结构示意图；
图8是本申请提供的图像去噪模型训练方法第四实施例的流程示意图；
图9是本申请提供的图像降噪方法第一实施例的流程示意图；
图10是本申请提供的图像去噪设备一实施例的结构示意图；
图11是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请提供的图像去噪模型训练方法第一实施例的流程示意图，该方法包括：步骤11：获取噪声图像数据集。
可选地，噪声图像数据集可以从现有的图像数据库中获取，目前现有的噪声图像数据库有RENOIR、Nam、DND、PolyU和SIDD等。
其中，RENOIR拍摄了120个暗光场景，包括室内和室外场景，且每个场景约4张图像，这4张图像包括2张含噪图像和3张低噪声图像；Nam拍摄了11个场景，针对这11个场景共拍摄了500多张.jpeg图像，且多是相似物体和纹理；DND拍摄了50多个场景，包括室内和室外场景；PolyU拍摄了40多个场景，包括室内正常关照场景和暗光场景、室外正常关照场景，且对每个场景连续拍摄了500次；SIDD数据集是用5个相机在4种相机参数下拍摄了10个场景、200个场景实例，且每个场景连续拍摄了150张图像，其中，160个场景实例作为训练集，40个场景实例作为测试集。
步骤12：将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测；其中，所述图像去噪模型至少包括并联的两个卷积层。
具体地，在一实施例中，图像噪声去噪模型使用Encoder-Decoder模型。
可以理解地，Encoder-Decoder模型又叫编码-解码模型，最先应用于自然语言处理处理中的seq2seq问题(根据一个输入序列生成另一个输出序列)的模型。随着科技的发展，Encoder-Decoder模型具有极强的灵活性，Encoder的对象不局限于序列，可以是任意的文字、语音、图像和视频数据，实现Encoder和Decoder也可以使用CNN、RNN和LSTM等各种模块，所以准确的说，Encoder-Decoder不是一种模型，而是一种框架，其目的是对任意数据进行下采样编码然后上采样解密输出。
值得注意的是，图像去噪模型包括残差结构，在一实施例中，所述残差结构至少包括并联的两个卷积层，即将3*3的卷积层分解为并联的两个卷积层为1*3和3*1。在其他实施例中，所述并联的两个卷积层可以是其他的并联分解方式，例如将3*3分解为并联的1*3和3*1，其中1*3和/或3*1与1*1串联。步骤13：利用所述图像去噪模型的预测噪声点以及所述待训练图像中的真实噪声点，对所述图像去噪模型进行训练，以得到最终的图像去噪模型。
具体地，通过对待训练图像进行噪声点预测，并与待训练图像真实的噪声点进行比对，不断修正预测的噪声点，得到图像去噪模型。
区别于现有技术，本申请的图像去噪模型训练方法提供了一种新的图像去噪模型，可以对输入的待降噪图像进行去噪处理，以得到去噪图像，且由于使用的图像去噪模型至少包括并联的两个卷积层，可以实现提高网络速度、减少去噪处理时间的有益效果。
下面针对将噪声图像数据集中的待训练图像输入至图像去噪模型中进行预测的过程进行介绍。
参阅图2，图2是本申请提供的图像去噪模型训练方法第二实施例的流程示意图，其中，图像去噪模型包括第一残差结构、第二残差结构、第三残差结构、第四残差结构和第五残差结构，该方法包括：
步骤21：将待训练图像输入第一残差结构，将所述第一残差结构的输出特征进行下采样之后，输入第二残差结构。
可以理解地，第一残差结构对输入的待训练图像进行卷积处理，得到第一处理结果，进一步地，将第一处理结果进行下采样得到第一下采样结构，以及将所述第一下采样结果作为第二残差结构的输入。
具体地，第二残差结构in＝fdownsampling(第一残差结构out)。
其中，下标为in表示残差结构的输入，下标为out表示残差结构的输出，fupsampling表示上采样，fupsampling表示下采样。
步骤22：将第二残差结构的输出特征进行下采样之后，输入第三残差结构。
可以理解地，第二残差结构对从第一残差结构获取的第一下采样结果进行卷积处理，得到第二处理结果，进一步地，将所述第二处理结果进行下采样得到第二下采样结果，以及将所述第二下采样结果作为第三残差结构的输入。
具体地，第三残差结构in＝fdownsampling(第二残差结构out)。
步骤23：将第一残差结构输出特征下采样结果、第二残差结构的输出特征以及第三残差结构的输出特征上采样结果，输入第四残差结构。
可以理解地，第三残差结构对从第二残差结构获取的第二下采样结果进行卷积处理，得到第三处理结果，进一步地，将所述第三处理结果进行上采样得到第三上采样结果，以及将所述第一下采样结果、第二处理结果、第三上采样结果作为第四残差结果的输入。
具体地，第四残差结果in＝fupsampling(第三残差结构out)+第二残差结构out+fdownsampling(第一残差结构out)。
步骤24：将第四残差结构的输出特征上采样结果、第一残差结构的输出特征以及第二残差结构的输出特征上采样结果，输入第五残差结构。
可以理解地，第四残差结构对从第三残差结构获取的第三上采样结果进行卷积处理，得到第四处理结果，进一步地，将所述第四处理结果进行上采样得到第四上采样结果，以及将所述第一处理结果、第二上采样结果、第四上采样结果作为第五残差结果的输入。
具体地，第五残差结构in＝fupsampling(第四残差结构out)+第一残差结构out+fupsampling(第二残差结构out)。
步骤25：利用第五残差结构的输出特征对待训练图像的噪声进行预测。
具体地，第一残差结构、第二残差结构、第三残差结构、第四残差结构和第五残差结构是都是一个bottleneck(瓶颈层)，在一实施例中，第一残差结构、第二残差结构、第三残差结构、第四残差结构和第五残差结构的内部结构包括1*1的卷积层、3*1与1*3并联的卷积层和1*1的卷积层。其中，前一个1*1卷积层用于降维(降低高特征维度)，减少参数的数量，从而减少参数的计算量；后一个1*1卷积层用于升维(提高高特征维度)；中间存在的3*3卷积层分解为并联的3*1和1*3卷积层，进一步降低了计算量，且加快了网络速度。在其他实施例中，所述第一残差结构、第二残差结构、第三残差结构、第四残差结构和第五残差结构内部不止三层卷积层，但是每一残差结构至少包括并联的两个卷积层。
具体地，请参阅图3，图3是本申请图像去噪模型中残差结构的结构示意图。
区别于现有技术，本申请的第一残差结构、第二残差结构、第三残差结构、第四残差结构和第五残差结构都至少包括并联的卷积层，利用并联的卷积层，减少网络参数量，以及提升图像去噪模型对不同图像噪声检测的鲁棒性，从而训练出准确、高效的图像去噪模型。
参阅图3，图3是本申请提供的图像去噪模型中残差结构的结构示意图，该残差结构包括三层卷积层，第一层为1*1卷积层，第二层为3*1和1*3并联的卷积层，第三层为1*1卷积层。
其中，第一层的1*1卷积层用于降维，减少参数的数量，从而减少参数的计算量；第三层的1*1卷积层用于升维；第二层的3*3卷积层分解为并联的3*1和1*3卷积层，进一步降低了计算量，且加快了网络速度。
参阅图4，图4是本申请提供的图像去噪模型的结构示意图，该图像去噪模型40包括第一残差结构401、第二残差结构402、第三残差结构403、第四残差结构404和第五残差结构405。
其中，第一残差结构401与第二残差结构402、第四残差结构404、第五残差结构405建立连接；第二残差结构402与第一残差结构401、第三残差结构403、第四残差结构404、第五残差结构405建立连接；第三残差结构403与第二残差结构402、第四残差结构404建立连接；第四残差结构404与第一残差结构401、第二残差结构402、第三残差结构403、第五残差结构405建立连接；第五残差结构405与第一残差结构401、第二残差结构402、第四残差结构404建立连接。
具体地，第一残差结构401的输入是待训练图像，第一残差结构401的输出进行下采样作为第二残差结构402、第四残差结构404和第五残差结构405的输入；第二残差结构402的输出进行下采样作为第三残差结构403、第四残差结构404的输入，第二残差结构402的输出进行上采样作为第五残差结构405的输入；第三残差结构403的输出进行上采样作为第四残差机构404的输入；第四残差结构404的输出进行上采样作为第五残差结构405的输入。
通过上述方式，每一残差结构内部至少包括并联的两个卷积层，可以降低网络参数计算量，以及提升图像去噪模型对不同图像噪声检测的鲁棒性，从而训练出准确、高效的图像去噪模型。
参阅图5，图5是本申请提供的图像去噪模型训练方法第三实施例的流程示意图，该方法包括：
步骤51：获取噪声图像数据集。
步骤52：对所述噪声图像数据集的所有待训练图像进行图像预处理；其中，所述图像预处理包括图像拼接、图像合成、图像翻转和/或图像缩放。
可选地，对待训练图像进行预处理包括图像拼接、图像合成、图像翻转和/或图像缩放。
可以理解地，对待训练图像进行图像拼接，包括对一张待训练图像进行裁剪并拼接成一张与原图像不同的新图像、将获取的若干张待训练图像拼接成一张待训练图像；对待训练图像进行图像合成，将多谱段黑白图像经多光谱图像彩色合成而变成彩色图像；对待训练图像进行图像翻转，其中图像翻转包括上下左右翻转；对待训练图像进行图像缩放，即对待训练图像进行放大与缩小；对待训练图像进行图像平移，变换不同图像之间的位置等。
可以理解地，对待训练进行预处理可以只是上述预处理操作中的一种，也可以是将上述的预处理操作结合使用，例如对待训练图像进行裁剪并随机拼接成一张新的待训练图像，并将该新的待训练图像进行图像放大/缩小。
具体请参阅图6和图7，图6和图7都是关于预处理中图像拼接的实施例。
步骤53：将所述噪声图像数据集中的待训练图像输入至图像去噪模型中进行预测；其中，所述图像去噪模型至少包括并联的两个卷积层。
具体地，在一实施例中，并联的两个卷积层是3*1和1*3，在其他实施例中，可以是5*1和1*5、4*1和1*4等。
步骤54：利用所述图像去噪模型的预测噪声点以及所述待训练图像中的真实噪声点，对所述图像去噪模型进行训练，以得到最终的图像去噪模型。
可以理解地，将预测噪声点与待训练图像的真实噪声点进行比对，不断修正图像去噪模型的预测噪声点，直至得到完成包含完整预测噪声点的图像去噪模型，此时完成对图像去噪模型的训练。
区别于现有技术，本申请的模型训练方法不仅可以完成图像去噪任务，还可以减少参数计算量，提高网络速度。
下面针对预处理中图像拼接举例的两种方式进行阐述。
参阅图6，图6是本申请提供的图像拼接第一实施例的结构示意图，该图像拼接方式为对待训练图像进行九等分，得到九张小的待训练图像，接着对这九张小图像按顺序进行标号，之后，将这九张小图像的顺序打乱，得到一种与原顺序不同的拼接图像。在一实施例中，通过将原待训练图像进行九等分切割，并按照1-9的数字按顺序进行标号，再经过打乱重组，得到一与原顺序不一致的新图像。
参阅图7，图7是本申请提供的图像拼接第二实施例的结构示意图，该图像拼接方式为对待训练图像进行四等分，得到四张小的待训练图像，接着对这四张小图像按顺序进行标号，之后，将这四张小图像的顺序打乱重组，得到一种与原顺序不同的拼接图像。在一实施例中，通过将原待训练图像进行四等分切割，并按照A-D的字母顺序进行标号，再见过打乱重组，得到一与原顺序不一致的新图像。
参阅图8，图8是本申请提供的图像去噪模型训练方法第四实施例的流程示意图，该方法包括：
步骤81：获取噪声图像数据集。
其中，获取噪声图像数据集包括(图未示)：
S1：获取噪声图像数据集中所有待训练图像及其信噪比。
S2：将信噪比高于等于预设信噪比阈值的待训练图像从噪声图像数据集中删除。
步骤82：将所述噪声图像数据集中的待训练图像划分为若干个待训练子图。
可选地，将所述待训练图像裁剪成若干个待训练子图像，裁剪方式包括规则裁剪、不规则裁剪，即可以将待训练图像等分裁剪成大小一致的待训练子图，也可以进行不规则不等分裁剪成大小不一致的待训练子图。
步骤83：将所述若干个待训练子图按照预设顺序或者随机顺序重新拼接成新的待训练图像。
举例而言，对若干个待训练子图按照原顺序进行标号，并将所述标号的排序方式打乱，进行重新排序，以得到与原顺序不一致的新的待训练图像。
步骤84：获取模型训练过程中，图像去噪模型输出的预测噪声点。
可以理解地，图像去噪模型在训练过程中，会对预测噪声点不断进行修正。
步骤85：基于所述预测噪声点对待训练图像进行去噪，得到训练去噪图像。
可以理解地，利用所述图像去噪模型的预测噪声点与待训练图像的真实噪声点进行比对，得到训练去噪图像，其中，所述训练去噪图像不一定是完全去噪的图像。
步骤86：获取所述训练去噪图像的信噪比。
可以理解地，图像信噪比通常是一个信噪比的近似估计，即信号与噪声的方差之比。而峰值信噪比(Peak Signal to NoiseRatio，PSNR)是广泛使用的评价图像质量的客观标准，通过计算图像中每个像素点去噪前后的灰度变化误差、平方求和再求平均，得到去噪前后两幅图像整体的均方误差(Mean-Square Error，MSE)，再在均方误差的基础上获得峰值信噪比。
其中，均方误差(MSE)为：
Figure BDA0003686991410000111
其中，K和L是去噪图像的长和宽，n表示图像的第n个像素，fn和gn分别表示去噪前后n点的像素值。
峰值信噪比(PSNR)的计算公式为：
Figure BDA0003686991410000112
其中，28-1表示去噪图像的灰度最大值，一般图像的灰度位数是8位图。
步骤87：在所述信噪比高于等于预设信噪比阈值时，完成对图像去噪模型的训练。
通过上述方式，本申请可以实现对图像去噪模型进行训练，以获得成熟的图像去噪模型。
参阅图9，图9是本申请提供的图像降噪方法第一实施例的流程示意图，该方法包括：
步骤91：获取待降噪图像。
可选地，待降噪图像可以从现有的图像数据库中获取，现有的含噪图像数据库有RENOIR、Nam、DND、PolyU和SIDD，或从PASCAL VOC、ImageNet、MS-COCO、Open Images、DOTA等数据集中获取。
步骤92：将所述待降噪图像输入至预先训练好的图像去噪模型。
其中，所述图像去噪模型上述所述的模型训练方法得到。
步骤93：基于所述图像去噪模型的噪声预测结果对所述待降噪图像进行去噪处理，以得到去噪图像。
可以理解地，所述图像去噪模型在训练阶段通过不断修正预测噪声点，以得到噪声预测结果。在图像去噪模型对待降噪图像进行去噪操作时，通过将噪声预测结果与待降噪图像进行比对，并将对比出来的噪声点去除，以实现去噪处理，得到去噪图像。
区别于现有技术，本申请的图像去噪方法可以实现对含噪图像进行去噪，得到去噪图像，且使用的图像去噪模型的残差结构至少包括并联的两个卷积层，使用该去噪模型对待降噪图像进行去噪操作时，可以减少对图像去噪的计算量、减少处理时间、且加快网络速度。
参阅图10，图10是本申请提供的图像去噪设备一实施例的结构示意图，该图像去噪设备100包括存储器1001和处理器1002，存储器1001用于存储程序数据，处理器1002用于执行程序数据以实现如下方法：
获取噪声图像数据集，并将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测，其中，图像去噪模型至少包括并联的两个卷积层，然后，利用图像去噪模型的预测噪声点以及待训练图像中的真实噪声点，对图像去噪模型进行训练，以得到最终的图像去噪模型；或
获取待降噪图像，并将待降噪图像输入至预先训练好的图像去噪模型，然后，基于图像去噪模型的噪声预测结果对待降噪图像进行去噪处理，以得到去噪图像。
其中，处理器可以称为CPU(Central Processing Unit，中央处理单元)，处理器可能是一种集成电路芯片，还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
参阅图11，图11是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质110存储有程序数据1101，程序数据1101在被处理器执行时，用于实现如上述所述的方法，这里不再赘述。
本申请使用的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种模型训练方法，其特征在于，所述方法包括：
获取噪声图像数据集；
将所述噪声图像数据集中的待训练图像输入图像去噪模型进行预测；其中，所述图像去噪模型至少包括并联的两个卷积层；
利用所述图像去噪模型的预测噪声点以及所述待训练图像中的真实噪声点，对所述图像去噪模型进行训练，以得到最终的图像去噪模型。
2.根据权利要求1所述的方法，其特征在于，
所述图像去噪模型包括残差结构，所述残差结构至少包括并联的两个卷积层；其中，一个卷积层为1*3的卷积层，另一个为3*1的卷积层。
3.根据权利要求2所述的方法，其特征在于，
所述图像去噪模型包括第一残差结构、第二残差结构、第三残差结构、第四残差结构以及第五残差结构；
所述将所述噪声图像数据集中的待训练图像输入至图像去噪模型中进行预测，包括：
将所述待训练图像输入第一残差结构，将所述第一残差结构的输出特征进行下采样之后，输入所述第二残差结构；
将所述第二残差结构的输出特征进行下采样之后，输入所述第三残差结构；
将所述第一残差结构输出特征下采样结果、所述第二残差结构的输出特征以及所述第三残差结构的输出特征上采样结果，输入所述第四残差结构；
将所述第四残差结构的输出特征上采样结果、所述第一残差结构的输出特征以及所述第二残差结构的输出特征上采样结果，输入所述第五残差结构；
利用所述第五残差结构的输出特征对所述待训练图像的噪声进行预测。
4.根据权利要求1所述的方法，其特征在于，
所述获取噪声图像数据集之后，包括：
对所述噪声图像数据集的所有待训练图像进行图像预处理；其中，所述图像预处理包括图像拼接、图像合成、图像翻转和/或图像缩放。
5.根据权利要求4所述的方法，其特征在于，
所述对所述噪声图像数据集的所有待训练图像进行图像预处理，包括：
将所述待训练图像划分为若干个待训练子图；
将所述若干个待训练子图按照预设顺序或者随机顺序重新拼接成新的待训练图像。
6.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
获取模型训练过程中，所述图像去噪模型输出的预测噪声点；
基于所述预测噪声点对所述待训练图像进行去噪，得到训练去噪图像；
获取所述训练去噪图像的信噪比；
在所述信噪比高于等于预设信噪比阈值时，完成对所述图像去噪模型的训练。
7.根据权利要求6所述的方法，其特征在于，
所述获取噪声图像数据集，包括：
获取所述噪声图像数据集中所有待训练图像的信噪比；
将所述信噪比高于等于所述预设信噪比阈值的待训练图像从所述噪声图像数据集中删除。
8.一种图像降噪方法，其特征在于，所述方法包括：
获取待降噪图像；
将所述待降噪图像输入至预先训练好的图像去噪模型；其中，所述图像去噪模型由权利要求1-7任一项所述的模型训练方法得到；
基于所述图像去噪模型的噪声预测结果对所述待降噪图像进行去噪处理，以得到去噪图像。
9.一种图像去噪设备，其特征在于，所述图像去噪设备包括存储器和处理器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-7任一项所述的模型训练方法或权利要求8所述的图像降噪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行如权利要求1-7任一项所述的模型训练方法或权利要求8所述的图像降噪方法。
CN202210660153.3A 2022-06-09 2022-06-09 图像去噪模型训练、降噪方法及其设备、存储介质 Pending CN115170812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210660153.3A CN115170812A (zh) 2022-06-09 2022-06-09 图像去噪模型训练、降噪方法及其设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210660153.3A CN115170812A (zh) 2022-06-09 2022-06-09 图像去噪模型训练、降噪方法及其设备、存储介质

Publications (1)

Publication Number Publication Date
CN115170812A true CN115170812A (zh) 2022-10-11

Family

ID=83486320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210660153.3A Pending CN115170812A (zh) 2022-06-09 2022-06-09 图像去噪模型训练、降噪方法及其设备、存储介质

Country Status (1)

Country Link
CN (1) CN115170812A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102640237B1 (ko) 이미지 프로세싱 방법, 장치, 전자 디바이스 및 컴퓨터 판독가능 저장 매체
CN109410239B (zh) 一种基于条件生成对抗网络的文本图像超分辨率重建方法
WO2022111355A1 (zh) 车牌识别方法及装置、存储介质、终端
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
US20230177652A1 (en) Image restoration method and apparatus, and electronic device
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN112150354A (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN115170812A (zh) 图像去噪模型训练、降噪方法及其设备、存储介质
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN116630763A (zh) 一种基于多尺度上下文感知的多聚焦图像融合方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN112396598B (zh) 一种基于单阶段多任务协同学习的人像抠图方法及系统
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN115393491A (zh) 一种基于实例分割和参考帧的水墨视频生成方法及装置
CN112634126A (zh) 人像减龄处理方法、训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination