CN116258647B - 图像去噪方法，天气图像修复方法及计算设备 - Google Patents

图像去噪方法，天气图像修复方法及计算设备 Download PDF

Info

Publication number
CN116258647B
CN116258647B CN202310185099.6A CN202310185099A CN116258647B CN 116258647 B CN116258647 B CN 116258647B CN 202310185099 A CN202310185099 A CN 202310185099A CN 116258647 B CN116258647 B CN 116258647B
Authority
CN
China
Prior art keywords
image
sample
feature
noise
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310185099.6A
Other languages
English (en)
Other versions
CN116258647A (zh
Inventor
谭振涛
吴岳
叶杰平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202310185099.6A priority Critical patent/CN116258647B/zh
Publication of CN116258647A publication Critical patent/CN116258647A/zh
Application granted granted Critical
Publication of CN116258647B publication Critical patent/CN116258647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供图像去噪方法，天气图像修复方法及计算设备，其中所述图像去噪方法包括：获取原始图像，对原始图像进行编码，确定原始图像的图像特征，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点，对嵌入特征进行解码，获得去噪后的目标图像。利用图文匹配模型，提升对样本图像特征提取的准确度，且由于各样本图像包含不同类型的噪点，先验信息适用于不同类型的噪点，提升了对噪点类型的区分度，拓宽了适用性，降低了开发成本，保证了去噪的稳定性。

Description

图像去噪方法，天气图像修复方法及计算设备
技术领域
本说明书实施例涉及图像处理技术领域，特别涉及一种图像去噪方法。
背景技术
随着计算机技术的发展，视觉图像在各领域都有充分应用。由于采集环境、采集设备性能、图像预处理、图像来源等不同因素的影响，生成含有噪点的视觉图像，降低了视觉图像的图像质量，进而降低了对象识别、图像分类、语义分割等下游任务的图像处理结果的质量。
目前，利用开发的图像去噪算法，来去除视觉图像中的噪点，可以得到高质量的目标图像，然而，由于对不同噪点类型的区分度不足，目前的图像去噪算法针对于包含一种特定噪点类型的视觉图像进行去噪处理，难以实现对包含不同噪点类型的视觉图像进行去噪处理，导致去噪处理的适应性不广泛，增加了开发成本。因此，亟需一种具有广泛适应性、开发成本低的图像去噪方法。
发明内容
有鉴于此，本说明书实施例提供了一种图像去噪方法。本说明书一个或者多个实施例同时涉及一种天气图像修复方法，一种图像去噪的数据处理方法，一种图像去噪装置，一种天气图像修复装置，一种图像去噪的数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
本说明书实施例提供了一种图像去噪方法，包括：
获取原始图像；
对原始图像进行编码，确定原始图像的图像特征；
利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点；
对嵌入特征进行解码，获得去噪后的目标图像。
本说明书一个或多个实施例中，获取原始图像，对原始图像进行编码，确定原始图像的图像特征，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点，对嵌入特征进行解码，获得去噪后的目标图像。利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性。
附图说明
图1是本说明书一个实施例提供的一种图像去噪方法的流程图；
图2是本说明书一个实施例提供的一种图像去噪方法中的编码层的结构示意图；
图3是本说明书一个实施例提供的另一种图像去噪方法的流程图；
图4是本说明书一个实施例提供的一种天气图像修复方法的流程图；
图5是本说明书一个实施例提供的一种图像去噪的数据处理方法的流程图；
图6是本说明书一个实施例提供的一种图像去噪方法中去噪模型的训练过程的流程示意图；
图7是本说明书一个实施例提供的一种图像去噪方法中去噪模型的编码层的自适应调整的流程示意图；
图8是本说明书一个实施例提供的一种图像去噪方法中去噪模型的嵌入层的训练过程的流程示意图；
图9是本说明书一个实施例提供的一种应用于提高恶劣天气图像质量的图像去噪方法的处理过程流程图；
图10是本说明书一个实施例提供的一种图像去噪装置的结构示意图；
图11是本说明书一个实施例提供的另一种图像去噪装置的结构示意图；
图12是本说明书一个实施例提供的一种天气图像修复装置的结构示意图；
图13是本说明书一个实施例提供的一种图像去噪的数据处理装置的结构示意图；
图14是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
恶劣天气修复：在收到受恶劣天气影响而图像质量不足的恶劣天气图像后，对其进行天气图像修复处理，得到高质量的干净图像。
CLIP(Contrastive Language-Image Pre-training，对比预训练语言图像)模型：一种图文匹配模型，利用匹配的样本图像和样本文本构成样本对后，进行预训练得到的神经网络模型，其通过图文特征之间的相关性，得到良好的高维特征，具有良好的特征表征能力，其包括图像编码层和文本编码层。
WeatherCLIP模型(天气CLIP模型)：一种应用大规模天气样本图像预训练得到的CLIP模型，其用于实现天气图像修复。
CNN(Convolutional Neural Networks，卷积神经网络)模型：一种具有前向传播和反向传播的多层神经网络模型。
FCN模型(Fully Convolution Network，全卷积神经网络模型)：一种具有一次前向传播机制和全连接形式的卷积层的神经网络模型。
U-Net模型(U型神经网络模型)：一种采用拼接的方式融合深浅层特征的U型(编码层尺寸递减和解码层尺寸递增)的神经网络模型。
VGG模型(Visual Geometry Group Network，视觉几何群网络模型)：一种具有小卷积层、小池化层、层数更深特征图更宽特点的神经网络模型。
VIT模型(Vision Transformer，视觉翻译模型)：一种针对于视觉图像处理的翻译模型，具有视觉注意力机制。
ResNet模型：一种具有超多层网络结构和残差处理模块的神经网络模型。包括ResNet-50，ResNet-101等。
Transformer(翻译)模型：一种基于注意力机制的神经网络模型，通过注意力机制提取、分析数据的特征，可以用于对自然语言数据，也可以用于图像数据。本说明书一个或多个实施例用于对图像数据的特征提取和分析。
跳跃连接(Skip Connection)：在比较深的网络中，跳过神经网络模型的中间层连接的方式，解决了模型训练的过程中梯度爆炸和梯度消失问题。
DWPEM(Dual Weather Prior Embedding Module，双重天气先验信息嵌入模块)：一种双重天气先验信息嵌入模块。
在本说明书中，提供了一种图像去噪方法，本说明书同时涉及一种天气图像修复方法，一种图像去噪的数据处理方法，一种图像去噪装置，一种天气图像修复装置，一种图像去噪的数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了本说明书一个实施例提供的一种图像去噪方法的流程图，包括如下具体步骤：
步骤102：获取原始图像。
本说明书实施例应用于具有图像去噪功能的应用、网页或者小程序等平台的客户端或者服务端。
原始图像为包含有至少一种类型的图像噪点的视觉图像，其中，图像噪点的类型可以用特定的语义进行区分表示，例如，添加滤镜的视觉图像，“偏振镜”、“荧光镜”、“红镜”等，各滤镜形成的图像噪点的类型具有特定的语义。又例如，特定天气下采集的视觉图像，“晴天”、“雨天”、雪天，各天气在图像中的图像噪点的类型具有特定的语义。还例如，利用天文望远镜采集到的地外图像，“电磁辐射”、“热辐射”等影响因素，各影响因素形成的图像噪点的类型具有特定的语义。原始图像为特定色彩空间下的视觉图像，例如，RGB(Red-Green-Bl ue，红绿蓝色彩空间)图像，HIS(Hue-Saturat ion-I ntens ity，色调、饱和度和亮度色彩空间)图像，YUV(亮度色度色彩空间)图像和YCbCr(亮度偏移度色彩空间)图像等。原始图像可以为采集设备采集得到的视觉图像，例如，医疗光学采集设备采集得到的医疗图像，光学传感器采集得到的光学图像，遥感采集设备采集得到的遥感图像，光学拍摄设备采集的人物图像、风景图像等，也可以为人工生成的视觉图像，例如，动画图像、绘画图像等，还可以为利用图像生成算法生成的视觉图像，在此不作限定。
获取原始图像，可以接收用户通过客户端的前端发送得到的，也可以为从图像数据库中获取得到的，图像数据库可以为本地数据库也可以为远程数据库，例如，云端数据库或者开源数据库等，还可以为接收采集设备上传得到的，在此不作限定。
示例性地，从某网站的云端图像数据库获取得到原始图像(Noi sed Image)。
获取原始图像，为后续编码奠定了图像数据基础。
步骤104：对原始图像进行编码，确定原始图像的图像特征。
原始图像的图像特征为原始图像的图像特征的编码特征向量，是具有图像编码功能的神经网络模型的编码层编码得到的低维度特征向量，图像特征难以直接表征出高维度特征(抽象特征)，需要对其进行进一步的特征向量处理后，得到可以表征高维度特征的特征向量。其中，神经网络模型可以为CNN模型，FCN模型，U-Net模型，Transformer模型、ViT模型、VGG模型和ResNet模型等，在此不作限定。
需要说明的是，低维度特征向量为神经网络模型前几层的输出，未对特征向量进行高维度地处理，例如，卷积处理、池化处理等，高维度特征向量为神经网络模型深度层的输出，对特征向量进行高维度处理，其相比低维度特征向量的向量维度更低，表征更抽象的特征。
对原始图像进行编码，确定原始图像的图像特征，具体方式为，利用图像处理模型的编码层，对原始图像进行图像特征编码，得到原始图像的图像特征，其中，图像处理模型为具有图像编码功能的神经网络模型。
示例性地，利用Transformer模型的编码层，对原始图像进行图像特征编码，得到原始图像的图像特征。
对原始图像进行编码，确定原始图像的图像特征，为后续进行注意力计算得到嵌入特征，奠定了特征数据基础。
步骤106：利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点。
先验信息为预先训练得到的对各噪点类型对应的特征进行区分的信息，表征各噪点类型对应的特征的分布信息，先验信息包括键向量(Key)和值向量(Value)，具体形式为一组特征向量的变换矩阵，包括键向量变换矩阵和值向量变化矩阵，在本说明书实施例中两者一致。
注意力计算为利用先验信息确定输入图像特征上的注意力权重分布后进行加权计算的方法。例如，原始图像为M×N个像素点的视觉图像，原始图像的图像特征为对应的M×N维度的特征向量，根据先验信息确定图像特征上各向量元素对应于噪点类型的权重分布，根据该权重分布进行加权计算得到准确表征噪点类型的高维度特征向量。具体的计算方式为，将输入的特征向量确定为查询向量(Query)，根据键向量和值向量，进行矩阵变换，得到输出的特征向量。这样的根据不同的特征信息，确定查询向量、键向量和值向量的注意力计算方式，为交叉注意力计算方式。对应的公式表示如公式1所示：
其中，H为输出的特征向量，Q为输入的特征向量，即查询向量，K为键向量，V为值向量，dk为预设的维度因子。
嵌入特征为表征原始图像对应的噪点类型的高维度特征向量，由于表征各噪点类型对应的特征的分布信息，嵌入信息具有与各噪点类型中对应的噪点类型的高适配性，可以准确表征原始图像在该噪点类型下的抽象图像特征。例如，原始图像包含“红镜”这一类型的噪点，先验信息为针对于各滤镜噪点的先验信息，根据注意力计算后得到的嵌入特征可以准确表征原始图像在“红镜”噪点类型下的抽象图像特征。类比性地，将嵌入特征看作一种利用先验信息对图像特征进行类型量化后的高维度特征。
图文匹配模型为根据样本图文对预训练得到的多模态神经网络模型，其包括图像编码层和文本编码层。包括但不限于CLIP模型、多模态Transformer模型、多模态VGG模型等。由于图文匹配模型是利用样本图文对训练得到的，相比于只利用样本图像训练得到的图像处理模型，结合更多的特征信息，具有良好的特征表征能力。
利用先验信息，对图像特征进行注意力计算，获得嵌入特征，具体方式为，利用嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征。其中，嵌入层为具有注意力计算功能的神经网络模型的特征嵌入层。更进一步地，将图像特征确定为查询向量，将先验信息确定为键向量和值向量，利用嵌入层，根据查询向量、键向量和值向量，进行注意力计算，获得嵌入特征。
示例性地，将图像特征确定为查询向量，将先验信息确定为键向量和值向量，利用嵌入层，根据查询向量、键向量和值向量，进行注意力计算，获得嵌入特征。
利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点，利用对不同噪点类型的高区分度，对图像特征进行注意力计算，得到高针对性的嵌入特征。
步骤108：对嵌入特征进行解码，获得去噪后的目标图像。
目标图像为对原始图像中的图像噪点进行去除后的视觉图像。目标图像和原始图像的色彩空间一致。
对嵌入特征进行解码，获得去噪后的目标图像，具体方式为，利用图像处理模型的解码层，对嵌入特征进行解码，获得去噪后的目标图像。其中，解码层所属的图像处理模型可以与编码层所属的图像处理模型一致，也可以不一致，在此不作限定。
示例性地，利用U-Net模型的解码层，对嵌入特征进行解码，获得去噪后的目标图像。
本说明书实施例中，获取原始图像，对原始图像进行编码，确定原始图像的图像特征，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点，对嵌入特征进行解码，获得去噪后的目标图像。利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性。
可选地，在步骤104之前，还包括如下具体步骤：
获取预先训练的去噪模型，其中，去噪模型包括编码层、嵌入层和解码层；
对应地，步骤104包括如下具体步骤：
将原始图像输入编码层，编码得到原始图像的图像特征；
对应地，步骤106包括如下具体步骤：
将图像特征输入嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征；
对应地，步骤108包括如下具体步骤：
将嵌入特征输入解码层，解码得到去噪后的目标图像。
去噪模型为预先利用样本集训练得到的神经网络模型，去噪模型具有图像去噪功能。去噪模型可以为上述图像处理模型，也可以为对上述图像处理模型的编码层、嵌入层和解码层进行各自拆分后重新组合得到的，在此不作限定。例如，以Transformer模型为基础网络架构的端到端(编码层到解码层)神经网络模型，其中，编码层为基于Transformer模型的编码层调整后的得到的编码层，嵌入层为先验信息嵌入模块，解码层为CNN模型的卷积解码层，编码层和解码层之前具有跳跃连接。其中，编码层的具体结构如图2所示，图2示出了本说明书一个实施例提供的一种图像去噪方法中的编码层的结构示意图，将原始图像输入卷积映射层得到初始图像特征，将初始图像特征输入第1个Transformer编码中间层，具体地，将初始图像特征依次输入归一化层和多头注意力层，再与初始图像特征进行特征合并(Concat)，再将合并后的图像特征输入归一化层和前馈神经网络层，再与合并后的图像特征进一步合并后，再将进一步合并后的图像特征输入卷积映射层，与经过卷积映射层处理的初始图像特征进行特征合并，得到第一个中间层的图像特征，将第一个中间层的图像特征输入依次输入第2个Transformer编码中间层……第m个Transformer编码中间层，最后得到原始图像的图像特征。
将图像特征输入嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，具体方式为，将图像特征输入嵌入层，将图像特征确定为查询向量，将先验信息确定为键向量和值向量，根据查询向量、键向量和值向量，进行注意力计算，获得嵌入特征。
示例性地，获取预先训练的去噪模型，其中，去噪模型是以Transformer模型为基础网络架构的端到端(编码层到解码层)神经网络模型，编码层为Transformer模型的编码层，嵌入层为先验信息嵌入模块，解码层为CNN模型的卷积解码层，编码层和解码层之前具有跳跃连接。将原始图像输入编码层，编码得到原始图像的图像特征，将图像特征输入嵌入层，将图像特征确定为查询向量，将先验信息确定为键向量和值向量，利用嵌入层，根据查询向量、键向量和值向量，进行注意力计算，获得嵌入特征，将嵌入特征输入解码层，解码得到去噪后的目标图像。
获取预先训练的去噪模型，其中，去噪模型包括编码层、嵌入层和解码层，将原始图像输入编码层，编码得到原始图像的图像特征，将图像特征输入嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，将嵌入特征输入解码层，解码得到去噪后的目标图像，利用预先训练的去噪模型，分别进行编码、注意力计算和解码，提升了准确度和效率。
可选地，在获取预先训练的去噪模型之前，还包括如下具体步骤：
获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像；
从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像；
将第一样本图像输入去噪模型的编码层，编码得到第一图像特征；
利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征；
将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征；
将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像；
根据第一预测图像和第一去噪图像，计算得到损失值；
根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型。
样本集为预先构建的样本图像的集合，包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像，样本图像为包含有至少一种类型的图像噪点的视觉样本图像，去噪图像为对样本图像中的图像噪点进行去除后的视觉样本图像。样本图像上的图像噪点可以为直接采集或得到的，也可以为人工修改添加后得到的，还可以为利用具有噪点生成功能的图像生成算法生成得到的。样本图像可以为采集设备采集得到的图像，例如，照片、遥感图像、医疗图像等，也可以为人工生成的图像，例如，动画图像、绘画图像，还可以为利用图像生成算法生成得到的，在此不作限定。去噪图像可以为直接采集得到的，也可以为对样本图像进行去噪处理得到的，在此不作限定。为了保证对去噪模型的训练效果，样本集的规模较大，一般为通过开源数据库获取得到的，例如，样本图像数据库，在线图像平台的图像数据库等。
图文匹配模型可以为利用样本集中的样本图像和对应的噪点描述文本预训练后得到的，也可以为用样本集外的图文样本对预训练得到的，还可以为从模型数据库中直接获取得到的，在此不作限定。图文匹配模型可以提取得到图像中图像噪点对应的特征，即可以提取得到高维度特征。
第一图像特征为第一样本图像的图像特征的编码特征向量，是一种低维度特征向量，难以直接表征出高维度特征。第一噪点特征为第一样本图像中图像噪点的语义特征的编码特征向量，是一种高维度特征向量。第一嵌入特征为通过注意力计算得到的第一样本图像中图像噪点对应的噪点类型的高维度特征向量。
第一先验信息表征第一样本图像中图像噪点对应的特征的分布信息，包括键向量和值向量。
损失值表征第一预测图像和第一去噪图像之间的特征损失度，包括但不限于余弦损失值、L1损失值、L2损失值、交叉熵损失值。
预设训练结束条件为预先训练完成的判断条件，可以为预设损失值阈值，也可以为预设迭代次数，还可以为完成对各样本组的训练的判断条件，在此不作限定。
利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征，具体方式为，利用图文匹配模型，对第一样本图像进行特征编码，得到第一样本图像的第一噪点图像特征，根据第一图像噪点特征，确定第一噪点特征。
根据第一噪点特征，确定第一先验信息，具体方式为，利用第一噪点特征，对预设的可学习特征进行特征预处理，得到第一先验信息。
利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征，具体方式为，将第一图像特征确定为查询向量，将第一先验信息确定为键向量和值向量，根据查询向量、键向量和值向量，进行注意力计算，获得第一嵌入特征。
根据损失值，调整编码层、嵌入层和解码层的参数，具体方式为，根据损失值，利用梯度更新法，调整编码层、嵌入层和解码层的参数。
示例性地，从样本图像数据库获取样本集，从样本集中提取第一样本组，第一样本组包括第一样本图像和第一去噪图像，将第一样本图像输入去噪模型的编码层，编码得到第一图像特征，利用CLI P模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征，将第一图像特征和第一噪点特征输入去噪模型的嵌入层，利用第一噪点特征，对预设的可学习特征进行特征预处理，得到第一先验信息，将第一图像特征确定为查询向量，将第一先验信息确定为键向量和值向量，根据查询向量、键向量和值向量，进行注意力计算，获得第一嵌入特征，将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像，根据第一预测图像和第一去噪图像，计算得到交叉熵损失值，根据交叉熵损失值，利用梯度更新法，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在完成对各样本组的训练的情况下，获得训练完成的去噪模型。
获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像，从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像，将第一样本图像输入去噪模型的编码层，编码得到第一图像特征，利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征，将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征，将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像，根据第一预测图像和第一去噪图像，计算得到损失值，根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型。利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性。
可选地，根据第一噪点特征，确定第一先验信息，包括如下具体步骤：
对第一噪点特征和预设的可学习特征进行特征融合，得到融合噪点特征；
根据融合噪点特征，确定第一先验信息。
融合噪点特征为具有特征学习功能的图像噪点的语义特征的编码特征向量。通过融合噪点特征可以学习到图像噪点的特征分布信息，从全局的特征分布信息上的得到对不同噪点类型具有高区分度的第一先验信息。
对第一噪点特征和预设的可学习特征进行特征融合，得到融合噪点特征，具体方式为，对第一噪点特征和预设的可学习特征进行线性相加，得到融合噪点特征。
示例性地，对第一噪点特征和预设的可学习特征进行线性相加，得到融合噪点特征，根据融合噪点特征，确定第一先验信息。
对第一噪点特征和预设的可学习特征进行特征融合，得到融合噪点特征，根据融合噪点特征，确定第一先验信息，进一步提升了对不同噪点类型的区分度，提升了对去噪模型的训练效果，提升了训练得到的去噪模型的模型性能。
可选地，第一样本组包括第一样本图像对应的第一噪点描述文本，图文匹配模型包括图像编码层和文本编码层；
对应地，利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征，包括如下具体步骤：
将第一噪点描述文本输入文本编码层，编码得到第一噪点文本特征；
将第一样本图像输入图像编码层，编码得到第一噪点图像特征；
基于第一噪点文本特征和第一噪点图像特征，确定第一噪点特征。
图文匹配模型为具有图像特征编码和文本特征编码功能，结合文本特征和图像特征得到更高维度的语义特征。
第一噪点描述文本为第一样本图像中的图像噪点的噪点类型的自然语言描述文本。例如，第一样本图像为雨天的环境图像，第一噪点描述文本为“一张下雨天的图像”。
第一噪点文本特征为第一噪点描述文本中噪点类型的文本特征的编码特征向量，第一噪点图像特征为第一样本图像中图像噪点的图像特征的编码特征向量。
基于第一噪点文本特征和第一噪点图像特征，确定第一噪点特征，具体方式为，基于第一噪点文本特征和第一噪点图像特征之间的特征相关度，确定第一噪点特征。更进一步地，基于第一噪点文本特征和第一噪点图像特征之间的特征相关度，计算图文损失值，根据图文损失值，优化第一噪点图像特征得到第一噪点特征。
示例性地，将第一噪点描述文本输入文本编码层，编码得到第一噪点文本特征，将第一样本图像输入图像编码层，编码得到第一噪点图像特征，基于第一噪点文本特征和第一噪点图像特征之间的特征相关度，计算图文损失值，根据图文损失值，优化第一噪点图像特征得到第一噪点特征。
将第一噪点描述文本输入文本编码层，编码得到第一噪点文本特征，将第一样本图像输入图像编码层，编码得到第一噪点图像特征，基于第一噪点文本特征和第一噪点图像特征，确定第一噪点特征，结合文本信息，提升了第一噪点特征对第一样本图像中图像噪点的表征能力，提升了第一噪点特征的准确度，进而提升了第一先验信息的适用度。
可选地，图文匹配模型包括图像编码层；
对应地，在将第一样本图像输入去噪模型的编码层，编码得到第一图像特征之前，还包括如下具体步骤：
将第一样本图像输入图像编码层，编码得到第一参考图像特征；
将第一去噪图像输入图像编码层，编码得到第二参考图像特征；
对第一参考图像特征和第二参考图像特征进行特征残差计算，得到参考残差图像特征；
根据参考残差图像特征，调整去噪模型的编码层的参数。
需要说明的是，本说明书实施例中的图为匹配模型可以为与上述图文匹配模型一致，也可以不一致，在此不作限定。
利用具有良好表征能力的图文匹配模型的图像编码层对第一样本图像进行图像编码，得到准确的参考图像特征，进而得到参考残差图像特征的准确度。
第一参考图像特征为第一样本图像的图像特征的编码特征向量，是一种低维度特征向量。第二参考图像特征为第一去噪图像的图像特征的编码特征向量，是一种低维度特征向量。
参考残差图像特征为表征第一样本图像和第一去噪图像之间图像差异度的特征。由于样本图像上包含图像噪点，去噪图像上去除了图像噪点，因而，对两者的图像特征进行特征残差计算，可以确定图像噪点对应的空间分布信息，得到残差图像特征，根据残差图像特征调整编码层的参数，使得调整后的编码层可以适应于样本图像上图像噪点的空间分布，进行适应编码，提升了后续与先验信息之间的适应度。类比性地，根据参考残差图像特征，调整编码层的参数，进而编码得到第一图像特征，相当于给第一样本图像上存在图像噪点的区域打上较高权重，在后续对应这些高权重的区域进行注意力计算，提升了得到嵌入特征可以准确表征噪点类型。
需要说明的是，利用图像编码层对第一样本图像和第一去噪图像分别编码，对应得到第一参考图像特征和第二参考图像特征，是一种对比学习方式，即利用不同样本进行训练的方式，利用图像编码层提升编码层的空间特征表征能力，是一种蒸馏学习方式，即用预训练的监督模型指导模型训练的方式，其中，参考残差图像特征可以视为蒸馏学习的蒸馏损失约束，其作用为帮助编码层进行编码权重的学习。
根据参考残差图像特征，调整去噪模型的编码层的参数，具体方式为，根据参考残差图像特征，调整去噪模型的编码层的空间权重参数。
示例性地，将第一样本图像输入图像编码层，编码得到第一参考图像特征，将第一去噪图像输入图像编码层，编码得到第二参考图像特征，对第一参考图像特征和第二参考图像特征进行特征残差计算，得到参考残差图像特征，根据参考残差图像特征，调整去噪模型的编码层的空间权重参数。
将第一样本图像输入图像编码层，编码得到第一参考图像特征，将第一去噪图像输入图像编码层，编码得到第二参考图像特征，对第一参考图像特征和第二参考图像特征进行特征残差计算，得到参考残差图像特征，根据参考残差图像特征，调整去噪模型的编码层的参数，提升了编码层的编码性能，提升了编码得到的第一图像特征的准确度，提升了对去噪模型的训练效果。
可选地，编码层包括多个空间卷积核，任一空间卷积具有对应的编码权重参数；
对应地，根据参考残差图像特征，调整去噪模型的编码层的参数，包括如下具体步骤：
根据参考残差图像特征，调整各空间卷积核的编码权重参数。
编码层包括多个空间排布的卷积核，对输入的图像的各图像区域进行对应空间的编码。例如，输入的图像为M×N个像素点的视觉图像，其中，卷积核为3×3空间排布的，对应进行图像区域的图像编码。
根据参考残差图像特征，调整各空间卷积核的编码权重参数，进一步提升了编码层的编码性能，进一步提升了编码得到的第一图像特征的准确度，进一步提升了对去噪模型的训练效果。
参见图3，图3示出了本说明书一个实施例提供的一种图像去噪方法的流程图，该方法应用于云侧设备，包括如下具体步骤：
步骤302：接收端侧设备发送的图像去噪请求，其中，图像去噪请求携带有原始图像；
步骤304：对原始图像进行编码，确定原始图像的图像特征；
步骤306：利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点；
步骤308：对嵌入特征进行解码，获得去噪后的目标图像；
步骤310：将目标图像发送至端侧设备进行渲染。
云侧设备为提供图像去噪功能的网络云侧设备，为一种虚拟设备。端侧设备为提供图像去噪功能的应用、网页或小程序等平台的客户端或服务端所在的终端设备，是一种实体设备。云侧设备和端侧设备通过网络传输信道连接，进行数据传输。云侧设备的算力性能高于端侧设备。
步骤304和步骤308已在图1实施例的步骤104和步骤108中详细说明，在此不再赘述。
端侧设备通过渲染器实现对目标图像的渲染显示。
本说明书实施例中，接收端侧设备发送的图像去噪请求，其中，图像去噪请求携带有原始图像，对原始图像进行编码，确定原始图像的图像特征，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点，对嵌入特征进行解码，获得去噪后的目标图像，将目标图像发送至端侧设备进行渲染。利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性，且上述去噪处理在算力更高的云侧设备实现，提升了图像去噪的效率，降低了云侧设备的算力成本。
参见图4，图4示出了本说明书一个实施例提供的一种天气图像修复方法的流程图，包括如下具体步骤：
步骤402：获取待修复天气图像；
步骤404：对待修复天气图像进行编码，确定待修复天气图像的图像特征；
步骤406：利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本天气图像的天气类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本天气图像包含不同类型的天气信息；
步骤408：对嵌入特征进行解码，获得修复后的目标图像。
本说明书实施例应用于具有天气图像修复功能的应用、网页或者小程序等平台的客户端或者服务端。
待修复天气图像为包含有至少一种天气类型的天气图像噪点的视觉图像。待修复天气图像为采集设备采集得到的，例如，光学传感器采集得到的光学图像，遥感采集设备采集得到的遥感图像，光学拍摄设备采集的人物图像、风景图像等。
修复后的目标图像为对待修复天气图像中的天气图像噪点进行去除后的视觉图像。
步骤402至步骤408与图1实施例中的步骤102至步骤108具有相同的发明构思，在此不再赘述。
本说明书实施例中，获取待修复天气图像，对待修复天气图像进行编码，确定待修复天气图像的图像特征，利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本天气图像的天气类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本天气图像包含不同类型的天气信息，对嵌入特征进行解码，获得修复后的目标图像。利用具有良好特征表征能力的图文匹配模型，对样本天气图像的天气类型进行特征提取，对应得到该天气类型更准确的特征，且由于各样本天气图像包含不同类型的天气信息，使得先验信息适用于不同类型的天气信息，以上两点结合，提升了对不同天气类型的区分度，使得天气图像修复对不同天气类型的适用性更广泛，降低了开发成本，保证了天气图像修复的质量稳定性。
参见图5，图5示出了本说明书一个实施例提供的一种图像去噪的数据处理方法的流程图，该方法应用于云侧设备，包括如下具体步骤：
步骤502：获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像，各样本图像包含不同类型的噪点；
步骤504：从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像；
步骤506：将第一样本图像输入去噪模型的编码层，编码得到第一图像特征；
步骤508：利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征；
步骤510：将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征；
步骤512：将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像；
步骤514：根据第一预测图像和第一去噪图像，计算得到损失值；
步骤516：根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型；
步骤518：将去噪模型的参数发送至端侧设备。
云侧设备为提供模型训练功能的网络云侧设备，为一种虚拟设备。端侧设备为提供图像去噪功能的终端设备，是一种实体设备。端侧设备和云侧设备之间通过网络信道连接，进行数据传输。云侧设备的算力性能高于端侧设备。
步骤502至步骤516已在图1实施例中进行详细说明，在此不再赘述。
本说明书实施例中，获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像，样本集中各样本图像包含不同类型的噪点，从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像，将第一样本图像输入去噪模型的编码层，编码得到第一图像特征，利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征，将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征，将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像，根据第一预测图像和第一去噪图像，计算得到损失值，根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型，将去噪模型的参数发送至端侧设备。利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性，且上述模型训练在算力更高的云侧设备实现，提升了模型训练的效率，降低了云侧设备的模型训练成本。
图6示出了本说明书一个实施例提供的一种图像去噪方法中去噪模型的训练过程的流程示意图。
如图6所示，将样本集输入图像匹配模型的图像编码器，编码得到参考图像特征(第一参考图像特征和第二参考图像特征)，将第一样本图像输入图像匹配模型的图像编码器，编码得到第一噪声特征，将第一样本图像特征输入去噪模型的编码层，基于参考图像特征，进行图像编码，获得第一图像特征，将第一图像特征输入去噪模型的嵌入层，基于第一噪声特征确定第一先验信息，利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征，将第一嵌入特征输入去噪模型的解码层，获得第一预测图像，基于第一预测图像和第一样本图像对应的第一去噪图像，对编码层、嵌入层和解码层进行训练。
图7示出了本说明书一个实施例提供的一种图像去噪方法中去噪模型的编码层的自适应调整的流程示意图。
如图7所示，去噪模型的编码层中的前馈神经网络层具有多个中间层，对于任一中间层，将上一中间层输出的图像特征依次输入线性层和重塑层后，利用编码层对其进行自适应空间编码：根据第一样本图像的空间分布，依次经过深度层、卷积层和激活层后，确定各空间卷积核的编码权重参数，进行线性相加后，得到编码层的参数，基于编码层的参数对上一中间层的图像特征进行编码，经过深度层、重塑层和线性层后，得到本中间层输出的图像特征。
图8示出了本说明书一个实施例提供的一种图像去噪方法中去噪模型的嵌入层的训练过程的流程示意图。
如图8所示，将第一样本图像输入图像匹配模型的图像编码器，经过两层线性层的特征空间调整，得到第一噪点图像特征，将第一噪声描述文本输入图像匹配模型的文本编码器，第一噪点文本特征，基于第一噪点文本特征和第一噪点图像特征之间特征相关度，确定图文损失值，根据图文损失值，对第一噪点图像特征进行优化，得到第一噪点特征，对可学习特征和第一噪声特征进行线性相加，结合第一图像特征，进行注意力计算，经过线性层的特征空间调整，得到对应的第一预测图像。
下述结合附图9，以本说明书提供的图像去噪方法在提高恶劣天气图像质量的应用为例，对所述图像去噪方法进行进一步说明。其中，图9示出了本说明书一个实施例提供的一种应用于提高恶劣天气图像质量的图像去噪方法的处理过程流程图，包括如下具体步骤：
步骤902：获取样本集。
其中，样本集包括多个样本组，任一样本组包括样本天气图像和样本天气图像对应的天气修复图像。
步骤904：从样本集中提取第一样本组。
其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本天气图像和第一天气修复图像。
步骤906：将第一样本天气图像输入图文匹配模型的图像编码层，编码得到第一参考图像特征，将第一天气修复图像输入图像编码层，编码得到第二参考图像特征，对第一参考图像特征和第二参考图像特征进行特征残差计算，得到参考残差图像特征，根据参考残差图像特征，调整天气修复模型的编码层的各空间卷积核的编码权重参数。
其中，图文匹配模型为CLI P模型。
步骤908：将第一样本天气图像输入天气修复模型的编码层，编码得到第一图像特征。
步骤910：将第一天气描述文本输入图文匹配模型的文本编码层，编码得到第一天气文本特征，将第一样本天气图像输入图文匹配模型的图像编码层，编码得到第一天气图像特征，基于第一天气文本特征和第一天气图像特征之间的特征相关度，计算图文损失值，根据图文损失值，优化第一天气图像特征，得到第一天气特征。
步骤912：将第一图像特征和第一天气特征输入天气修复模型的嵌入层，对第一天气特征和预设的可学习特征进行特征融合，得到融合天气特征，根据融合天气特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征。
其中，天气修复模型的嵌入层为DWPEM模型的嵌入层。
步骤914：将第一嵌入特征输入天气修复模型的解码层，解码得到第一预测图像。
步骤916：根据第一预测图像和第一天气修复图像，计算得到损失值。
步骤918：根据损失值，调整天气修复模型的编码层、深度嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在完成对各样本图像的训练的情况下，获得训练完成的天气修复模型。
需要说明的是，上述步骤902至步骤918为天气修复模型的训练过程，后续步骤920至步骤928为天气修复模型的应用过程。
步骤920：接收前端发送的天气图像优化请求，其中，天气图像优化请求携带有恶劣天气图像。
步骤922：将恶劣天气图像输入天气修复模型的编码层，编码得到恶劣天气图像的图像特征。
步骤924：将图像特征输入天气修复模型的嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征。
其中，先验信息为预先训练得到的对各天气类型对应的图像特征进行区分的信息，表征各天气类型对应的图像特征的分布信息，是对可学习特征和样本天气图像的第一天气特征进行特征融合后，整合得到的。具体参见步骤910至步骤912。
步骤926：将嵌入特征输入天气修复模型的解码层，解码得到去除恶劣天气影响的干净图像。
步骤928：将干净图像发送至前端进行渲染。
本说明书实施例中，利用具有良好特征表征能力的图文匹配模型，对样本天气图像的天气类型进行特征提取，对应得到该天气类型更准确的天气特征，且由于各样本天气图像包含不同天气类型，使得先验信息适用于不同天气类型，以上两点结合，提升了对不同天气类型的区分度，使得天气图像的优化处理适用性更广泛，降低了开发成本，保证了天气图像的优化处理在不同天气类型下的优化质量稳定性。
需要说明的是，本说明书实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
与上述方法实施例相对应，本说明书还提供了图像去噪装置实施例，图10示出了本说明书一个实施例提供的一种图像去噪装置的结构示意图。如图10所示，该装置包括：
第一获取模块1002，被配置为获取原始图像；
第一编码模块1004，被配置为对原始图像进行编码，确定原始图像的图像特征；
第一嵌入模块1006，被配置为利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点；
第一解码模块1008，被配置为对嵌入特征进行解码，获得去噪后的目标图像。
可选地，该装置还包括：
模型获取模块，被配置为获取预先训练的去噪模型，其中，去噪模型包括编码层、嵌入层和解码层；
对应地，第一编码模块1004被进一步配置为：
将原始图像输入编码层，编码得到原始图像的图像特征；
对应地，第一嵌入模块1006被进一步配置为：
将图像特征输入嵌入层，利用先验信息，对图像特征进行注意力计算，获得嵌入特征；
对应地，第一解码模块1008被进一步配置为：
将嵌入特征输入解码层，解码得到去噪后的目标图像。
可选地，该装置还包括：
训练模块，被配置为获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像；从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像；将第一样本图像输入去噪模型的编码层，编码得到第一图像特征；利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征；将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征；将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像；根据第一预测图像和第一去噪图像，计算得到损失值；根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型。
可选地，训练模块被进一步配置为：
对第一噪点特征和预设的可学习特征进行特征融合，得到融合噪点特征；根据融合噪点特征，确定第一先验信息。
可选地，第一样本组包括第一样本图像对应的第一噪点描述文本，图文匹配模型包括图像编码层和文本编码层；
对应地，训练模块被进一步配置为：
将第一噪点描述文本输入文本编码层，编码得到第一噪点文本特征；将第一样本图像输入图像编码层，编码得到第一噪点图像特征；基于第一噪点文本特征和第一噪点图像特征，确定第一噪点特征。
可选地，图文匹配模型包括图像编码层；
对应地，该装置还包括：
自适应编码模块，被配置为将第一样本图像输入图像编码层，编码得到第一参考图像特征；将第一去噪图像输入图像编码层，编码得到第二参考图像特征；对第一参考图像特征和第二参考图像特征进行特征残差计算，得到参考残差图像特征；根据参考残差图像特征，调整去噪模型的编码层的参数。
可选地，编码层包括多个空间卷积核，任一空间卷积具有对应的编码权重参数；
对应地，自适应编码模块被进一步配置为：
根据参考残差图像特征，调整各空间卷积核的编码权重参数。
本说明书实施例中，利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性。
上述为本实施例的一种图像去噪装置的示意性方案。需要说明的是，该图像去噪装置的技术方案与上述的图像去噪方法的技术方案属于同一构思，图像去噪装置的技术方案未详细描述的细节内容，均可以参见上述图像去噪方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了图像去噪装置实施例，图11示出了本说明书一个实施例提供的另一种图像去噪装置的结构示意图。如图11所示，该装置应用于云侧设备，该装置包括：
接收模块1102，被配置为接收端侧设备发送的图像去噪请求，其中，图像去噪请求携带有原始图像；
第二编码模块1104，被配置为对原始图像进行编码，确定原始图像的图像特征；
第二嵌入模块1106，被配置为利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本图像包含不同类型的噪点；
第二解码模块1108，被配置为对嵌入特征进行解码，获得去噪后的目标图像；
第一发送模块1110，被配置为将目标图像发送至端侧设备进行渲染。
本说明书实施例中，利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性，且上述去噪处理在算力更高的云侧设备实现，提升了图像去噪的效率，降低了云侧设备的算力成本。
上述为本实施例的一种图像去噪装置的示意性方案。需要说明的是，该图像去噪装置的技术方案与上述的图像去噪方法的技术方案属于同一构思，图像去噪装置的技术方案未详细描述的细节内容，均可以参见上述图像去噪方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了天气图像修复装置实施例，图12示出了本说明书一个实施例提供的一种天气图像修复装置的结构示意图。如图12所示，该装置包括：
第二获取模块1202，被配置为获取待修复天气图像；
第三编码模块1204，被配置为对待修复天气图像进行编码，确定待修复天气图像的图像特征；
第三嵌入模块1206，被配置为利用先验信息，对图像特征进行注意力计算，获得嵌入特征，其中，先验信息为利用图文匹配模型对样本集中样本天气图像的天气类型进行特征提取得到，图文匹配模型为基于图文样本对预训练的神经网络模型，样本集中各样本天气图像包含不同类型的天气信息；
第三解码模块1208，被配置为对嵌入特征进行解码，获得修复后的目标图像。
本说明书实施例中，利用具有良好特征表征能力的图文匹配模型，对样本天气图像的天气类型进行特征提取，对应得到该天气类型更准确的特征，且由于各样本天气图像包含不同类型的天气信息，使得先验信息适用于不同类型的天气信息，以上两点结合，提升了对不同天气类型的区分度，使得天气图像修复对不同天气类型的适用性更广泛，降低了开发成本，保证了天气图像修复的质量稳定性。
上述为本实施例的一种天气图像修复装置的示意性方案。需要说明的是，该天气图像修复装置的技术方案与上述的天气图像修复方法的技术方案属于同一构思，天气图像修复装置的技术方案未详细描述的细节内容，均可以参见上述天气图像修复方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了图像去噪的数据处理装置实施例，图13示出了本说明书一个实施例提供的一种图像去噪的数据处理装置的结构示意图。如图13所示，该装置包括：
样本集获取模块1302，被配置为获取样本集，其中，样本集包括多个样本组，任一样本组包括样本图像和样本图像对应的去噪图像，样本集中各样本图像包含不同类型的噪点；
样本提取模块1304，被配置为从样本集中提取第一样本组，其中，第一样本组为多个样本组中任一个，第一样本组包括第一样本图像和第一去噪图像；
第四编码模块1306，被配置为将第一样本图像输入去噪模型的编码层，编码得到第一图像特征；
特征提取模块1308，被配置为利用图文匹配模型对第一样本图像的噪点类型进行特征提取，得到第一噪点特征；
第四嵌入模块1310，被配置为将第一图像特征和第一噪点特征输入去噪模型的嵌入层，根据第一噪点特征，确定第一先验信息，并利用第一先验信息，对第一图像特征进行注意力计算，获得第一嵌入特征；
第四解码模块1312，被配置为将第一嵌入特征输入去噪模型的解码层，解码得到第一预测图像；
计算模块1314，被配置为根据第一预测图像和第一去噪图像，计算得到损失值；
模型训练模块1316，被配置为根据损失值，调整编码层、嵌入层和解码层的参数，返回执行从样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型；
第二发送模块1318，被配置为将去噪模型的参数发送至端侧设备。
本说明书实施例中，利用具有良好特征表征能力的图文匹配模型，对样本图像的噪点类型进行特征提取，对应得到该噪点类型更准确的特征，且由于各样本图像包含不同类型的噪点，使得先验信息适用于不同类型的噪点，以上两点结合，提升了对不同噪点类型的区分度，使得去噪处理适用性更广泛，降低了开发成本，保证了去噪处理的质量稳定性，且上述模型训练在算力更高的云侧设备实现，提升了模型训练的效率，降低了云侧设备的模型训练成本。
上述为本实施例的一种图像去噪的数据处理装置的示意性方案。需要说明的是，该图像去噪的数据处理装置的技术方案与上述的图像去噪的数据处理方法的技术方案属于同一构思，图像去噪的数据处理装置的技术方案未详细描述的细节内容，均可以参见上述图像去噪的数据处理方法的技术方案的描述。
图14示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1400的部件包括但不限于存储器1410和处理器1420。处理器1420与存储器1410通过总线1430相连接，数据库1450用于保存数据。
计算设备1400还包括接入设备1440，接入设备1440使得计算设备1400能够经由一个或多个网络1460通信。这些网络的示例包括PSTN(Public Switched TelephoneNetwork，公用交换电话网)、LAN(Local Area Network，局域网)、WAN(Wide Area Network，广域网)、PAN(Personal Area Network，个域网)或诸如因特网的通信网络的组合。接入设备1440可以包括有线或无线的任何类型的网络接口(例如，NIC(Network InterfaceController，网络接口卡))中的一个或多个，诸如IEEE802.12 WLAN(Wireless Local AreaNetworks，无线局域网)无线接口、Wi-MAX(World Interoperability for MicrowaveAccess，全球微波互联接入)接口、以太网接口、USB(Universal Serial Bus，通用串行总线)接口、蜂窝网络接口、蓝牙接口、NFC(Near Field Communication，近场通信)接口，等等。
在本说明书的一个实施例中，计算设备1400的上述部件以及图14中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图14所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC(Personal Computer，个人计算机)的静止计算设备。计算设备1400还可以是移动式或静止式的服务器。
其中，处理器1420用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像去噪方法，天气图像修复方法以及图像去噪的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像去噪方法，天气图像修复方法以及图像去噪的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像去噪方法，天气图像修复方法以及图像去噪的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像去噪方法，天气图像修复方法或者图像去噪的数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种图像去噪方法，包括：
获取原始图像；
对所述原始图像进行编码，确定所述原始图像的图像特征；
利用先验信息，对所述图像特征进行注意力计算，获得嵌入特征，其中，所述先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，所述先验信息表征各噪点类型对应的特征的分布信息，所述图文匹配模型为基于图文样本对预训练的神经网络模型，所述样本集中各样本图像包含不同类型的噪点；
对所述嵌入特征进行解码，获得去噪后的目标图像。
2.根据权利要求1所述的方法，在所述对所述原始图像进行编码，确定所述原始图像的图像特征之前，还包括：
获取预先训练的去噪模型，其中，所述去噪模型包括编码层、嵌入层和解码层；
所述对所述原始图像进行编码，确定所述原始图像的图像特征，包括：
将所述原始图像输入所述编码层，编码得到所述原始图像的图像特征；
所述利用先验信息，对所述图像特征进行注意力计算，获得嵌入特征，包括：
将所述图像特征输入所述嵌入层，利用先验信息，对所述图像特征进行注意力计算，获得嵌入特征；
所述对所述嵌入特征进行解码，获得去噪后的目标图像，包括：
将所述嵌入特征输入所述解码层，解码得到去噪后的目标图像。
3.根据权利要求2所述的方法，在所述获取预先训练的去噪模型之前，还包括：
获取样本集，其中，所述样本集包括多个样本组，任一样本组包括样本图像和所述样本图像对应的去噪图像；
从所述样本集中提取第一样本组，其中，所述第一样本组为所述多个样本组中任一个，所述第一样本组包括第一样本图像和第一去噪图像；
将所述第一样本图像输入去噪模型的编码层，编码得到第一图像特征；
利用图文匹配模型对所述第一样本图像的噪点类型进行特征提取，得到第一噪点特征；
将所述第一图像特征和所述第一噪点特征输入所述去噪模型的嵌入层，根据所述第一噪点特征，确定第一先验信息，并利用所述第一先验信息，对所述第一图像特征进行注意力计算，获得第一嵌入特征；
将所述第一嵌入特征输入所述去噪模型的解码层，解码得到第一预测图像；
根据所述第一预测图像和所述第一去噪图像，计算得到损失值；
根据所述损失值，调整所述编码层、嵌入层和解码层的参数，返回执行所述从所述样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型。
4.根据权利要求3所述的方法，所述根据所述第一噪点特征，确定第一先验信息，包括：
对所述第一噪点特征和预设的可学习特征进行特征融合，得到融合噪点特征；
根据所述融合噪点特征，确定第一先验信息。
5.根据权利要求3所述的方法，其中，所述第一样本组包括所述第一样本图像对应的第一噪点描述文本，所述图文匹配模型包括图像编码层和文本编码层；
所述利用图文匹配模型对所述第一样本图像的噪点类型进行特征提取，得到第一噪点特征，包括：
将所述第一噪点描述文本输入所述文本编码层，编码得到第一噪点文本特征；
将所述第一样本图像输入所述图像编码层，编码得到第一噪点图像特征；
基于所述第一噪点文本特征和所述第一噪点图像特征，确定第一噪点特征。
6.根据权利要求2-5任一项所述的方法，其中，所述图文匹配模型包括图像编码层；
在所述将所述第一样本图像输入去噪模型的编码层，编码得到第一图像特征之前，还包括：
将所述第一样本图像输入所述图像编码层，编码得到第一参考图像特征；
将所述第一去噪图像输入所述图像编码层，编码得到第二参考图像特征；
对所述第一参考图像特征和所述第二参考图像特征进行特征残差计算，得到参考残差图像特征；
根据所述参考残差图像特征，调整去噪模型的编码层的参数。
7.根据权利要求6所述的方法，其中，所述编码层包括多个空间卷积核，任一空间卷积具有对应的编码权重参数；
所述根据所述参考残差图像特征，调整去噪模型的编码层的参数，包括：
根据所述参考残差图像特征，调整各空间卷积核的编码权重参数。
8.一种图像去噪方法，应用于云侧设备，包括：
接收端侧设备发送的图像去噪请求，其中，所述图像去噪请求携带有原始图像；
对所述原始图像进行编码，确定所述原始图像的图像特征；
利用先验信息，对所述图像特征进行注意力计算，获得嵌入特征，其中，所述先验信息为利用图文匹配模型对样本集中样本图像的噪点类型进行特征提取得到，所述先验信息表征各噪点类型对应的特征的分布信息，所述图文匹配模型为基于图文样本对预训练的神经网络模型，所述样本集中各样本图像包含不同类型的噪点；
对所述嵌入特征进行解码，获得去噪后的目标图像；
将所述目标图像发送至所述端侧设备进行渲染。
9.一种天气图像修复方法，包括：
获取待修复天气图像；
对所述待修复天气图像进行编码，确定所述待修复天气图像的图像特征；
利用先验信息，对所述图像特征进行注意力计算，获得嵌入特征，其中，所述先验信息为利用图文匹配模型对样本集中样本天气图像的天气类型进行特征提取得到，所述先验信息表征各天气类型对应的特征的分布信息，所述图文匹配模型为基于图文样本对预训练的神经网络模型，所述样本集中各样本天气图像包含不同类型的天气信息；
对所述嵌入特征进行解码，获得修复后的目标图像。
10.一种图像去噪的数据处理方法，应用于云侧设备，包括：
获取样本集，其中，所述样本集包括多个样本组，任一样本组包括样本图像和所述样本图像对应的去噪图像，样本集中各样本图像包含不同类型的噪点；
从所述样本集中提取第一样本组，其中，所述第一样本组为所述多个样本组中任一个，所述第一样本组包括第一样本图像和第一去噪图像；
将所述第一样本图像输入去噪模型的编码层，编码得到第一图像特征；
利用图文匹配模型对所述第一样本图像的噪点类型进行特征提取，得到第一噪点特征；
将所述第一图像特征和所述第一噪点特征输入所述去噪模型的嵌入层，根据所述第一噪点特征，确定第一先验信息，并利用所述第一先验信息，对所述第一图像特征进行注意力计算，获得第一嵌入特征；
将所述第一嵌入特征输入所述去噪模型的解码层，解码得到第一预测图像；
根据所述第一预测图像和所述第一去噪图像，计算得到损失值；
根据所述损失值，调整所述编码层、嵌入层和解码层的参数，返回执行所述从所述样本集中提取第一样本组的步骤，在满足预设训练结束条件的情况下，获得训练完成的去噪模型；
将所述去噪模型的参数发送至端侧设备。
11.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述图像去噪方法，权利要求9所述天气图像修复方法或者权利要求10所述图像去噪的数据处理方法的步骤。
12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述图像去噪方法，权利要求9所述天气图像修复方法或者权利要求10所述图像去噪的数据处理方法的步骤。
CN202310185099.6A 2023-02-20 2023-02-20 图像去噪方法，天气图像修复方法及计算设备 Active CN116258647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310185099.6A CN116258647B (zh) 2023-02-20 2023-02-20 图像去噪方法，天气图像修复方法及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310185099.6A CN116258647B (zh) 2023-02-20 2023-02-20 图像去噪方法，天气图像修复方法及计算设备

Publications (2)

Publication Number Publication Date
CN116258647A CN116258647A (zh) 2023-06-13
CN116258647B true CN116258647B (zh) 2023-11-28

Family

ID=86679075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310185099.6A Active CN116258647B (zh) 2023-02-20 2023-02-20 图像去噪方法，天气图像修复方法及计算设备

Country Status (1)

Country Link
CN (1) CN116258647B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140673A (zh) * 2022-02-07 2022-03-04 人民中科(济南)智能技术有限公司 一种违规图像识别方法、系统及设备
CN114140346A (zh) * 2021-11-15 2022-03-04 深圳集智数字科技有限公司 一种图像处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140346A (zh) * 2021-11-15 2022-03-04 深圳集智数字科技有限公司 一种图像处理方法及装置
CN114140673A (zh) * 2022-02-07 2022-03-04 人民中科(济南)智能技术有限公司 一种违规图像识别方法、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hierarchical Text-Conditional Image Generation with CLIP Latents;Aditya Ramesh等;arXiv:2204.06125v1;全文 *

Also Published As

Publication number Publication date
CN116258647A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN115761222B (zh) 图像分割方法、遥感图像分割方法以及装置
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN116168274A (zh) 对象检测方法以及对象检测模型训练方法
CN116503876A (zh) 图像识别模型的训练方法及装置、图像识别方法及装置
CN116883236B (zh) 图像超分方法以及图像数据处理方法
CN114140831A (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN110633688A (zh) 翻译模型的训练方法及装置和手语视频翻译方法及装置
Huang et al. Underwater image enhancement via LBP‐based attention residual network
CN116258647B (zh) 图像去噪方法，天气图像修复方法及计算设备
CN117351542A (zh) 一种面部表情识别方法及系统
CN117093864A (zh) 文本生成模型训练方法以及装置
EP4391560A1 (en) Video processing method and apparatus, device and storage medium
CN116629375A (zh) 模型处理方法以及系统
CN116168418A (zh) 一种图像的多模态目标感知与重识别方法
CN115965836A (zh) 一种语义可控的人体行为姿态视频数据扩增系统及方法
CN115375663A (zh) 基于深度互学习和双尺度特征融合的图像质量评价方法
CN116028715A (zh) 内容推荐方法、装置、存储介质及电子设备
CN114581353A (zh) 一种红外图像的处理方法、装置、介质及电子设备
CN113822790A (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN116363269A (zh) 基于语音的图像驱动方法和图像驱动的数据处理方法
CN115936972B (zh) 图像生成方法、遥感图像风格迁移方法以及装置
CN116703687B (zh) 图像生成模型处理、图像生成方法、装置和计算机设备
CN116206150A (zh) 任务处理方法、地物分类方法及任务模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant