CN113688840A - 图像处理模型的生成方法、处理方法、存储介质及终端 - Google Patents

图像处理模型的生成方法、处理方法、存储介质及终端 Download PDF

Info

Publication number
CN113688840A
CN113688840A CN202010425704.9A CN202010425704A CN113688840A CN 113688840 A CN113688840 A CN 113688840A CN 202010425704 A CN202010425704 A CN 202010425704A CN 113688840 A CN113688840 A CN 113688840A
Authority
CN
China
Prior art keywords
image
processed
image processing
training
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010425704.9A
Other languages
English (en)
Inventor
王树朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010425704.9A priority Critical patent/CN113688840A/zh
Publication of CN113688840A publication Critical patent/CN113688840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理模型的生成方法、处理方法、存储介质及终端，所述生成方法通过将预设的训练图像集中训练图像输入预设网络模型，通过所述预设网络模型生成的生成图像和与所述训练图像对应的处理图像对模型参数进行修正，得到图像处理模型。所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。本发明的图像处理模型中的加权参数基于预设规则确定，在图像处理时基于预设规则确定的加权参数对图像特征进行融合，考虑了不同维度的图像特征在图像中的作用，提高了图像处理模型的图像处理性能。

Description

图像处理模型的生成方法、处理方法、存储介质及终端
技术领域
本发明涉及图像处理技术领域，具体涉及图像处理模型的生成方法、处理方法、存储介质及终端。
背景技术
深度学习在计算机视觉的诸多领域取得了前所未有的进展，不仅在高维任务上取得了极大成绩，如提升图像分类精度；在低维任务上也取得极大的性能提升，如图像超分、图像降噪、图像去模糊等。网络模型是构成上述重大突破的关键因素之一，现有的网络模型有各种各样的设计方案，如类VGG的堆叠模式、类ResNet的残差堆叠模式、类DenseNet的稠密连接模式、类SENet的注意力机制、类UNet的 Image2Image模式等等。
使用现有的网络模型进行图像处理时，将待处理图像输入网络模型进行图像特征提取后，是直接通过相加的方式对提取出的图像特征进行融合，而不同的图像特征在图像中的作用是不同的，现有的网络模型进行图像特征融合时，忽视了不同维度的图像特征在图像中的作用，使得现有的网络模型进行图像处理时性能不佳。
因此，现有技术还有待于改进和发展。
发明内容
针对现有技术的上述缺陷，本发明提供一种图像处理模型的生成方法、处理方法、存储介质及终端，旨在解决现有的网络模型进行图像特征融合时，忽视了不同维度的图像特征在图像中的作用，使得现有的网络模型进行图像处理时性能不佳的问题。
本发明解决技术问题所采用的技术方案如下：
一种图像处理模型的生成方法，其中，所述图像处理模型的生成方法具体包括：
将训练图像集中的训练图像输入预设网络模型，生成所述训练图像对应的生成图像；其中，所述训练图像集中包括训练图像和与所述训练图像对应的处理图像；
根据生成图像和所述处理图像对所述预设网络模型的模型参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件，以得到图像处理模型；其中，所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。
所述的图像处理模型的生成方法，其中，所述图像特征包括第一图像特征、第二图像特征和第三图像特征；所述第二图像特征由所述第一图像特征经过卷积操作提取特征得到；所述第三图像特征由所述第一图像特征经过下采样操作、卷积操作和上采样操作提取特征得到。
所述的图像处理模型的生成方法，其中，所述加权参数包括与所述第一图像特征相匹配的第一加权参数，与所述第二图像特征相匹配的第二加权参数，以及与所述第三图像特征相匹配的第三加权参数。
所述的图像处理模型的生成方法，其中，所述加权参数基于预设规则确定的步骤具体包括：
将所述第一加权参数设置为泰勒公式的二阶系数；将所述第二加权参数设置为泰勒公式的一阶系数；将所述第三加权参数设置为泰勒公式的零阶系数；
根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件。
所述的图像处理模型的生成方法，其中，所述根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件的步骤具体包括：
根据生成图像和所述处理图像得到损失值，并判断所述损失值是否小于预设第一阈值；
若否，则根据预设的参数学习率对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述损失值小于预设第一阈值。
一种图像处理方法，其中，应用任一项所述的图像处理模型的生成方法生成的图像处理模型，所述图像处理方法包括步骤：
获取待处理图像，并将所述待处理图像输入至所述图像处理模型；
通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像。
所述的图像处理方法，其中，所述通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像的步骤具体包括：
通过所述图像处理模型对所述待处理图像进行特征提取，获取所述待处理图像的图像特征；其中，所述图像特征包括第一图像特征、第二图像特征以及第三图像特征；
根据所述图像处理模型中的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像。
一种图像处理方法，其中，所述图像处理方法包括步骤：
将待处理图像输入至预设图像处理模型中进行特征提取，获取所述待处理图像的图像特征；
根据所述图像处理模型中预设的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像；其中所述加权参数为泰勒公式系数。
一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的图像处理模型的生成方法中的步骤，或者任意一项所述的图像处理方法中的步骤。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的图像处理模型的生成方法中的步骤，或者任意一项所述的图像处理方法中的步骤。
本发明的有益效果：本发明的图像处理模型中的加权参数基于预设规则进行确定，在图像处理时基于预设规则确定的加权参数对图像特征进行融合，进行特征融合时考虑了不同维度的图像特征在图像中的作用，提高了图像处理模型的图像处理性能。
附图说明
图1是本发明实施例一中提供的一种图像处理模型的生成方法的较佳实施例的流程图；
图2是本发明实施例二中提供的一种图像处理方法的较佳实施例的流程图；
图3是本发明实施例三中提供的一种图像处理方法的较佳实施例的流程图；
图4是本发明的终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的图像处理模型的生成方法及图像处理方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
实施例一
为了解决现有的网络模型进行图像处理时，直接通过相加的方式对提取出的图像特征进行融合，忽视了不同维度的图像特征在图像中的作用，使得现有的网络模型进行图像处理时性能不佳的问题，本发明提供了一种图像处理模型的生成方法。
请参照图1，图1是本发明提供的一种图像处理模型的生成方法较佳实施例的流程图。
在本发明的较佳实施例中，所述图像处理模型的生成方法有两个步骤：
步骤S100、将训练图像集中的训练图像输入预设网络模型，生成所述训练图像对应的生成图像；其中，所述训练图像集中包括训练图像和与所述训练图像对应的处理图像；
步骤S200、根据生成图像和所述处理图像对所述预设网络模型的模型参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件，以得到图像处理模型；其中，所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。
由于现有的网络模型进行图像处理时，直接通过相加的方式对提取出的图像特征进行融合，忽视了不同维度的图像特征在图像中的作用，使得现有的网络模型进行图像处理时性能不佳的问题。本实施例中预先构建用于图像处理的网络模型，并准备了用于对预设网络模型进行训练的训练图像集，所述训练图像集中包括训练图像和与所述训练图像对应的处理图像；在对预设网络模型进行训练时，首先将训练集中的训练图像输入预设网络模型中，生成所述训练图像对应的生成图像；然后基于生成图像和与训练图像集对应的处理图像对预设网络模型的模型参数进行修正，并继续执行根据训练图像集中训练图像，生成训练图像对应的生成图像的步骤，直至预设网络模型满足预设条件，得到训练后的网络模型即图像处理模型。所述模型参数可以包括加权参数、卷积核参数、尺寸参数、全连接参数等，其中，所述模型参数中的加权参数用于对图像处理模型提取出的各个不同维度的图像特征进行融合，所述加权参数基于预设规则确定。本发明的图像处理模型中的加权参数基于预设规则确定，在图像处理时基于预设规则确定的加权参数对不同维度的图像特征进行融合时，考虑了不同维度的图像特征在图像中的作用，提高了图像处理模型的图像处理性能。
具体实施时，将训练图像输入预设网络模型后，训练图像会经过下采样过程进行特征提取，下采样过程可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移、旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小；下采样后的特征还可以进一步经过上采样进行特征提取，上采样过程的最大作用是将抽象的特征再还原解码到原图的尺寸；训练图像及上采样或下采样提取出的特征也可以经过卷积操作或者复制操作提取出同等分辨率特征。本实施例中的预设网络模型在进行特征融合时，特征融合时的输入来源主要有三个：(1) 同分辨率靠近编码阶段的输入，即第一图像特征；(2)同分辨率邻接输入，即第二图像特征；(3)低分辨率输入(高维特征)，即第三图像特征。所述第二图像特征由所述第一图像特征经过卷积操作提取特征得到；所述第三图像特征由所述第一图像特征经过下采样操作、卷积操作和上采样操作提取特征得到，即第一图像特征、第二图像特征、第三图像特征的维度逐渐增大。
具体实施时，对于信号/图像而言，第三图像特征所占比例较高，第一图像特征所占比例较低，这与泰勒公式的系数相吻合。为了在图像融合中能够考虑不同维度的图像特征在图像中的作用，本实施例中在模型参数中设置了与不同维度的图像特征对应的加权参数，即与第一图像特征相匹配的第一加权参数，与第二图像特征相匹配的第二加权参数，以及与第三图像特征相匹配的第三加权参数。
在一具体实施方式中，步骤S200中，所述加权参数基于预设规则确定的步骤具体包括：
S210、将所述第一加权参数设置为泰勒公式的二阶系数；将所述第二加权参数设置为泰勒公式的一阶系数；将所述第三加权参数设置为泰勒公式的零阶系数；
S220、根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件。
具体实施时，发明人发现图像处理过程，例如图像降噪可以描述为y＝x+n，在图像降噪处理过程中一般会丢弃n保留x。而泰勒公式的展开式为：
Figure RE-GDA0002678042540000091
在采用泰勒公式进行数据分析时，往往会丢弃Rn(x)而保留主要部分，这与图像降噪过程中丢弃n而保留x极为相似。鉴于此，发明人将泰勒公式应用于网络模型中。
具体实施时，本实施例中构建网络模型后，进一步采用泰勒公式系数对网络模型中的加权参数进行初始化。前述步骤中提到本实施例中的网络模型进行图像特征融合时，输入的图像特征包括第三图像特征、第二图像特征及第一图像特征，即可以采用二阶泰勒公式展开式：
Figure RE-GDA0002678042540000092
的系数对加权参数进行初始化。对于图像而言，第三图像特征所占比例较高，第一图像特征所占比例较低，因而可以将第一图像特征对应泰勒公式中的二阶信息，第二图像特征对应泰勒公式中的一阶信息，第三图像特征对应泰勒公式中的零阶信息。即将第一加权参数设置为泰勒公式的二阶系数；将第二加权参数设置为泰勒公式的一阶系数；将第三加权参数设置为泰勒公式的零阶系数。
在一具体实施方式中，所述步骤S220具体包括：
步骤S221、根据生成图像和所述处理图像得到损失值，并判断所述损失值是否小于预设第一阈值；
步骤S222、若否，则根据预设的参数学习率对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述损失值小于预设第一阈值。
具体实施时，本实施例中预先准备了与训练图像对应的处理图像，所述训练图像为待训练具有缺陷的图像，所述处理图像是与所述训练图像对应的没有缺陷的图像。例如，当网络模型用于去噪时，所述训练图像为具有噪声的图像，所述处理图像为与所述训练图像对应的没有噪声的图像。将训练图像输入预设网络模型中，生成训练图像对应的生成图像后，根据生成图像和处理图像得到损失值。一般损失值越小，则表明网络模型的性能越优，获取损失值后，进一步判断损失值是否小于预设第一阈值；若是，则表明预设网络模型满足预设条件；若否，则说明预设网络模型不满足预设条件，则根据预设的参数学习率对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，则继续执行根据训练图像集中训练图像，生成训练图像对应的生成图像的步骤，直至所述损失值小于预设第一阈值，将损失值小于预设第一阈值时的网络模型对应的第一加权参数、第二加权参数和第三加权参数作为第一加权参数、第二加权参数和第三加权参数的修正值。
具体实施时，网络模型在搭建过程中会有相关可学习参数，包括卷积核参数、尺寸参数、全连接参数等，在进行模型训练时，通常需要对这些可学习参数设置相应的参数学习率。在本实施例预设网络模型训练过程中，为了确保所得加权参数更符合泰勒公式系数，突出不同维度的图像特征在图像中的作用，进而使得图像处理模型性能更优。将与加权参数相匹配的第一参数学习率设置为与模型参数中其它参数相匹配的第二参数学习率的十分之一。
实施例二
基于上述图像处理模型的生成方法，本实施例中还提供了一种图像处理方法，如图2所示，所述图像处理方法包括：
M100、获取待处理图像，并将所述待处理图像输入至所述图像处理模型；
M200、通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像。
具体实施时，基于上述步骤获得图像处理模型后，可以将待处理图像输入到所述图像处理模型中，通过所述图像处理模型对待处理图像进行处理，以得到所述待处理图像对应的处理后的图像。对待处理图像进行处理包括对待处理图像进行图像超声、图像降噪、图像去模糊等。本发明中的图像处理模型中的加权参数由于是基于泰勒公式系数确定，进行特征融合时可以考虑不同图像特征的作用，使得处理后的图像效果更好。
在一具体实施方式中，所述步骤M200具体包括：
M210、通过所述图像处理模型对所述待处理图像进行特征提取，获取所述待处理图像的图像特征；
M220、根据所述图像处理模型中的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像。
具体实施时，前述步骤中提到预设网络模型中提取出的图像特征包括第一图像特征、第二图像特征以及第三图像特征。因而，将待处理图像输入图像处理模型进行特征提取时，也可以得到第一图像特征、第二图像特征以及第三图像特征，然后基于图像处理模型中的加权参数对待处理图像的图像特征进行加权融合，得到待处理图像对应的处理后的图像。例如，假设第一图像特征用FeatA表示，第二图像特征用FeatB表示，第三图像特征用FeatC表示，第一加权参数用weightA 表示，第二加权参数用weightB表示，第三加权参数用weightC表示，将图像特征与相应的加权参数进行加权融合输出的结果可以表示为：Output＝FeatA*weightA+FeatB*weightB+FeatC*weightC。
实施例三
在本发明第三实施例中提供了一种图像处理方法，如图3所示，所述图像处理方法包括：
R100、将待处理图像输入至预设图像处理模型中进行特征提取，获取所述待处理图像的图像特征；
R200、根据所述图像处理模型中预设的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像；其中所述加权参数为泰勒公式系数。
具体地，本实施例中进行图像处理使用的图像处理模型与实施例二中使用的图像处理模型的区别是，本实施例中的图像处理模型中的加权参数直接采用泰勒公式系数，即加权参数为常数，网络模型的训练过程不会对加权参数进行优化。在本实施例中，将待处理图像输入预设图像处理模型中提取图像特征后，将图像第一图像特征、第二图像特征和第三图像特征分别与二阶泰勒系数、一阶泰勒系数和零阶泰勒系数进行加权融合，得到待处理图像对应的处理后的图像。
实施例四
具体地，本发明还提供了一种不同于前述实施例的图像处理方法。在本实施例中，获取到待处理图像的图像特征后，将第一图像特征、第二图像特征及第三图像特征通过concat层进行组合，得到待处理图像的组合特征；然后将获得的待处理图像的组合特征依次通过全局均值池化层、全连接层以及softmax分类器，获得所述各个图像特征相匹配的加权参数；最后将各个图像特征与其相匹配的加权参数进行加权融合，得到处理后的图像。本实施例中得到的加权参数虽然不符合泰勒公式系数规律，但通过实验发现这种网络结构仍然具有较好性能。
具体地，本实施例中对第一图像特征对应的第一加权参数、第二图像特征对应的第二加权参数以及第三图像特征对应的第三加权参数通过约束条件进行限定，具体地，各图像特征相匹配的加权参数之和需等于1。假设第一加权参数用weightA表示，第二加权参数用 weightB表示，第三加权参数用weightC表示，则weightA、weightB 与weightC之间需满足约束条件：weightA+weightB+weightC＝1。
具体实施时，发明人在Kodak、SIDD、DIV2K等合成降噪数据上验证了本发明的图像降噪方法与普通的Concat降噪方法的降噪性能对比，如表1所示。由表1可以看出，本发明的图像降噪方法相对于现有的Concat降噪方法性能有明显提升。
表1
Concat模式 本发明模式
SIDD 40.50/0.9652 40.55/0.9643
DIV2K 36.14/0.9136 36.39/0.9134
Kodak 30.54/0.8584 31.52/0.8615
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏和温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理模型的生成方法及一种图像处理方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在装置内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
将训练图像集中的训练图像，生成所述训练图像对应的生成图像；其中，所训练图像集中包括训练图像和与所述训练图像对应的处理图像；
根据生成图像和所述处理图像对所述预设网络模型的模型参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件，以得到图像处理模型；其中，所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述第一加权参数设置为泰勒公式的二阶系数；将所述第二加权参数设置为泰勒公式的一阶系数；将所述第三加权参数设置为泰勒公式的零阶系数；根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据生成图像和所述处理图像得到损失值，并判断所述损失值是否小于预设第一阈值；若否，则根据预设的参数学习率对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述损失值小于预设第一阈值。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将与加权参数相匹配的第一参数学习率设置为与模型参数中其它参数相匹配的第二参数学习率的十分之一。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：获取待处理图像，并将所述待处理图像输入至所述图像处理模型；通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：通过所述图像处理模型对所述待处理图像进行特征提取，获取所述待处理图像的图像特征；其中，所述图像特征包括第一图像特征、第二图像特征以及第三图像特征；根据所述图像处理模型中的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将待处理图像输入至预设图像处理模型中进行特征提取，获取所述待处理图像的图像特征；根据所述预设图像处理模型中预设的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像；其中所述加权参数为泰勒公式系数。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM (RDRAM)等。
综上所述，本发明公开了一种图像处理模型的生成方法、处理方法、存储介质及终端，所述生成方法通过将预设的训练图像集中训练图像输入预设网络模型，通过所述预设网络模型生成的生成图像和与所述训练图像对应的处理图像对模型参数进行修正，得到图像处理模型。所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。本发明的图像处理模型中的加权参数基于预设规则确定，在图像处理时基于预设规则确定的加权参数对图像特征进行融合，考虑了不同维度的图像特征在图像中的作用，提高了图像处理模型的图像处理性能。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像处理模型的生成方法，其特征在于，所述图像处理模型的生成方法具体包括：
将训练图像集中的训练图像输入预设网络模型，生成所述训练图像对应的生成图像；其中，所述训练图像集中包括训练图像和与所述训练图像对应的处理图像；
根据生成图像和所述处理图像对所述预设网络模型的模型参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件，以得到图像处理模型；其中，所述模型参数包括用于对提取的各个不同维度的图像特征进行融合的加权参数，所述加权参数基于预设规则确定。
2.根据权利要求1所述的图像处理模型的生成方法，其特征在于，所述图像特征包括第一图像特征、第二图像特征和第三图像特征；所述第二图像特征由所述第一图像特征经过卷积操作提取特征得到；所述第三图像特征由所述第一图像特征经过下采样操作、卷积操作和上采样操作提取特征得到。
3.根据权利要求2所述的图像处理模型的生成方法，其特征在于，所述加权参数包括与所述第一图像特征相匹配的第一加权参数，与所述第二图像特征相匹配的第二加权参数，以及与所述第三图像特征相匹配的第三加权参数。
4.根据权利要求3所述的图像处理模型的生成方法，其特征在于，所述加权参数基于预设规则确定的步骤具体包括：
将所述第一加权参数设置为泰勒公式的二阶系数；将所述第二加权参数设置为泰勒公式的一阶系数；将所述第三加权参数设置为泰勒公式的零阶系数；
根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件。
5.根据权利要求4所述的图像处理模型的生成方法，其特征在于，所述根据所述生成图像和所述处理图像对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述预设网络模型满足预设条件的步骤具体包括：
根据生成图像和所述处理图像得到损失值，并判断所述损失值是否小于预设第一阈值；
若否，则根据预设的参数学习率对所述第一加权参数、所述第二加权参数和所述第三加权参数进行修正，并继续执行根据所述训练图像集中训练图像，生成所述训练图像对应的生成图像的步骤，直至所述损失值小于预设第一阈值。
6.一种图像处理方法，其特征在于，应用如权利要求1-5任一项所述的图像处理模型的生成方法生成的图像处理模型，所述图像处理方法包括步骤：
获取待处理图像，并将所述待处理图像输入至所述图像处理模型；
通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述通过所述图像处理模型对所述待处理图像进行处理，以得到所述待处理图像对应的处理后的图像的步骤具体包括：
通过所述图像处理模型对所述待处理图像进行特征提取，获取所述待处理图像的图像特征；其中，所述图像特征包括第一图像特征、第二图像特征以及第三图像特征；
根据所述图像处理模型中的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像。
8.一种图像处理方法，其特征在于，所述图像处理方法包括步骤：
将待处理图像输入至预设图像处理模型中进行特征提取，获取所述待处理图像的图像特征；
根据所述图像处理模型中预设的加权参数对所述待处理图像的图像特征进行加权融合，以得到所述待处理图像对应的处理后的图像；其中所述加权参数为泰勒公式系数。
9.一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-5任一项所述的图像处理模型的生成方法中的步骤，或者6-8任意一项所述的图像处理方法中的步骤。
10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-5任一项所述的图像处理模型的生成方法中的步骤，或者6-8任意一项所述的图像处理方法中的步骤。
CN202010425704.9A 2020-05-19 2020-05-19 图像处理模型的生成方法、处理方法、存储介质及终端 Pending CN113688840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010425704.9A CN113688840A (zh) 2020-05-19 2020-05-19 图像处理模型的生成方法、处理方法、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010425704.9A CN113688840A (zh) 2020-05-19 2020-05-19 图像处理模型的生成方法、处理方法、存储介质及终端

Publications (1)

Publication Number Publication Date
CN113688840A true CN113688840A (zh) 2021-11-23

Family

ID=78576051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010425704.9A Pending CN113688840A (zh) 2020-05-19 2020-05-19 图像处理模型的生成方法、处理方法、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113688840A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
WO2019233341A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US20200035259A1 (en) * 2018-07-27 2020-01-30 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved audio feature discovery using a neural network
CN110781905A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 一种图像检测方法及装置
US20200057937A1 (en) * 2018-08-17 2020-02-20 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
WO2019233341A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
US20200035259A1 (en) * 2018-07-27 2020-01-30 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved audio feature discovery using a neural network
US20200057937A1 (en) * 2018-08-17 2020-02-20 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
CN110781905A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 一种图像检测方法及装置

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN111666994A (zh) 样本图像数据增强方法、装置、电子设备及存储介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
EP3220315B1 (en) System, method, and program for predicting information
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
CN113421276A (zh) 一种图像处理方法、装置及存储介质
CN113674191B (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN112581397B (zh) 一种基于图像先验信息的退化图像修复方法、系统、介质和设备
CN110598717A (zh) 图像特征的提取方法、装置及电子设备
CN111626379B (zh) 肺炎x光图像检测方法
CN115564975A (zh) 图像的匹配方法、装置、终端设备及存储介质
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
CN111539969B (zh) 图像边缘检测方法、装置、计算机设备及存储介质
CN112560864A (zh) 图像语义分割方法、装置及图像语义分割模型的训练方法
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
CN113688840A (zh) 图像处理模型的生成方法、处理方法、存储介质及终端
US20220301128A1 (en) Method and device for deep guided filter processing
CN116091792A (zh) 视觉注意力预测模型的构建方法、系统、终端及介质
CN115631176A (zh) 艺术设计教学系统及其方法
Zhao et al. Single image super-resolution via blind blurring estimation and anchored space mapping
CN111815510B (zh) 基于改进的卷积神经网络模型的图像处理方法及相关设备
CN115797643A (zh) 一种图像去噪方法、装置、系统、边缘设备及存储介质
CN111914779A (zh) 表格文本检测方法、装置、计算机设备和存储介质
CN113658230B (zh) 一种光流估计方法、终端以及存储介质
CN116659520B (zh) 基于仿生偏振视觉增强的匹配定位方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination