CN112561818B - 一种图像增强方法、装置、电子设备及存储介质 - Google Patents

一种图像增强方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112561818B
CN112561818B CN202011474501.5A CN202011474501A CN112561818B CN 112561818 B CN112561818 B CN 112561818B CN 202011474501 A CN202011474501 A CN 202011474501A CN 112561818 B CN112561818 B CN 112561818B
Authority
CN
China
Prior art keywords
image
sample
loss value
preset
transformation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011474501.5A
Other languages
English (en)
Other versions
CN112561818A (zh
Inventor
朱才志
陶乐乐
周晓
于永军
向声宁
孙耀晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelingda Information Technology Shenzhen Co ltd filed Critical Intelingda Information Technology Shenzhen Co ltd
Priority to CN202011474501.5A priority Critical patent/CN112561818B/zh
Publication of CN112561818A publication Critical patent/CN112561818A/zh
Application granted granted Critical
Publication of CN112561818B publication Critical patent/CN112561818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像增强方法、装置、电子设备及存储介质。方案如下：获取第一图像；利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。通过本发明实施例提供的技术方案，相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。

Description

一种图像增强方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像增强方法、装置、电子设备及存储介质。
背景技术
在对图像识别、图像分析等过程中，由于图像采集环境的复杂性影响，例如强光、逆光或阴阳光等恶劣光照环境的影响，可能导致采集到的图像存在较多的问题，如，图像对比度较低或图像噪声较多等问题。因此，为了提高图像识别结果或图像分析结果的准确性，不可避免的需要对采集到的图像进行图像增强处理。
在众多的图像增强方法中，基于深度学习算法的图像增强方法在图像增强质量上明显优于传统的图像增强方法，如伽玛变换等。具体的，通过人为获取到的多个样本图像对，对预设深度学习模型进行有监督的学习，得到训练好的深度学习模型，从而利用该训练好的深度学习模型对待增强图像进行图像增强处理。其中，每一样本图像对包括人为采集得到的样本图像，以及人为对该样本图像进行图像增强处理得到的增强图像。
在上述基于深度学习算法的图像增强方法中，由于预设深度模型采用有监督的训练方式训练得到，这使得用于训练预设深度学习模型的样本图像对必须包括人为对每一样本图像进行图像增强处理得到的增强图像，这导致需要耗费较长的时间获取上述样本图像对中的增强图像，影响了模型训练的效率。
发明内容
本发明实施例的目的在于提供一种图像增强方法、装置、电子设备及存储介质，以在保证图像增强质量的前提下，提高模型训练效率。具体技术方案如下：
本发明实施例提供了一种图像增强方法，所述方法包括：
获取第一图像；
利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像；其中，所述高阶变换模型是基于多个样本图像进行无监督训练得到。
可选的，所述利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像的步骤，包括：
利用以下公式，对所述第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为所述第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为所述第一图像中各像素点的像素值，N为高阶变换的最高阶数。
可选的，利用以下方式训练得到所述高阶变换模型：
获取所述多个样本图像；
将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像；
根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值；
若所述损失值大于预设损失值阈值，则调整所述预设高阶变换模型的参数，并返回执行所述将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤；
若所述损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
可选的，所述根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值的步骤，包括：
针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值，并根据每一样本增强图像的第一图像损失值，计算所述预设高阶变换模型的第一损失值；
针对每一样本增强图像，根据该样本增强图像在红绿蓝RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值，并根据每一样本增强图像的第二图像损失值，计算所述预设高阶变换模型的第二损失值；
针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值，并根据每一样本增强图像的第三图像损失值，计算所述预设高阶变换模型的第三损失值；
针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值，计算所述预设高阶变换模型的第四损失值；
其中，所述预设高阶变换模型的损失值包括所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值中的一个或多个。
可选的，所述针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第一图像损失值：
其中，Loss1为该样本增强图像的第一图像损失值，C为该样本增强图像中包括的像素点的数量，i为第i个像素点，Di为该样本增强图像中第i个像素点的灰度值，E为所述预设常数；
所述针对每一样本增强图像，根据该样本增强图像在RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第二图像损失值：
Loss2＝|Sr-Sg|+|Sb-Sg|+|Sr-Sb|
其中，Loss2为该样本增强图像的第二图像损失值，Sr为红R颜色通道上各像素点的像素值均值，Sg为绿G颜色通道上各像素点的像素值均值，Sb为蓝B颜色通道上各像素点的像素值均值，||为绝对值操作；
所述针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值的步骤，包括：
针对每一样本图像对应的样本增强图像，利用以下公式计算得到该样本图像对应的样本增强图像的第三图像损失值：
其中，Loss3为该样本图像对应的样本增强图像的第三图像损失值，F为该样本图像对应的样本增强图像中包括的预设区域的数量，f为第f个预设区域，h为与第f个预设区域相邻的第h个相邻预设区域，Pf为该样本图像对应的样本增强图像中第f个预设区域中所有像素点的平均灰度值，Ph为该样本图像对应的样本增强图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值，Qf为该样本图像中第f个预设区域中所有像素点的平均灰度值，Qh为该样本图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值；
所述针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第四图像损失值：
其中，Loss4为该样本增强图像的第四图像损失值，N为高阶变换的最高阶数，n为第n阶变换，L表示颜色通道l，L∈{r,g,b}表示颜色通道l属于RGB颜色通道，表示水平方向上的梯度，/>为颜色通道l的图像增强系数，/>为颜色通道l的图像增强系数在水平方向上的梯度，/>表示竖直方向上的梯度，/>为颜色通道l的图像增强系数在竖直方向上的梯度。
本发明实施例还提供了一种图像增强装置，所述装置包括：
第一获取模块，用于获取第一图像；
第一处理模块，用于利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像；其中，所述高阶变换模型是基于多个样本图像进行无监督训练得到。
可选的，所述所述第一处理模块，具体用于利用以下公式，对所述第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为所述第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为所述第一图像中各像素点的像素值，N为高阶变换的最高阶数。
可选的，所述装置还包括：
第二获取模块，用于获取所述多个样本图像；
第二处理模块，用于将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像；
计算模块，用于根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值；
调整模块，用于若所述损失值大于预设损失值阈值，则调整所述预设高阶变换模型的参数，并调用所述第二处理模块返回执行所述将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤；
确定模块，用于若所述损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像增强方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像增强方法步骤。
本发明实施例还提供了一种包含指令的计算机程序，当其在计算机上运行时，使得计算机执行上述任一所述的图像增强方法。
本发明实施例有益效果：
本发明实施例提供的图像增强方法、装置、电子设备及存储介质，可以利用预先训练好的高阶变换模型，对获取到的第一图像进行图像增强处理，得到第二图像，也就是对第一图像进行图像增强处理后的图像。相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的图像增强方法的一种流程示意图；
图2为本发明实施例提供的高阶变换模型的一种结构示意图；
图3为本发明实施例提供的图像识别方法的一种流程示意图；
图4为本发明实施例提供的模型训练方法的一种流程示意图；
图5为本发明实施例提供的预设高阶变换模型的损失值计算方法的一种流程示意图；
图6为本发明实施例提供的预设区域的一种示意图；
图7为本发明实施例提供的图像增强装置的一种结构示意图；
图8为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决相关技术中需要耗费较长的时间获取上述样本图像对中的增强图像，影响了模型训练的效率的问题，本发明实施例提供了一种图像增强方法。该方法可以应用于任一电子设备，获取第一图像；利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。
通过本发明实施例提供的方法，利用预先训练好的高阶变换模型，对获取到的第一图像进行图像增强处理，得到第二图像，也就是对第一图像进行图像增强处理后的图像。相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。
下面通过具体的实施例，对本发明实施例提供进行说明。为便于描述，以电子设备为执行主体进行说明，并不起任何限定作用。
如图1所示，图1为本发明实施例提供的图像增强方法的一种流程示意图，该方法包括以下步骤。
步骤S101，获取第一图像。
一个可选的实施例中，上述第一图像可以为采集得到的任一图像。
另一个可选的实施例中，上述第一图像可以为对采集到的图像进行筛选得到的待增强图像。例如，在上述恶劣光照环境中采集得到的图像。
步骤S102，利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。
在本步骤中，电子设备可以将上述获取到的第一图像输入至预先训练好的高阶变换模型，得到图像增强后的第一图像，即第二图像。
在本发明实施例中，上述高阶变换模型至少包括输入层、隐藏层和输出层。其中，隐藏层可以包括多个隐藏单元。上述第一图像通过输入层输入至训练好的高阶变换模型，由该高阶变换模型的隐藏层中的每一隐藏单元依次对输入的图像进行图像增强处理，最终从输出层输出处理结果，即上述第二图像。
一个可选的实施例中，上述步骤S102，利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像，具体可以表示为：
电子设备利用以下公式，对第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为第一图像中各像素点的像素值，N为高阶变换的最高阶数。
为便于理解，下面结合图2，以第一图像为图像A为例对上述步骤S102进行说明。图2为本发明实施例提供的高阶变换模型的一种结构示意图。
图像A通过图2所示的输入层输入至高阶变换模型。输入层将输入的图像传输至图2所示的高阶变换模型的隐藏层进行处理。
为便于描述，以输入层的输出为图像A中各像素点的像素值为A(x)为例进行说明。输入层的输出经过图2所示的卷积层1和激活层1处理后可以得到第一个图像增强系数，记为a1。输入层的输出经过图2所示的平方层处理后，其输出结果可以表示为A2(x)。激活层1的输出结果a1与平方层的输出结果A2(x)，在相乘层1进行乘操作，其输出结果可以表示为a1A2(x)。输入层输出的A(x)与相乘层1的输出结果a1A2(x)在相加层1处进行加操作，其输出结果可以表示为A(x)+a1A2(x)。
相加层1将其输出结果传输至卷积层2和相乘层21处，相加层1的输出结果经卷积层2和激活层2处理得到第二个图像增强系数，记为a2。激活层2的输出结果a2与相加层1输出的A(x)+a1A2(x)在相乘层21进行乘操作，其输出结果为a2*[A(x)+a1A2(x)]＝a2A(x)+a1a2A2(x)。输入层输入的A(x)与相乘层21输出的a2A(x)+a1a2A2(x)在相乘层22处进行乘操作，其输出结果可以表示为A(x)*[a2A(x)+a1a2A2(x)]＝a2A2(x)+a1a2A3(x)。输入层输入的A(x)与相乘层22的输出结果a2A2(x)+a1a2A3(x)在相加层2进行加操作，其输出结果可以表示为A(x)+a2A2(x)+a1a2A3(x)。
以此类推，相加层2的输出结果经卷积层3和激活层3处理后得到第三个图像增强系数，记为a3。激活层3的输出结果a3与相加层2的输出结果A(x)+a2A2(x)+a1a2A3(x)在相乘层31处进行乘操作，其输出结果为a3*[A(x)+a2A2(x)+a1a2A3(x)]＝a3A(x)+a2a3A2(x)+a1a2a3A3(x)。输入层输入的A(x)与相乘层31的输出结果a3A(x)+a2a3A2(x)+a1a2a3A3(x)在相乘层32处进行乘操作，其输出结果表示为A(x)*[a3A(x)+a2a3A2(x)+a1a2a3A3(x)]＝a3A2(x)+a2a3A3(x)+a1a2a3A4(x)。输入层输入的A(x)与相乘层32的输出结果a3A2(x)+a2a3A3(x)+a1a2a3A4(x)在相加层3进行加操作，其输出结果可以表示为A(x)+a3A2(x)+a2a3A3(x)+a1a2a3A4(x)。
输出层接收相加层3的输出结果并输出，即输出层的输出结果可以表示为A(x)+a3A2(x)+a2a3A3(x)+a1a2a3A4(x)。此时，上述B(x)可以表示为A(x)+a3A2(x)+a2a3A3(x)+a1a2a3A4(x)。
在图2所示的高阶变换模型中，上述隐藏层包括3个隐藏单元，即卷积层1、激活层1、平方层、相乘层1和相加层1所构成的隐藏单元1，卷积层2、激活层2、相乘层21、相乘层22和相加层2所构成的隐藏单元2，以及卷积层3、激活层3、相乘层31、相乘层32和相加层3所构成的隐藏单元3。
在图2所示的实施例中，为便于描述仅以3个隐藏单元为例进行说明。在具体应用过程中，上述隐藏单元的数量可以根据用户需求进行增加或减少。在增加隐藏单元的数量时，可参照上述隐藏单元2或隐藏单元3在输出层前增加隐藏单元，在此不作具体说明。
在上述图2中，为便于描述每一隐藏单元中仅包括一个卷积层和一个激活层。在具体应用过程中，可以根据用户需求增加每一隐藏单元中的卷积层数和激活层数。以上述隐藏单元1为例进行说明，在隐藏单元1的激活层1后可以增加一个卷积层和激活层，并将新增的激活层的输出结果出传输至相乘层1。
在本发明实施例中，上述高阶变换模型除了采用图2所示的模型结构以外，还可以采用其他模型结构。例如，其他模型结构可以在图2所示的模型结构的基础上，将图2中的隐藏单元1替换为如上述隐藏单元2或隐藏单元3的隐藏单元。也就是删除隐藏单元1中的平方层，在相乘层1与相加层1之间增加一相乘层，该相乘层接收输入层和相乘层1对应的输出进行乘操作，并将输出结果传输至相加层1。在此，对上述高阶变换模型的结构不作具体限定。
在本发明实施例中，当上述步骤S101获取到多个第一图像时，电子设备在利用上述预先训练好的高阶变换模型对每一第一图像进行图像增强处理时，由于每一第一图像的颜色、亮度、对比度等参数均不相同，上述每一隐藏单元的激活层所输出的图像增强系数也不相同。因此，在对每一第一图像进行图像增强处理时，所采用的图像增强系数是不同的，这有效提高了对不同图像的图像增强效果，提高了上述图像增强方法的灵活性。
通过图1所示的方法，利用预先训练好的高阶变换模型，对获取到的第一图像进行图像增强处理，得到第二图像，也就是对第一图像进行图像增强处理后的图像。相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。
基于同一种发明构思，根据图1所示的图像增强方法，本发明实施例还提供了一种图像识别方法。如图3所示，图3为本发明实施例提供的图像识别方法的一种流程示意图。该方法包括以下步骤。
步骤S301，获取第一图像。
步骤S302，利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。
上述步骤S301-步骤S302与上述步骤S101-步骤S102相同。
步骤S303，识别第二图像所包括的图像信息。
例如，上述第一图像为人脸图像时，上述图像信息可以为该人脸图像的人脸特征。
在本发明实施例中，通过上述图像增强方法对第一图像进行增强后，这将有效提高图像识别的准确性。
在本发明实施例中，在对上述第一图像进行图像增强处理得到第二图像后，除了进行上述图像识别以外，电子设备还可以基于上述图像增强处理后的图像进行图像分析，例如，上述第一图像为监控摄像机在傍晚拍摄到的视频数据中的任一视频帧。电子设备可以利用上述图像增强方法对该视频数据中的每一视频帧进行图像增强处理，从而对处理后的视频数据中出现的人员的行为进行分析。
基于同一种发明构思，根据图1所示的图像增强方法，本发明实施例还提供了一种模型训练方法。如图4所示，图4为本发明实施例提供的模型训练方法的一种流程示意图。该方法包括以下步骤。
步骤S401，获取多个样本图像。
上述样本图像可以为采集到的任一图像。
一个可选的实施例中，上述多个样本图像为预设高阶变换模型的训练数据。当上述获取到的样本图像的数量较多时，电子设备可以将上述多个样本图像划分为多个训练集，利用每一训练集分别对预设高阶变换模型进行训练。具体训练过程可参见下文描述，在此不作具体说明。
在本发明实施例中，在获取上述多个样本图像作为训练数据的同时，为了进一步提高训练得到的高阶变换模型的准确性，电子设备还可以获取多个样本图像作为测试数据，该测试数据用于对训练好的高阶变换模型进行测试。在此，对训练好的高阶变换模型的测试过程不作具体说明。
步骤S402，将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像。
在本步骤中，针对获取到的每一样本图像，电子设备可以将该样本图像输入至预设高阶变换模型，得到该样本图像增强后的图像，也就是该样本图像对应的样本增强图像。
一个可选的实施例中，当电子设备将上述多个样本图像划分为多个训练集时，电子设备可以从多个训练集中选取一个训练集，记为训练集A，利用训练集A中包括的所有的样本图像对预设高阶变换模型进行一轮训练，并在下一轮训练时重新从多个训练集中选取一个训练集，记为训练集B，并利用训练集B中包括的所有的样本图像对预设高阶变换模型进行新一轮训练，以此类推，直至完成对预设高阶模型的训练。
一个可选的实施例中，上述每一轮训练在从多个训练集中选取一个训练集时，电子设备可以随机选取训练集，也可以按照预设顺序选取训练集，该预设顺序可以为用户设定的顺序。在此，对上述训练集的选取不作具体限定。
关于预设高阶变换模型对上述样本图像的图像增强过程参照上述第一图像的图像增强过程，在此不作具体说明。
步骤S403，根据每一样本图像以及每一样本图像对应的样本增强图像，计算预设高阶变换模型的损失值。
关于预设高阶变换模型的损失值具体可参见下文描述，在此不作具体说明。
步骤S404，若损失值大于预设损失值阈值，则调整预设高阶变换模型的参数，并返回执行上述步骤S402。
在本步骤中，当上述预设高阶变换模型的损失值大于预设损失值阈值时，电子设备可以确定该预设高阶变换模型未收敛。此时，电子设备可以调整预设高阶变换模型的参数，并返回执行上述步骤S402，即返回执行上述将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤。
一个可选的实施例中，上述在对预设高阶变换模型的参数进行调整后，完成对该预设高阶变换模型的一轮训练。电子设备在返回执行上述步骤S402时，也就是重新进行新的一轮训练，此时，若电子设备将上述多个样本图像划分为多个训练集，则参与本轮训练的多个样本图像可以为电子设备从多个训练集中选取的一个训练集所包括的样本图像，如上述训练集B中包括的样本图像。
在本发明实施例中，电子设备在调整上述预设高阶变换模型的参数时，可以采用梯度下降法或反向调节法等。另外，上述预设高阶变换模型的参数包括但不限于权重和偏置量。
步骤S405，若损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
在本步骤中，当上述预设高阶变换模型的损失值不大于预设损失值阈值时，电子设备可以确定预设高阶变换模型收敛，也就是电子设备确定完成对上述高阶变换模型的训练过程。此时，电子设备可以将当前的预设高阶变换模型确定为训练好的高阶变换模型，即上述步骤S102中预先训练好的高阶变换模型。
一个可选的实施例中，上述步骤S403中的预设高阶变换模型的损失值可以包括第一损失值、第二损失值、第三损失值和第四损失值中的一个或多个。
为便于理解，以上述预设高阶变换模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值为例进行说明。如图5所示，图5为本发明实施例提供的预设高阶变换模型的损失值计算方法的一种流程示意图。具体上述步骤S403细化为步骤S501-步骤S504。
步骤S501，针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值，并根据每一样本增强图像的第一图像损失值，计算预设高阶变换模型的第一损失值。
一个可选的实施例中，上述步骤S501中的针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值，具体可以表示为：
针对每一样本增强图像，电子设备可以计算该样本增强图像中每一像素点的灰度值与预设常数的差值，并将该样本增强图像中每一像素点的灰度值与预设常数的差值所对应的平均值，确定为该样本增强图像的第一图像损失值。
在本发明实施例中，当上述样本图像为RGB图像时，该样本图像对应的样本增强图像也为RGB图像。此时，上述样本增强图像中每一像素点的灰度值可以根据每一像素点的像素值，即RGB值转换得到。关于RGB值与灰度值间的转换在此不作具体说明。
一个可选的实施例中，针对每一样本增强图像，电子设备可以利用以下公式计算得到该样本增强图像的第一图像损失值：
其中，Loss1为该样本增强图像的第一图像损失值，C为该样本增强图像中包括的像素点的数量，i为第i个像素点，Di为该样本增强图像中第i个像素点的灰度值，E为预设常数。
一个可选的实施例中，当本轮训练所采用的样本图像为上述步骤S401所获取到的所有样本图像时，上述步骤S501中的根据每一样本增强图像的第一图像损失值，计算预设高阶变换模型的第一损失值，具体可以表示为：
电子设备可以计算上述所有样本图像对应的样本增强图像的第一图像损失值的和值，作为该预设高阶变换模型的第一损失值。
另一个可选的实施例中，当本轮训练所采用的样本图像为上述划分得到的多个训练集中某一训练集包括的所有样本图像时，上述步骤S501中的根据每一样本增强图像的第一图像损失值，计算预设高阶变换模型的第一损失值，具体可以表示为：
电子设备可以计算该用于本轮训练的训练集所包括的所有样本图像对应的样本增强图像的第一图像损失值的和值，作为预设高阶变换模型的第一损失值。
在本发明实施例中，当样本增强图像中每一像素点的灰度值的均值等于某个常数，即上述预设常数时，该样本增强图像的图像质量较好。也就是样本增强图像的颜色、亮度或对比度等较好。因此，上述在计算第一图像损失值时，分别计算样本增强图像中每一像素点的灰度值与预设常数间的差值。当该差值越小时，计算得到的第一图像损失值越小，该样本增强图像的图像质量越高。当每一样本图像对应的样本增强图像均具备较好的图像质量时，也就是上述根据每一样本增强图像的第一图像损失值计算得到的预设高阶变换模型的第一损失值越小时，预设高阶变换模型对样本图像的图像增强效果越好。因此，上述预设高阶变换模型的第一损失值可以很好的表征预设高阶变换模型的训练效果。因此，基于预设高阶变换模型的第一损失值，确定预设高阶变换模型是否收敛，这有效提高了训练得到的高阶变换模型的准确性。
步骤S502，针对每一样本增强图像，根据该样本增强图像在RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值，并根据每一样本增强图像的第二图像损失值，计算预设高阶变换模型的第二损失值。
一个可选的实施例中，上述步骤S502中的针对每一样本增强图像，根据该样本增强图像在RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值，具体可以表示为：
针对每一样本增强图像，电子设备可以分别计算该样本增强图像在RGB颜色通道，即R颜色通道、G颜色通道和B颜色通道上对应的像素点的像素值均值，并将每两个颜色通道上间的像素值均值的绝对差所对应的和值，确定为该样本增强图像的第二图像损失值。
一个可选的实施例中，针对每一样本增强图像，电子设备可以利用以下公式计算得到该样本增强图像的第二图像损失值：
Loss2＝|Sr-Sg|+|Sb-Sg|+|Sr-Sb|
其中，Loss2为该样本增强图像的第二图像损失值，Sr为R颜色通道上各像素点的像素值均值，Sg为G颜色通道上各像素点的像素值均值，Sb为B颜色通道上各像素点的像素值均值，||为绝对值操作。
关于上述步骤S502中的根据每一样本增强图像的第二图像损失值，计算预设高阶变换模型的第二损失值，具体可参照上述步骤S501中预设高阶变换模型的第一损失值的计算方式，在此不作具体说明。
在本发明实施例中，当样本增强图像在RGB颜色通道上对应的像素值均值相等时，该样本增强图像的图像质量较好。因此，上述在计算第二图像损失值时，分别计算每两个颜色通道上对应像素值均值的差值。当该差值越小时，计算得到的第二图像损失值越小，该样本增强图像的图像质量越高。当每一样本图像对应的样本增强图像均具备较好的图像质量时，也就是上述根据每一样本增强图像的第二图像损失值计算得到的预设高阶变换模型的第二损失值越小时，预设高阶变换模型对样本图像的图像增强效果越好。因此，上述预设高阶变换模型的第二损失值可以很好的表征预设高阶变换模型的训练效果。因此，基于预设高阶变换模型的第二损失值，确定预设高阶变换模型是否收敛，这有效这提高了训练得到的高阶变换模型的准确性。
步骤S503，针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值，并根据每一样本增强图像的第三图像损失值，计算预设高阶变换模型的第三损失值。
一个可选的实施例中，上述步骤S503中的针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值，具体可以表示为：
针对每一样本图像对应的样本增强图像，利用以下公式计算得到该样本图像对应的样本增强图像的第三图像损失值：
其中，Loss3为该样本图像对应的样本增强图像的第三图像损失值，F为该样本图像对应的样本增强图像中包括的预设区域的数量，f为第f个预设区域，h为与第f个预设区域相邻的第h个相邻预设区域，Pf为该样本图像对应的样本增强图像中第f个预设区域中所有像素点的平均灰度值，Ph为该样本图像对应的样本增强图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值，Qf为该样本图像中第f个预设区域中所有像素点的平均灰度值，Qh为该样本图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值。
一个可选的实施例中，上述与第f个预设区域相邻的第h个相邻预设区域可以表示为：第f个预设区域的上、下、左和右方向上与该第f个预设区域相邻的预设区域。
一个可选的实施例中，针对每一样本图像以及每一样本图像对应的样本增强图像，电子设备可以在该样本图像和该样本图像对应的样本增强图像中划分多个预设区域。每一个预设区域至少存在两个相邻预设区域。
另一个可选的实施例中，针对每一样本图像以及每一样本图像对应的样本增强图像，电子设备可以利用预设大小的矩形框，在该样本图像和该样本图像对应的样本增强图像上滑动，得到多个预设区域。
在本发明实施例中，针对每一样本图形，该样本图像中包括的预设区域，与该样本图像对应的样本增强图像中包括的预设区域一一对应。
为便于理解，以样本图像为例，结合图6进行对上述预设区域进行说明。图6为本发明实施例提供的预设区域的一种示意图。
假设样本图像的大小为9*9，预设区域的大小为3*3。如图6所示，电子设备可以在该样本图像中划分得到预设区域1-预设区域9。每一预设区域的相邻预设区域至少有两个。例如，在图6中，与预设区域1相邻的相邻预设区域有预设区域2和预设区域4。再例如，在图6中，与预设区域5相邻的相邻预设区域有预设区域2、预设区域4、预设区域8和预设区域6。
在图6所示的各预设区域中，每一预设区域在样本图像中均没有重合区域。除此以外，为了进一步提高计算得到的第三图像损失值的准确性，上述每一样本图像和每一样本图像对应的样本增强图像中包括的预设区域可以存在重合区域。为便于理解，以预设区域是利用上述预设大小的矩形框在样本图像上滑动得到的为例进行说明。
假设样本图像的大小仍为上述9*9，上述矩形框的大小为3*3。电子设备可以按照预设步长，在样本图像中滑动该矩形框，从而得到多个预设区域，每一预设区域与其相邻预设区域间存在重合区域。例如，当上述预设步长为1时，图6所示的预设区域1和其右侧相邻的预设区域2将会有2/3的区域重合，即预设区域1右侧2/3的区域与预设区域2左侧2/3的区域重合。
在本发明实施例中，对上述预设区域以及与预设区域相邻的相邻预设区域不作具体限定。
关于上述步骤S503中的根据每一样本增强图像的第三图像损失值，计算预设高阶变换模型的第三损失值，具体可参照上述步骤S501中预设高阶变换模型的第一损失值的计算方式，在此不作具体说明。
在本发明实施例中，当某一样本图像对应的样本增强图像与该样本图像中的细节信息保持一致时，该样本图像对应的样本增强图像的图像质量较好。例如，样本图像为一人脸图像，当该样本图像对应的样本增强图像中每一预设区域的人脸信息，如脸型的轮廓和五官的特征等，均与样本图像中对应预设区域的人脸信息保持一致，此时，该样本图像对应的样本增强图像的图像增强效果较好。因此，上述在计算第三图像损失值时，分别计算样本图像对应的样本增强图像和样本图像中预设区域和与该预设区域相邻的相邻预设区域间平均灰度值的差值，这可以反映样本图像对应的样本增强图像和样本图像中的局部区域的灰度值变化情况。当每一样本图像对应的样本增强图像与每一样本图像在局部区域上的变化情况一致时，也就是上述每一样本图像对应的样本增强图像的第三图像损失值越小时，预设高阶变换模型对样本图像的图像增强效果越好。因此，上述预设高阶变换模型的第三损失值可以很好的表征预设高阶变换模型的训练效果。因此，基于预设高阶变换模型的第三损失值，确定预设高阶变换模型是否收敛，这有效提高了训练得到的高阶变换模型的准确性。
步骤S504，针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值，计算预设高阶变换模型的第四损失值。
一个可选的实施例中，上述步骤S504中的针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值，具体可以表示为：
针对每一样本增强图像，电子设备可以利用以下公式计算得到该样本增强图像的第四图像损失值：
其中，Loss4为该样本增强图像的第四图像损失值，N为高阶变换的最高阶数，n为第n阶变换，L表示颜色通道l，L∈{r,g,b}表示颜色通道l属于RGB颜色通道，表示水平方向上的梯度，/>为颜色通道l的图像增强系数，/>为颜色通道l的图像增强系数在水平方向上的梯度，/>表示竖直方向上的梯度，/>为颜色通道l的图像增强系数在竖直方向上的梯度。
针对上述每一样本增强图像，该样本增强图像中每一像素点对应的图像增强系数，上述可以根据样本增强图像中水平方向和竖直方向上各像素点对应的图像增强系数确定。
在本发明实施例中，上述图像增强系数可以通过上述预设高阶变换模型学习得到。以上述图2为例，在图2所示的每一激活层均会存在对应的输出值，每一激活层的输出值即为上述图像增强系数。以上述图2所确定的输出结果B(x)，即A(x)+a3A2(x)+a2a3A3(x)+a1a2a3A4(x)为例，系数a1、a2和a3即为不同激活层输出的图像增强系数。
另外，针对上述每一激活层的输出值，即上述图像增强系数，该激活层的输出值的大小与输入的样本图像的尺寸匹配，该激活层的输出值的颜色通道数与输入的样本图像的颜色通道数相同。为便于理解，以样本图像为尺寸为1920*1080的RGB图像为例，上述每一激活层的输出值的大小为：1920*1080*3。
针对上述第四损失值，当该第四损失值越小时，对样本图像进行图像增强后的样本增强图像中，水平方向和竖直方向上相邻像素点的图像增强系数越相近，如图像增强系数间的差值小于预设差值。例如，样本增强图像中第1行第2列的像素点的图像增强系数与该样本增强图像中第1行第3列的像素点的图像增强系数相近。再例如，样本增强图像中第3行第2列的像素点的图像增强系数与该样本增强图像中第4行第2列的像素点的图像增强系数接近。因此，通过第四损失值可以使得样本增强图像中相邻像素点间的增强效果相似，降低样本增强图像中某一像素点的像素值出现异常的概率，从而保持样本增强图像中相邻像素之间的单调性关系。
关于上述步骤S504中的根据每一样本增强图像的第四图像损失值，计算预设高阶变换模型的第四损失值，具体可参照上述步骤S501中预设高阶变换模型的第一损失值的计算方式，在此不作具体说明。
在本发明实施例中，为了保证对样本图像进行图像增强处理后得到的样本增强图像的图像质量，可以保持相邻像素之间的单调性关系。因此，上述在计算第四图像损失值时，针对RGB颜色通道中的每一颜色通道，分别对水平方向和竖直方向上对应的图像增强系数进行梯度计算，从而确定颜色在水平方向和竖直方向上的变化情况，进而确定样本增强图像的第四图像损失值。当每一样本增强图像的第四图像损失值越小时，预设高阶变换模型对样本图像的图像增强效果越好。因此，上述预设高阶变换模型的第四损失值可以很好的表征预设高阶变换模型的训练效果，因此，基于预设高阶变换模型的第四损失值，确定预设高阶变换模型是否收敛，这有效提高了训练得到的高阶变换模型的准确性。
在本发明实施例中，对上述步骤S501-步骤S504的执行顺序不作具体限定。
步骤S505，根据第一损失值、第二损失值、第三损失值和第四损失值，计算预设高阶变换模型的损失值。
一个可选的实施例中，电子设备可以计算上述第一损失值、第二损失值、第三损失值和第四损失值的和值，作为该预设高阶变换模型的损失值。
在本发明实施例中，上述预设高阶变换模型的损失值除了可以为第一损失值、第二损失值、第三损失值和第四损失值的和值以外，还可以采用其他形式表示，例如，上述预设高阶变换模型的损失值可以表示为第一损失值、第二损失值、第三损失值和第四损失值所对应的加权和或平均数等。再例如，上述预设高阶变换模型的损失值还可以表示为上述第一损失值、第二损失值、第三损失值和第四损失值所组成的联合方程组。在此，对上述预设高阶变换模型的损失值不作具体限定。另外，根据上述预设高阶变换模型的损失值的表示方式的不同，上述预设损失值阈值也有所不同，在此对上述预设损失值阈值不作具体限定。
在本发明实施例中，通过对上述第一损失值、第二损失值、第三损失值和第四损失值对应数值大小的约束，可以使得训练得到的高阶变换模型在对图像进行图像增强处理时，保证了图像增强处理后的图像的图像质量。
基于同一种发明构思，根据上述本发明实施例提供的图像增强方法，本发明实施例还提供了一种图像增强装置，如图7所示，图7为本发明实施例提供的图像增强装置的一种结构示意图。该装置包括以下模块。
第一获取模块701，用于获取第一图像；
第一处理模块702，用于利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。
可选的，上述第一处理模块702，具体可以用于利用以下公式，对第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为第一图像中各像素点的像素值，N为高阶变换的最高阶数。
可选的，上述图像增强装置还可以包括：
第二获取模块，用于获取多个样本图像；
第二处理模块，用于将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像；
计算模块，用于根据每一样本图像以及每一样本图像对应的样本增强图像，计算预设高阶变换模型的损失值；
调整模块，用于若损失值大于预设损失值阈值，则调整预设高阶变换模型的参数，并调用上述第二处理模块返回执行将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤；
确定模块，用于若损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
可选的，上述计算模块，可以包括：
第一计算子模块，用于针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值，并根据每一样本增强图像的第一图像损失值，计算预设高阶变换模型的第一损失值；
第二计算子模块，用于针对每一样本增强图像，根据该样本增强图像在RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值，并根据每一样本增强图像的第二图像损失值，计算预设高阶变换模型的第二损失值；
第三计算子模块，用于针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值，并根据每一样本增强图像的第三图像损失值，计算预设高阶变换模型的第三损失值；
第四计算子模块，用于针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值，计算预设高阶变换模型的第四损失值；
其中，预设高阶变换模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值中的一个或多个。
可选的，上述第一计算子模块，具体可以用于针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第一图像损失值：
其中，Loss1为该样本增强图像的第一图像损失值，C为该样本增强图像中包括的像素点的数量，i为第i个像素点，Di为该样本增强图像中第i个像素点的灰度值，E为预设常数；
上述第二计算子模块，具体可以用于针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第二图像损失值：
Loss2＝|Sr-Sg|+|Sb-Sg|+|Sr-Sb|
其中，Loss2为该样本增强图像的第二图像损失值，Sr为R颜色通道上各像素点的像素值均值，Sg为G颜色通道上各像素点的像素值均值，Sb为B颜色通道上各像素点的像素值均值，||为绝对值操作；
上述第三计算子模块，具体可以用于针对每一样本图像对应的样本增强图像，利用以下公式计算得到该样本图像对应的样本增强图像的第三图像损失值：
其中，Loss3为该样本图像对应的样本增强图像的第三图像损失值，F为该样本图像对应的样本增强图像中包括的预设区域的数量，f为第f个预设区域，h为与第f个预设区域相邻的第h个相邻预设区域，Pf为该样本图像对应的样本增强图像中第f个预设区域中所有像素点的平均灰度值，Ph为该样本图像对应的样本增强图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值，Qf为该样本图像中第f个预设区域中所有像素点的平均灰度值，Qh为该样本图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值；
上述第四计算子模块，具体可以用于针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第四图像损失值：
其中，Loss4为该样本增强图像的第四图像损失值，N为高阶变换的最高阶数，n为第n阶变换，L表示颜色通道l，L∈{r,g,b}表示颜色通道l属于RGB颜色通道，表示水平方向上的梯度，/>为颜色通道l的图像增强系数，/>为颜色通道l的图像增强系数在水平方向上的梯度，/>表示竖直方向上的梯度，/>为颜色通道l的图像增强系数在竖直方向上的梯度。
通过本发明实施例提供的装置，利用预先训练好的高阶变换模型，对获取到的第一图像进行图像增强处理，得到第二图像，也就是对第一图像进行图像增强处理后的图像。相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。
基于同一种发明构思，根据上述本发明实施例提供的图像增强方法，本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信；
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取第一图像；
利用预先训练好的高阶变换模型，对第一图像进行图像增强处理，得到第二图像；其中，高阶变换模型是基于多个样本图像进行无监督训练得到。
通过本发明实施例提供的电子设备，利用预先训练好的高阶变换模型，对获取到的第一图像进行图像增强处理，得到第二图像，也就是对第一图像进行图像增强处理后的图像。相比于相关技术中采用的有监督训练方式，在利用高阶变换模型进行图像增强处理，保证了图像增强处理得到的图像的图像质量的前提下，高阶变换模型是直接基于多个样本图像进行无监督训练得到的，舍弃了相关技术中人为对样本图像进行图像增强处理得到增强图像的过程，缩短了用于高阶变换模型训练的样本图像的获取时间，这使得在保证图像增强质量的前提下，提高了模型训练效率。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)，还可以是专用处理器，包括网络处理器(Network Processor，NP)，数字信号处理器(Digital Signal Processor，DSP)等。
基于同一种发明构思，根据上述本发明实施例提供的图像增强方法，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像增强方法的步骤。
基于同一种发明构思，根据上述本发明实施例提供的图像增强方法，本发明实施例还提供了一种包含指令的计算机程序，当其在计算机上运行时，使得计算机执行上述实施例中任一图像增强方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序的形式实现。所述计算机程序包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种图像增强方法，其特征在于，所述方法包括：
获取第一图像；
利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像；其中，所述高阶变换模型是基于多个样本图像进行无监督训练得到；
所述利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像的步骤，包括：
利用以下公式，对所述第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为所述第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为所述第一图像中各像素点的像素值，N为高阶变换的最高阶数；
其中，利用以下方式训练得到所述高阶变换模型：
获取所述多个样本图像；
将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像；
根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值；
若所述损失值大于预设损失值阈值，则调整所述预设高阶变换模型的参数，并返回执行所述将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤；
若所述损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
2.根据权利要求1所述的方法，其特征在于，所述根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值的步骤，包括：
针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值，并根据每一样本增强图像的第一图像损失值，计算所述预设高阶变换模型的第一损失值；
针对每一样本增强图像，根据该样本增强图像在红绿蓝RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值，并根据每一样本增强图像的第二图像损失值，计算所述预设高阶变换模型的第二损失值；
针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值，并根据每一样本增强图像的第三图像损失值，计算所述预设高阶变换模型的第三损失值；
针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值，并根据每一样本增强图像的第四图像损失值，计算所述预设高阶变换模型的第四损失值；
其中，所述预设高阶变换模型的损失值包括所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值中的一个或多个。
3.根据权利要求2所述的方法，其特征在于，所述针对每一样本增强图像，根据预设常数和该样本增强图像中各像素点的灰度值，计算该样本增强图像的第一图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第一图像损失值：
其中，Loss1为该样本增强图像的第一图像损失值，C为该样本增强图像中包括的像素点的数量，i为第i个像素点，Di为该样本增强图像中第i个像素点的灰度值，E为所述预设常数；
所述针对每一样本增强图像，根据该样本增强图像在RGB颜色通道上像素点的像素值均值，计算该样本增强图像的第二图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第二图像损失值：
Loss2＝|Sr-Sg|+|Sb-Sg|+|Sr-Sb|
其中，Loss2为该样本增强图像的第二图像损失值，Sr为红R颜色通道上各像素点的像素值均值，Sg为绿G颜色通道上各像素点的像素值均值，Sb为蓝B颜色通道上各像素点的像素值均值，| |为绝对值操作；
所述针对每一样本图像以及每一样本图像对应的样本增强图像，根据该样本图像中多个预设区域的平均灰度值，以及该样本图像对应的样本增强图像中多个预设区域的平均灰度值，计算该样本图像对应的样本增强图像的第三图像损失值的步骤，包括：
针对每一样本图像对应的样本增强图像，利用以下公式计算得到该样本图像对应的样本增强图像的第三图像损失值：
其中，Loss3为该样本图像对应的样本增强图像的第三图像损失值，F为该样本图像对应的样本增强图像中包括的预设区域的数量，f为第f个预设区域，h为与第f个预设区域相邻的第h个相邻预设区域，Pf为该样本图像对应的样本增强图像中第f个预设区域中所有像素点的平均灰度值，Ph为该样本图像对应的样本增强图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值，Qf为该样本图像中第f个预设区域中所有像素点的平均灰度值，Qh为该样本图像中与第f个预设区域相邻的第h个相邻预设区域中所有像素点的平均灰度值；
所述针对每一样本增强图像，根据该样本增强图像在水平方向和竖直方向上对应的图像增强系数，计算该样本增强图像的第四图像损失值的步骤，包括：
针对每一样本增强图像，利用以下公式计算得到该样本增强图像的第四图像损失值：
其中，Loss4为该样本增强图像的第四图像损失值，N为高阶变换的最高阶数，n为第n阶变换，L表示颜色通道l，L∈{r,g,b}表示颜色通道l属于RGB颜色通道，表示水平方向上的梯度，/>为颜色通道l的图像增强系数，/>为颜色通道l的图像增强系数在水平方向上的梯度，/>表示竖直方向上的梯度，/>为颜色通道l的图像增强系数在竖直方向上的梯度。
4.一种图像增强装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一图像；
第一处理模块，用于利用预先训练好的高阶变换模型，对所述第一图像进行图像增强处理，得到第二图像；其中，所述高阶变换模型是基于多个样本图像进行无监督训练得到；
所述第一处理模块，具体用于利用以下公式，对所述第一图像进行图像增强处理，得到第二图像：
B(x)＝m0A(x)+m1A2(x)+m2A3(x)+…+mN-1AN(x)
其中，B(x)为所述第二图像中各像素点的像素值，mj为第j+1阶高阶变换的图像增强系数，j＝0,1,2,…,N-1，A(x)为所述第一图像中各像素点的像素值，N为高阶变换的最高阶数；
其中，所述装置还包括：
第二获取模块，用于获取所述多个样本图像；
第二处理模块，用于将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像；
计算模块，用于根据每一样本图像以及每一样本图像对应的样本增强图像，计算所述预设高阶变换模型的损失值；
调整模块，用于若所述损失值大于预设损失值阈值，则调整所述预设高阶变换模型的参数，并调用所述第二处理模块返回执行所述将每一样本图像分别输入至预设高阶变换模型，得到每一样本图像对应的样本增强图像的步骤；
确定模块，用于若所述损失值不大于预设损失值阈值，则将当前的预设高阶变换模型确定为训练好的高阶变换模型。
5.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，实现权利要求1-3任一所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN202011474501.5A 2020-12-14 2020-12-14 一种图像增强方法、装置、电子设备及存储介质 Active CN112561818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474501.5A CN112561818B (zh) 2020-12-14 2020-12-14 一种图像增强方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474501.5A CN112561818B (zh) 2020-12-14 2020-12-14 一种图像增强方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112561818A CN112561818A (zh) 2021-03-26
CN112561818B true CN112561818B (zh) 2024-05-28

Family

ID=75063574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474501.5A Active CN112561818B (zh) 2020-12-14 2020-12-14 一种图像增强方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112561818B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744169A (zh) * 2021-09-07 2021-12-03 讯飞智元信息科技有限公司 图像增强方法、装置、电子设备和存储介质
CN117557912A (zh) * 2023-12-18 2024-02-13 大连海事大学 一种基于改进YoloV7模型的冰山场景识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN110163246A (zh) * 2019-04-08 2019-08-23 杭州电子科技大学 基于卷积神经网络的单目光场图像无监督深度估计方法
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
CN111709890A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5128207B2 (ja) * 2007-08-31 2013-01-23 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
US11069030B2 (en) * 2018-03-22 2021-07-20 Adobe, Inc. Aesthetics-guided image enhancement
US11055822B2 (en) * 2019-05-03 2021-07-06 International Business Machines Corporation Artificially intelligent, machine learning-based, image enhancement, processing, improvement and feedback algorithms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN110163246A (zh) * 2019-04-08 2019-08-23 杭州电子科技大学 基于卷积神经网络的单目光场图像无监督深度估计方法
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
CN111709890A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种RGB模型彩色图像增强方法;韩磊等;哈尔滨理工大学学报;第19卷(第6期);第59-64页 *

Also Published As

Publication number Publication date
CN112561818A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US20150215590A1 (en) Image demosaicing
US20150324961A1 (en) Method and apparatus for adjusting image brightness
CN112561818B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
JP7362297B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11259029B2 (en) Method, device, apparatus for predicting video coding complexity and storage medium
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
US11823352B2 (en) Processing video frames via convolutional neural network using previous frame statistics
CN109740721A (zh) 麦穗计数方法及装置
US11974050B2 (en) Data simulation method and device for event camera
CN113538223B (zh) 噪声图像生成方法、装置、电子设备及存储介质
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN117893455B (zh) 图像亮度和对比度调整方法
CN114663392A (zh) 一种基于知识蒸馏的工业图像缺陷检测方法
CN115619652A (zh) 图像盲去噪方法、装置、电子设备和存储介质
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN112085668A (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN112598598B (zh) 一种基于两级反射光消除网络的图像反射光去除方法
CN113989165A (zh) 图像处理方法、装置、电子设备及存储介质
JP2021086284A (ja) 画像処理装置、画像処理方法、及びプログラム
CN116485743A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN110458754B (zh) 图像生成方法及终端设备
CN114372941B (zh) 一种低光照图像增强方法、装置、设备及介质
CN113645419B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant