CN109102468A - 图像增强方法、装置、终端设备及存储介质 - Google Patents

图像增强方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN109102468A
CN109102468A CN201810675950.2A CN201810675950A CN109102468A CN 109102468 A CN109102468 A CN 109102468A CN 201810675950 A CN201810675950 A CN 201810675950A CN 109102468 A CN109102468 A CN 109102468A
Authority
CN
China
Prior art keywords
image
network
enhancing
sub
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810675950.2A
Other languages
English (en)
Other versions
CN109102468B (zh
Inventor
贺永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810675950.2A priority Critical patent/CN109102468B/zh
Publication of CN109102468A publication Critical patent/CN109102468A/zh
Application granted granted Critical
Publication of CN109102468B publication Critical patent/CN109102468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种图像增强方法，涉及人工神经网络领域，该方法包括步骤：获取原始图像；将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。本发明提供的图像增强方法，能有效提高图像增强运算的收敛性，减少图像增强所需的运算量，提高图像增强的运算效率和稳定性。

Description

图像增强方法、装置、终端设备及存储介质
技术领域
本发明涉及人工神经网络领域，尤其涉及一种图像增强方法、装置、终端设备及存储介质。
背景技术
图像增强是对图像视觉效果的增强，包括对图像的清晰度、分辨率和信噪比等的提升。图像增强往往需要从原始图像中提取特征，以实现对原始图像的增强，因此，基于特征对图像进行处理的神经网络成为图像增强中不可或缺的工具。
在现有技术中，通常是将原始图像输入单级的卷积神经网络，由所述单级的卷积神经网络直接计算原始图像对应的增强图像，并输出所述增强图像。
但是在实现本发明的过程中，发明人发现，由于现有技术采用基于原始图像直接计算对应的增强图像的图像增强方法，由于收敛性较差，在进行图像增强运算时，往往需要极大的运算量，还伴随着稳定性差的不良后果，尤其在进行较大跨度的图像增强任务时，由于运算量大，导致耗时较长，而且同一方法对同一图像的多次增强还可能出现不同的结果。
发明内容
本发明实施例的目的是提供一种图像增强方法，能有效提高图像增强运算的收敛性，减少图像增强所需的运算量，提高图像增强的运算效率和稳定性。
为实现上述目的，本发明实施例提供了一种图像增强方法，包括步骤：
获取原始图像；
将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。
与现有技术相比，本发明实施例公开的一种图像增强方法，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
作为上述方案的改进，所述图像增强网络为全卷积网络，并且在所述多级子网络中，不同级次的子网络具有不完全相同的网络参数。
作为上述方案的改进，通过如下步骤预先得到所述图像增强网络：
获取原始图像样本和对应的增强图像样本；
根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本；其中所述多级节点图像样本的级数比所述子网络的级数少一；
将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对所述图像增强网络进行训练，得到完成训练的所述图像增强网络；其中，所述原始图像样本作为首级子网络的训练输入，所述增强样本图像作为末级子网络的训练输出，每一级的节点图像样本作为下一级次的所述子网络的训练输入，且每一级的节点图像样本作为对应级次的所述子网络的训练输出。
与现有技术相比，本发明实施例公开的一种图像增强方法，在上一实施例的基础上，由原始图像样本和增强图像样本生成多级节点图像样本，并将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对图像增强网络的多级子网络分别进行训练，实现对所述原始图像样本到所述增强图像样本之间的多级映射的学习，解决了现有技术中直接对原始图像样本到增强图像样本的映射进行学习，导致的图像增强网络收敛性差的问题，提高了图像增强网络的收敛性，进一步提高了图像增强运算的收敛性。
作为上述方案的改进，所述根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本，具体包括：
获取所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵；
在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间插入多级节点图像矩阵；其中，所述多级节点图像矩阵的级数比所述子网络的级数少一；
根据所述多级节点图像矩阵获取相应的多级节点图像样本。
与现有技术相比，本发明实施例公开的一种图像增强方法，在上一实施例的基础上，基于原始图像样本的图像矩阵和增强图像样本的图像矩阵，生成相应的多级节点图像样本，减小了图像增强网络中每一级子网络在进行训练时的学习难度，提高了所述每一级子网络的收敛性。
作为上述方案的改进，所述在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间插入多级节点图像矩阵，具体为：
在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间，根据预设的梯度变化插入多级节点图像矩阵。
作为上述方案的改进，预先得到所述图像增强网络的步骤还包括：
生成每一级节点图像样本对应的节点特征图；
将所述原始图像样本输入完成训练的所述图像增强网络，得到测试的增强图像样本；
以所述节点特征图和所述测试的增强图像样本作为函数参数，构建所述图像增强网络的目标损失函数；
根据所述目标损失函数对所述完成训练的所述图像增强网络进行优化，得到优化的所述图像增强网络。
与现有技术相比，本发明实施例公开的一种图像增强方法，在上一实施例的基础上，根据节点特征图和测试的增强图像样本来计算目标损失函数，并且根据所述目标损失函数对完成训练的图像增强网络的网络参数进行优化，以简化所述图像增强网络，提高所述图像增强网络的泛化性。
作为上述方案的改进，每一级的所述子网络均具有至少一卷积层和至少一激活层。
本发明实施例还提供了一种图像增强装置，包括：
输入模块，用于获取原始图像；
处理模块，用于将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。
与现有技术相比，本发明实施例公开的一种图像增强装置，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
本发明实施例还提供了一种图像增强终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任一实施例所述的图像增强方法。
与现有技术相比，本发明实施例公开的一种图像增强终端设备，由处理器执行存储器中的计算机程序时，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任一实施例所述的图像增强方法。
与现有技术相比，本发明实施例公开的一种计算机可读存储介质，在执行所述可读存储介质中的计算机程序时，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
附图说明
图1是本发明实施例1中一种图像增强方法的流程示意图。
图2是本发明实施例2中一种图像增强方法的图像增强网络的训练流程图。
图3是如图2所示的训练流程图中步骤S220的具体流程图。
图4是本发明实施例4中一种图像增强方法的部分流程示意图。
图5是本发明实施例5中一种图像增强装置的结构示意图。
图6是本发明实施例6中一种图像增强终端装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明实施例1提供的一种图像增强方法包括步骤：
S110、获取原始图像。
获取接收到的待增强图像，并将所述待增强图像作为原始图像。
S120、将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。
将所述原始图像输入预先得到的图像增强网络，具体地，以所述图像增强网络具有三级子网络为例，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络对所述原始图像进行首级增强处理，并输出首级节点图像；所述首级节点图像作为所述图像增强网络的次级子网络的输入，所述次级子网络对所述首级节点图像进行次级增强处理，并输出次级节点图像；所述次级节点图像输入作为所述图像增强网络的末级子网络的输入，所述末级子网络对所述次级节点图像进行末级增强处理，并输出末级节点图像，将所述末级节点图像作为所述原始图像对应的增强图像，并且保存或输出所述增强图像，以使所述增强图像可以被应用到其他处理或下一步操作中。可以理解地，所述图像增强网络也可以具有更多级子网络，如四级子网络或是五级子网络，也可以只具有两级子网络，均不影响本发明取得的有益效果。
本发明实施例1提供的一种图像增强方法，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
作为上述实施例的优选方案，所述图像增强网络为全卷积网络，并且在所述多级子网络中，不同级次的子网络具有不完全相同的网络参数。以全卷积网络作为所述图像增强网络，降低了所述图像增强网络在执行图像增强任务时的对存储空间的占用，并且进一步提高了所述图像增强网络的计算效率。以所述图像增强网络包括三级子网络为例，即所述图像增强网络包括首级子网络、次级子网络和末级子网络，所述首级子网络、所述次级子网络和所述末级子网络两两之间的网络参数不完全相同，以适应不同级次的图像增强任务要求，提高所述图像增强网络的图像增强效果。可以理解地，其他情况下，如所述图像增强网络具有更多级次的子网络或是更少级次的子网络的情况下，每两个不同级次的所述子网络之间的网络参数均不完全相同，不影响本发明取得的有益效果。
参见图2，本发明实施例2提供的一种图像增强方法，在实施例1的图像增强方法的基础上，通过如下步骤预先得到所述图像增强网络：
S210、获取原始图像样本和对应的增强图像样本。
获取预先准备的原始图像样本和与所述原始图像样本对应的增强图像样本。其中，所述原始图像样本和所述增强图像样本的数量均不限于一个或多个，在有多个所述原始图像样本和多个所述增强样本图像的情况下，每个所述原始图像样本均具有一个与之对应的所述增强图像样本。
S220、根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本；其中所述多级节点图像样本的级数比所述子网络的级数少一。
根据获取到的所述原始图像样本和对应的所述增强图像样本，生成级数比所述图像增强网络的子网络的级数少一的多级节点图像样本，其中，所述图像增强网络的子网络的级数为预先设置。作为举例，在所述图像增强网络具有三级子网络的情况下，匹配所述图像增强网络的子网络的级数，训练过程中需要的节点图像样本级数为两个，对应生成的所述多级节点图像样本的级数为二。可以理解地，在所述图像增强网络的子网络的级数为其他数值时，如具有二级子网络或是四级子网络，所述多级节点图像样本的级数与所述子网络的级数相匹配，例如二级子网络对应生成的所述多级节点图像样本的级数为一、四级子网络对应生成的所述多级节点图像样本的级数为三，不影响本发明取得的有益效果。
S230、将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对所述图像增强网络进行训练，得到完成训练的所述图像增强网络；其中，所述原始图像样本作为首级子网络的训练输入，所述增强样本图像作为末级子网络的训练输出，每一级的节点图像样本作为下一级次的所述子网络的训练输入，且每一级的节点图像样本作为对应级次的所述子网络的训练输出。
作为举例，假设所述图像增强网络具有三级子网络，包括首级子网络、次级子网络和末级子网络，对应地在步骤S220获得的多级节点图像样本的级数为二。以所述原始图像样本作为所述首级子网络的训练输入，以所述多级节点图像的第一级节点图像样本作为所述首级子网络的训练输出，对所述首级子网络进行训练；以所述第一级节点图像样本作为所述次级子网络的训练输入，以所述多级节点图像样本第二级节点图像样本作为所述次级子网络的训练输出，对所述次级子网络进行训练；以所述第二级节点图像样本作为所述末级子网络的训练输入，以所述增强图像样本作为所述末级子网络的训练输出，对所述末级子网络进行训练。通过对所述图像增强网络的所述首级子网络、所述次级子网络和所述末级子网络的训练，得到完成训练的所述图像增强网络。
可以理解地，在其他情况下，如所述图像增强网络具有更多级次的子网络或是更少级次的子网络的情况下，通过以所述原始图像样本、所述增强图像样本和对应的所述多级节点图像样本作为样本进行训练，也可以得到完成训练的所述图像增强网络，不影响本发明取得的有益效果。
本发明实施例2提供的一种图像增强方法，在取得如实施例1的有益效果的同时，由原始图像样本和增强图像样本生成多级节点图像样本，并将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对图像增强网络的多级子网络分别进行训练，实现对所述原始图像样本到所述增强图像样本之间的多级映射的学习，解决了现有技术中直接对原始图像样本到增强图像样本的映射进行学习，导致的图像增强网络收敛性差的问题，提高了图像增强网络的收敛性，进一步提高了图像增强运算的收敛性。
参见图3，本发明实施例3提供的一种图像增强方法，在实施例2的基础上，通过如下步骤实现如步骤S220的效果：
S221、获取所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵。
从所述原始图像样本中获取所述原始图像样本的图像矩阵Imin，从所述增强图像样本中获取所述增强图像样本的图像矩阵Imax。
S222、在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间插入多级节点图像矩阵；其中，所述多级节点图像矩阵的级数比所述子网络的级数少一。
在步骤S221中得到的Imax和Imin之间插入相应的多级节点图像矩阵Ik，其中k为所述多级节点图像矩阵Ik的级次。以所述图像增强网络具有三级子网络为例，插入的节点图像矩阵为两级节点图像矩阵，即为I1和I2，其中，和满足：。可以理解地，在所述图像增强网络具有更多级次的子网络或是更少级次的子网络的情况下，在Imax和Imin之间插入的所述多级节点图像矩阵Ik的级数与所述子网络的级数相匹配，例如具有二级子网络的所述图像增强网络插入一级节点图像矩阵，具有四级子网络的所述图像增强网络插入三级节点图像矩阵，不影响本发明取得的有益效果。
优选地，在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间，根据预设的梯度变化插入多级节点图像矩阵。以所述预设的梯度变化为均匀变化模型为例，设所述图像增强网络的子网络的级数为n，则生成的多级节点图像样本中，节点图像矩阵Ik满足节点图像公式：
将Imax、Imin、n和对应的k值代入所述节点图像公式，可以计算出符合条件的对应级次的节点图像矩阵，在本实施例中，通过预设的梯度变化调整所述图像增强网络中每一级子网络在进行训练时的学习难度，以提高所述每一级子网络的收敛性。可以理解地，所述预设的梯度变化也可以是根据实际需要选择的变化模型，如指数变化模型或是对数变化模型，并通过对应的节点图像公式计算出节点图像矩阵，不影响本发明取得的有益效果。
S223、根据所述多级节点图像矩阵生成相应的多级节点图像样本。
根据步骤S222获得的所述多级节点图像矩阵Ik中所述记录节点图像样本的信息，生成相应的多级节点样本图像。
可以理解地，本发明实施例3可与上述任一实施例结合，以构成本发明的更优选实施例。
本发明实施例3的一种图像增强方法，在取得如实施例2的有益效果的同时，基于原始图像样本的信噪比和增强图像样本的图像矩阵，生成相应的多级节点图像样本，减小了图像增强网络中每一级子网络在进行训练时的学习难度，提高了所述每一级子网络的收敛性。
参见图4，本发明实施例4提供的一种图像增强方法，在实施例2至3任一实施例的基础上，还通过如下步骤对已完成的所述图像处理网络进行优化：
S410、生成每一级节点图像样本对应的节点特征图。
提取每一级节点图像样本对应的特征，并生成对应的节点特征图。作为举例，可以通过卷积特征提取来提取所述每一级节点图像样本对应的特征，并生成对应的节点特征图，在其他情况下，也可以通过几何法或模型法等提取所述每一级节点图像样本对应的特征，不影响本发明取得的有益效果。
优选地，所述图像增强网络的每一级的所述子网络具有至少一卷积层和至少一激活层，通过所述子网络的卷积层和激活层获取对应的节点图像样本的节点特征图。
S420、将所述原始图像样本输入完成训练的所述图像增强网络，得到测试的增强图像样本。
S430、以所述节点特征图和所述测试的增强图像样本作为函数参数，构建所述图像增强网络的目标损失函数。
构建目标损失函数模型，并将所述节点特征图和所述测试的增强图像样本代入所述目标损失函数模型，完成所述目标损失函数的构建。
作为举例，设所述图像增强网络的子网络的级数为n，第k级节点图像样本为Ik，对应的节点特征图为Mk，所述增强图像样本为Imax，所述测试的增强图像样本为I′max，构建目标损失函数L：
通过将所述图像增强网络的每一级子网络造成的损失考虑到所述目标损失函数L的运算中，提高了所述图像增强网络的收敛性，以取得更好的图像增强效果。在其他情况下，也可以通过所述增强图像样本和所述测试的增强图像样本之间的损失构建目标损失函数，不影响本发明取得的有益效果。
S440、根据所述目标损失函数对所述完成训练的所述图像增强网络进行优化，得到优化的所述图像增强网络。
根据所述目标损失函数的预设的函数值范围，对完成训练的所述图像增强网络的网络参数进行调整，使所述图像增强网络的满足所述预设的函数值范围，得到优化的所述图像增强网络。
可以理解地，本发明实施例4可以与上述任一实施例结合，以构成本发明的更优选实施例。
本发明实施例4提供的一种图像增强方法，在取得如实施例2的有益效果的基础上，根据节点特征图和测试的增强图像样本来计算目标损失函数，并且根据所述目标损失函数对完成训练的图像增强网络的网络参数进行优化，以简化所述图像增强网络，提高所述图像增强网络的泛化性。
参见图5，本发明提供的一种图像增强装置50，包括输入模块51和处理模块52。
所述输入模块51，用于获取原始图像；所述处理模块52，用于将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，再依次将从上一级子网络获取的节点图像作为下一级子网络的输入，至所述图像增强网络的末级子网络输出末级节点图像，将所述末级节点图像作为所述增强图像。
优选地，所述图像增强装置50还包括训练模块53。所述训练模块53用于通过如下所述的步骤预先得到所述图像增强网络：获取原始图像样本和对应的增强图像样本；根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本；其中所述多级节点图像样本的级数比所述子网络的级数少一；将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对所述图像增强网络进行训练，得到完成训练的所述图像增强网络；其中，所述原始图像样本作为首级子网络的训练输入，所述增强样本图像作为末级子网络的训练输出，每一级的节点图像样本作为下一级次的所述子网络的训练输入，且每一级的节点图像样本作为对应级次的所述子网络的训练输出。
所述图像增强装置50的通过如上述任一实施例所述的图像增强方法进行工作，在此不作赘述。
本发明实施例5提供的一种图像增强装置，本发明实施例公开的一种图像增强装置，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
参见图6，是本发明实施例6提供的图像增强终端设备60的示意图。该实施例的图像增强终端设备60包括：处理器61、存储器62以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如图像增强程序。所述处理器61执行所述计算机程序时实现上述各个图像增强方法实施例中的步骤，例如图1所示的步骤S120。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实施例5所述的图像增强装置。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器62中，并由所述处理器61执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述图像增强终端设备60中的执行过程。例如，所述计算机程序可以被分割成输入模块和处理模块，各模块具体功能如下：所述输入模块，用于获取原始图像；所述处理模块，用于将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，再依次将从上一级子网络获取的节点图像作为下一级子网络的输入，至所述图像增强网络的末级子网络输出末级节点图像，将所述末级节点图像作为所述增强图像。
所述图像增强终端设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像增强终端设备60可包括，但不仅限于，处理器61、存储器62。本领域技术人员可以理解，所述示意图仅仅是图像增强终端设备的示例，并不构成对图像增强终端设备60的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像增强终端设备60还可以包括输入输出设备、网络接入设备、总线等。
所称处理器61可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器61是所述图像增强终端设备60的控制中心，利用各种接口和线路连接整个图像增强终端设备60的各个部分。
所述存储器62可用于存储所述计算机程序和/或模块，所述处理器61通过运行或执行存储在所述存储器62内的计算机程序和/或模块，以及调用存储在存储器62内的数据，实现所述图像增强终端设备60的各种功能。所述存储器62可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述图像增强终端设备60集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例6提供的一种图像增强终端设备，由处理器执行存储器中的计算机程序时，通过预先得到的图像增强网络对原始图像进行逐级增强，由所述图像增强网络的首级子网络对所述原始图像进行首级图像增强，以获得首级节点图像，并由后续的各级子网络依次对上一级子网络获得的节点图像进行图像增强，从所述末级子网络的输出获得末级节点图像，以所述末级节点图像作为所述原始图像对应的增强图像，并将所述增强图像保存或输出。由于对所述原始图像的图像增强过程进行拆分，以逐级进行的方式对所述原始图像进行图像增强，解决了现有技术中由于单级图像增强而导致的图像增强能力较弱、运算量大和稳定性差的问题，提高了图像增强运算的收敛性，减少了图像增强所需的运算量，提高图像增强的运算效率和稳定性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像增强方法，其特征在于，包括步骤：
获取原始图像；
将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。
2.如权利要求1所述的图像增强方法，其特征在于，所述图像增强网络为全卷积网络，并且在所述多级子网络中，不同级次的子网络具有不完全相同的网络参数。
3.如权利要求1所述的图像增强方法，其特征在于，通过如下步骤预先得到所述图像增强网络：
获取原始图像样本和对应的增强图像样本；
根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本；其中所述多级节点图像样本的级数比所述子网络的级数少一；
将所述原始图像样本、所述增强图像样本和所述多级节点图像样本作为训练样本，对所述图像增强网络进行训练，得到完成训练的所述图像增强网络；其中，所述原始图像样本作为首级子网络的训练输入，所述增强样本图像作为末级子网络的训练输出，每一级的节点图像样本作为下一级次的所述子网络的训练输入，且每一级的节点图像样本作为对应级次的所述子网络的训练输出。
4.如权利要求3所述的训练方法，其特征在于，所述根据所述原始图像样本和所述增强图像样本，生成多级节点图像样本，具体包括：
获取所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵；
在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间插入多级节点图像矩阵；其中，所述多级节点图像矩阵的级数比所述子网络的级数少一；
根据所述多级节点图像矩阵获取相应的多级节点图像样本。
5.如权利要求4所述的训练方法，其特征在于，所述在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间插入多级节点图像矩阵，具体为：
在所述原始图像样本的图像矩阵和所述增强图像样本的图像矩阵之间，根据预设的梯度变化插入多级节点图像矩阵。
6.如权利要求3至5任一项所述的训练方法，其特征在于，预先得到所述图像增强网络的步骤还包括：
生成每一级节点图像样本对应的节点特征图；
将所述原始图像样本输入完成训练的所述图像增强网络，得到测试的增强图像样本；
以所述节点特征图和所述测试的增强图像样本作为函数参数，构建所述图像增强网络的目标损失函数；
根据所述目标损失函数对所述完成训练的所述图像增强网络进行优化，得到优化的所述图像增强网络。
7.如权利要求6所述的图像增强方法，其特征在于，每一级的所述子网络均具有至少一卷积层和至少一激活层。
8.一种图像增强装置，其特征在于，包括：
输入模块，用于获取原始图像；
处理模块，用于将所述原始图像输入预先得到的图像增强网络，对所述原始图像进行逐级增强，得到所述原始图像对应的增强图像；其中，所述图像增强网络包括至少两级子网络，所述原始图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述增强图像。
9.一种图像增强终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的图像增强方法。
CN201810675950.2A 2018-06-27 2018-06-27 图像增强方法、装置、终端设备及存储介质 Active CN109102468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810675950.2A CN109102468B (zh) 2018-06-27 2018-06-27 图像增强方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810675950.2A CN109102468B (zh) 2018-06-27 2018-06-27 图像增强方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN109102468A true CN109102468A (zh) 2018-12-28
CN109102468B CN109102468B (zh) 2021-06-01

Family

ID=64845126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810675950.2A Active CN109102468B (zh) 2018-06-27 2018-06-27 图像增强方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN109102468B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110335204A (zh) * 2019-05-07 2019-10-15 中国人民解放军陆军工程大学 一种热成像图像增强方法
CN112102193A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 图像增强网络的训练方法、图像处理方法及相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123679A (zh) * 2006-08-10 2008-02-13 富士通株式会社 图像处理装置、图像处理方法和计算机产品
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
US20150347822A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN107133933A (zh) * 2017-05-10 2017-09-05 广州海兆印丰信息科技有限公司 基于卷积神经网络的乳腺x线图像增强方法
CN107392868A (zh) * 2017-07-21 2017-11-24 深圳大学 基于全卷积神经网络的压缩双目图像质量增强方法及装置
CN107403415A (zh) * 2017-07-21 2017-11-28 深圳大学 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123679A (zh) * 2006-08-10 2008-02-13 富士通株式会社 图像处理装置、图像处理方法和计算机产品
US20150347822A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
CN107133933A (zh) * 2017-05-10 2017-09-05 广州海兆印丰信息科技有限公司 基于卷积神经网络的乳腺x线图像增强方法
CN107392868A (zh) * 2017-07-21 2017-11-24 深圳大学 基于全卷积神经网络的压缩双目图像质量增强方法及装置
CN107403415A (zh) * 2017-07-21 2017-11-28 深圳大学 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG SHEN 等: "MSR-net:Low-light Image Enhancement Using Deep Convolutional Network", 《ARXIV》 *
SMT G MAMATHA: "Feature-level multi-focus image fusion using neural network and image enhancement", 《GLOBAL JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》 *
徐岩 等: "基于卷积神经网络的水下图像增强方法", 《吉林大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
WO2020173320A1 (zh) * 2019-02-28 2020-09-03 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN109919869B (zh) * 2019-02-28 2021-06-04 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
US11790497B2 (en) 2019-02-28 2023-10-17 Tencent Technology (Shenzhen) Company Limited Image enhancement method and apparatus, and storage medium
CN110335204A (zh) * 2019-05-07 2019-10-15 中国人民解放军陆军工程大学 一种热成像图像增强方法
CN112102193A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 图像增强网络的训练方法、图像处理方法及相关设备
CN112102193B (zh) * 2020-09-15 2024-01-23 北京金山云网络技术有限公司 图像增强网络的训练方法、图像处理方法及相关设备

Also Published As

Publication number Publication date
CN109102468B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109101545A (zh) 基于人机交互的自然语言处理方法、装置、设备和介质
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
CN109102468A (zh) 图像增强方法、装置、终端设备及存储介质
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
JP6908302B2 (ja) 学習装置、識別装置及びプログラム
CN110689136B (zh) 一种深度学习模型获得方法、装置、设备及存储介质
CN110070115A (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN109522919A (zh) 一种数据评估方法及装置
CN111353591A (zh) 一种计算装置及相关产品
CN110876072B (zh) 一种批量注册用户识别方法、存储介质、电子设备及系统
CN114154392A (zh) 基于区块链和联邦学习的模型共建方法、装置及设备
CN109697083A (zh) 数据的定点化加速方法、装置、电子设备及存储介质
CN111027669A (zh) 在现场可编程门阵列上实现深度神经网络的方法及装置
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN115953651A (zh) 一种基于跨域设备的模型训练方法、装置、设备及介质
CN109951243A (zh) 一种频谱预测方法、系统及电子设备
CN110580517A (zh) 基于堆叠自编码器的特征提取方法、装置及终端设备
CN110647805B (zh) 一种网纹图像识别方法、装置及终端设备
CN113920511A (zh) 车牌识别方法、模型训练方法、电子设备及可读存储介质
CN111082983A (zh) 一种网络模拟演化方法及装置
CN110096266A (zh) 一种特征加工方法和装置
CN114067785B (zh) 语音深度神经网络训练方法、装置、存储介质及电子装置
CN111033532B (zh) 生成对抗网络的训练方法和系统、电子设备和存储介质
US20240013065A1 (en) Information processing device, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant