CN109064434B - 图像增强的方法、装置、存储介质及计算机设备 - Google Patents

图像增强的方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN109064434B
CN109064434B CN201810687742.4A CN201810687742A CN109064434B CN 109064434 B CN109064434 B CN 109064434B CN 201810687742 A CN201810687742 A CN 201810687742A CN 109064434 B CN109064434 B CN 109064434B
Authority
CN
China
Prior art keywords
color histogram
image
deep learning
low
learning network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810687742.4A
Other languages
English (en)
Other versions
CN109064434A (zh
Inventor
贺永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810687742.4A priority Critical patent/CN109064434B/zh
Publication of CN109064434A publication Critical patent/CN109064434A/zh
Application granted granted Critical
Publication of CN109064434B publication Critical patent/CN109064434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像增强的方法及装置。所述方法包括：遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；求解映射关系，使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；然后将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。通过本发明的激活函数能够缩小低质图像与增强图像在颜色空间上的差异，使深度学习网络寻优更加容易，图像增强效果更好。

Description

图像增强的方法、装置、存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及图像增强的方法、装置、存储介质及计算机设备。
背景技术
在深度学习网络结构中,一个卷积操作通常伴随着一个激活函数，目前，在深度学习网络结构中主要用ReLU及其改进版作为激活函数。
在图像增强任务中，深度学习技术已经取得了远优于传统增强方法的效果。这一类任务输入为质量较差的图像，输出为增强后的图像。为了使最终输出能够映射到图像的颜色空间内，深度学习网络的最后一层通常采用ReLU或者不采用激活函数。不使用任何激活函数的操作可以理解为采用的是一个输入等于输出的线性激活函数。当样本中低质图像与增强图像在颜色空间范围内相差很大时(例如夜景图像增强)，使用ReLU或不使用激活函数，均不能较好的描述输入低质图像与输出增强图像的映射关系，因此，基于此得到的增强图像的质量效果并不理想。
发明内容
基于此，本发明提供了实现图像增强的方法及装置，能够有效提高增强图像的质量。
本发明方案包括：
一种实现图像增强的方法，包括：
遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；
将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
可选地，所述求解第一颜色直方图与第二颜色直方图之间的映射关系，包括：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数；
对第一颜色直方图与第二颜色直方图进行直方图匹配处理，得到向量P；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数。
可选地，所述向量q为长度为256的固定向量，且q＝[0,1/255,2/255,...,254/255,1]。
可选地，根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为：
Figure GDA0002734978790000021
其中，S(y)表示深度学习网络中最后一个隐含层的激活函数，y表示所述最后一个隐含层的输出。
可选地，所述深度学习网络为全卷积网络，且为多层网络，最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
可选地，所述颜色直方图为灰度直方图。
一种图像增强网络构建的方法，包括：
遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
一种图像增强的方法，包括：
获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
根据所述输出得到所述低质图像对应的增强图像。
一种实现图像增强的装置，包括：
样本统计模块，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
关系求解模块，用于求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
网络构造模块，用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；
以及，图像增强模块，用于将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
可选地，所述关系求解模块，具体用于：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数；
对第一颜色直方图与第二颜色直方图进行直方图匹配处理，得到向量P；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数。
一种图像增强网络构建的装置，包括：
样本统计模块，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
关系求解模块，用于求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
网络构造模块，用于构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
一种图像增强的装置，包括：
获取模块，用于获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
网络处理模块，用于将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
增强结果确定模块，用于根据所述输出得到所述低质图像对应的增强图像。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例的方法的步骤。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例的方法的步骤.
上述技术方案，通过遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；求解映射关系，使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；然后将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。由于通过离线学习的激活函数能够缩小低质图像与增强图像在颜色空间上的差异，因此通过上述方法能够使深度学习网络寻优更加容易，图像增强效果更好。
附图说明
图1为一实施例的图像增强的方法的示意性流程图；
图2为另一实施例的图像增强的方法的示意性流程图；
图3为一实施例的图像增强的装置的示意性结构图；
图4为另一实施例的图像增强的装置的示意性结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。
图1为一实施例的实现图像增强的方法的示意性流程图；如图1所示，本实施例中的实现图像增强的方法包括步骤：
S11，遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图。
在一实施例中，训练样本库中包含多个低质图像和多个增强图像，每一低质图像对应一增强图像。其中，第一颜色直方图与第二颜色直方图可表示为向量形式。
S12，求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配。
求解映射关系即是，求解第一颜色直方图与对应的第二颜色直方图之间的映射关系函数。在一可选实施例中，可以通过向量P计算该映射关系函数，其中，向量P为第对一颜色直方图与第二颜色直方图进行直方图匹配处理得到的向量，能够使得Hy≈P(Hx)；其中，Hx和Hy分别表示第一颜色直方图与第二颜色直方图。
S13，根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数。
在一可选实施例中，所述深度学习网络为全卷积网络，且为多层网络，最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。可参考图2所示。
S14，将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
通过上述实施例的的实现图像增强的方法，基于颜色直方图对训练样本库的离线学习，由此得到的激活函数能够缩小低质图像与增强图像在颜色空间上的差异，因此能够使深度学习网络寻优更加容易，图像增强效果更好。
在一实施例中，上述步骤S12中，求解映射关系的具体方式可包括：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数。
对第一颜色直方图与第二颜色直方图进行直方图匹配处理计算，得到一向量P，使得Hy≈P(Hx)；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数f()。具体求解过程包括：
假设qj表示向量q的第j个元素，pj表示向量P的第j个元素，那么有函数关系f(qj)＝pj。待求解的多项式系数用向量A表示,即:
A＝[an,an-1,......,a0]T；
对于第j个元素函数qj可描述矩阵相乘的形式：
[(qj)n(qj)n-1...(qj)1(qj)0]*A＝Pj
用矩阵Q表示q向量的n阶组合形成，即
Figure GDA0002734978790000081
整个向量对应的函数f(q)＝P可表示为：
Q*A＝P
待求解的多项式系数A则为：
A＝(QTQ)-1P
进一步地，在一可选实施例中，令向量q为长度为256的固定向量，且q＝[0,1/255,2/255,...,254/255,1]。
进一步地，在一可选实施例中，根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为：
Figure GDA0002734978790000082
其中，S(y)表示深度学习网络中最后一个隐含层的激活函数，y表示所述最后一个隐含层的输出，f(y)即上述方法求解得到的映射关系函数。
在一可选实施例中，所述颜色直方图为灰度直方图，对应地，在统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图之前，还需将训练样本库中包含的多个低质图像和多个增强图像分别转换为对应的灰度图像，进而分别统计低质图像的灰度直方图以及增强图像的灰度直方图。
下面以基于灰度直方图的离线学习为例，对上述实现图像增强的方法作进一步的解释说明。
在图像增强的训练样本库中，每一幅低质图像X对应一幅增强图像Y。所有图像的灰度除以255，使其灰度取值为0～1之间。统计所有低质图像和增强图像的灰度直方图，分别记为Hx和Hy。Hx和Hy均为长度为256的向量。
使用直方图规定化(即直方图匹配)，计算两个灰度直方图之间的映射向量P，使得Hy≈P(Hx)。直方图规定化通过输入两个直方图，能够得到一个在[0,1]区间上的向量。向量P能够使得低质图像集的直方图与增强图像集的直方图尽可能的相匹配。
其中，为了能够将映射向量P作为深度学习的激活函数，利用多项式函数f()来拟合所述映射向量P，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数；n为设定的阶数。
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数f()。
进一步地，构建深度学习网络结构
(1)构造深度学习网络中最后一个隐含层的激活函数S(x)
考虑到深度学习网络中最后一个隐含层输出y可以是任意值，结合上述步骤得到的得到映射关系函数f(y)来构造待使用的最后一个隐含层的激活函数S(y):
Figure GDA0002734978790000091
其中，S(y)表示深度学习网络中最后一个隐含层的激活函数，y表示所述最后一个隐含层的输出。
(2)深度学习网络的网络结构
可选地，采用全卷积网络作为深度学习的网络结构。输入及输出图像均除以255，使其灰度值在[0,1]之间。图2中给出了一个含有三个隐含层的网络结构示意图。可以理解的，网络结构并不局限于三层网络，可以是多层网络。与传统网络不同，本发明的深度学习网络在最后一个隐含层采用已构造的激活函数S(y)来增强深度学习网络性能。
与此同时，在一实施例中，还提供一种图像增强网络构建的方法，该方法的步骤包括：
遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图。
在一实施例中，训练样本库中包含多个低质图像和多个增强图像，每一低质图像对应一增强图像。
求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配。
构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
在本实施例中，映射关系以及深度学习网络的具体构建方法，可以参照上述实施例对应部分的描述，不作赘述。
与此同时，在一实施例中，还提供一种图像增强的方法，该方法的步骤包括：
获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
根据所述输出得到所述低质图像对应的增强图像。
在本实施例中，映射关系以及深度学习网络的具体训练方法，可以参照上述实施例对应部分的描述，不作赘述。通过本实施例，得到的待增强的低质图像的增强图像的质量效果得到提升。
需要说明的是，本发明上述实施例的方法，不仅局限于处理灰度图像。当采用彩色图像(例如RGB图像)时，则通过对训练样本库中的图像的每个颜色通道学习得到一个对应的激活函数。此时，所述深度学习网络的输出也是一个多通道的彩色图像。将所得的多个激活函数作用于深度学习网络的最后一个隐含层的相应通道上，由此可得到彩色增强图像，且各个颜色通道得到的增强效果均能得到保障。
通过上述方法，针对基于深度学习的图像增强任务,利用输入输出图像之间的直方图信息构造出一个合适的激活函数,作用于深度学习网络的最后一个隐含层，令深度学习网络更加容易优化，以及图像增强效果更好。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述方法实施例相同的思想，本发明还提供图像增强的装置以及图像增强网络构建的装置。为了便于说明，装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
图3为本发明一实施例的图像增强的装置的示意性结构图，如图3所示，本实施例的图像增强的装置包括：
样本统计模块310，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；所述训练样本库中包含多个低质图像和多个增强图像，且每一低质图像对应一增强图像；
关系求解模块320，用于求解第一颜色直方图与第二颜色直方图之间的映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
网络构造模块330，用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；
以及，图像增强模块340，用于将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
在一可选实施例中，所述关系求解模块320，具体用于：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数；
对第一颜色直方图与第二颜色直方图进行直方图匹配处理计算，得到一向量P，使得Hy≈P(Hx)；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数f()。
进一步地，所述网络构造模块330，具体用于：
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为：
Figure GDA0002734978790000121
其中，S(y)表示深度学习网络中最后一个隐含层的激活函数，y表示所述最后一个隐含层的输出。
可选地，设定所述向量q为长度为256的固定向量，且q＝[0,1/255,2/255,...,254/255,1]。
可选地，所述深度学习网络为全卷积网络，且为多层网络，最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
在一可选实施例中，所述颜色直方图为灰度直方图。
通过上述实现图像增强的装置，能够针对基于深度学习的图像增强任务,利用输入输出图像之间的直方图信息构造出一个合适的激活函数,作用于深度学习网络的最后一个隐含层，令深度学习网络更加容易优化，以及图像增强效果更好。
在一实施例中，还提供一种图像增强网络构建的装置，该装置包括：
样本统计模块，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；所述训练样本库中每一低质图像对应一增强图像；
关系求解模块，用于求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
以及，网络构造模块，用于构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
需要说明的是，上述各模块的具体实现方式，可以参照上述方法实施例对应部分的描述，不作赘述。
在一实施例中，还提供一种图像增强的装置，例如图4所示，包括：
获取模块410，用于获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
网络处理模块420，用于将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
以及，增强结果确定模块430，用于根据所述输出得到所述低质图像对应的增强图像。
需要说明的是，图4中所示各模块的具体实现方式，可以参照上述方法实施例对应部分的描述，不作赘述。其中，深度学习网络的训练方法，可以参照上述方法实施例对应部分的描述，不作赘述。
需要说明的是，上述示例的图像增强的装置和图像增强网络构建的装置的实施例中，各模块之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
此外，上述示例的实现图像增强的装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述实现图像增强的装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
在一个实施例中，还提供一种计算机设备，该计算机设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机程序，并且，该处理器执行所述程序时，能够用于实现如上述任一实施例的图像增强的方法，或者图像增强网络构建的方法。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。所述程序在执行时，可执行如上述各方法的实施例的全部或部分步骤。
在一个实施例中，还提供一种计算机存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述任一实施例的图像增强的方法，或者图像增强网络构建的方法。其中，所述计算机存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。可以理解，其中所使用的术语“第一”、“第二”等在本文中用于区分对象，但这些对象不受这些术语限制。
以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像增强的方法，其特征在于，包括：
遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；
将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
2.根据权利要求1所述的方法，其特征在于，所述求解映射关系，包括：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数；
对第一颜色直方图与第二颜色直方图进行直方图匹配处理，得到向量P；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数。
3.根据权利要求2所述的方法，其特征在于，
所述向量q为长度为256的固定向量，且q＝[0,1/255,2/255,...,254/255,1]。
4.根据权利要求3所述的方法，其特征在于，根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为：
Figure FDA0002734978780000011
其中，S(y)表示深度学习网络中最后一个隐含层的激活函数，y表示所述最后一个隐含层的输出。
5.根据权利要求1至4任一所述的方法，其特征在于，所述深度学习网络为全卷积网络，且为多层网络，最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
6.根据权利要求5所述的方法，其特征在于，所述颜色直方图为灰度直方图。
7.一种图像增强网络构建的方法，其特征在于，包括：
遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
8.一种图像增强的方法，其特征在于，包括：
获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；所述映射关系通过向量计算得到；所述向量为对第一颜色直方图与第二颜色直方图进行直方图匹配处理得到的向量；
根据所述输出得到所述低质图像对应的增强图像。
9.一种图像增强的装置，其特征在于，包括：
样本统计模块，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
关系求解模块，用于求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
网络构造模块，用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数；
以及，图像增强模块，用于将待增强的低质图像输入所述深度学习网络，根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
10.根据权利要求9所述的装置，其特征在于，所述关系求解模块，具体用于：
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系，所述多项式函数为：
f(x)＝anxn+an-1xn-1+...+a1x+a0
其中，an、an-1…a1、a0为多项式系数，n为设定的阶数；
对第一颜色直方图与第二颜色直方图进行直方图匹配处理，得到向量P；
令向量q为长度固定的已知向量，q中的各个向量元素分别表示不同的颜色值；通过f(q)＝P求解多项式系数，根据求解出的多项式系数得到映射关系函数。
11.一种图像增强网络构建的装置，其特征在于，包括：
样本统计模块，用于遍历预设的训练样本库，统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图；
关系求解模块，用于求解映射关系，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；
网络构造模块，用于构建用于图像增强的深度学习网络，该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
12.一种图像增强的装置，其特征在于，包括：
获取模块，用于获取待增强的低质图像，获取预先构建的用于图像增强的深度学习网络；
网络处理模块，用于将所述低质图像作为所述深度学习网络的输入，获取所述深度学习网络的对应输出；其中，所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到，所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配；所述映射关系通过向量计算得到；所述向量为对第一颜色直方图与第二颜色直方图进行直方图匹配处理得到的向量；
增强结果确定模块，用于根据所述输出得到所述低质图像对应的增强图像。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时能够实现权利要求1至8任一所述方法的步骤。
14.一种计算机设备，包括存储器以及处理器，所述存储器用于存储可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时能够实现权利要求1至8任一所述方法的步骤。
CN201810687742.4A 2018-06-28 2018-06-28 图像增强的方法、装置、存储介质及计算机设备 Active CN109064434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810687742.4A CN109064434B (zh) 2018-06-28 2018-06-28 图像增强的方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810687742.4A CN109064434B (zh) 2018-06-28 2018-06-28 图像增强的方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN109064434A CN109064434A (zh) 2018-12-21
CN109064434B true CN109064434B (zh) 2021-01-08

Family

ID=64817747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810687742.4A Active CN109064434B (zh) 2018-06-28 2018-06-28 图像增强的方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN109064434B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091075B (zh) * 2019-12-02 2023-09-05 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN111050211B (zh) * 2019-12-13 2021-10-26 广州酷狗计算机科技有限公司 视频处理方法、装置及存储介质
CN111260593B (zh) * 2020-01-14 2023-03-14 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN114781628A (zh) * 2022-03-29 2022-07-22 清华大学 基于忆阻器噪声的数据增强方法、装置、电子设备及介质
CN114662678B (zh) * 2022-05-17 2023-04-07 华中科技大学 一种基于变激活函数卷积神经网络的图像识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067402A (zh) * 2016-01-28 2017-08-18 太豪生医股份有限公司 医疗图像处理装置及其乳房图像处理方法
CN107563350A (zh) * 2017-09-21 2018-01-09 深圳市唯特视科技有限公司 一种基于尺度建议网络的人脸检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503778B2 (en) * 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
GB201002632D0 (en) * 2010-02-16 2010-03-31 Im Sense Ltd Method and system for generating enhanced images
CN102665062B (zh) * 2012-03-16 2016-03-30 华为技术有限公司 一种使视频中目标物体图像稳定的方法及装置
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
CN106157273B (zh) * 2015-03-30 2020-01-21 阿里巴巴集团控股有限公司 生成合成图片的方法及装置
US9794540B2 (en) * 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
CN107230187B (zh) * 2016-03-25 2022-05-24 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
WO2018042388A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN106780367B (zh) * 2016-11-28 2019-11-15 上海大学 基于字典学习的hdr照片风格转移方法
CN107729379B (zh) * 2017-09-15 2021-01-12 中原智慧城市设计研究院有限公司 基于深度学习算法的特定车辆检索方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067402A (zh) * 2016-01-28 2017-08-18 太豪生医股份有限公司 医疗图像处理装置及其乳房图像处理方法
CN107563350A (zh) * 2017-09-21 2018-01-09 深圳市唯特视科技有限公司 一种基于尺度建议网络的人脸检测方法

Also Published As

Publication number Publication date
CN109064434A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109064434B (zh) 图像增强的方法、装置、存储介质及计算机设备
US20240152729A1 (en) Convolutional neural network (cnn) processing method and apparatus performing high-speed and precision convolution operations
CN107358293B (zh) 一种神经网络训练方法及装置
CN110135580B (zh) 一种卷积网络全整型量化方法及其应用方法
US10977001B2 (en) Asymmetric quantization of multiple-and-accumulate operations in deep learning processing
US20170061246A1 (en) Training method and apparatus for neutral network for image recognition
WO2018111786A1 (en) Image stylization based on learning network
Lata et al. Image-to-image translation using generative adversarial network
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
US10706547B2 (en) Image segmentation method and apparatus
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
CN111260020B (zh) 卷积神经网络计算的方法和装置
US20190114532A1 (en) Apparatus and method for convolution operation of convolution neural network
CN111860398A (zh) 遥感图像目标检测方法、系统及终端设备
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN111797882A (zh) 图像分类方法及装置
WO2020154537A1 (en) Convolutional neural networks with soft kernel selection
CN110337636A (zh) 数据转换方法和装置
US20180114109A1 (en) Deep convolutional neural networks with squashed filters
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN106683044B (zh) 一种多通道光学探测系统的图像拼接方法、装置
US20220004849A1 (en) Image processing neural networks with dynamic filter activation
WO2022141094A1 (zh) 模型生成方法、图像处理方法、装置及可读存储介质
CN109509218B (zh) 基于fpga获取视差图的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant