CN108305236A - 图像增强处理方法及装置 - Google Patents

图像增强处理方法及装置 Download PDF

Info

Publication number
CN108305236A
CN108305236A CN201810038866.XA CN201810038866A CN108305236A CN 108305236 A CN108305236 A CN 108305236A CN 201810038866 A CN201810038866 A CN 201810038866A CN 108305236 A CN108305236 A CN 108305236A
Authority
CN
China
Prior art keywords
image
convolution
block
model
deconvolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810038866.XA
Other languages
English (en)
Other versions
CN108305236B (zh
Inventor
任文琦
马林
刘威
操晓春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810038866.XA priority Critical patent/CN108305236B/zh
Publication of CN108305236A publication Critical patent/CN108305236A/zh
Application granted granted Critical
Publication of CN108305236B publication Critical patent/CN108305236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像增强处理方法及装置，属于图像处理领域。所述方法包括：采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。本发明提供的图像增强处理方法的处理效果较好，处理效率较高。

Description

图像增强处理方法及装置
技术领域
本发明涉及图像处理领域，特别涉及一种图像增强处理方法及装置。
背景技术
图像增强是一种用于增强图像中的有用信息，改善图像的视觉效果的方法。
相关技术中，对于在低光照场景下拍摄的低光照图像，终端一般会采用预先配置的图像增强处理算法对该低光照图像进行增强处理。例如，终端可以调整该低光照图像中每个像素的红绿蓝(RGB)值，进而改善该低光照图像的视觉效果。
但是，相关技术中的图像增强处理方法只能整体调高整幅低光照图像的亮度，其处理效果较差。
发明内容
本发明实施例提供了一种图像增强处理方法及装置，可以解决相关技术中的图像增强处理方法处理效果较差的问题。技术方案如下：
一方面，提供了一种图像增强处理方法，所述方法包括：
采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；
采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；
采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。
另一方面，提供了一种图像增强处理装置，所述装置包括：
第一处理模块，用于采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；
第二处理模块，用于采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；
第三处理模块，用于采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。
又一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所提供的图像增强处理方法。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所提供的图像增强处理方法。
本发明实施例提供的技术方案带来的有益效果是：
综上所述，本发明实施例提供了一种图像增强处理方法及装置，可以采用第一回归网络模型得到该指定图像的内容特征图，该内容特征图可以反映指定图像的场景信息，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘特征图进行融合处理后得到恢复图像。由于该恢复图像能够有效恢复指定图像的场景信息和边缘特征，因此有效改善了图像增强处理的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像增强处理方法的应用场景的示意图；
图2是本发明实施例提供的一种图像增强处理方法的流程图；
图3是本发明实施例提供的另一种图像增强处理方法的流程图；
图4是本发明实施例提供的一种图像增强处理方法的算法框图；
图5是本发明实施例提供的一种采用第二回归网络模型对指定图像的梯度图进行处理的方法流程图；
图6是本发明实施例提供的一种对增强处理模型进行训练的方法流程图；
图7是本发明实施例提供的一种图像增强处理装置的结构示意图；
图8是本发明实施例提供的另一种图像增强处理装置的结构示意图；
图9是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
相关技术中，终端除了可以采用调整RGB值的方式对低光照图像进行增强处理，还可以采用基于视网膜皮层理论(Retinex theory)的算法对该低光照场景下拍摄的低光照图像进行增强处理。具体的，终端可以基于图像分解的方法将拍摄得到的低光照图像分解为反射层(也称反射图像)和光照图(也称照度图像)，然后可以直接将该反射层作为场景内容的恢复结果，得到恢复图像，或者可以采用该光照图对反射层进行微调后，将微调后的反射层作为场景内容的恢复结果，得到恢复图像。但是基于视网膜皮层理论的算法需要同时估计出准确的反射层和光照图，两者都必须精确才能得到理想的处理效果。
而本发明实施例提供的图像增强处理方法，可以采用回归网络模型分别提取指定图像(例如低光照图像)的内容特征图和边缘特征图，其中该内容特征图可以用于反映指定图像的场景内容，该边缘特征图可以反映指定图的边缘特征，因此将该内容特征图和边缘特征图进行融合处理得到的恢复图像能够在恢复场景真实内容的同时，保证指定图像的细节边缘特征也得到有效恢复，其处理效果较好。
请参考图1，其示出了本发明实施例提供的图像增强处理方法的应用场景的示意图。该图像增强处理方法可以应用于具有拍摄功能的终端00中。参考图1，该终端00可以为智能手机，或者，该终端00也可以为计算机、平板电脑、照相机、可穿戴设备或者车载设备等，本发明实施例对该终端00的类型不做限定。
在本发明实施例中，终端00中可以安装有图像处理类应用程序01，终端00在启动该图像处理类应用程序01后，可以采用本发明实施例提供的图像增强方法，对指定图像进行图像增强处理。该指定图像可以为终端00通过该图像处理类应用程序01拍摄得到的图像，或者可以为终端00通过其他拍摄类应用程序拍摄得到的图像，或者还可以为终端00中预先存储的图像。
请参考图2，其示出了本发明一个实施例提供的图像增强处理方法的流程图。本实施例以该图像增强处理方法应用于图1所示的终端00来举例说明。参考图2，该方法可以包括：
步骤101、采用第一回归网络模型对指定图像进行处理，得到该指定图像的内容特征图。
该第一回归网络模型可以为基于卷积神经网络的网络模型。该内容特征图可以用于反映该指定图像的场景信息，也即是，可以反映该指定图像中具体包含哪些拍摄对象。
步骤102、采用第二回归网络模型对该指定图像的梯度图进行处理，得到该指定图像的边缘特征图。
进一步的，终端可以获取该指定图像的梯度图，该梯度图可以反映该指定图像中每个像素的邻域内的灰度变化。终端采用第二回归网络模型对该梯度图进行处理后，即可得到该指定图像的边缘特征图。该第二回归网络模型可以为基于卷积神经网络和循环神经网络的网络模型，该边缘特征图可以用于反映该指定图像的边缘特征。其中，图像的边缘是指图像中特性(如像素灰度、纹理等)分布的不连续处，边缘一般存在于图像中物体与背景之间或者物体与物体之间。
步骤103、采用融合处理模型，对该内容特征图和该边缘特征图进行融合处理，得到恢复图像。
该融合处理模型可以为基于卷积神经网络的模型。终端通过融合处理模型，对该内容特征图和该边缘特征图进行融合处理所得到的恢复图像，不仅可以恢复指定图像的场景信息，还可以有效恢复该指定图像的边缘特征，该恢复图像的视觉效果较好，有效提高了该图像增强处理方法的处理效果。
需要说明的是，上述第一回归网络模型、第二回归网络模型以及融合处理模型的组合即为本发明实施例提供的增强处理方法所采用的增强处理模型。
综上所述，本发明实施例提供了一种图像增强处理方法，该方法可以采用第一回归网络模型得到该指定图像的内容特征图，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘特征图进行融合处理后得到恢复图像能够有效恢复指定图像的场景信息和边缘特征，因此有效改善了图像增强处理的效果。并且，由于本发明实施例所采用的增强处理模型可以为基于神经网络的模型，该增强处理模型具有自学习功能，在模型训练的过程中，其处理效果能够不断改善。
图3是本发明实施例提供的另一种图像增强处理方法的流程图，该方法可以应用于图1所示的终端00中，参考图3，该方法可以包括：
步骤201、接收针对指定图像的增强处理指令。
在本发明实施例中，终端可以在接收到用户触发的针对指定图像的增强处理指令后，再对该指定图像进行增强处理。该指定图像可以为终端在低光照场景下(例如夜晚)拍摄得到的低光照图像，或者也可以为终端中预先存储的图像，本发明实施例对此不做限定。
示例的，终端中可以安装有图像处理应用程序，该图像处理应用程序中配置有增强处理模型。当用户需要对指定图像进行增强处理时，可以触发终端启动该图像处理应用程序，用户可以在该图像处理应用程序的应用界面上选中该指定图像，并可以通过预设操作(例如点击操作)触发针对该指定图像的增强处理指令。
步骤202、采用第一回归网络模型对指定图像进行处理，得到该指定图像的内容特征图。
在本发明实施例中，该第一回归网络模型可以为基于卷积神经网络的网络模型，该第一回归网络模型可以包括：N个卷积块，以及与该N个卷积块一一对应的N个反卷积块，该N可以为正整数，例如可以为大于1的整数。其中，每个卷积块可以包括多个卷积处理层，每个卷积处理层可以为卷积层、腐蚀卷积层或者下采样卷积层等。并且，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同。
每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同。采用不同尺度的卷积处理层对指定图像进行处理后所得到的特征图的大小(即分辨率)不同，该每个卷积处理层的尺度大小可以由卷积核的大小决定。
相应的，在采用该第一回归网络模型对指定图像进行处理时，可以先采用该N个卷积块依次对该指定图像进行处理，得到中间特征图；然后再采用该N个反卷积块依次对该中间特征图进行处理，最终即可得到该内容特征图。由于该第一回归网络模型包括的N个卷积块和N个反卷积块一一对应，因此采用该第一回归网络模型对该指定图像进行处理后，最终得到的内容特征图的分辨率与该指定图像的分辨率相同。
图4是本发明实施例提供的一种图像增强处理方法的算法框图，参考图4可以看出，该第一回归网络模型可以包括三个卷积块和三个反卷积块(即N等于3)。该第一回归网络模型中的三个卷积块可以包括：第一卷积块10、第二卷积块20和第三卷积块30。其中，如图4所示，该第一卷积块10可以包括：依次连接的两个腐蚀卷积层和一个卷积层；该第二卷积块20可以包括：依次连接的两个卷积层和一个下采样卷积层(也称为池化层)；该第三卷积块30可以包括：依次连接的三个卷积层。其中，在该第一卷积块10中设置两个腐蚀卷积层，可以有效提升该第一回归网络模型所输出的内容特征图的感知野。在卷积神经网络中，感知野是指网络模型所输出的特征图上的像素点在原始图像上映射的区域大小。
继续参考图4，该三个反卷积块可以包括第一反卷积块40、第二反卷积块50和第三反卷积块60，其中，该第一反卷积块40可以包括：依次连接的三个卷积层；该第二反卷积块50可以包括：依次连接的一个反卷积层和两个卷积层；该第三反卷积块60可以包括：依次连接的一个反卷积层和两个卷积层。
可选的，在本发明实施例中，如图4所示，该三个卷积块和三个反卷积块中，第一卷积块10与第三反卷积块60对应，第二卷积块20与第二反卷积块50对应，第三卷积块30与第一反卷积块40对应。
该第一卷积块10对指定图像进行处理后得到的特征图的大小可以与该指定图像的大小相同(即两者的分辨率相同)；该第二卷积块20对该第一卷积块10处理后得到的特征图进行进一步处理后，得到的特征图的大小可以为该指定图像的大小的1/2(即分辨率为原图的1/2)；该第三卷积块30对该第二卷积块20处理后得到的特征图进行进一步处理后，得到的特征图的大小可以为该指定图像的大小的1/4(即分辨率为原图的1/4)。
同理，采用第一反卷积块40对该第三卷积块30处理后的特征图进行处理后，得到的特征图的大小为该指定图像的大小的1/4；采用该第二反卷积块50对该第一反卷积块40处理后得到的特征图进行进一步处理后，得到的特征图的大小可以为该指定图像的大小的1/2；最后采用该第三反卷积块60对该第二反卷积块50处理后得到的特征图进行进一步处理后，最终得到的内容特征图的大小可以与指定图像的大小相等。
在本发明实施例中，还可以将该第一回归网络模型中对应的卷积块和反卷积块相连，例如，如图4所示，可以将第二卷积块20与第二反卷积块50相连，将第三卷积块30与第一反卷积块40相连，从而可以有效传递不同卷积块所提取的图像特征，加速该第一回归网络模型的收敛性，以及提高其恢复性能。
步骤203、获取该指定图像的梯度图。
该梯度图可以反映该指定图像中每个像素的邻域内的灰度变化。在本发明实施例中，终端可以为指定图像中像素的邻域设置梯度算子，并采用该梯度算子获取指定图像的梯度图，该梯度算子可以包括索贝尔(Sobel)算子、罗宾逊(Robinson)算子或者拉普拉斯(Laplace)算子等。
步骤204、采用第二回归网络模型对该指定图像的梯度图进行处理，得到该指定图像的边缘特征图。
在本发明实施例中，该第二回归网络模型可以为基于卷积神经网络和循环神经网络的模型，该第二回归网络模型可以包括：M个卷积块、与该M个卷积块一一对应的M个反卷积块、下采样模型以及循环神经网络模型。其中，M可以为正整数，例如可以为大于1的整数。
该M个卷积块中，每个卷积块可以包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同；该M个反卷积块中，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；该下采样模型则可以包括多个不同尺度的下采样卷积层。
可选的，在本发明实施例中，M与N可以相等，且该第二回归网络模型中的M个卷积块与该第一回归网络模型中的N个卷积块也可以一一对应，该第二回归网络模型中的M个反卷积块与该第一回归网络模型中的N个反卷积块也可以一一对应。其中，相对应的两个卷积块的尺度相同，相对应的两个反卷积块的尺度相同。
相应的，参考图5，采用该第二回归网络模型对该指定图像的梯度图进行处理，得到该指定图像的边缘特征图的过程具体可以包括：
步骤2041、采用M个卷积块依次对该指定图像的梯度图进行处理，得到中间梯度特征图。
如图4所示，M可以等于3，该三个卷积块可以包括第四卷积块11、第五卷积块21和第六卷积块31。其中，该第四卷积块11可以包括：依次连接的两个卷积层和一个下采样卷积层；第五卷积块21可以包括：依次连接的两个卷积层和一个下采样卷积层；第六卷积块31可以包括：依次连接的三个卷积层。
示例的，采用该M个卷积块依次对该指定图像的梯度图进行处理后得到中间梯度特征图的大小可以为该梯度图的大小的1/4。
步骤2042、采用M个反卷积块依次对该中间梯度特征图进行处理，得到第一特征图。
如图4所示，该M个反卷积块可以包括第四反卷积块41、第五反卷积块51和第六反卷积块61。其中，第四反卷积块41可以包括：依次连接的三个卷积层；第五反卷积块51可以包括：依次连接的一个反卷积层和两个卷积层；第六反卷积块61可以包括：依次连接的一个反卷积层和两个卷积层。
参考图4还可以看出，在该第二回归网络模型的三个卷积块和三个反卷积块中，该第四卷积块11与第六反卷积块61对应，第五卷积块21与第五反卷积块51对应，第六卷积块31与第四反卷积块41对应。因此，采用该M个反卷积块依次对该中间梯度特征图进行处理后得到第一特征图的大小可以与该梯度图的大小相等。
同理，在本发明实施例中，也可以将该第二回归网络模型中对应的卷积块和反卷积块相连，例如可以将第五卷积块21与第五反卷积块51相连，将第六卷积块31与第四反卷积块41相连，从而可以有效传递不同卷积块所提取的图像特征，加速该第二回归网络模型的收敛性，以及提高其恢复性能。
此外，如图4所示，该第一回归网络模型中的每个反卷积块还可以与第二回归网络模型中相同尺度的反卷积块相连，从而可以使得第一回归网络模型中的各个反卷积块可以获取到第二回归网络模型中对应的反卷积块所输出的特征图，实现不同网络模型所提取的特征的互补，增加网络模型所获取到的信息，从而改善该网络模型的处理效果。
当然，该第一回归网络模型中的每个卷积块也可以与第二回归网络模型中相同尺度的卷积块相连，本发明实施例对此不做限定。
步骤2043、采用下采样模型对叠加图像进行处理，得到多个不同尺度的第二特征图。
在本发明实施例中，该叠加图像可以为对该指定图像和该梯度图进行叠加后得到的图像。该下采样模型可以包括多个不同尺度的下采样卷积层，采用下采样模型对叠加图像进行处理，也即是采用该多个不同尺度的下采样卷积层，分别对该叠加图像进行处理。由于采用每个下采样卷积层对叠加图像进行处理后，可以得到一种尺度的第二特征图，因此采用该多个不同尺度的下采样卷积层分别对该叠加图像进行处理后，即可得到多个不同尺度的第二特征图。
例如，在图4所示的算法中，该下采样模型可以包括4个不同尺度的下采样卷积层，采用该下采样模型对叠加图像进行处理后，可以得到四个不同尺度的第二特征图。
步骤2044、对该第一特征图和该多个不同尺度的第二特征图进行分层处理，确定循环神经网络模型在不同梯度方向上的权重值。
进一步的，终端可以对该第一特征图和该多个不同尺度的第二特征图进行分层(Slicing)处理，从而确定循环神经网络(RecurrentNeural Networks，RNNs)模型在不同梯度方向上的权重值。其中，该梯度方向可以包括上下左右共四个方向。
由于不同尺度(即不同分辨率)的第二特征图可以提供不同的边缘信息。比如，小分辨率的第二特征图可以提供强烈的边缘信息，即图像的细节纹理信息，大分辨率的第二特征图可以提供细小的边缘信息，即图像的整体轮廓及结构信息，因此在该分层处理的过程中，可以利用多个不同尺度的第二特征图所提供的特征对RNNs模型中不同梯度方向的权重值进行约束，从而确定该RNNs模型在不同梯度方向上的权重值。一般第二特征图中像素值越大的像素对应的RNNs模型中的权重值也越大。
步骤2045、基于确定权重值的该循环神经网络模型，对该第一特征图进行处理，得到该指定图像的边缘特征图。
最后，终端可以在循环神经网络模型所提取的不同梯度方向的权重值中选取最大的权重值作为最终的梯度方向指示结果，并可以基于该结果控制循环神经网络模型对该第一特征图进行处理，得到该指定图像的边缘特征图。
需要说明的是，在上述步骤204所示的获取边缘特征图的方法中，步骤2043可以在步骤2042或步骤2041之前执行，或者该步骤2043和步骤2044也可以根据情况进行删除，即该第二回归网络模型中的循环神经网络在不同梯度方向上的权重值可以为预先确定好的，终端可以直接采用该循环神经网络对第一特征图进行处理，得到该边缘特征图。
步骤205、将该内容特征图和该边缘特征图进行叠加。
进一步的，如图4所示，终端即可采用基于卷积神经网络的融合处理模型，对该内容特征图和该边缘特征图进行处理，以得到恢复图像。从图4可以看出，在采用该融合处理模型对该内容特征图和该边缘特征图进行处理时，需要先将该内容特征图和该边缘特征图叠加。
步骤206、采用多个卷积层对叠加后的图像进行处理，得到恢复图像。
在本发明实施例中，参考图4可以看出，该融合处理模型中可以包括多个卷积层，例如可以包括两个卷积层。终端可以采用该多个卷积层对叠加后的图像进行处理，从而得到恢复图像。该恢复图像能够有效反映出指定图像的场景信息和边缘特征，因此该恢复图像的视觉效果较好。
需要说明的是，在本发明实施例中，包括腐蚀卷积层、卷积层、下采样卷积层以及反卷积层在内的每个卷积处理层，在实际进行图像处理时，还可以采用修正线性单元(Rectified linear unit，ReLU)作为激活函数，该ReLU可以增加增强处理模型中各卷积处理层之间的非线性关系，提高该增强处理模型的训练效率。
还需要说明的是，本发明实施例提供的图像增强处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤203和步骤204可以在步骤202之前执行，也可以与步骤202同步执行。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
此外，在本发明实施例中，第一回归网络模型和第二回归网络模型中的各个卷积块或反卷积块所采用的卷积处理层的数量和类型可以根据实际情况进行调整，例如，第一回归网络模型中的第一卷积块中可以设置一个腐蚀卷积层或者三个以上的腐蚀卷积层，第三卷积块中也可以设置四个卷积层。本发明实施例对此不做限定。
综上所述，本发明实施例提供了一种图像增强处理方法，该方法可以采用第一回归网络模型得到该指定图像的内容特征图，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘特征图进行融合处理后得到恢复图像。由于该恢复图像能够有效恢复指定图像的场景信息和边缘特征，因此有效改善了图像增强处理的效果。并且，由于本发明实施例所采用的增强处理模型可以为基于神经网络的模型，该增强处理模型具有自学习功能，其处理效果能够不断改善。
图6是本发明实施例提供的一种模型训练方法的流程图，在本发明实施例中，终端在采用该增强处理模型对指定图像进行处理之前，还可以对该增强处理模型进行训练，以改善其性能。参考图6，该方法可以包括：
步骤301、获取K组训练图像，每组该训练图像包括正常光照图像，以及与该正常光照图像对应的低光照图像。
其中，K为大于1的整数，该K组训练图像中的正常光照图像可以为开发人员人工筛选的亮度较高，且较为清晰的图像；或者该K组训练图像中的正常光照图像也可以为机器筛选的亮度和对比度满足预设条件的图像。每组训练图像中的低光照图像是采用伽马矫正函数对该组训练图像中的正常光照图像进行处理后得到的图像，因此每组训练图像中的正常光照图像和低光照图像也可以称为一对匹配对。
步骤302、基于该K组训练图像，构造损失函数。
该损失函数Lmse(θ)可以满足：
其中，|| ||表示求解二范数(也称为L2范数)，Lk和Rk分别为第k组训练图像中的低光照图像和正常光照图像，f为本发明实施例提供的图像增强方法所采用的增强处理模型，如前文所述，该增强处理模型可以由该第一回归网络模型、该第二回归网络模型和该融合处理模型组成；f(Lk,θ)为对该第k组训练图像中的低光照图像Lk进行增强处理后得到的恢复图像，θ为该增强处理模型中的参数，k为不大于K的正整数。
在上述公式(1)中，f(Lk,θ)-Rk可以是指将两幅图像中对应像素的像素值之差，由此可知，该损失函数也即是求解采用增强处理模型得到的恢复图像，与真实的正常光照图像之间的均方误差(mean-square error，MSE)。
步骤303、基于该K组训练图像，构造训练损失函数。
在本发明实施例中，为了进一步提高该增强处理模型的处理效果，终端还可以构造其他训练损失函数，该训练损失函数可以包括：感知损失函数和对抗损失函数中的至少一种。
步骤304、将该损失函数与该训练损失函数叠加，得到叠加函数。
例如，假设该训练损失函数包括感知损失函数和对抗损失函数。则相应的，终端可以将该损失函数、该感知损失函数和该对抗损失函数进行叠加，得到叠加函数。
步骤305、基于该叠加函数，对该增强处理模型进行训练。
最后，终端即可基于该叠加函数，对该增强处理模型进行训练，以规则化该增强处理模型中的参数θ，从而得到该第一回归网络模型、该第二回归网络模型以及该融合处理模型。该训练后的增强处理模型能够有效拟合该K组训练图像。其中，在训练的过程中，可以通过反向传递的方式更新该增强处理模型中的参数，直至该叠加函数收敛。
在上述步骤303中，若该训练损失函数包括感知损失函数，则终端构造该感知损失函数的过程可以包括：
步骤3031a、从K组训练图像中选取一组目标训练图像。
例如终端可以随机选取一组训练图像作为目标训练图像。
步骤3032a、采用该增强处理模型对该目标训练图像中的目标低光照图像进行增强处理，得到该目标低光照图像对应的恢复图像。
参考上述公式(1)可知，采用该增强处理模型f对该目标低光照图像L进行增强处理后得到的恢复图像可以表示为f(L,θ)。
步骤3033a、基于该目标训练图像，构造感知损失函数。
在本发明实施例中，终端可以采用预设的神经网络模型ψ分别对该目标训练图像中的目标正常光照图像R，以及该目标低光照图像L对应的恢复图像f(L,θ)进行处理后，构造感知损失函数Lper，该感知损失函数Lper可以满足：
其中，ψi,j表示该预设的神经网络模型ψ中第i个池化层之后的第j个卷积层所提取出的特征图，Wi,j和Hi,j分别为该预设的神经网络模型中每层特征图的宽度和长度。
可选的，终端所采用的该预设的神经网络模型可以为VGG16模型、VGG19模型或者其他多层卷积神经网络模型等，本发明实施例对此不做限定。若该预设的神经网络模型为VGG16模型，则上述公式(2)中的ψi,j{f(L,θ)}-ψi,j(R)也可以称为两个特征图之间的ReLU5_3特征差异。
在上述步骤303中，若该训练损失函数包括对抗损失函数，则终端构造该对抗损失函数的过程可以包括：
步骤3031b、从该K组训练图像中选取一组目标训练图像。
例如终端可以随机选取一组训练图像作为目标训练图像，且该目标训练图像与上述步骤3031a中所选取的目标训练图像可以相同，也可以不同，本发明实施例对此不做限定。
步骤3032b、基于该目标训练图像，构造对抗损失函数。
该对抗损失函数Ladv可以满足：
其中，D为终端中预设的判别网络模型，表示图像为正常光照图像的概率，表示图像为低光照图像的概率。
需要说明的是，本发明实施例提供的模型训练方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤303和步骤304可根据情况删除，即终端可以直接采用该损失函数对增强处理模型进行训练，步骤3031b也可以根据情况删除，即在上述步骤3032b中，可以直接采用上述步骤3031a中所选取的目标训练图像构造对抗损失函数。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供了一种模型训练方法，该方法可以采用训练图像构造损失函数，并采用该损失函数对增强处理模型进行训练，有效改善了该增强处理模型的处理效果，使得采用该增强处理模型得到的恢复图像的视觉效果更加逼真。
图7是本发明实施例提供的一种图像增强处理装置的结构示意图，该装置可以配置于图1所示的终端00中，参考图7，该装置可以包括：
第一处理模块401，用于采用第一回归网络模型对指定图像进行处理，得到该指定图像的内容特征图。
第二处理模块402，用于采用第二回归网络模型对该指定图像的梯度图进行处理，得到该指定图像的边缘特征图。
第三处理模块403，用于采用融合处理模型，对该内容特征图和该边缘特征图进行融合处理，得到恢复图像。
可选的，该第一回归网络模型可以包括：N个卷积块，以及与该N个卷积块一一对应的N个反卷积块，该N为正整数，每个该卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同。
相应的，该第一处理模块401，具体可以用于：
采用该N个卷积块依次对该指定图像进行处理，得到中间特征图；
采用该N个反卷积块依次对该中间特征图进行处理，得到该内容特征图。
可选的，该N等于3；
该N个卷积块包括第一卷积块、第二卷积块和第三卷积块，其中，该第一卷积块包括：两个腐蚀卷积层和一个卷积层；该第二卷积块包括：两个卷积层和一个下采样卷积层；该第三卷积块包括：三个卷积层；
该N个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，其中，该第一反卷积块包括：三个卷积层；该第二反卷积块包括：一个反卷积层和两个卷积层；该第三反卷积块包括：一个反卷积层和两个卷积层。
可选的，该第二回归网络模型可以包括：M个卷积块、与该M个卷积块一一对应的M个反卷积块以及循环神经网络模型，该M为正整数，每个该卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同。
相应的，该第二处理模块402具体可以用于：
采用该M个卷积块依次对该指定图像的梯度图进行处理，得到中间梯度特征图；
采用该M个反卷积块依次对该中间梯度特征图进行处理，得到第一特征图；
确定该循环神经网络模型在不同梯度方向上的权重值；
基于确定权重值的该循环神经网络模型，对该第一特征图进行处理，得到该指定图像的边缘特征图。
可选的，该第二回归网络模型还可以包括下采样模型，该下采样模型包括多个不同尺度的下采样卷积层，该第二处理模块402确定循环神经网络模型在不同梯度方向上的权重值的过程具体可以包括：
采用该多个不同尺度的下采样卷积层分别对叠加图像进行处理，得到多个不同尺度的第二特征图，其中，该叠加图像为对该指定图像和该梯度图进行叠加后得到的图像；
对该第一特征图和该多个不同尺度的第二特征图进行分层处理，确定该循环神经网络模型在不同梯度方向上的权重值。
可选的，该M可以等于3；
该M个卷积块包括第四卷积块、第五卷积块和第六卷积块，其中，该第四卷积块包括：两个卷积层和一个下采样卷积层；第五卷积块包括：两个卷积层和一个下采样卷积层；第六卷积块包括：三个卷积层；
该M个反卷积块包括第四反卷积块、第五反卷积块和第六反卷积块，其中，第四反卷积块包括：三个卷积层；第五反卷积块包括：一个反卷积层和两个卷积层；第六反卷积块包括：一个反卷积层和两个卷积层。
可选的，该融合处理模型可以包括多个卷积层；该第三处理模块403具体可以用于：
将该内容特征图和该边缘特征图进行叠加；
采用该多个卷积层对叠加后的图像进行处理，得到该恢复图像。
图8是本发明实施例提供的另一种图像增强处理装置的结构示意图，参考图8，该装置还可以包括：
获取模块404，用于获取K组训练图像，每组该训练图像包括正常光照图像，以及与该正常光照图像对应的低光照图像，K为大于1的整数，该低光照图像是采用伽马矫正函数对该正常光照图像进行处理后得到的图像。
构造模块405，用于基于该K组训练图像，构造损失函数，该损失函数Lmse(θ)满足：
其中，Lk和Rk分别为第k组训练图像中的低光照图像和正常光照图像，f为该图像增强装置所采用的增强处理模型，该增强处理模型由该第一回归网络模型、该第二回归网络模型和该融合处理模型组成；f(Lk,θ)为对该第k组训练图像中的低光照图像Lk进行增强处理后得到的恢复图像，θ为该增强处理模型中的参数，k为不大于K的正整数；
训练模块406，用于根据该损失函数，对该增强处理模型进行训练，得到该第一回归网络模型、该第二回归网络模型和该融合处理模型。
可选的，该构造模块405还可以用于：
基于该K组训练图像，构造训练损失函数，该训练损失函数包括：感知损失函数和对抗损失函数中的至少一种。
相应的，该训练模块406具体可以用于：
将该损失函数和该训练损失函数叠加，得到叠加函数；
基于该叠加函数，对该增强处理模型进行训练。
可选的，该构造模块405构造感知损失函数的过程可以包括：
从该K组训练图像中选取一组目标训练图像。
采用该增强处理模型f对该目标训练图像中的目标低光照图像L进行增强处理，得到该目标低光照图像L对应的恢复图像f(L,θ)。
采用预设的神经网络模型ψ分别对该目标训练图像中的目标正常光照图像R，以及该目标低光照图像L对应的恢复图像f(L,θ)进行处理后，构造感知损失函数，该感知损失函数满足：
其中，ψi,j表示该预设的神经网络模型ψ中第i个池化层之后的第j个卷积层所提取出的特征图，Wi,j和Hi,j分别为该预设的神经网络模型中每层特征图的宽度和长度；
可选的，该构造模块405构造对抗损失函数的过程可以包括：
从该K组训练图像中选取一组目标训练图像，基于该目标训练图像，构造对抗损失函数，该对抗损失函数满足：
其中，D为预设的判别网络模型，表示图像为正常光照图像的概率，表示图像为低光照图像的概率；
综上所述，本发明实施例提供了一种图像增强处理装置，该装置可以采用第一回归网络模型得到该指定图像的内容特征图，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘特征图进行融合处理后得到恢复图像。由于该恢复图像能够有效恢复指定图像的场景信息和边缘特征，因此有效改善了图像增强处理的效果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9示出了本发明一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的图像增强处理方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(NearField Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本发明实施例提供了一种计算机可读存储介质，其特征在于，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如图2或图3所示的图像增强处理方法，以及图6所示的模型训练方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像增强处理方法，其特征在于，所述方法包括：
采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；
采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；
采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。
2.根据权利要求1所述的方法，其特征在于，所述第一回归网络模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块，所述N为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；
所述采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图，包括：
采用所述N个卷积块依次对所述指定图像进行处理，得到中间特征图；
采用所述N个反卷积块依次对所述中间特征图进行处理，得到所述内容特征图。
3.根据权利要求2所述的方法，其特征在于，所述N等于3；
所述N个卷积块包括第一卷积块、第二卷积块和第三卷积块，其中，所述第一卷积块包括：两个腐蚀卷积层和一个卷积层；所述第二卷积块包括：两个卷积层和一个下采样卷积层；所述第三卷积块包括：三个卷积层；
所述N个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，其中，所述第一反卷积块包括：三个卷积层；所述第二反卷积块包括：一个反卷积层和两个卷积层；所述第三反卷积块包括：一个反卷积层和两个卷积层。
4.根据权利要求1所述的方法，其特征在于，所述第二回归网络模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块以及循环神经网络模型，所述M为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；
所述采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图，包括：
采用所述M个卷积块依次对所述指定图像的梯度图进行处理，得到中间梯度特征图；
采用所述M个反卷积块依次对所述中间梯度特征图进行处理，得到第一特征图；
确定所述循环神经网络模型在不同梯度方向上的权重值；
基于确定权重值的所述循环神经网络模型，对所述第一特征图进行处理，得到所述指定图像的边缘特征图。
5.根据权利要求4所述的方法，其特征在于，所述第二回归网络模型，还包括：下采样模型，所述下采样模型包括多个不同尺度的下采样卷积层；
所述确定所述循环神经网络模型在不同梯度方向上的权重值，包括：
采用所述多个不同尺度的下采样卷积层分别对叠加图像进行处理，得到多个不同尺度的第二特征图，其中，所述叠加图像为对所述指定图像和所述梯度图进行叠加后得到的图像；
对所述第一特征图和所述多个不同尺度的第二特征图进行分层处理，确定所述循环神经网络模型在不同梯度方向上的权重值。
6.根据权利要求4所述的方法，其特征在于，所述M等于3；
所述M个卷积块包括第四卷积块、第五卷积块和第六卷积块，其中，所述第四卷积块包括：两个卷积层和一个下采样卷积层；第五卷积块包括：两个卷积层和一个下采样卷积层；第六卷积块包括：三个卷积层；
所述M个反卷积块包括第四反卷积块、第五反卷积块和第六反卷积块，其中，第四反卷积块包括：三个卷积层；第五反卷积块包括：一个反卷积层和两个卷积层；第六反卷积块包括：一个反卷积层和两个卷积层。
7.根据权利要求1至6任一所述的方法，其特征在于，所述第一回归网络模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块；所述第二回归网络模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块；所述N和M均为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；
其中，所述第一回归网络模型中的每个反卷积块与所述第二回归网络模型中相同尺度的反卷积块相连。
8.根据权利要求1至6任一所述的方法，其特征在于，所述融合处理模型包括多个卷积层；
所述采用融合处理模型，得到恢复图像，包括：
将所述内容特征图和所述边缘特征图进行叠加；
采用所述多个卷积层对叠加后的图像进行处理，得到所述恢复图像。
9.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：
获取K组训练图像，每组所述训练图像包括正常光照图像，以及与所述正常光照图像对应的低光照图像，K为大于1的整数，所述低光照图像是采用伽马矫正函数对所述正常光照图像进行处理后得到的图像；
基于所述K组训练图像，构造损失函数，所述损失函数Lmse(θ)满足：
其中，Lk和Rk分别为第k组训练图像中的低光照图像和正常光照图像，f为所述图像增强方法所采用的增强处理模型，所述增强处理模型由所述第一回归网络模型、所述第二回归网络模型和所述融合处理模型组成；f(Lk,θ)为对所述第k组训练图像中的低光照图像Lk进行增强处理后得到的恢复图像，θ为所述增强处理模型中的参数，k为不大于K的正整数；
根据所述损失函数，对所述增强处理模型进行训练，得到所述第一回归网络模型、所述第二回归网络模型和所述融合处理模型。
10.根据权利要求9所述的方法，其特征在于，在对所述增强处理模型进行训练之前，所述方法还包括：
基于所述K组训练图像，构造训练损失函数，所述训练损失函数包括：感知损失函数和对抗损失函数中的至少一种；
所述根据所述损失函数，对所述增强处理模型进行训练，包括：
将所述损失函数和所述训练损失函数叠加，得到叠加函数；
基于所述叠加函数，对所述增强处理模型进行训练。
11.根据权利要求10所述的方法，其特征在于，所述训练损失函数包括感知损失函数；基于所述K组训练图像，构造感知损失函数，包括：
从所述K组训练图像中选取一组目标训练图像；
采用所述增强处理模型f对所述目标训练图像中的目标低光照图像L进行增强处理，得到所述目标低光照图像L对应的恢复图像f(L,θ)；
采用预设的神经网络模型ψ分别对所述目标训练图像中的目标正常光照图像R，以及所述目标低光照图像L对应的恢复图像f(L,θ)进行处理后，构造感知损失函数，所述感知损失函数满足：
其中，ψi,j表示所述预设的神经网络模型ψ中第i个池化层之后的第j个卷积层所提取出的特征图，Wi,j和Hi,j分别为所述预设的神经网络模型中每层特征图的宽度和长度。
12.根据权利要求10所述的方法，其特征在于，所述训练损失函数包括对抗损失函数；基于所述K组训练图像，构造对抗损失函数，包括：
从所述K组训练图像中选取一组目标训练图像；
基于所述目标训练图像，构造对抗损失函数，所述对抗损失函数满足：
其中，D为预设的判别网络模型，表示图像为正常光照图像的概率，表示图像为低光照图像的概率。
13.一种图像增强处理装置，其特征在于，所述装置包括：
第一处理模块，用于采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；
第二处理模块，用于采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；
第三处理模块，用于采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。
14.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的图像增强处理方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的图像增强处理方法。
CN201810038866.XA 2018-01-16 2018-01-16 图像增强处理方法及装置 Active CN108305236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810038866.XA CN108305236B (zh) 2018-01-16 2018-01-16 图像增强处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810038866.XA CN108305236B (zh) 2018-01-16 2018-01-16 图像增强处理方法及装置

Publications (2)

Publication Number Publication Date
CN108305236A true CN108305236A (zh) 2018-07-20
CN108305236B CN108305236B (zh) 2022-02-22

Family

ID=62869036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810038866.XA Active CN108305236B (zh) 2018-01-16 2018-01-16 图像增强处理方法及装置

Country Status (1)

Country Link
CN (1) CN108305236B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124635A (zh) * 2018-09-25 2019-01-04 上海联影医疗科技有限公司 模型生成方法、磁共振成像扫描方法及系统
CN109191558A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 图像打光方法和装置
CN109345485A (zh) * 2018-10-22 2019-02-15 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
CN109462732A (zh) * 2018-10-29 2019-03-12 努比亚技术有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN110163241A (zh) * 2019-03-18 2019-08-23 腾讯科技（深圳）有限公司 数据样本生成方法、装置、计算机设备及存储介质
CN110287848A (zh) * 2019-06-19 2019-09-27 北京卡路里信息技术有限公司 视频的生成方法及装置
CN110378854A (zh) * 2019-07-17 2019-10-25 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN110796607A (zh) * 2018-08-03 2020-02-14 北京大学 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
WO2020186372A1 (zh) * 2019-03-18 2020-09-24 北京大学深圳研究生院 一种逆色调映射方法、系统、设备及计算机可读介质
US20210272236A1 (en) * 2019-02-28 2021-09-02 Tencent Technology (Shenzhen) Company Limited Image enhancement method and apparatus, and storage medium
CN114022394A (zh) * 2022-01-04 2022-02-08 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
WO2022204868A1 (zh) * 2021-03-29 2022-10-06 深圳高性能医疗器械国家研究院有限公司 一种基于多重约束的卷积神经网络校正图像伪影的方法
CN115769247A (zh) * 2020-07-27 2023-03-07 华为技术有限公司 图像增强方法及装置
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
WO2024211146A1 (en) * 2023-04-05 2024-10-10 Dolby Laboratories Licensing Corporation Image enhancement acceleration by patch-wise regression

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545062A (zh) * 2003-11-27 2004-11-10 上海交通大学 综合边缘和纹理信息的金字塔图像融合方法
CN104063848A (zh) * 2014-06-19 2014-09-24 中安消技术有限公司 一种低照度图像增强方法和装置
CN105023253A (zh) * 2015-07-16 2015-11-04 上海理工大学 基于视觉底层特征的图像增强方法
US9202267B1 (en) * 2013-03-14 2015-12-01 Marseille Networks, Inc. System and method to enhance and process a digital image
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545062A (zh) * 2003-11-27 2004-11-10 上海交通大学 综合边缘和纹理信息的金字塔图像融合方法
US9202267B1 (en) * 2013-03-14 2015-12-01 Marseille Networks, Inc. System and method to enhance and process a digital image
CN104063848A (zh) * 2014-06-19 2014-09-24 中安消技术有限公司 一种低照度图像增强方法和装置
CN105023253A (zh) * 2015-07-16 2015-11-04 上海理工大学 基于视觉底层特征的图像增强方法
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RONNY: "神经网络：卷积神经网络", 《HTTPS://WWW.CNBLOGS.COM/RONNY/P/ANN_03.HTML》 *
WENQI REN: "Single Image Dehazing via Multi-scale", 《ECCV》 *
ZHICHENG YAN: "Automatic Photo Adjustment Using Deep Neural Networks", 《ACM》 *
张雷等: "一种新的基于图像增强的融合算法", 《激光与红外》 *
路雅宁等: "结合边缘信息和图像特征信息的曲波域遥感图像融合", 《光子学报》 *
陶卫平: "低分辨率图像目标特征实时增强方法仿真", 《计算机仿真》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020019618A1 (zh) * 2018-07-27 2020-01-30 深圳市商汤科技有限公司 图像打光方法、装置、电子设备及存储介质
CN109191558A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 图像打光方法和装置
US11455516B2 (en) 2018-07-27 2022-09-27 Shenzhen Sensetime Technology Co., Ltd. Image lighting methods and apparatuses, electronic devices, and storage media
KR102290985B1 (ko) 2018-07-27 2021-08-19 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
CN109191558B (zh) * 2018-07-27 2020-12-08 深圳市商汤科技有限公司 图像打光方法和装置
KR20200014842A (ko) * 2018-07-27 2020-02-11 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
CN110796607B (zh) * 2018-08-03 2022-07-22 北京大学 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法
CN110796607A (zh) * 2018-08-03 2020-02-14 北京大学 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法
CN109124635A (zh) * 2018-09-25 2019-01-04 上海联影医疗科技有限公司 模型生成方法、磁共振成像扫描方法及系统
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN110163235B (zh) * 2018-10-11 2023-07-11 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN109345485B (zh) * 2018-10-22 2021-04-16 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质
CN109345485A (zh) * 2018-10-22 2019-02-15 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质
CN109462732A (zh) * 2018-10-29 2019-03-12 努比亚技术有限公司 一种图像处理方法、设备及计算机可读存储介质
CN109462732B (zh) * 2018-10-29 2021-01-15 努比亚技术有限公司 一种图像处理方法、设备及计算机可读存储介质
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
US11790497B2 (en) * 2019-02-28 2023-10-17 Tencent Technology (Shenzhen) Company Limited Image enhancement method and apparatus, and storage medium
US20210272236A1 (en) * 2019-02-28 2021-09-02 Tencent Technology (Shenzhen) Company Limited Image enhancement method and apparatus, and storage medium
CN110163241A (zh) * 2019-03-18 2019-08-23 腾讯科技（深圳）有限公司 数据样本生成方法、装置、计算机设备及存储介质
WO2020186372A1 (zh) * 2019-03-18 2020-09-24 北京大学深圳研究生院 一种逆色调映射方法、系统、设备及计算机可读介质
CN110163241B (zh) * 2019-03-18 2022-12-30 腾讯科技（深圳）有限公司 数据样本生成方法、装置、计算机设备及存储介质
CN110287848A (zh) * 2019-06-19 2019-09-27 北京卡路里信息技术有限公司 视频的生成方法及装置
CN110378854A (zh) * 2019-07-17 2019-10-25 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111160441B (zh) * 2019-12-24 2024-03-26 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN115769247A (zh) * 2020-07-27 2023-03-07 华为技术有限公司 图像增强方法及装置
WO2022204868A1 (zh) * 2021-03-29 2022-10-06 深圳高性能医疗器械国家研究院有限公司 一种基于多重约束的卷积神经网络校正图像伪影的方法
CN114022394B (zh) * 2022-01-04 2022-04-19 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
CN114022394A (zh) * 2022-01-04 2022-02-08 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
WO2023130650A1 (zh) * 2022-01-04 2023-07-13 苏州浪潮智能科技有限公司 一种图像复原方法、装置、电子设备及存储介质
WO2024211146A1 (en) * 2023-04-05 2024-10-10 Dolby Laboratories Licensing Corporation Image enhancement acceleration by patch-wise regression
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Also Published As

Publication number Publication date
CN108305236B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108305236A (zh) 图像增强处理方法及装置
EP3779883B1 (en) Method and device for repositioning in camera orientation tracking process, and storage medium
CN107945163B (zh) 图像增强方法及装置
CN110222551B (zh) 识别动作类别的方法、装置、电子设备及存储介质
CN109978936B (zh) 视差图获取方法、装置、存储介质及设备
CN109978989A (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
EP4083904A1 (en) Method and apparatus for beautifying selfies
CN109034102A (zh) 人脸活体检测方法、装置、设备及存储介质
CN110210571A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110097019A (zh) 字符识别方法、装置、计算机设备以及存储介质
CN108594997A (zh) 手势骨架构建方法、装置、设备及存储介质
CN110276840A (zh) 多虚拟角色的控制方法、装置、设备及存储介质
CN110110787A (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN110309243A (zh) 获取实景电子地图的方法、装置、设备和存储介质
CN110210573A (zh) 对抗图像的生成方法、装置、终端及存储介质
CN110059652A (zh) 人脸图像处理方法、装置及存储介质
CN109558837A (zh) 人脸关键点检测方法、装置及存储介质
CN110134744A (zh) 对地磁信息进行更新的方法、装置和系统
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN113515987A (zh) 掌纹识别方法、装置、计算机设备及存储介质
CN109886208A (zh) 物体检测的方法、装置、计算机设备及存储介质
CN109583370A (zh) 人脸结构网格模型建立方法、装置、电子设备及存储介质
CN114299306A (zh) 获取图像检索模型的方法、图像检索方法、装置和设备
CN110189348A (zh) 头像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant