CN109544482A - 一种卷积神经网络模型生成方法及图像增强方法 - Google Patents
一种卷积神经网络模型生成方法及图像增强方法 Download PDFInfo
- Publication number
- CN109544482A CN109544482A CN201811443438.1A CN201811443438A CN109544482A CN 109544482 A CN109544482 A CN 109544482A CN 201811443438 A CN201811443438 A CN 201811443438A CN 109544482 A CN109544482 A CN 109544482A
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- module
- layer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 95
- 230000002708 enhancing effect Effects 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 47
- 239000011248 coating agent Substances 0.000 claims description 21
- 238000000576 coating method Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种用于图像增强的卷积神经网络(CNN)模型的生成方法，在计算设备中执行，该方法包括：构建CNN模型结构并设置损失函数表达式，CNN模型结构包括通用特征模块、局部特征模块、全局特征模块、参数表生成模块、引导图生成模块、增强参数生成模块以及图像增强模块；获取多个训练图像对，每一个训练图像对包括输入图像和目标图像；将多个训练图像对作为训练样本来训练CNN模型，不断更新CNN模型的模型参数，每更新一次模型参数，按照前述损失函数表达式来计算模型的损失函数值，当损失函数值收敛时，停止训练过程，得到CNN模型的模型参数从而生成CNN模型。本发明一并公开了相应的图像增强方法和计算设备。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于增强图像对比度和锐度的卷积神经网络模型的生成方法、图像增强方法以及计算设备。
背景技术
移动终端及互联网技术的发展方便了用户获取图像信息，例如，用户可以用手机拍照，或从互联网上浏览、下载图像等。然而，在用户获取的图像中，大部分图像的质量是不理想的，例如，图像的对比度不够，图像整体泛白、灰暗；又例如，图像的锐度不够，画质模糊，边缘平滑等。因此，需要提升图像的对比度和锐度，来增强图像信息。
传统方法多采用曲线调整来增强图像的对比度，但是，这种方法需要手动调整参数，操作不便，降低了用户的使用体验，且针对性较强，无法灵活适用于多个图像场景。现有算法多采用滤波或空域微分的方法来增强图像的锐度，但是，这种方法对于所有图像都采用统一的方法来锐化，不够灵活，容易造成锐化过度，效果不自然。此外，在现有的算法中，图像的对比度增强和锐度增强是两个相对独立的问题，难以在增强对比度的同时也增强锐度，增强算法的实现效率较低。
因此，需要一种更灵活、高效的图像增强方法。
发明内容
为此，本发明提供一种用于增强图像对比度和锐度的卷积神经网络模型生成方法，并提供一种基于该卷积神经网络模型的图像增强方法，以力图解决或至少缓解上面存在的问题。
根据本发明的一个方面，提供一种卷积神经网络模型生成方法，在计算设备中执行，所述卷积神经网络模型适于增强输入图像的对比度和锐度以得到输出图像，所述方法包括：构建卷积神经网络模型结构并设置损失函数表达式，所述模型结构包括通用特征模块、局部特征模块、全局特征模块、参数表生成模块、引导图生成模块、增强参数生成模块以及图像增强模块，其中，所述通用特征模块、引导图生成模块的输入为输入图像，输出分别为多个通用特征图、一个引导图，所述局部特征模块、全局特征模块的输入为所述多个通用特征图，输出分别为多个局部特征图、一个全局特征向量，所述参数表生成模块的输入为所述多个局部特征图和一个全局特征向量，输出为多个参数特征图，所述增强参数生成模块的输入为所述多个参数特征图和一个引导图，输出为多个增强参数图，所述图像增强模块的输入为输入图像和所述多个增强参数图，输出为输出图像；获取多个训练图像对，每一个训练图像对包括输入图像和目标图像；将所述多个训练图像对作为训练样本来训练所述卷积神经网络模型，不断更新所述卷积神经网络模型的模型参数，每更新一次模型参数，按照所述损失函数表达式来计算模型的损失函数值，当所述损失函数值收敛时，停止训练过程，得到所述卷积神经网络模型的模型参数从而生成所述卷积神经网络模型。
可选地，在根据本发明的卷积神经网络模型生成方法中，通用特征模块包括依次相连的一个缩放层和多个第一处理块，所述第一处理块包括：依次相连的卷积层、批标准化层、激活层或依次相连的卷积层、激活层。
可选地，在根据本发明的卷积神经网络模型生成方法中，局部特征模块包括依次相连的一个第二处理块和一个卷积层，其中，所述第二处理块包括依次相连的卷积层、批标准化层和激活层。
可选地，在根据本发明的卷积神经网络模型生成方法中，全局特征模块包括依次相连的多个第三处理块和至少两个全连接层，所述第三处理块包括依次相连的卷积层、批处理层和激活层。
可选地，在根据本发明的卷积神经网络模型生成方法中，参数表生成模块包括第一卷积层、第一全连接层、融合层和第二卷积层，其中，第一卷积层的输入为所述多个局部特征图，第一全连接层的输入为所述全局特征向量，融合层的输入为所述第一卷积层、第一全连接层的输出，所述融合层适于将所述第一全连接层的输出进行复制扩展，并将复制扩展后的结果与所述第一卷积层的输出相加、激活，以得到所述融合层的输出；第二卷积层的输入为所述融合层的输出，输出为所述多个参数特征图。
可选地，在根据本发明的卷积神经网络模型生成方法中，引导图生成模块适于按照以下公式生成引导图：
其中，GuideMap表示引导图，i为计数变量，nums为预设数量，1≤i≤nums，Xr、Xg、Xb分别为输入图像X的RGB通道图，ReLU()表示ReLU函数，ai＝[air，aig，aib]、bi＝[bir，big，bib]、c为待训练的模型参数。
可选地，在根据本发明的卷积神经网络模型生成方法中，增强参数生成模块适于：根据所述引导图来确定预设数量个与所述引导图尺寸相同的系数图；分别对每一个所述参数特征图进行插值，得到与所述引导图尺寸相同的多个中间特征图；将所述多个中间特征图划分为12组，每一组包括预设数量个中间特征图；对于每一组中间特征图：将该组的预设数量个中间特征图分别与预设数量个系数图相乘，得到预设数量个相乘结果图，将所述预设数量个相乘结果图相加，得到一个增强参数图。
可选地，在根据本发明的卷积神经网络模型生成方法中，图像增强模块适于：将所述多个增强参数图划分为三组，每一组包括四个增强参数图；对于每一组增强参数图：将该组的前三个增强参数图分别与输入图像的RGB通道图相乘，将三个相乘结果与该组的第四个增强参数图相加，得到输出图像的一个单通道图；将三个单通道图作为输出图像的RGB通道图从而确定输出图像。
可选地，在根据本发明的卷积神经网络模型生成方法中，损失函数表达式为：
loss＝λ1*color_loss+λ2*vgg_loss
其中，
color_loss、vgg_loss为损失函数因子，λ1、λ2分别为color_loss、vgg_loss的权重系数，N为训练图像对的数量，W、H分别为输出图像的水平尺寸和垂直尺寸，i、j、k为计数变量，rijk、gijk、bijk分别表示第i个输出图像的坐标为(j,k)的像素的RGB值，r’ijk、g’ijk、b’ijk分别表示第i个目标图像的坐标为(j,k)的像素的RGB值，W’、H’分别为VGG19网络的一个处理层输出的特征图的水平尺寸和垂直尺寸，vrijk、vgijk、vbijk分别表示将第i个输出图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值，vr’ijk、vg’ijk、vb’ijk分别表示将第i个目标图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值。
可选地，在根据本发明的卷积神经网络模型生成方法中，在计算color_loss之前，还包括步骤：采用相同的模糊算法对所有输出图像和目标图像进行模糊。
可选地，在根据本发明的卷积神经网络模型生成方法中，在计算vgg_loss之前，还包括步骤：采用相同的池化函数对所有目标图像target进行池化，得到池化图像target_pool；将(2*target-target_pool)作为新的目标图像，参与vgg_loss的计算。
可选地，在根据本发明的卷积神经网络模型生成方法中，在所述获取多个训练图像对的步骤之后，还包括步骤：对每一个训练图像对进行配准，以使训练图像对中所包括的输入图像与目标图像对齐。
可选地，在根据本发明的卷积神经网络模型生成方法中，对每一个训练图像对进行配准的步骤包括：裁取训练图像对的输入图像、目标图像的公共部分；将输入图像、目标图像的公共部分图像调整至第一尺寸。
可选地，在根据本发明的卷积神经网络模型生成方法中，裁取训练图像对的输入图像、目标图像的公共部分的步骤包括：采用SIFT算法分别确定输入图像、目标图像的特征点；将输入图像的特征点与目标图像的特征点进行匹配，得到多组候选匹配点对；采用RANSAC算法从所述多组候选匹配点对中确定多组正配点对；分别沿输入图像、目标图像中的正配点的最小外接矩形进行裁剪。
根据本发明的一个方面，提供一种图像增强方法，在计算设备中执行，计算设备中存储有按照上述方法所生成的卷积神经网络模型，该方法包括：将待处理图像输入所述卷积神经网络模型中；将卷积神经网络模型的输出图像作为待处理图像的增强图像。
根据本发明的另一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如上所述的卷积神经网络模型生成方法的指令和/或用于执行如上所述的图像增强方法的指令。
根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如上所述的卷积神经网络模型生成方法和/或如上所述的图像增强方法。
本发明的技术方案采用卷积神经网络来同时增强对比度和锐度，卷积神经网络模型结构包括七个模块(通用特征模块、局部特征模块、全局特征模块、参数表生成模块、引导图生成模块、增强参数生成模块以及图像增强模块)，该结构将深度学习方法(卷积神经网络)和传统算法(双边滤波、双边网格等)相结合，利用深度学习强大的学习能力来学习传统算法的变换参数，并最终获得比传统算法更好的效果。另外，该模型结构将全局特征和局部特征进行融合，保证了多种特征的充分提取，从而保证了增强效果。本发明的卷积神经网络模型可以同时增强输入图像的对比度和锐度，提高了图像增强的灵活性和高效性。
另外，本发明在训练卷积神经网络模型时所采用的训练样本为配准后的训练图像对训练图像对中的输入图像与目标图像对齐，从而解决了对齐的训练数据难以获取的问题。本发明以损失函数(loss)收敛作为模型训练的终止条件，损失函数的设置综合考虑了颜色(color_loss)、纹理(vgg_loss)等因素，降低了模型对于没有完美对齐的训练数据的敏感性，提高了模型的鲁棒性，避免出现色偏和伪影。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的示意图；
图2示出了根据本发明一个实施例的卷积神经网络模型生成方法200的流程图；
图3示出了根据本发明一个实施例的卷积神经网络模型300的结构图；
图4～图7分别示出了根据本发明一个实施例的通用特征模块310、局部特征模块320、全局特征模块330、参数表生成模块340的结构图；
图8示出了根据本发明一个实施例的原始的输入图像(a)、目标图像(b)以及配准后的输入图像(c)、目标图像(d)的示意图；
图9示出了根据本发明一个实施例的图像增强方法900的流程图；
图10示出了根据本发明的图像增强效果的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的卷积神经网络模型生成方法适于在一个或一组计算设备中执行，即，在一个或一组计算设备中完成对卷积神经网络模型的训练。计算设备例如可以是服务器(例如Web服务器、应用服务器等)，桌面计算机和笔记本电脑等个人计算机，手机、平板电脑、智能可穿戴设备等便携式移动设备等，但不限于此。根据一种优选的实施例，本发明的卷积神经网络模型生成方法在一组计算设备中执行，以加快模型训练速度。例如，一组计算设备可以实现为Parameter Server架构的分布式系统。
图1示出了根据本发明一个实施例的计算设备100的示意图。如图1所示，在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备100中，应用122包括卷积神经网络模型生成装置126，装置126包括多条程序指令，而程序数据124可以包括训练样本、预设的卷积层参数等数据。应用126可以指示处理器104执行卷积神经网络模型生成方法200，对程序数据124进行处理，生成用于图像增强(增强图像的对比度和锐度)的卷积神经网络模型。
图2示出了根据本发明一个实施例的卷积神经网络模型生成方法200的流程图，方法200适于在计算设备(例如前述计算设备100)中执行。如图2所示，方法200始于步骤S210。
在步骤S210中，构建卷积神经网络模型结构并设置损失函数表达式。图3示出了本发明的卷积神经网络模型300(下文将“卷积神经网络”简记为“CNN”)的结构图。如图3所示，CNN模型300包括通用特征模块310、局部特征模块320、全局特征模块330、参数表生成模块340、引导图生成模块350、增强参数生成模块360以及图像增强模块370。其中，通用特征模块310、引导图生成模块350的输入为输入图像，输出分别为多个通用特征图、一个引导图；局部特征模块320、全局特征模块330的输入为多个通用特征图，输出分别为多个局部特征图、一个全局特征向量；参数表生成模块340的输入为多个局部特征图和一个全局特征向量，输出为多个参数特征图；增强参数生成模块360的输入为多个参数特征图和一个引导图，输出为多个增强参数图；图像增强模块370的输入为输入图像和多个增强参数图，输出为输出图像。
通用特征模块310用于提取输入图像的通用特征。根据一种实施例，通用特征模块310包括依次相连的一个缩放层(RESIZE)和多个第一处理块(A)，本发明对通用特征模块310中所包括第一处理块的数量不做限制。第一处理块(A)包括依次相连的卷积层(CONV)、批标准化层(BN)、激活层(ACTI)或依次相连的卷积层(CONV)、激活层(ACTI)。激活层的激活函数可以由本领域技术人员自行设置，本发明对此不做限制，例如，可以将激活函数设置为ReLU函数、Tanh函数、Sigmoid函数等。应当指出，此处的“第一处理块”，以及下文中所述的“第二处理块”、“第三处理块”中的第一、第二、第三等序号仅用于区分通用特征模块310、局部特征模块320、全局特征模块330中的处理块，也即是说，第一、第二、第三用于表示处理块对象的不同实例，并不意味着这些实例具有时间、空间或者排序方面的关系，第一处理块、第二处理块、第三处理块的结构可以相同，也可以不同。
图4示出了根据本发明一个实施例的通用特征模块310的结构图。如图4所示，通用特征模块310包括依次相连的缩放层RESIZE和四个第一处理块A1～A4，其中，第一处理块A1包括依次相连的卷积层CONV1和激活层ACTI1，第一处理块A2～A3分别包括依次相连的卷积层、批标准化层和激活层。图4所示的各激活层所采用的激活函数均为ReLU函数，当然，在其他的实施例中，本领域技术人员也可以采用其他激活函数。应当指出，在构建了通用特征模块310的结构后，还有一些参数需要预先设置，例如，每一个卷积层(CONV)所采用的卷积核(kernel)的数量和尺寸、卷积核的移动步长(stride)、四周填充边(pading)的数量等。表1示出了图4所示的通用特征模块310的各处理层的参数示例(下表中未给出批标准化层和激活层的参数，通常，批标准化层需要预先设置每一批处理的图像数量batch_size，激活层仅需预先确定选用哪种激活函数)：
表1.通用特征模块310各处理层的参数
基于上述结构，通用特征模块310的输入为输入图像，缩放层RESIZE将输入图像缩放至预定尺寸(256*256)，随后第一处理块A1～A4逐步对缩放后的图像进行卷积、激活，以提取出输入图像的通用特征，输出64个64*64的通用特征图。
局部特征模块320用于获取输入图像的局部特征。根据一种实施例，局部特征模块320包括依次相连的一个第二处理块(B)和一个卷积层(CONV)。当然，在其他的实施例中，局部特征模块320也可以设置为其他结构，其可以包括任意数量个第二处理块(B)和/或卷积层(CONV)，本发明对局部特征模块320的具体结构不做限制。第二处理块(B)进一步包括依次相连的卷积层(CONV)、批标准化层(BN)和激活层(ACTI)，激活层所采用的激活函数可以由本领域技术人员根据需要自行设置，本发明对此不做限制。
图5示出了根据本发明一个实施例的局部特征模块320的结构图。如图5所示，局部特征模块320包括依次相连的第二处理块B1和卷积层CONV2，其中，第二处理块B1进一步包括依次相连的卷积层CONV1、批标准化层BN1和采用ReLU函数的激活层ACTI1。表2示出了图5所示的局部特征模块320的各处理层的参数示例：
表2.局部特征模块320各处理层的参数
基于上述结构，局部特征模块320的输入为通用特征模块310(以前述图4、表1所示的结构为例)输出的64个64*64的通用特征图，输出为128个64*64的局部特征图。
全局特征模块330适于获取输入图像的全局特征。根据一种实施例，全局特征模块330包括依次相连的多个第三处理块(C)和至少两个全连接层(FC)。应当指出，本发明对全局特征模块330中所包括的第三处理块的数量不做限制。第三处理块(C)进一步包括依次相连的卷积层(CONV)、批标准化层(BN)和激活层(ACTI)，激活层所采用的激活函数可以由本领域技术人员根据需要自行设置，本发明对此不做限制。
图6示出了根据本发明一个实施例的全局特征模块330的结构图。如图6所示，全局特征模块330包括依次相连的四个第三处理块C1～C4以及两个全连接层FC1、FC2，其中，每一个第三处理块又进一步包括一个卷积层、一个批标准化层和一个采用ReLU函数的激活层。表3示出了图6所示的全局特征模块330的各处理层的参数：
表3.全局特征模块330各处理层的参数
基于上述结构，全局特征模块330的输入为通用特征模块310(以前述图4、表1所示的结构为例)输出的64个64*64的通用特征图，经过第三处理块C1～C4的卷积、激活处理，得到64个4*4的特征图。随后，将这64个4*4的特征图转化成一个1024维的向量vector1(也即一个1*1024的矩阵)，输入全连接层FC1。全连接层FC1采用256个1*1024的卷积核，每个卷积核包括1024个权重，相当于对vector1中的1024个元素进行加权求和，得到一个值；256个卷积核将得到256个值，构成一个256维的向量vector1(也即一个1*256的矩阵)。全连接层FC2随后采用128个1*256的卷积核对vector2进行全连接，最终输出一个128维的全局特征向量。
参数表生成模块340适于将输入图像的局部特征和全局特征进行融合，以得到输入图像的总体特征。根据一种实施例，参数表生成模块340包括第一卷积层、第一全连接层、融合层和第二卷积层。其中，第一卷积层的输入为局部特征模块320所输出的多个局部特征图；第一全连接层的输入为全局特征模块330所输出的全局特征向量；融合层的输入为第一卷积层、第一全连接层的输出，其适于将第一全连接层的输出进行复制扩展，并将复制扩展后的结果与第一卷积层的输出相加、激活，以得到融合层的输出；第二卷积层的输入为融合层的输出，输出为多个参数特征图。
图7示出了根据本发明一个实施例的参数表生成模块340的结构图。如图7所示，参数表生成模块340包括第一卷积层CONV1、第一全连接层FC1、融合层FUS和第二卷积层CONV2。表4示出了图7所示的参数表生成模块340的各处理层的参数示例：
表4.参数表生成模块340各处理层的参数
基于上述结构，在参数表生成模块340中，第一卷积层CONV1的输入为局部特征模块320(以前述图5、表2所示的结构为例)所输出的128个64*64的局部特征图，第一卷积层CONV1对这些特征图进行线性变换，输出128个64*64的特征图，也即，一个1*128*64*64的四维矩阵。第一全连接层FC1的输入为全局特征模块330(以前述图6、表3所示的结构为例)所输出的一个128维全局特征向量，第一全连接层FC1对该向量进行线性变换，输出一个128维向量，也即，一个1*128的矩阵。融合层FUS进一步包括复制层DUP、相加层ADD和一个采用ReLU函数的激活层。复制层DUP的输入为第一全连接层FC1的输出，即一个1*128的矩阵，其对该矩阵进行复制，复制次数等于第一卷积层CONV1所输出的特征图的尺寸，即，复制64*64次，得到一个1*128*64*64的四维矩阵。相加层ADD将第一卷积层CONV1的输出与复制层DUP的输出相加，即将两个1*128*64*64的四维矩阵相加，得到相加后的1*128*64*64的四维矩阵，该四维矩阵即相当于128个64*64的特征图。随后，激活层采用ReLU函数对这128个64*64的特征图进行激活，得到激活后的128个64*64的特征图。第二卷积层CONV2采用192个卷积核对激活后的128个64*64的特征图进行卷积操作，最终输出192个64*64的参数特征图。
引导图生成模块350适于生成一个与输入图像尺寸相同的引导图。根据一种实施例，引导图生成模块350适于按照以下公式生成引导图：
其中，其中，GuideMap表示引导图，i为计数变量，nums为预设数量，1≤i≤nums，Xr、Xg、Xb分别为输入图像X的RGB通道图，ReLU()表示ReLU函数，ai＝[air，aig，aib]、bi＝[bir，big，bib]、c为待训练的模型参数。也就是说，在CNN模型训练过程中，首先会随机生成一组ai、bi、c(1≤i≤nums)的值，随后，随着CNN模型的不断训练，ai、bi、c会多次更新，最终取到一个比较合适的值。应当指出，预设数量nums的取值与参数表生成模块340所输出的参数特征图的数量相关，其值等于参数特征图的数量除以12。例如，以前述图7、表4所示的参数表生成模块340为例，其输出为192个64*64的参数特征图，相应地，预设数量nums的取值应当为192/12＝16。
增强参数生成模块360适于根据参数表生成模块340所输出的多个参数特征图以及引导图生成模块350所输出的引导图来生成多个增强参数图。根据一种实施例，增强参数生成模块360适于按照以下步骤S1～S4来生成增强参数图：
在步骤S1中，根据引导图来确定预设数量个与引导图尺寸相同的系数图。此处的预设数量即为前述预设数量nums。系数图可以按照以下公式确定：
其中，Coefi(x,y)表示第i个系数图中坐标为(x,y)的像素点的像素值，1≤i≤nums，GuideMap(x,y)表示引导图GuideMap中坐标为(x,y)的像素点的像素值，若坐标为(x,y)的像素点的像素值在(i-1)～i之间，则将第i个系数图Coefi中该像素点的像素值设置为GuideMap(x,y)-(i-1)，否则，将该像素点的像素值设置为0。例如，预设数量nums＝16，GuideMap中坐标为(100,100)的像素点的像素值为0.22，16*0.22＝3.52，(4-1)≤3.52≤4，则像素点(100,100)在第4个系数图中的像素值为3.52-(4-1)＝0.52，在其他系数图中的像素值均为0。
随后，在步骤S2中，分别对每一个参数特征图进行插值，得到与引导图尺寸相同的多个中间特征图。例如，参数表生成模块340输出了192个尺寸为64*64的参数特征图，引导图生成模块350输出了一个尺寸为512*512的引导图，则，需要分别对192个64*64的参数特征图进行插值，得到192个512*512的中间特征图。应当指出，此处的插值算法可以是诸如双线性插值、最近邻插值等任意插值算法，本发明对得到中间特征图所采用的插值算法不做限制。
随后，在步骤S3中，将多个中间特征图划分为12组，每一组包括预设数量个中间特征图。例如，步骤S2得到了192个中间特征图，将这192个中间特征图划分为12组(第1～16个中间特征图为第一组，第17～32个中间特征图为第二组，以此类推)，每组包括16个中间特征图。
随后，在步骤S4中，对于每一组中间特征图：将该组的预设数量个中间特征图分别与预设数量个系数图相乘，得到预设数量个相乘结果图，将这预设数量个相乘结果图相加，得到一个增强参数图。例如，预设数量nums＝16，经过步骤S1，得到16个系数图；经过步骤S3，将192个中间特征图划分为12组，第一组包括第1～16个中间特征图，系数图与中间特征图的尺寸相同。在步骤S4中，将第一组的16个中间特征图分别与16个系数图相乘，即，第一个中间特征图与第一个系数图的相应像素点坐标处的像素值相乘，第二个中间特征图与第二个系数图的相应像素点坐标处的像素值相乘，以此类推，可以得到16个相乘结果图。将这16个相乘结果图相加(即将相应像素点坐标处的像素值相加)，得到一个增强参数图。每一组中间特征图对应于一个增强参数图，共有12组中间特征图，相应地，经过步骤S4，可以得到12个增强参数图。
图像增强模块370适于根据增强参数生成模块360所得出的多个增强参数图来对输入图像进行增强，以得到输出图像。根据一种实施例，图像增强模块370适于按照以下步骤S5～S7来确定输出图像：
在步骤S5中，将多个增强参数图划分为三组，每组包括四个增强参数图。例如，增强参数生成模块360生成12个增强参数图，将第1～4个增强参数图划分为第一组，第5～8个增强参数图划分为第二组，第9～12个增强参数图划分为第三组。
随后，在步骤S6中，对于每一组增强参数图：将该组的前三个增强参数图分别与输入图像的RGB通道图相乘，将三个相乘结果与该组的第四个增强参数图相加，得到输出图像的一个单通道图。例如，对于第一组增强参数图，将第1个增强参数图与输入图像的R通道图相乘，得到第一结果图；将第2个增强参数图与输入图像的G通道图相乘，得到第二结果图；将第3个增强参数图与输入图像的B通道图相乘，得到第三结果图；将第一结果图、第二结果图、第三结果图、该组增强参数图中的第4个增强参数图相加，得到输出图像的一个单通道图(例如R通道)。类似地，重复上述步骤，可以根据第二组、第三组增强参数图确定输出图像的另外两个单通道图(例如G、B通道)。
随后，在步骤S7中，将三个单通道图作为输出图像的RGB通道图从而确定输出图像。
上述通用特征模块310、局部特征模块320、全局特征模块330、参数表生成模块340、引导图生成模块350、增强参数生成模块360、图像增强模块370组成了本发明的用于图像增强的CNN模型300。上述七个模块中，有些模块需要设置各处理层的基本参数(例如表1～表4所示的参数)。应当指出，在设计好上述CNN模型300的模块结构和各模块的基本参数后，CNN模型300并不能立即生成、使用，而是需要进行训练，以使其输出能够达到预期效果。训练CNN模型，即确定CNN模型的模型参数，模型参数包括每一个卷积核的各个位置处的权重，以及偏置参数等。
应当指出，为了训练CNN模型，还需要预先设置损失函数表达式，以便每次更新模型参数后，按照该表达式来计算损失函数。在CNN模型的训练过程中，随着训练次数的增加，损失函数值通常会越来越小，当损失函数值收敛(即相邻两次训练的损失函数值之差的绝对值小于预设阈值)时，认为CNN模型训练完成。损失函数表达式的设置会影响CNN模型的训练效果。在本发明中，为了降低CNN模型对于没有完美对齐的训练数据的敏感性，提高模型的鲁棒性，避免出现色偏和伪影(artifacts)，根据一种实施例，损失函数表达式为：
loss＝λ1*color_loss+λ2*vgg_loss (3)
其中，color_loss、vgg_loss为损失函数因子，λ1、λ2分别为color_loss、vgg_loss的权重系数。应当指出，λ1、λ2的值可以由本领域技术人员自行设置，本发明对此不做限制，例如，可以设置λ1＝10.0，λ2＝1.0。
color_loss按照以下公式计算：
其中，N为训练样本的数量，W、H分别为输出图像的水平尺寸和垂直尺寸，i、j、k为计数变量，rijk、gijk、bijk分别表示第i个输出图像的坐标为(j,k)的像素的RGB值，r’ijk、g’ijk、b’ijk分别表示第i个目标图像的坐标为(j,k)的像素的RGB值。根据一种实施例，在采用公式(4)计算color_loss之前，还包括步骤：采用相同的模糊算法对所有输出图像和目标图像进行模糊，模糊函数可以由本领域技术人员自行设置，例如可以是均值模糊、高斯模糊等。应当指出，为了保证模糊前后图像的尺寸不变，本领域技术人员在进行模糊时需要根据实际情况在图像四周填充一定数量的0值边(pading)，并将模糊的步长(stride)设置为1。对输出图像和目标图像进行模糊，相当于对图像进行模糊，以消除图像中的高频干扰，从而使得CNN模型可以学习到更多颜色信息。
vgg_loss按照以下公式计算：
其中，N为训练样本的数量，W’、H’分别为VGG19网络的一个处理层输出的特征图的水平尺寸和垂直尺寸，vrijk、vgijk、vbijk分别表示将第i个输出图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值，vr’ijk、vg’ijk、vb’ijk分别表示将第i个目标图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值。vgg_loss对于没有完美对齐的数据不是那么敏感，更不容易产生伪影(artifacts)，从而使得CNN模型可以更好地生成语义和纹理信息。
根据一种实施例，在采用公式(5)计算vgg_loss之前，还包括步骤：采用相同的池化函数对所有目标图像target进行池化，得到池化图像target_pool；将(2*target-target_pool)作为新的目标图像，参与vgg_loss的计算。为了保证池化前后图像的尺寸不变，本领域技术人员在进行池化时需要根据实际情况在图像四周填充一定数量的0值边(pading)，并将池化的步长(stride)设置为1。池化函数例如可以是均值池化，池化的区域例如可以是3*3。上述新的目标图像(2*target-target_pool)相对于原目标图像target增加了锐度，相应地，用新的目标图像(2*target-target_pool)参与vgg_loss的计算可以使得CNN模型在增强对比度的同时增加锐度，具有更好的图像增强性能。
随后，在步骤S220中，获取多个训练图像对，每一个训练图像对包括输入图像和目标图像。根据一种实施例，输入图像、目标图像分别为用移动终端、单反相机针对同一场景进行拍摄所得的图像。移动终端例如可以是手机、平板电脑、多媒体设备、智能可穿戴设备等，但不限于此。应当指出，在实际拍摄时，很难保证移动终端拍摄的输入图像与单反相机拍摄的目标图像完全对齐。例如，如图8所示，采用SONY手机拍摄的原始的输入图像(a)，以及采用CANON相机拍摄的原始的目标图像(b)虽然场景大致相同，但图像中物体的大小、位置不一致，二者显然没有对齐。因此，根据一种实施例，在获取多个训练图像对后，还包括步骤：对每一个训练图像对进行配准，以使训练图像对中所包括的输入图像与目标图像对齐。
根据一种实施例，可以按照以下步骤S222、S224对训练图像对进行配准：
在步骤S222中，裁取训练图像对的输入图像、目标图像的公共部分。步骤S222进一步可以按照以下步骤执行：采用SIFT算法分别确定输入图像、目标图像的特征点；将输入图像的特征点与目标图像的特征点进行匹配，得到多组候选匹配点对；采用RANSAC算法从多组候选匹配点对中确定多组正配点对；分别沿输入图像、目标图像中的正配点的最小外接矩形进行裁剪，从而得到配准后的输入图像和目标图像。当然，上述SIFT算法与RANSAC算法的组合仅是裁取公共部分图像的一种方法，除此之外，本领域技术人员也可以采用其他方法来裁取输入图像和目标图像的公共部分，本发明对公共部分的确定方法不做限制。
随后，在步骤S224中，将输入图像、目标图像的公共部分图像调整至第一尺寸。应当指出，第一尺寸的大小可以由本领域技术人员自行设置，本发明对此不做限制。例如，可以将第一尺寸设置为512*512。另外，本领域技术人员可以采用任意方法来调整图像尺寸，例如任意插值算法、上采样、下采样等，本发明对调整图像尺寸时所采用的具体算法不做限制。如图8所示，配准后的输入图像(c)与配准后的目标图像(d)的尺寸相同，图像内容大致对齐。
随后，在步骤S230中，将多个训练图像对作为训练样本来训练卷积神经网络模型，不断更新卷积神经网络模型的模型参数，每更新一次模型参数，按照损失函数表达式来计算模型的损失函数值，当损失函数值收敛时，停止训练过程，得到卷积神经网络模型的模型参数从而生成卷积神经网络模型。
在CNN模型的训练过程中，会不断更新模型参数(包括各卷积核的各个位置处的权重，以及偏置参数)，每更新一次模型参数，按照前述公式(3)来计算CNN模型的损失函数值，当损失函数值收敛时(即本次损失函数值与上一次损失函数值的差的绝对值小于一个较小的阈值时)，停止训练过程，将本次的模型参数作为CNN模型最终的模型参数，从而生成CNN模型。基于前述包括七个模块的CNN模型结构、训练图像对的配准对齐以及损失函数表达式的设置，生成的CNN模型300可以同时实现对输入图像的对比度以及锐度的增强，并避免色偏和伪影，保证了图像增强的效果。
图9示出了根据本发明一个实施例的图像增强方法900的流程图，方法900适于在计算设备(例如前述计算设备100)中执行，计算设备中存储有按照前述方法200所生成的卷积神经网络模型。应当指出，执行方法900的计算设备与执行前述CNN模型生成方法200的计算设备可以是不同的计算设备。如图9所示，方法900始于步骤S910。
在步骤S910中，将待处理图像输入卷积神经网络模型中。这里的卷积神经网络模型即为前述方法200所生成的CNN模型。
随后，在步骤S920中，将卷积神经网络模型的输出图像作为待处理图像的增强图像。
图10示出了根据本发明一个实施例的图像增强效果的示意图。如图10所示，待处理图像(a)、(c)为采用SONY手机所拍摄的图像，其图像较暗、边缘模糊，对比度、锐度较差。输出图像(b)、(d)为本发明的CNN模型生成的待处理图像(a)、(c)的增强图像。输出图像(b)、(d)与待处理图像(a)、(c)相比，对比度、锐度均有明显提升。
A8：A1-7中任一项所述的方法，其中，所述图像增强模块适于：
将所述多个增强参数图划分为三组，每一组包括四个增强参数图；
对于每一组增强参数图：将该组的前三个增强参数图分别与输入图像的RGB通道图相乘，将三个相乘结果与该组的第四个增强参数图相加，得到输出图像的一个单通道图；
将三个单通道图作为输出图像的RGB通道图从而确定输出图像。
A9：A1-8中任一项所述的方法，其中，所述损失函数表达式为：
loss＝λ1*color_loss+λ2*vgg_loss
其中，
color_loss、vgg_loss为损失函数因子，λ1、λ2分别为color_loss、vgg_loss的权重系数，
N为训练图像对的数量，W、H分别为输出图像的水平尺寸和垂直尺寸，i、j、k为计数变量，
rijk、gijk、bijk分别表示第i个输出图像的坐标为(j,k)的像素的RGB值，r’ijk、g’ijk、b’ijk分别表示第i个目标图像的坐标为(j,k)的像素的RGB值，
W’、H’分别为VGG19网络的一个处理层输出的特征图的水平尺寸和垂直尺寸，vrijk、vgijk、vbijk分别表示将第i个输出图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值，vr’ijk、vg’ijk、vb’ijk分别表示将第i个目标图像输入VGG19网络在该处理层输出的特征图中坐标为(j,k)的像素的RGB值。
A10：A9所述的方法，其中，在计算color_loss之前，还包括步骤：采用相同的模糊算法对所有输出图像和目标图像进行模糊。
A11：A9所述的方法，其中，在计算vgg_loss之前，还包括步骤：采用相同的池化函数对所有目标图像target进行池化，得到池化图像target_pool；
将(2*target-target_pool)作为新的目标图像，参与vgg_loss的计算。
A12：A1-11中任一项所述的方法，其中，在所述获取多个训练图像对的步骤之后，还包括步骤：对每一个训练图像对进行配准，以使训练图像对中所包括的输入图像与目标图像对齐。
A13：A12所述的方法，其中，所述对每一个训练图像对进行配准的步骤包括：
裁取训练图像对的输入图像、目标图像的公共部分；
将输入图像、目标图像的公共部分图像调整至第一尺寸。
A14：A13所述的方法，其中，所述裁取训练图像对的输入图像、目标图像的公共部分的步骤包括：
采用SIFT算法分别确定输入图像、目标图像的特征点；
将输入图像的特征点与目标图像的特征点进行匹配，得到多组候选匹配点对；
采用RANSAC算法从所述多组候选匹配点对中确定多组正配点对；
分别沿输入图像、目标图像中的正配点的最小外接矩形进行裁剪。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的卷积神经网络模型生成方法和/或图像增强方法。
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
Claims (10)
1.一种卷积神经网络模型生成方法，在计算设备中执行，所述卷积神经网络模型适于增强输入图像的对比度和锐度以得到输出图像，所述方法包括：
构建卷积神经网络模型结构并设置损失函数表达式，所述模型结构包括通用特征模块、局部特征模块、全局特征模块、参数表生成模块、引导图生成模块、增强参数生成模块以及图像增强模块，其中，
所述通用特征模块、引导图生成模块的输入为输入图像，输出分别为多个通用特征图、一个引导图，
所述局部特征模块、全局特征模块的输入为所述多个通用特征图，输出分别为多个局部特征图、一个全局特征向量，
所述参数表生成模块的输入为所述多个局部特征图和一个全局特征向量，输出为多个参数特征图，
所述增强参数生成模块的输入为所述多个参数特征图和一个引导图，输出为多个增强参数图，
所述图像增强模块的输入为输入图像和所述多个增强参数图，输出为输出图像；
获取多个训练图像对，每一个训练图像对包括输入图像和目标图像；
将所述多个训练图像对作为训练样本来训练所述卷积神经网络模型，不断更新所述卷积神经网络模型的模型参数，每更新一次模型参数，按照所述损失函数表达式来计算模型的损失函数值，当所述损失函数值收敛时，停止训练过程，得到所述卷积神经网络模型的模型参数从而生成所述卷积神经网络模型。
2.如权利要求1所述的方法，其中，所述通用特征模块包括依次相连的一个缩放层和多个第一处理块，所述第一处理块包括：依次相连的卷积层、批标准化层、激活层或依次相连的卷积层、激活层。
3.如权利要求1或2所述的方法，其中，所述局部特征模块包括依次相连的一个第二处理块和一个卷积层，其中，所述第二处理块包括依次相连的卷积层、批标准化层和激活层。
4.如权利要求1-3中任一项所述的方法，其中，所述全局特征模块包括依次相连的多个第三处理块和至少两个全连接层，所述第三处理块包括依次相连的卷积层、批处理层和激活层。
5.如权利要求1-4中任一项所述的方法，其中，所述参数表生成模块包括第一卷积层、第一全连接层、融合层和第二卷积层，其中，
第一卷积层的输入为所述多个局部特征图，
第一全连接层的输入为所述全局特征向量，
融合层的输入为所述第一卷积层、第一全连接层的输出，所述融合层适于将所述第一全连接层的输出进行复制扩展，并将复制扩展后的结果与所述第一卷积层的输出相加、激活，以得到所述融合层的输出；
第二卷积层的输入为所述融合层的输出，输出为所述多个参数特征图。
6.如权利要求1-5中任一项所述的方法，其中，所述引导图生成模块适于按照以下公式生成引导图：
其中，GuideMap表示引导图，i为计数变量，nums为预设数量，1≤i≤nums，Xr、Xg、Xb分别为输入图像X的RGB通道图，ReLU()表示ReLU函数，ai＝[air，aig，aib]、bi＝[bir，big，bib]、c为待训练的模型参数。
7.如权利要求1-6中任一项所述的方法，其中，所述增强参数生成模块适于：
根据所述引导图来确定预设数量个与所述引导图尺寸相同的系数图；
分别对每一个所述参数特征图进行插值，得到与所述引导图尺寸相同的多个中间特征图；
将所述多个中间特征图划分为12组，每一组包括预设数量个中间特征图；
对于每一组中间特征图：将该组的预设数量个中间特征图分别与预设数量个系数图相乘，得到预设数量个相乘结果图，将所述预设数量个相乘结果图相加，得到一个增强参数图。
8.一种图像增强方法，在计算设备中执行，所述计算设备中存储有按照权利要求1-7中任一项所述的方法所生成的卷积神经网络模型，所述方法包括：
将待处理图像输入所述卷积神经网络模型中；
将所述卷积神经网络模型的输出图像作为待处理图像的增强图像。
9.一种计算设备，包括：
至少一个处理器；和
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-7中任一项所述的卷积神经网络模型生成方法的指令和/或用于执行如权利要求8所述的图像增强方法的指令。
10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-7中任一项所述的卷积神经网络模型生成方法和/或如权利要求8所述的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811443438.1A CN109544482A (zh) | 2018-11-29 | 2018-11-29 | 一种卷积神经网络模型生成方法及图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811443438.1A CN109544482A (zh) | 2018-11-29 | 2018-11-29 | 一种卷积神经网络模型生成方法及图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109544482A true CN109544482A (zh) | 2019-03-29 |
Family
ID=65850856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811443438.1A Pending CN109544482A (zh) | 2018-11-29 | 2018-11-29 | 一种卷积神经网络模型生成方法及图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544482A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245747A (zh) * | 2019-06-21 | 2019-09-17 | 华中师范大学 | 基于全卷积神经网络的图像处理方法及装置 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN111340195A (zh) * | 2020-03-09 | 2020-06-26 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| WO2020224457A1 (zh) * | 2019-05-09 | 2020-11-12 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
| CN112686823A (zh) * | 2020-12-31 | 2021-04-20 | 广西慧云信息技术有限公司 | 一种基于光照变换网络的图像自动增强方法 |
| CN112712470A (zh) * | 2019-10-25 | 2021-04-27 | 华为技术有限公司 | 一种图像增强方法及装置 |
| CN112949672A (zh) * | 2019-12-11 | 2021-06-11 | 顺丰科技有限公司 | 商品识别方法、装置、设备以及计算机可读存储介质 |
| CN113065585A (zh) * | 2021-03-23 | 2021-07-02 | 北京亮亮视野科技有限公司 | 图像合成模型的训练方法、装置与电子设备 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113379610A (zh) * | 2020-03-10 | 2021-09-10 | Tcl科技集团股份有限公司 | 图像处理模型的训练方法、图像处理方法、介质及终端 |
| CN114463584A (zh) * | 2022-01-29 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像处理、模型训练方法、装置、设备、存储介质及程序 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| US20170293894A1 (en) * | 2016-04-06 | 2017-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN108830816A (zh) * | 2018-06-27 | 2018-11-16 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
-
2018
- 2018-11-29 CN CN201811443438.1A patent/CN109544482A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| US20170293894A1 (en) * | 2016-04-06 | 2017-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN108830816A (zh) * | 2018-06-27 | 2018-11-16 | 厦门美图之家科技有限公司 | 图像增强方法及装置 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| JIAWEN CHEN等: "Deep Bilateral Learning for Real-Time Image Enhancement", 《ARXIV》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020224457A1 (zh) * | 2019-05-09 | 2020-11-12 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110245747A (zh) * | 2019-06-21 | 2019-09-17 | 华中师范大学 | 基于全卷积神经网络的图像处理方法及装置 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN110324664B (zh) * | 2019-07-11 | 2021-06-04 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN112712470A (zh) * | 2019-10-25 | 2021-04-27 | 华为技术有限公司 | 一种图像增强方法及装置 |
| CN112949672A (zh) * | 2019-12-11 | 2021-06-11 | 顺丰科技有限公司 | 商品识别方法、装置、设备以及计算机可读存储介质 |
| CN113256503B (zh) * | 2020-02-13 | 2024-03-08 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN111340195B (zh) * | 2020-03-09 | 2023-08-22 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| CN111340195A (zh) * | 2020-03-09 | 2020-06-26 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| CN113379610B (zh) * | 2020-03-10 | 2024-03-15 | Tcl科技集团股份有限公司 | 图像处理模型的训练方法、图像处理方法、介质及终端 |
| CN113379610A (zh) * | 2020-03-10 | 2021-09-10 | Tcl科技集团股份有限公司 | 图像处理模型的训练方法、图像处理方法、介质及终端 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
| CN112686823A (zh) * | 2020-12-31 | 2021-04-20 | 广西慧云信息技术有限公司 | 一种基于光照变换网络的图像自动增强方法 |
| CN113065585A (zh) * | 2021-03-23 | 2021-07-02 | 北京亮亮视野科技有限公司 | 图像合成模型的训练方法、装置与电子设备 |
| CN114463584A (zh) * | 2022-01-29 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像处理、模型训练方法、装置、设备、存储介质及程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544482A (zh) | 一种卷积神经网络模型生成方法及图像增强方法 | |
| CN109584179A (zh) | 一种卷积神经网络模型生成方法及图像质量优化方法 | |
| Li et al. | Luminance-aware pyramid network for low-light image enhancement | |
| Wang et al. | Multimodal transfer: A hierarchical deep convolutional neural network for fast artistic style transfer | |
| CN109255769A (zh) | 图像增强网络的训练方法和训练模型、及图像增强方法 | |
| CN109102483B (zh) | 图像增强模型训练方法、装置、电子设备及可读存储介质 | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| CN109308679A (zh) | 一种图像风格转换方及装置、设备、存储介质 | |
| CN109816011A (zh) | 生成人像分割模型的方法和视频关键帧提取方法 | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| CN108765278A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN106778928A (zh) | 图像处理方法及装置 | |
| CN110909790A (zh) | 图像的风格迁移方法、装置、终端及存储介质 | |
| CN108961303A (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
| CN110263909A (zh) | 图像识别方法及装置 | |
| CN104574358B (zh) | 从聚焦堆图像进行场景分割的方法和设备 | |
| Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
| CN107590811B (zh) | 基于场景分割的风景图像处理方法、装置及计算设备 | |
| CN111127309B (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN110148088A (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| Liu et al. | Very lightweight photo retouching network with conditional sequential modulation | |
| CN109840912A (zh) | 一种图像中异常像素的修正方法及计算设备 | |
| CN112561777A (zh) | 图像添加光斑的方法及装置 | |
| CN109118490A (zh) | 一种图像分割网络生成方法及图像分割方法 | |
| Li et al. | Flexible piecewise curves estimation for photo enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |
|
| RJ01 | Rejection of invention patent application after publication |