CN109102483A - 图像增强模型训练方法、装置、电子设备及可读存储介质 - Google Patents
图像增强模型训练方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN109102483A CN109102483A CN201810821282.XA CN201810821282A CN109102483A CN 109102483 A CN109102483 A CN 109102483A CN 201810821282 A CN201810821282 A CN 201810821282A CN 109102483 A CN109102483 A CN 109102483A
- Authority
- CN
- China
- Prior art keywords
- image
- abstraction
- higher level
- convolutional neural
- initial pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000003014 reinforcing effect Effects 0.000 abstract description 7
- 238000013459 approach Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供的图像增强模型训练方法、装置、电子设备及可读存储介质，其中，该方法包括，将初始图像输入卷积神经网络；从卷积神经网络中提取高层抽象局部特征；将高层抽象局部特征进行缩减处理得到高层抽象全局特征；将高层抽象局部特征与高层抽象全局特征进行融合，得到高层抽象综合特征；将高层抽象综合特征进行反卷积处理，得到输出图像；基于输出图像和目标图像，及预设的损失函数方案进行训练，得到训练后的图像增强模型。上述方法融合了图像的高层抽象局部特征和高层抽象全局特征，可以较好的结合图像的所有信息进行学习，保证图像增强模型输出的图像能更好的逼近目标图像，提升采用该图像增强模型输出的图像的增强效果。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像增强模型训练方法、装置、电子设备及可读存储介质。
背景技术
图像增强是一种提升图像视觉效果的方法，通常来说，图像增强的方式包括调整图像的亮暗、饱和度和对比度。当前，互联网传播的大量图片的视觉效果都不够好，互联网用户很难找到内容好的且图像色彩效果也好的图片。目前，手机拍照已成了大部分人记录生活的一种方式，然而手机拍出来的照片很难满足更高的视觉需求。基于这两个原因来说，图像增强具有一个广泛应用场景。
当前，大部分图像增强算法都才采用传统方法，用固定的参数值分别调整各个通道的像素值，甚至用固定的参数来调整3个通道的像素值。这类方法效果单一，容易出现效果不自然、色块等问题。小部分图像增强算法直接利用CNN来改善增强效果，虽然在某些方面优于传统算法，但这类方法基本属于全卷积的pix2pix，受限于感受视野的大小，这类模型卷积过程学到的特征属于局部特征，整个模型只能学到目标图像的部分特性，难以学到全面信息，增强效果较为普通。
发明内容
本申请的实施例描述一种图像增强模型训练方法、装置、电子设备及可读存储介质。
第一方面，本申请的实施例提供一种图像增强模型训练方法，所述方法包括：
将初始图像输入Unet卷积神经网络；
从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；
将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；
将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；
将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；
基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。
可选地，在本实施例中，将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征，包括：
缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征。
可选地，在本实施例中，所述基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，以得到训练后的图像增强模型，包括：
基于所述输出图像和目标图像，及预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。
可选地，在本实施例中，所述方法还包括
接收输入的待增强图像；
采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
第二方面，本申请的实施例提供一种图像增强模型训练装置，所述装置包括：
输入模块，用于将初始图像输入Unet卷积神经网络；
提取模块，用于从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；
缩减处理模块，用于将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；
融合模块，用于将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；
反卷积处理模块，用于将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；
训练模块，用于基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。
可选地，在本实施例中，所述缩减处理模块，具体用于：
缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征。
可选地，在本实施例中，所述训练模块具体用于：
基于所述输出图像和目标图像，及预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。
可选地，在本实施例中，所述装置还包括：
接收模块，用于接收输入的待增强图像；
图像增强模块，用于采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
第三方面，本申请的实施例还提供一种电子设备，所述电子设备包括处理器及存储有若干计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行第一方面所述的图像增强模型训练方法。
第四方面，本申请的实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行第一方面所述的图像增强模型训练方法。
相对于现有技术而言，本申请的实施例提供的图像增强模型训练方法、装置、电子设备及可读存储介质具有以下有益效果：
本申请实施例提供的图像增强模型训练方法、装置、电子设备及可读存储介质，其中，所述方法包括，将初始图像输入Unet卷积神经网络；从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。上述方法融合了图像的高层抽象局部特征和高层抽象全局特征，可以较好的结合图像的所有信息进行学习，保证图像增强模型输出的图像能更好的逼近目标图像，提升采用该图像增强模型输出的图像的增强效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意框图；
图2为本申请实施例提供的图像增强模型训练方法的流程示意图；
图3为本申请实施例提供的一组训练图片对的示意图；
图4为本申请实施例提供的Unet卷积神经网络的示意图；
图5为本申请实施例提供的缩减网络的示意图；
图6为本申请实施例提供的融合网络的示意图；
图7为本申请实施例提供的待增强图像与已增强图像的比对图；
图8为本申请实施例提供的图像增强模型训练装置的功能框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1是本申请较佳实施例提供的电子设备100的方框示意图。本申请实施例中所述电子设备100可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobileInternet device，MID)等。如图1所示，所述电子设备100包括：存储器110、处理器120、通信单元130及图像增强模型训练装置140。
所述存储器110、处理器120及通信单元130相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有图像增强模型训练装置140，所述图像增强模型训练装置140包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块，所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的图像增强模型训练装置140，从而执行各种功能应用以及数据处理，即实现本申请实施例中的图像增强模型训练方法。通信单元130用于进行数据通信。
其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，本实施例提供的一种图像增强模型训练方法的流程示意图。所述方法可以包括以下步骤。
步骤S210，将初始图像输入Unet卷积神经网络。
在进行图像增强模型训练之前，需要选取初始图像及初始图像对应的目标图像，在本实施例中，选取初始图像和目标图像的方式可以如下：
采用单反相机拍摄的照片作为初始图像，单反相机拍摄的照片具有噪点少、细节信息丰富的特点，为此，在进行图像增强模型训练之前可以采用单反相机拍摄各种场景，获得高质量的初始图像，可选地，可预先拍摄1000张图像备用。可以通过专业的设计师对1000张初始图像进行处理，调节图像的明暗和饱和度，得到1000张目标图像，每一初始图像与对应的目标图形形成一组训练图片对，具体地，可以参照图3，图3给出了一组训练图片对的示意图。
在本实施例中，Unet卷积神经网络是卷积神经网络中的一种，因其网络结构画出来像一个“U”字型，而被称为Unet。
步骤S220，从Unet卷积神经网络中提取初始图像经过卷积处理后的高层抽象局部特征。
请参照图4，图4给出了Unet卷积神经网络的结构示意图。Unet卷积神经网络包括多个网络层，比如图4中示出的18个网络层，其中，第1网络层为输入层，第18网络层为输出层。第2-6网络层为卷积层，卷积层的作用是逐层特征提取以得到高层抽象特征，其中，本申请实施例所说的高层抽象特征是指第6层卷积处理后提取的特征。
在图4中，凡带_ConX_ReLU的表示卷积层操作后会进行线性整流函数操作，用以将线性输出变为非线性，同时可以增加网络的学习能力。凡带_Skip_LayerX_LayerY的表示LayerX层的输出(激活后的输出)会和LayerY层的输出(激活后的输出)进行通道合并操作。参数imaps表示输入通道数，参数omaps表示输出通道数，参数kernel为滤波器尺寸，参数pading表示填充参数，参数stride表示步长参数。
在步骤S220，从图4的Unet卷积神经网络中提取初始图像经过处理后EM_Con5_ReLU层(第6层)的高层抽象局部特征。
步骤S230，将高层抽象局部特征进行缩减处理得到初始图像的高层抽象全局特征。
在本实施例中，构建一缩减网络，该缩减网络用于得到初始图像的高层抽象全局特征。具体地，请参照图5，图5示出了缩减网络的结构示意图。
该缩减网络用于缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征，记为ContractionModel，简称为CM。缩减网络的输入信号为高层抽象局部特征，经过两层网络的卷积、激活得到输出CM_Output。其中，CM_Output为所述初始图像的高层抽象全局特征。
步骤S240，将初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到初始图像的高层抽象综合特征。
在本实施例中，构建一融合网络，该网络用于将步骤S220中的高层抽象局部特征与步骤S230中的高层抽象全局特征进行融合，得到初始图像的高层抽象综合特征。融合网络的结构示意图可以参照图6，高层抽象综合特征可以记为FusionModel，简称FM。
步骤S250，将高层抽象综合特征在Unet卷积神经网络中进行反卷积处理，得到输出图像。
将步骤S240融合后得到的高层抽象综合特征带入Unet卷积神经网络中，经过第8-17层的反卷积处理即可以从第18层中输出初始图像经过处理后的输出图像。
步骤S260，基于输出图像和目标图像，及预设的损失函数方案对Unet卷积神经网络进行训练，得到训练后的图像增强模型。
在得到初始图像经过训练后的输出图像后，将输出图像逼近目标图像，具体地，通过预设的损失函数方案对Unet卷积神经网络进行训练，以使输出图像逼近目标图像。
在本实施例中，采用预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。可选地，在本实施例中，预设权重比例为L1_loss损失函数和Vgg_loss损失函数为10:1。其中，Vgg_loss损失函数是一种语义类型的损失函数，相比L1_loss损失函数，vgg_loss可以更好地生成语义信息。我们使用vggL9作为生成不同层特征图像的网络结构，并使用在ImageNet数据集上训练好的参数初始化vggL9网络。输出图像和目标图像经过vggL9网络在同一个层输出的特征图像上做L2loss就是得到Vgg_loss损失函数。
在输出图像、目标图像及预设权重比例为L1_loss损失函数和Vgg_loss损失函数即可以确定模型参数，完成图像增强模型的训练。
在本实施例中，所述方法还包括根据训练好的图像增强模型对图像进行增强的步骤。该步骤包括：
首先，接收输入的待增强图像。
其中，输入的待增强图像可以是用户通过手机拍摄得到的图像，或通过其他方式获得的图像，比如，网上下载的图像。
采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
采用训练好的图像增强模型对待增强图像进行图像增强的过程，与上面训练过程相同，再此就不再赘述。具体地，增强效果可以参照图7，图7示出了待增强图像与增强后的图像的对比图。
在上述方法中，对现有Unet卷积神经网络进行改进，增加缩减网络和融合网络结构，使得在进行图像增强时，能较好的结合图像的所有信息进行学习，保证图像增强模型输出的图像能更好的逼近目标图像，提升采用该图像增强模型输出的图像的增强效果。
请参照图8，本申请实施例还提供一种图像增强模型训练装置140，与第一实施例不同的是，本实施例是从虚拟装置角度对本申请方案描述。可以理解的是，接下来要描述的图像增强模型训练装置140中涉及的内容在上面实施例中已经描述过，具体图像增强模型训练装置140的各个功能模块所执行的功能的详尽内容可参照上面的实施例描述，下面仅对图像增强模型训练装置140中各个功能模块进行简要说明。
图像增强模型训练装置140包括：
输入模块141，用于将初始图像输入Unet卷积神经网络。
提取模块142，用于从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征。
缩减处理模块143，用于将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征。
在本实施例中，缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征。
融合模块144，用于将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征。
反卷积处理模块145，用于将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像。
训练模块146，用于基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。
在本实施例中，所述训练模块146具体用于：
基于所述输出图像和目标图像，及预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。
请再次参照图8，图像增强模型训练装置140还可以包括：
接收模块147，用于接收输入的待增强图像。
图像增强模块148，用于采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备100执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的图像增强模型训练方法、装置、电子设备及可读存储介质，其中，所述方法包括，将初始图像输入Unet卷积神经网络；从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。上述方法融合了图像的高层抽象局部特征和高层抽象全局特征，可以较好的结合图像的所有信息进行学习，保证图像增强模型输出的图像能更好的逼近目标图像，提升采用该图像增强模型输出的图像的增强效果。
在本申请所提供的具体实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像增强模型训练方法，其特征在于，所述方法包括：
将初始图像输入Unet卷积神经网络；
从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；
将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；
将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；
将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；
基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。
2.如权利要求1所述的方法，其特征在于，将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征，包括：
缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征。
3.如权利要求1所述的方法，其特征在于，所述基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，以得到训练后的图像增强模型，包括：
基于所述输出图像和目标图像，及预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。
4.如权利要求3所述的方法，其特征在于，所述方法还包括
接收输入的待增强图像；
采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
5.一种图像增强模型训练装置，其特征在于，所述装置包括：
输入模块，用于将初始图像输入Unet卷积神经网络；
提取模块，用于从所述Unet卷积神经网络中提取所述初始图像经过卷积处理后的高层抽象局部特征；
缩减处理模块，用于将所述高层抽象局部特征进行缩减处理得到所述初始图像的高层抽象全局特征；
融合模块，用于将所述初始图像的高层抽象局部特征与高层抽象全局特征进行融合，得到所述初始图像的高层抽象综合特征；
反卷积处理模块，用于将所述高层抽象综合特征在所述Unet卷积神经网络中进行反卷积处理，得到输出图像；
训练模块，用于基于所述输出图像和目标图像，及预设的损失函数方案对所述Unet卷积神经网络进行训练，得到训练后的图像增强模型。
6.如权利要求5所述的装置，其特征在于，所述缩减处理模块，具体用于：
缩小高层抽象局部特征对应特征图像的尺寸，得到所述初始图像的高层抽象全局特征。
7.如权利要求5所述的装置，其特征在于，所述训练模块具体用于：
基于所述输出图像和目标图像，及预设权重比例的L1_loss损失函数和Vgg_loss损失函数对所述Unet卷积神经网络进行训练，得到模型参数，完成图像增强模型的训练。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
接收模块，用于接收输入的待增强图像；
图像增强模块，用于采用训练好的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
9.一种电子设备，所述电子设备包括处理器及存储有若干计算机指令的非易失性存储器，其特征在于，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-4中任意一项所述的图像增强模型训练方法。
10.一种可读存储介质，所述可读存储介质包括计算机程序，其特征在于：
所述计算机程序运行时控制所述可读存储介质所在电子设备执行权利要求1-4中任意一项所述的图像增强模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810821282.XA CN109102483B (zh) | 2018-07-24 | 2018-07-24 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810821282.XA CN109102483B (zh) | 2018-07-24 | 2018-07-24 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109102483A true CN109102483A (zh) | 2018-12-28 |
| CN109102483B CN109102483B (zh) | 2020-12-18 |
Family
ID=64847217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810821282.XA Active CN109102483B (zh) | 2018-07-24 | 2018-07-24 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102483B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN110210524A (zh) * | 2019-05-13 | 2019-09-06 | 东软医疗系统股份有限公司 | 一种图像增强模型的训练方法、图像增强方法及装置 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110717864A (zh) * | 2019-08-29 | 2020-01-21 | 苏州千视通视觉科技股份有限公司 | 一种图像增强方法、装置、终端设备及计算机可读介质 |
| CN111340195A (zh) * | 2020-03-09 | 2020-06-26 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| CN112446834A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 图像增强方法和装置 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
| CN112529150A (zh) * | 2020-12-01 | 2021-03-19 | 华为技术有限公司 | 一种模型结构、模型训练方法、图像增强方法及设备 |
| CN112927172A (zh) * | 2021-05-10 | 2021-06-08 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
| CN112991191A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 人脸图像增强方法、装置及电子设备 |
| CN113256525A (zh) * | 2021-05-25 | 2021-08-13 | 烟台艾睿光电科技有限公司 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113724151A (zh) * | 2021-07-30 | 2021-11-30 | 荣耀终端有限公司 | 一种图像增强方法、电子设备和计算机可读存储介质 |
| CN116844192A (zh) * | 2023-07-19 | 2023-10-03 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN113744141B (zh) * | 2020-11-19 | 2024-04-16 | 北京京东乾石科技有限公司 | 图像的增强方法、装置和自动驾驶的控制方法、装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
| CN107909145A (zh) * | 2017-12-05 | 2018-04-13 | 苏州天瞳威视电子科技有限公司 | 一种卷积神经网络模型的训练方法 |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
-
2018
- 2018-07-24 CN CN201810821282.XA patent/CN109102483B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
| CN107909145A (zh) * | 2017-12-05 | 2018-04-13 | 苏州天瞳威视电子科技有限公司 | 一种卷积神经网络模型的训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHEN CHEN等: "Learning to See in the Dark", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| US11790497B2 (en) | 2019-02-28 | 2023-10-17 | Tencent Technology (Shenzhen) Company Limited | Image enhancement method and apparatus, and storage medium |
| WO2020173320A1 (zh) * | 2019-02-28 | 2020-09-03 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN110210524A (zh) * | 2019-05-13 | 2019-09-06 | 东软医疗系统股份有限公司 | 一种图像增强模型的训练方法、图像增强方法及装置 |
| CN110210524B (zh) * | 2019-05-13 | 2023-05-02 | 东软医疗系统股份有限公司 | 一种图像增强模型的训练方法、图像增强方法及装置 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110717864A (zh) * | 2019-08-29 | 2020-01-21 | 苏州千视通视觉科技股份有限公司 | 一种图像增强方法、装置、终端设备及计算机可读介质 |
| CN112446834A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 图像增强方法和装置 |
| CN112991191A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 人脸图像增强方法、装置及电子设备 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN111340195B (zh) * | 2020-03-09 | 2023-08-22 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| CN111340195A (zh) * | 2020-03-09 | 2020-06-26 | 创新奇智(上海)科技有限公司 | 网络模型的训练方法及装置、图像处理方法及存储介质 |
| CN113744141B (zh) * | 2020-11-19 | 2024-04-16 | 北京京东乾石科技有限公司 | 图像的增强方法、装置和自动驾驶的控制方法、装置 |
| CN112529150A (zh) * | 2020-12-01 | 2021-03-19 | 华为技术有限公司 | 一种模型结构、模型训练方法、图像增强方法及设备 |
| WO2022116856A1 (zh) * | 2020-12-01 | 2022-06-09 | 华为技术有限公司 | 一种模型结构、模型训练方法、图像增强方法及设备 |
| CN112508812A (zh) * | 2020-12-01 | 2021-03-16 | 厦门美图之家科技有限公司 | 图像色偏校正方法、模型训练方法、装置及设备 |
| CN112927172B (zh) * | 2021-05-10 | 2021-08-24 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
| CN112927172A (zh) * | 2021-05-10 | 2021-06-08 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
| CN113256525A (zh) * | 2021-05-25 | 2021-08-13 | 烟台艾睿光电科技有限公司 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
| CN113256525B (zh) * | 2021-05-25 | 2023-01-10 | 烟台艾睿光电科技有限公司 | 红外热成像图像增强方法、装置、设备及可读存储介质 |
| CN113724151A (zh) * | 2021-07-30 | 2021-11-30 | 荣耀终端有限公司 | 一种图像增强方法、电子设备和计算机可读存储介质 |
| CN116844192A (zh) * | 2023-07-19 | 2023-10-03 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN116844192B (zh) * | 2023-07-19 | 2024-04-12 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109102483B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102483A (zh) | 图像增强模型训练方法、装置、电子设备及可读存储介质 | |
| Li et al. | Luminance-aware pyramid network for low-light image enhancement | |
| Chen et al. | Fast image processing with fully-convolutional networks | |
| US11107205B2 (en) | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames | |
| Liu et al. | A generalized framework for edge-preserving and structure-preserving image smoothing | |
| CN108604369B (zh) | 一种去除图像噪声的方法、装置、设备及卷积神经网络 | |
| CN109816011A (zh) | 生成人像分割模型的方法和视频关键帧提取方法 | |
| JP7146091B2 (ja) | ビデオへの情報埋め込み方法、コンピュータ機器及びコンピュータプログラム | |
| RU2706891C1 (ru) | Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями | |
| Peng et al. | Bokehme: When neural rendering meets classical rendering | |
| CN108810413A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111277910B (zh) | 弹幕显示方法、装置、电子设备及存储介质 | |
| Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Yin et al. | Deep prior guided network for high-quality image fusion | |
| CN110418191A (zh) | 一种短视频的生成方法及装置 | |
| EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
| Liu et al. | Multi-scale grid network for image deblurring with high-frequency guidance | |
| WO2022100490A1 (en) | Methods and systems for deblurring blurry images | |
| CN110443764A (zh) | 视频修复方法、装置及服务器 | |
| CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
| CN115100334A (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| CN107766803A (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| Seizinger et al. | Efficient multi-lens bokeh effect rendering and transformation | |
| Luo et al. | Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |