CN109816612A - 图像增强方法和装置、计算机可读存储介质 - Google Patents

图像增强方法和装置、计算机可读存储介质 Download PDF

Info

Publication number
CN109816612A
CN109816612A CN201910123432.4A CN201910123432A CN109816612A CN 109816612 A CN109816612 A CN 109816612A CN 201910123432 A CN201910123432 A CN 201910123432A CN 109816612 A CN109816612 A CN 109816612A
Authority
CN
China
Prior art keywords
image
training
loss
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910123432.4A
Other languages
English (en)
Inventor
刘瀚文
那彦波
朱丹
张丽杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910123432.4A priority Critical patent/CN109816612A/zh
Publication of CN109816612A publication Critical patent/CN109816612A/zh
Priority to US16/755,044 priority patent/US11107194B2/en
Priority to PCT/CN2019/101391 priority patent/WO2020168699A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像增强方法和装置、计算机可读存储介质，属图像增强技术领域，可至少部分解决现有的图像增强技术处理效率过低或者处理效果不好的问题。本发明的方法通过卷积神经网络进行，卷积神经网络的任意两相邻采样单元间设有一个处理单元，n为正整数；前n个采样单元为置乱单元，用于按照预定规律对输入图像的像素进行重排，并将每个重排后的图像分割为m个图像；后n个采样单元为复合单元，用于将m个输入图像合并为一个图像，并按照与预定规律相反的方式对合并得到的图像的像素进行重排；处理单元包括多个卷积块，每个卷积块的输出为其后所有卷积块的输入，处理单元的输入也是所有卷积块的输入，卷积块的输出也是处理单元的输出。

Description

图像增强方法和装置、计算机可读存储介质
技术领域
本发明属于图像增强技术领域，具体涉及一种图像增强方法和装置、计算机可读存储介质。
背景技术
图像增强是一种常用的图像处理技术，可提高图像的对比度，从而改善观看效果。例如，拍摄时曝光过度或曝光不足的图像往往整体上看较暗或较亮，对比度过低，无法清楚的区分其中的景物，对这类图像即可采用图像增强提高其对比度。
但是，现有的图像增强技术或者处理效率过低，或者处理效果不好。
发明内容
本发明至少部分解决现有的图像增强技术处理效率过低或者处理效果不好的问题，提供一种处理效率高且处理效果好的图像增强方法和装置、计算机可读存储介质。
本发明的一个方面提供一种图像增强方法，包括将原始图像输入卷积神经网络处理得到结果图像，所述卷积神经网络包括2n个依次设置的采样单元，任意两相邻采样单元间设有一个处理单元，n为正整数；其中，
前n个采样单元为置乱单元，每个所述置乱单元用于按照预定规律对输入图像的像素进行重排，并将每个重排后的图像分割为m个图像，m为大于或等于2的整数；
后n个采样单元为复合单元，每个所述复合单元用于将m个输入图像合并为一个图像，并按照与预定规律相反的方式对合并得到的图像的像素进行重排；
每个所述处理单元包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，处理单元的输入同时也是所有卷积块的输入，所有卷积块的输出同时也是处理单元的输出。
可选的，每个所述卷积块包括依次连接的第一卷积层和第二卷积层，其中第一卷积层包含一个1*1的卷积核，第二卷积层包含一个3*3的卷积核。
可选的，所述卷积神经网络还包括噪声输入，用于将噪声输入到至少部分处理单元。
可选的，所述噪声为高斯噪声。
可选的，所述处理单元的数量至少为3个；
所述卷积神经网络还包括：至少一个层间连接，用于将一个处理单元的输出直接输入到其后方的同尺度的处理单元中。
可选的，所述m＝4，所述n＝2。
可选的，在所述将原始图像输入卷积神经网络处理得到结果图像前，还包括对卷积神经网络进行训练，所述训练包括：
从样本集中选择一对训练图像，所述样本集包括多对训练图像，每对训练图像包括相对应的低质量图像和高质量图像；
将所述低质量图像输入卷积神经网络中处理得到训练结果图像；
将训练结果图像与高质量图像进行对比，得到损失；
根据所述损失调整所述卷积神经网络；
判断当前是否满足预设结束条件，若是则结束训练，若否则返回所述从样本集中选择一对训练图像的步骤。
可选的，所述损失包括L1损失，所述L1损失L1通过如下公式计算：
L1＝0.299*(abs(RI-RG))+0.587*(abs(GI-GG))+0.114*(abs(BI-BG))；
其中RI、GI、BI分别为训练结果图像的红色、绿色、蓝色分量，RG、GG、BG分别为高质量图像的红色、绿色、蓝色分量，abs为求绝对值运算。
可选的，所述损失包括内容损失，所述内容损失根据训练结果图像和高质量图像在分析网络中提取出的特征图像计算得到，所述内容损失Lcontent通过如下公式计算：
其中和分别表示训练结果图像和高质量图像在分析网络的卷积层l中第i个卷积核输出的特征图像中第j个位置的值，C1为预设的系数，其中，所述分析网络包括多个依次连接的卷积层，以及设于相邻卷积层间的下采样层。
可选的，所述损失包括颜色损失，所述颜色损失Lcolor通过如下公式计算：
Lcolor＝abs(gaussian(I)-gaussion(G))；
其中，gaussian为高斯模糊化运算，abs为求绝对值运算，I代表训练结果图像，G代表高质量图像。
可选的，所述损失包括对抗损失，所述对抗损失LG通过以下公式计算：
LG＝Εx～Pdata(x)[logD(x)]+Εz～Pz(z)[1-logD(G(z))]；
其中D为鉴别器，所述鉴别器为分类网络，用于判断图像是否为高质量，并以输出1代表是，输出0代表否，Pdata为样本集中的高质量图像的集合，x表示Pdata中的项，Pz为样本集中的低质量图像的集合，z表示Pz中的项，Εx～Pdata(x)表示Pdata中的任意项，Εz～Pz(z)表示Pz中的任意项。
可选的，在所述训练过程中，还包括鉴别器训练，所述鉴别器训练包括根据鉴别器对抗损失调整鉴别器，所述鉴别器对抗损失LD通过以下公式计算：
LD＝-Εx～Pdata(x)[logD(x)]-Εz～Pz(z)[1-logD(G(z))]。
本发明的一个方面提供一种图像处理装置，其包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现上述任意一项的图像增强方法。
本发明的一个方面提供一种计算机可读存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行时能实现上述任意一项的图像增强方法。
附图说明
图1为本发明实施例的一种卷积神经网络的结构示意框图；
图2为本发明实施例的一种图像增强方法的流程图；
图3为本发明实施例的一种卷积神经网络中使用的处理单元的结构示意框图；
图4为本发明实施例的一种卷积神经网络进行训练时的数据流向示意图；
图5为本发明实施例的一种鉴别器进行训练时的数据流向示意图；
图6为本发明实施例的一种置乱单元的工作原理示意图；
图7为本发明实施例的一种复合单元的工作原理示意图；
图8为本发明实施例的一种卷积神经网络中使用的分析网络的结构示意框图；
图9为本发明实施例的一种卷积神经网络中使用的鉴别器(分类网络)的结构示意框图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。
可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。
可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。
可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。
可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。
术语解释
以下对本实施例中用到的技术术语进行解释：
卷积(convolution)，其是利用卷积核对训练图像进行处理的技术，其中卷积核是一个二维的数据矩阵，每个点具有一定的值。卷积的具体操作包括将输入图像各像素的值(如灰度值)与卷积核上对应点的数值相乘，然后将所有乘积相加作为卷积核中间点对应的输出像素的灰度值；通过使卷积核在图像上滑动，即可得到输出图像。根据卷积核的不同，卷积可用于提取图像的特征，也可用于在图像中加入特征。
卷积层(conv layer)，其包括一个或多个卷积核，用于对输入图像进行卷积以得到输出图像。其中，不同卷积核可用于依次对训练图像进行卷积，也可用于对训练图像的不同部分进行卷积，也可用于对不同图像进行卷积(即每个卷积层可有多个输入)，也可根据图像的具体状况决定使用哪些卷积核进行卷积。
下采样(subsampled)，其用于采集输入图像的特征，并产生尺寸(尺度)减小的输出图像。
池化层(pooling)，其是一种具体的下采样形式，具体可用的池化层包括max-pooling、avg-polling、decimation等不同形式。
上采样(upsampled)，其用于向输入图像加入特征，并产生尺寸(尺度)增大的输出图像。
全连接层(FCN)，其具有和卷积神经网络相同的结构，只是用标量值替换了卷积核。
激励层，其也称激活层，用于对卷积层的输出做非线性映射，可将输入的数据转变为一个“数”，具体可用的激励层函数包括RELU、sigmoid等。
置乱单元(DeMux)：
每个置乱单元用于按照预定规律对输入图像的像素进行重排，并将每个重排后的图像分割为m个图像，m为大于或等于2的整数。也就是说，置乱单元先按照一定的方式(如按照预先设置的置乱模板，也就是按照预定规律)移动图像中的像素，即将原a位置的像素移动到b位置，将原b位置的像素移动c位置……；之后，置乱单元再将该像素重排后的图像分割为多个输出图像。例如，如图6所示的置乱单元将一个图像的像素重排后分割为2*2共4个图像；或者，该置乱单元的工作原理也可理解为：将输入图像中每个2*2区域中的4个像素分别分配到4个输出图像中的相对应位置。置乱单元的更详细的工作方式可参考申请号为CN201610127676.6、CN201710289664.8、CN 201710318147.9的中国专利，在此不再详细描述。
当然，由于置乱单元的每个输出图像的尺寸均比输入图像的尺寸小，故其实质上是一种下采样，可降低输出图像的尺度；但由于置乱单元只是将像素重排和分割，而未“丢弃”任何像素，故其不会造成任何信息损失。
复合单元(Mux)：
复合单元用于将m个输入图像合并为一个图像，并按照与预定规律相反的方式对合并得到的图像的像素进行重排。也就是说，复合单元进行的是置乱单元的逆操作，其先将多个输入图像合并为一个图像，此时的图像相当于被置乱单元进行像素重排后的图像，之后复合单元也是移动图像中像素的位置，但移动方式与置乱单元的移动相反，即将原b位置的像素移动到a位置，将原c位置的像素移动b位置……，从而将每个像素都恢复到其原本的位置，最终将多个图像还原为一个图像。例如，如图7所示的复合单元将4个输入图像合并为一个图像，并对合并得到的图像中的像素进行重排；或者，该复合单元的工作原理也可理解为：4个输入图像中每个对应位置的像素都被分配到输出图像中的一个2*2的区域中的特定位置。复合单元的更详细的工作方式可参考申请号为CN201610127676.6、CN201710289664.8、CN201710318147.9的中国专利，在此不再详细描述。
当然，由于复合单元的输出图像的尺寸比每个输入图像的尺寸都大，故其可视为一种上采样，可提高输出图像的尺度；但由于复合单元只是将像素重排和合并，而未“丢弃”任何像素，故其不会造成任何信息损失。
卷积神经网络：
卷积神经网络是一种深度前馈人工神经网络，包括多个卷积层、上采样层、下采样层等，每个卷积层均可用于对图像进行处理，而上采样层和下采样层可改变图像的尺寸(尺度)，从而使不同卷积层可在不同尺度上对图像进行处理。
其中，通过相应的训练，可对卷积神经网络的各卷积层中的卷积核、偏置、权重等进行调整，从而使卷积神经网络能实现所需的功能。
分析网络：
分析网络是一种用于进行特征提取的深度神经网络，其可包括多个依次连接的、不同尺度的卷积层，以及设于相邻卷积层间的下采样层。
如图8所示，分析网络包括多个卷积层和下采样层(如池化层)，从而可输出不同尺度上的特征(输出为特征图像)。
鉴别器(分类网络)：
鉴别器(Discriminator)的本质是一种分类网络，用于判断输入图像是否符合某个特征，并给出0～1间的鉴别结果表示图像符合该特征的程度，其中0表示完全不符合(假)，1表示完全符合(真)。0～1间的数值表示符合该特征的程度或可能性。
参照图9，该鉴别器(分类网络)包括多个卷积层，以及设于卷积层之间的下采样层(如池化层)，而最后一个卷积层的输出依次连接全连接层和激励层(如sigmoid函数)，从而最终将输入图像转变为表示真假程度的“数”(鉴别结果)。
卷积神经网络
本发明实施例的图像增强方法使用卷积神经网络进行：将原始图像输入到卷积神经网络中，经过卷积神经网络的处理，即可得到对比度提高的结果图像。下面对本发明实施例使用的卷积神经网络的结构进行介绍。
卷积神经网络包括2n个依次设置的采样单元，任意两相邻采样单元间设有一个处理单元，n为正整数；其中，
前n个采样单元为置乱单元，每个置乱单元用于按照预定规律对输入图像的像素进行重排，并将每个重排后的图像分割为m个图像，m为大于或等于2的整数；
后n个采样单元为复合单元，每个复合单元用于将m个输入图像合并为一个图像，并按照与预定规律相反的方式对合并得到的图像的像素进行重排；
每个处理单元包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，处理单元的输入同时也是所有卷积块的输入，所有卷积块的输出同时也是处理单元的输出。
参照图1，卷积神经网络包括交替设置的采样单元和处理单元(且第一个和最后一个单元均为采样单元)，其中第一个采样单元的输入即为原始图像，最后一个采样单元的输出即为结果图像，而其它每个单元的输出均为后一个单元的输入。
采样单元的总数为2n个，其中前n个采样单元为上述置乱单元(相当于下采样层)，用于置乱像素并分割出更多图像，从而降低图像尺度；而后n个采样单元为上述复合单元(相当于上采样层)，用于将分割出的图像合并恢复被置乱的像素，从而提高图像尺度。由于置乱单元与复合单元的数量相同(均为n个)，故最终输出的结果图像的尺度(尺寸)与原始图像相同。
处理单元则为密集连接卷积网络(DenseBlock)，其用于通过卷积神经网络的处理实现图像增强(即提高图像对比度)。参照图3，每个密集连接卷积网络(处理单元)中包括多个依次设置的卷积块，且其中每个卷积块的输出不仅输入至下一卷积块，而是同时输入(如通过concat函数输入)给其后所有的卷积块，相应的，每个卷积块的输入也都是其之前的所有卷积块的输出。
本发明实施例的图像增强方法采用的卷积神经网络中，包括能将像素重排的采样单元，故处理单元实际是对重排的图像进行增强的，图像中像素的相邻关系已经发生了变化，从而可有效改善图像增强的效果。
而且，采样单元还可改变图像尺度，使处理单元能处理不同尺度的图像，以提高处理速度并改善处理效果。同时，以上尺度改变是通过分割和合并实现的，其中并未“丢失”任何像素，故其并不会造成任何信息损失，不会影响结果图像的质量。
另外，处理单元采用密集连接卷积网络，可大幅提高图像增强的运算效率，同时可使训练过程的收敛速度提高，从而加快训练过程。
可选的，每个卷积块包括依次连接的第一卷积层和第二卷积层，其中第一卷积层包含一个1*1的卷积核，第二卷积层包含一个3*3的卷积核。
也就是说，以上处理单元的每个卷积块(Block)可为一个“B+C”结构。其中，B是指一个bottleneck层，其是一个1*1的卷积，用于对数据进行降维，以减少后续卷积操作中的参数数量；而C则为Convolution层，其是一个3*3的卷积。
可选的，卷积神经网络还包括噪声输入，用于将噪声输入到至少部分处理单元。
可选的，噪声为高斯噪声。
参照图1，为改善处理效果，可将噪声信号与输入图像一起输入(如通过concat函数输入)到处理单元中进行处理。该噪声信号可以是预定的，也可以是随机生成的符合一定条件的信号，例如为高斯噪声。
可选的，当处理单元的数量至少为3个时；卷积神经网络还包括：至少一个层间连接，用于将一个处理单元的输出直接输入到其后方的同尺度的处理单元中。
参照图1，在卷积神经网络中，还可将一个处理单元的输出跨越部分单元，直接输入(如通过concat函数输入)到其后的同尺度的处理单元中。由此，部分处理单元可接收到更多的信息输入(即其接收到的图像经过的处理是不同的)，从而减小信息损失，改善处理效果。
可选的，m＝4，n＝2。
参照图1，以上n可为2，从而采样单元的总数为2*2＝4个，其中前2个为置乱单元，后2个为复合单元，当然，此时共存在3组相邻的采样单元，故相应的处理单元的数量为3个。同时，以上m＝4，即置乱单元可将每个输入图像分割为4个，而复合单元则将每4个输入图像合并为1个。
当然，应当理解，以上对各种结构的具体个数、具体函数、具体参数等的描述只是示意性的，而并非对本发明实施例范围的限定。
图像增强方法
本发明的图像增强方法采用以上卷积神经网络进行。
其中，若卷积神经网络还未训练完成，则需要先对其进行训练(步骤S02至步骤S06)；而若卷积神经网络已经训练完成了，则即可直接用其处理图像(即从S07步骤开始)。
具体的，如图2所示，图像增强方法可包括：
S01、建立卷积神经网络。
若当前还不存在卷积神经网络，则根据以上描述的卷积神经网络的结构，建立初始的卷积神经网络。
S02、从样本集中选择一对训练图像；其中，样本集包括多对训练图像，每对训练图像包括相对应的低质量图像和高质量图像。
样本集是预先设置的用于进行卷积神经网络训练的图像的集合。在样本集中，设有多对训练图像，每对训练图像包括两幅预先获得的、相同内容的、对比度不同的图像(如在不同曝光条件下对同一景物进行拍照而分别得到的两幅图像)，其中具有较高对比度的图像为高质量图像，对比度较低的图像为低质量图像。
其中，在选择一对训练图像后，可将其从样本集中排除，以免其被再次选中。
S03、将低质量图像输入卷积神经网络中处理得到训练结果图像。
将以上低质量图像输入当前的卷积神经网络中进行提高对比度的处理，并得到训练结果图像。
当然，应当理解，由于卷积神经网络的训练尚未完成，故此时得到的训练结果图像的效果并不一定能满足要求。
S04、将训练结果图像与高质量图像进行对比，得到损失。
高质量图像是与低质量图像对应的，故低质量图像经过“完美的”图像增强处理后应当得到与高质量图像完全一样的结果图像。但显然，卷积神经网络实际处理得到的训练结果图像与高质量图像之间会存在一定的差别，即损失；而该损失代表了当前卷积神经网络的处理过程与“完美的”处理过程的差距，故通过该差距(损失)可决定应当如何调整卷积神经网络，使其不断完善。
因此，本步骤中需要先对训练结果图像与高质量图像进行对比，得到它们的差别，也就是得到损失。
可选的，损失包括L1损失，L1损失L1通过如下公式计算：
L1＝0.299*(abs(RI-RG))+0.587*(abs(GI-GG))+0.114*(abs(BI-BG))；
其中RI、GI、BI分别为训练结果图像的红色、绿色、蓝色分量，RG、GG、BG分别为高质量图像的红色、绿色、蓝色分量，abs为求绝对值运算。
图像的数据通常是分为红色(R)、绿色(G)、蓝色(B)三个分量，这三个分量可分为三个通道分别进行处理。而L1损失是给不同分量以不同的权重，从而计算出训练结果图像与高质量图像在颜色上的整体差别。
可选的，损失包括内容损失，内容损失根据训练结果图像和高质量图像在分析网络中提取出的特征图像计算得到，内容损失Lcontent通过如下公式计算：
其中和分别表示训练结果图像和高质量图像在分析网络的卷积层l中第i个卷积核输出的特征图像中第j个位置的值，C1为预设的系数(用于实现结果的标准化)，其中，分析网络包括多个依次连接的卷积层，以及设于相邻卷积层间的下采样层。
内容损失体现了训练结果图像的内容(如其中的景物)与高质量图像的内容的差别。为获得内容损失，首先要获得训练结果图像和高质量图像的内容，故需要将它们分别输入分析网络中，分别提取出二者的特征图像(更具体为内容特征图像)，之后再通过以上函数对两特征图像进行对比，得到内容损失，
参照图8，分析网络可包括2个卷积层，以及2个卷积层间的下采样层，从第二个卷积层的输出中可提取出特征图像(分析网络实际还可包括更多的结构，但因本实施例中只利用特征图像，故后续结构没有示出)。
具体的，假设某个卷积层l具有Nl个卷积核的卷积层，则其输出包含Nl个特征图像，假设每个特征图像的尺寸都是Ml，则该卷积层l的输出可以存储在矩阵中。
可选的，损失包括颜色损失，颜色损失Lcolor通过如下公式计算：
Lcolor＝abs(gaussian(I)-gaussion(G))；
其中，gaussian为高斯模糊化运算，abs为求绝对值运算，I代表训练结果图像，G代表高质量图像。
颜色损失可通过对训练结果图像和高质量图像分别进行高斯模糊化运算得到，其也能体现训练结果图像和高质量图像的颜色的差别。
可选的，损失包括对抗损失，对抗损失LG通过以下公式计算：
LG＝Εx～Pdata(x)[logD(x)]+Εz～Pz(z)[1-logD(G(z))]；
其中D为鉴别器，鉴别器为分类网络，用于判断图像是否为高质量，并以输出1代表是，输出0代表否，Pdata为样本集中的高质量图像的集合，x表示Pdata中的项，Pz为样本集中的低质量图像的集合，z表示Pz中的项，Εx～Pdata(x)表示Pdata中的任意项，Εz～Pz(z)表示Pz中的任意项。
对抗损失是通过鉴别器和卷积神经网络的对抗得出的。
其中，鉴别器为一种分类网络，例如为图9的分类网络，分类网络能用于对图像进行分类，即鉴别图像是否符合某个特征。本发明实施例中的鉴别器用于鉴别图像是否为高质量，给出图像是否具有高对比度的鉴别结果，若是则输出1(即判断结果为真)，若否则输出0(即判断结果为假)，而0～1的数值表示为高质量的程度或可能性。
内容损失则是鉴别器对样本集中的高质量图像和由卷积神经网络处理得到的训练结果图像的鉴别结果的差距(该高质量图像和训练结果图像可以是对应的，也可没有对应关系)。显然，卷积神经网络的处理效果越好，则其得到的训练结果图像的质量就应越高，鉴别器也就越应当将训练结果图像判断为高质量。由此，通过分析鉴别器对实际的高质量图像和训练结果图像的判断结果的差距，就可得知卷积神经网络的处理结果是否能“骗过”鉴别器(即是否能让鉴别器误以为训练结果图像原本就是高质量)，并从另一个方面体现卷积神经网络的处理效果。
其中，最终的损失可包括以上的一项或多项，跟具体的，可根据各项损失计算得出表示总的损失程度的综合损失(Loss Build)作为最终的结果。该综合损失可根据不同的方式得到，例如综合损失可由各项损失乘以各自的权重后求和得到，其中，因L1损失很低时图像的实际效果可能并不好，故L1损失所占的权重比例不应太大。
S05、根据损失调整卷积神经网络。
如前，由于以上损失代表了当前卷积神经网络的缺陷，因此，参照图4，根据该损失，可决定如何调整卷积神经网络中的各项参数，从而改善卷积神经网络的性能。例如，可将损失(如综合损失)输入至优化器(Optimazation)中，由优化器得出根据损失如何调整卷积神经网络的调整方式。
可选的，在训练过程中，还包括鉴别器训练，鉴别器训练包括根据鉴别器对抗损失调整鉴别器，鉴别器对抗损失LD通过以下公式计算：
LD＝-Εx～Pdata(x)[logD(x)]-Εz～Pz(z)[1-logD(G(z))]。
如前，当采用对抗损失时，卷积神经网络的性能越好，则越能“骗过”鉴别器。为进一步提高训练效果，在以上训练过程中也可对鉴别器进行训练，即判断鉴别器是否能正确的区分处出训练结果图像和实际的高质量图像，并根据判断结果(鉴别器对抗损失)对鉴别器进行调整，不断提高鉴别器的鉴别能力，并反过来对卷积神经网络的性能提出更高的要求。
具体的，参照图5，鉴别器的训练也可以是将鉴别器对抗损失输入优化器中，由优化器得出调整方式。当然，用于调整鉴别器的优化器是与以上用于调整卷积神经网络的优化器不同的。
其中，鉴别器的训练与卷积神经网络的训练的关系可以是多样的，例如二者可同时训练，也可交替训练等。
S06、判断当前是否满足预设结束条件，若是则结束训练，若否则返回从样本集中选择一对训练图像的步骤。
在完成本次训练后，可判断当前的卷积神经网络是否满足预设结束条件。
若是，则表明训练已经完成，故可结束训练，并可开始用卷积神经网络进行图像增强。
若否，则表示训练还未还未完成，故应返回以上S02步骤，重新选择一对训练图像，再次进行训练并调整卷积神经网络。如此重复，则相当于通过大量图像不断进行训练而逐渐改善卷积神经网络的性能，直到得到符合要求的卷积神经网络。
其中，预设结束条件(即结束训练的条件)可采用多种不同的方式：例如，预设结束条件可以是损失收敛；或者，预设结束条件也可以是损失持续稳定在预定值以下；或者，预设结束条件也可以是样本集中的所有训练图像均已使用过；或者，预设结束条件也可以是训练达到预定次数等。
S07、将原始图像输入卷积神经网络处理得到结果图像。
在卷积神经网络训练完成后，即可将原始图像输入其中，通过卷积神经网络的处理，得到对比度提高的结果图像。
电子设备
本发明实施例还提供一种电子设备，其包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，能使得一个或多个处理器实现上述的任意一种图像增强方法。
计算机可读介质
本实施例提供一种计算机可读介质，其上存储有计算机程序，当计算机程序被处理器执行时能实现上述的任意一种图像增强方法。
其中，计算机可读介质可以是本发明实施例的装置、设备、系统中所包含的，也可以是单独存在。
其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (14)

1.一种图像增强方法，包括将原始图像输入卷积神经网络处理得到结果图像，其特征在于，所述卷积神经网络包括2n个依次设置的采样单元，任意两相邻采样单元间设有一个处理单元，n为正整数；其中，
前n个采样单元为置乱单元，每个所述置乱单元用于按照预定规律对输入图像的像素进行重排，并将每个重排后的图像分割为m个图像，m为大于或等于2的整数；
后n个采样单元为复合单元，每个所述复合单元用于将m个输入图像合并为一个图像，并按照与预定规律相反的方式对合并得到的图像的像素进行重排；
每个所述处理单元包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，处理单元的输入同时也是所有卷积块的输入，所有卷积块的输出同时也是处理单元的输出。
2.根据权利要求1所述的图像增强方法，其特征在于，每个所述卷积块包括依次连接的第一卷积层和第二卷积层，其中第一卷积层包含一个1*1的卷积核，第二卷积层包含一个3*3的卷积核。
3.根据权利要求1所述的图像增强方法，其特征在于，
所述卷积神经网络还包括噪声输入，用于将噪声输入到至少部分处理单元。
4.根据权利要求3所述的图像增强方法，其特征在于，所述噪声为高斯噪声。
5.根据权利要求1所述的图像增强方法，其特征在于，所述处理单元的数量至少为3个；
所述卷积神经网络还包括：至少一个层间连接，用于将一个处理单元的输出直接输入到其后方的同尺度的处理单元中。
6.根据权利要求1所述的图像增强方法，其特征在于，所述m＝4，所述n＝2。
7.根据权利要求1所述的图像增强方法，其特征在于，在所述将原始图像输入卷积神经网络处理得到结果图像前，还包括对卷积神经网络进行训练，所述训练包括：
从样本集中选择一对训练图像，所述样本集包括多对训练图像，每对训练图像包括相对应的低质量图像和高质量图像；
将所述低质量图像输入卷积神经网络中处理得到训练结果图像；
将训练结果图像与高质量图像进行对比，得到损失；
根据所述损失调整所述卷积神经网络；
判断当前是否满足预设结束条件，若是则结束训练，若否则返回所述从样本集中选择一对训练图像的步骤。
8.根据权利要求7所述的图像增强方法，其特征在于，所述损失包括L1损失，所述L1损失L1通过如下公式计算：
L1＝0.299*(abs(RI-RG))+0.587*(abs(GI-GG))+0.114*(abs(BI-BG))；
其中RI、GI、BI分别为训练结果图像的红色、绿色、蓝色分量，RG、GG、BG分别为高质量图像的红色、绿色、蓝色分量，abs为求绝对值运算。
9.根据权利要求7所述的图像增强方法，其特征在于，所述损失包括内容损失，所述内容损失根据训练结果图像和高质量图像在分析网络中提取出的特征图像计算得到，所述内容损失Lcontent通过如下公式计算：
其中和分别表示训练结果图像和高质量图像在分析网络的卷积层l中第i个卷积核输出的特征图像中第j个位置的值，C1为预设的系数，其中，所述分析网络包括多个依次连接的卷积层，以及设于相邻卷积层间的下采样层。
10.根据权利要求7所述的图像增强方法，其特征在于，所述损失包括颜色损失，所述颜色损失Lcolor通过如下公式计算：
Lcolor＝abs(gaussian(I)-gaussion(G))；
其中，gaussian为高斯模糊化运算，abs为求绝对值运算，I代表训练结果图像，G代表高质量图像。
11.根据权利要求7所述的图像增强方法，其特征在于，所述损失包括对抗损失，所述对抗损失LG通过以下公式计算：
LG＝Εx～Pdata(x)[logD(x)]+Εz～Pz(z)[1-logD(G(z))]；
其中D为鉴别器，所述鉴别器为分类网络，用于判断图像是否为高质量，并以输出1代表是，输出0代表否，G为卷积神经网络，Pdata为样本集中的高质量图像的集合，x表示Pdata中的项，Pz为样本集中的低质量图像的集合，z表示Pz中的项，Εx～Pdata(x)表示Pdata中的任意项，Εz～Pz(z)表示Pz中的任意项。
12.根据权利要求11所述的图像增强方法，其特征在于，在所述训练过程中，还包括鉴别器训练，所述鉴别器训练包括根据鉴别器对抗损失调整鉴别器，所述鉴别器对抗损失LD通过以下公式计算：
LD＝-Εx～Pdata(x)[logD(x)]-Εz～Pz(z)[1-logD(G(z))]。
13.一种图像处理装置，其特征在于，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至12中任意一项所述的图像增强方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时能实现根据权利要求1至12中任意一项所述的图像增强方法。
CN201910123432.4A 2019-02-18 2019-02-18 图像增强方法和装置、计算机可读存储介质 Pending CN109816612A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910123432.4A CN109816612A (zh) 2019-02-18 2019-02-18 图像增强方法和装置、计算机可读存储介质
US16/755,044 US11107194B2 (en) 2019-02-18 2019-08-19 Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network
PCT/CN2019/101391 WO2020168699A1 (en) 2019-02-18 2019-08-19 Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910123432.4A CN109816612A (zh) 2019-02-18 2019-02-18 图像增强方法和装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109816612A true CN109816612A (zh) 2019-05-28

Family

ID=66606882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123432.4A Pending CN109816612A (zh) 2019-02-18 2019-02-18 图像增强方法和装置、计算机可读存储介质

Country Status (3)

Country Link
US (1) US11107194B2 (zh)
CN (1) CN109816612A (zh)
WO (1) WO2020168699A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110859624A (zh) * 2019-12-11 2020-03-06 北京航空航天大学 一种基于结构磁共振影像的大脑年龄深度学习预测系统
WO2020168699A1 (en) * 2019-02-18 2020-08-27 Boe Technology Group Co., Ltd. Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network
CN112581414A (zh) * 2019-09-30 2021-03-30 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
WO2022110027A1 (en) * 2020-11-27 2022-06-02 Boe Technology Group Co., Ltd. Computer-implemented image-processing method, image-enhancing convolutional neural network, and computer product

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3772720B1 (en) * 2019-08-08 2021-09-29 Siemens Healthcare GmbH Method and system for image analysis
US11861485B2 (en) * 2019-11-22 2024-01-02 Baidu Usa Llc Data format transform method to improve AI engine MAC utilization
US11388412B2 (en) * 2019-11-26 2022-07-12 Board Of Regents, The University Of Texas System Video compression technique using a machine learning system
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
US11501107B2 (en) * 2020-05-07 2022-11-15 Adobe Inc. Key-value memory network for predicting time-series metrics of target entities
TWI766777B (zh) * 2021-07-27 2022-06-01 鴻海精密工業股份有限公司 神經網路劃分的方法、電子設備及存儲介質
CN116699297B (zh) * 2023-08-08 2023-10-27 江西驴充充充电技术有限公司 充电桩检测系统及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504199A (zh) * 2016-09-13 2017-03-15 深圳大学 一种眼底图像增强方法及系统
CN106780522A (zh) * 2016-12-23 2017-05-31 杭州华卓信息科技有限公司 一种基于深度学习的骨髓液细胞分割方法
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107767408A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108665411A (zh) * 2018-03-09 2018-10-16 北京超维景生物科技有限公司 一种图像重建的方法和系统
CN109064430A (zh) * 2018-08-07 2018-12-21 中国人民解放军陆军炮兵防空兵学院 一种针对航拍区域含云图的除云方法和系统
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395777B2 (en) * 2014-10-21 2019-08-27 uBiome, Inc. Method and system for characterizing microorganism-associated sleep-related conditions
US20180342322A1 (en) * 2014-10-21 2018-11-29 uBiome, Inc. Method and system for characterization for appendix-related conditions associated with microorganisms
US10339362B2 (en) 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
WO2017124036A1 (en) * 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
JP7208223B2 (ja) * 2017-08-14 2023-01-18 プソマーゲン， インコーポレイテッド 疾患関連マイクロバイオーム特徴解析プロセス
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN107886474B (zh) * 2017-11-22 2019-04-23 北京达佳互联信息技术有限公司 图像处理方法、装置及服务器
CN109242919A (zh) * 2018-09-29 2019-01-18 中国科学技术大学 一种图像下采样方法
CN109816612A (zh) * 2019-02-18 2019-05-28 京东方科技集团股份有限公司 图像增强方法和装置、计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504199A (zh) * 2016-09-13 2017-03-15 深圳大学 一种眼底图像增强方法及系统
CN106780522A (zh) * 2016-12-23 2017-05-31 杭州华卓信息科技有限公司 一种基于深度学习的骨髓液细胞分割方法
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107767408A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108665411A (zh) * 2018-03-09 2018-10-16 北京超维景生物科技有限公司 一种图像重建的方法和系统
CN109064430A (zh) * 2018-08-07 2018-12-21 中国人民解放军陆军炮兵防空兵学院 一种针对航拍区域含云图的除云方法和系统
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO HUANG等: "Densely connected convolutional networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
HANWEN LIU等: "Deep Networks for Image-to-Image Translation with Mux and Demux Layers", 《COMPUTER VISION – ECCV 2018 WORKSHOPS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168699A1 (en) * 2019-02-18 2020-08-27 Boe Technology Group Co., Ltd. Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
US11908102B2 (en) 2019-05-30 2024-02-20 Boe Technology Group Co., Ltd. Image processing method and device, training method of neural network, and storage medium
CN112581414A (zh) * 2019-09-30 2021-03-30 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN112581414B (zh) * 2019-09-30 2024-04-23 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN110859624A (zh) * 2019-12-11 2020-03-06 北京航空航天大学 一种基于结构磁共振影像的大脑年龄深度学习预测系统
WO2022110027A1 (en) * 2020-11-27 2022-06-02 Boe Technology Group Co., Ltd. Computer-implemented image-processing method, image-enhancing convolutional neural network, and computer product

Also Published As

Publication number Publication date
US11107194B2 (en) 2021-08-31
US20210233214A1 (en) 2021-07-29
WO2020168699A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
CN109816612A (zh) 图像增强方法和装置、计算机可读存储介质
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN108604369B (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN112233038A (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN114041161A (zh) 训练用于增强图像细节的神经网络模型的方法和装置
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
DE112018007730T5 (de) 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN107958235A (zh) 一种人脸图像检测方法、装置、介质和电子设备
CN107464217B (zh) 一种图像处理方法及装置
Kim et al. BigColor: Colorization using a generative color prior for natural images
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN106683043B (zh) 一种多通道光学探测系统的并行图像拼接方法、装置
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN106683044B (zh) 一种多通道光学探测系统的图像拼接方法、装置
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
Zhao et al. Saliency map-aided generative adversarial network for raw to rgb mapping
CN113554047A (zh) 图像处理模型的训练方法、图像处理方法及对应的装置
Patil et al. Deep hyperparameter transfer learning for diabetic retinopathy classification
Omarov et al. Machine learning based pattern recognition and classification framework development
CN110111252A (zh) 基于投影矩阵的单幅图像超分辨率方法
Truong et al. Depth map inpainting and super-resolution with arbitrary scale factors
CN114373117A (zh) 一种目标检测方法、装置及系统
CN111028159B (zh) 一种图像条带噪声抑制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528