CN111915525A - 基于改进深度可分离生成对抗网络的低照度图像增强方法 - Google Patents

基于改进深度可分离生成对抗网络的低照度图像增强方法 Download PDF

Info

Publication number
CN111915525A
CN111915525A CN202010778436.9A CN202010778436A CN111915525A CN 111915525 A CN111915525 A CN 111915525A CN 202010778436 A CN202010778436 A CN 202010778436A CN 111915525 A CN111915525 A CN 111915525A
Authority
CN
China
Prior art keywords
convolution
layer
low
depth separable
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010778436.9A
Other languages
English (en)
Other versions
CN111915525B (zh
Inventor
王春枝
严灵毓
魏明
谭敏
叶志伟
刘爱军
王早宁
张文栋
官沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Original Assignee
Hubei University of Technology
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology, Fiberhome Telecommunication Technologies Co Ltd, Wuhan Fiberhome Technical Services Co Ltd filed Critical Hubei University of Technology
Priority to CN202010778436.9A priority Critical patent/CN111915525B/zh
Publication of CN111915525A publication Critical patent/CN111915525A/zh
Application granted granted Critical
Publication of CN111915525B publication Critical patent/CN111915525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像增强技术领域,公开了一种基于改进深度可分离生成对抗网络的低照度图像增强方法,包括构建基于改进深度可分离卷积生成对抗网络模型;对构建的深度可分离卷积生成对抗网络模型进行训练;利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。本发明在保证低度图像增强效果的同时,可以较大减少模型参数量,降低计算复杂度,使得现今研究中存在的内存不足问题得以解决。本发明引入深度可分离卷积并加以改进,达到减少模型参数的同时也适应于低照度图像增强任务,使得计算效率得以增加。本发明在与同等的计算复杂度与参数模型数量等级的低照度图像增强算法对比中,效果具有明显的优越性。

Description

基于改进深度可分离生成对抗网络的低照度图像增强方法
技术领域
本发明属于图像增强技术领域,尤其涉及一种基于改进深度可分离生成对 抗网络的低照度图像增强方法。
背景技术
目前,图像带有真实场景的丰富而详细的信息。通过捕获和处理图像数据, 可以开发智能系统来执行各种任务例如物体检测,分类,分割,识别,场景理 解和3D重建,然后用于许多实际应用中,例如自动驾驶,视频监视和虚拟增强 现实。
但是,实际系统严重依赖于输入图像的质量。特别是,它们在高质量输入 数据下可能表现良好,但在其他方面却表现不佳。典型的情况是使用在光线不 足的环境中捕获的图像,在光线不足的环境中拍摄的图片通常会出现严重的退 化,例如不良可见性,低对比度,意外噪音等。弱光无疑会降低大多数基于视 觉的算法的性能,因此实际应用强烈要求提高弱光图像的质量无需其他昂贵的 硬件,这样的技术有应用范围广。
目前,各个领域都能用到图像质量增强,例如手机拍摄,刑事侦查、医学 图像、遥感图像、高清电视、数码相机等等。在日常拍摄方面,众多手机品牌 的手机,如小米,华为,OPPO,都内置低照度图像增强功能,以达到在光线不 足或夜间拍照的情况下拍出质量不错的照片;在刑事侦查中,遇到犯罪事件的 时候,公安部门往往首先会想到查看监控视频锁定犯罪嫌疑人。然而在安装监 控设备时,为了尽可能捕捉更多的场景,监控设备通常设置为广角模式,因此 感兴趣的对象分辨率往往比较低。而且图像易受到天气光照的影响,监控视频 图像会出现光照不匀、对比度低、模糊、有噪声的现象。这使得公安部门难以 辨认犯罪嫌疑人的脸,从而影响案件侦破速度。图像增强技术能够对监控设备 拍到人脸图像进行处理,可以得到清晰的人脸图像,在一定程度上可以帮助公安 部门加快案件侦破速度。由此可见,低照度图像增强这一课题的应用价值潜在 的商业价值巨大。
经过几十年的发展,低照度图像增强已经成为图像处理研究一个重要的方 向,它们的最终研究目标就是实现清晰化低质图像,加强细节信息,提高对比 度,减少噪声,进而丰富图像内容信息,提高整体感知质量,最终达到满足高 级视觉任务的图像要求。虽然目前已有相应低照度增强算法用于恢复图像,但 在增强后图片的质量和细节上有待进一步提升,此外,现有算法鲁棒性并不很 强,难以适应不同光照环境下的低照度图像,最后考虑到计算受限等智能拍摄 设备,目前算法的计算复杂度和时间消耗仍需降低。随着人工智能的快速发展, 越来越多的研究者们开始尝试利用新的计算机视觉技术,如深度学习解决图像 增强任务,它拥有强大表征能力,可以用来建模更加复杂多样的低照度增强问 题。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有基于CNN的低照度增强模型存在计算过于复杂和以及内存不足 问题。
(2)现有低照度图像增强技术中,所使用的模型参数量过多,计算效率低。
(3)现有使用参数模型与复杂度都相对较低的算法中,计算的准确率低。
(4)现有方法增强图片的质量和细节不佳,鲁棒性并不很强,难以适应不 同光照环境下的低照度图像,计算复杂度和时间消耗大。
解决以上问题及缺陷的难度为:由于基于CNN的低照度增强模型主要针对 于低照度图片这一特殊领域,所以其计算存在复杂性,提高准确性并不像其他 简单模型一样意味着模型在大小以及速度方面变得更加高效,且由于内存大小 的限制了模型不能通过提高规模来同时提高准确性与效率。
解决以上问题及缺陷的意义为:可以有效地在提高准确性的同时增强模型 的效率,使得可以在内存受限的情况下完成高级视觉任务,例如图像分类与目 标检测。
发明内容
针对现有技术存在的问题,本发明提供了一种基于改进深度可分离生成对 抗网络的低照度图像增强方法。
本发明是这样实现的,一种基于改进深度可分离生成对抗网络的低照度图 像增强方法,所述基于改进深度可分离生成对抗网络的低照度图像增强方法包 括:
步骤一,构建基于改进深度可分离卷积生成对抗网络模型;
步骤二,对构建的深度可分离卷积生成对抗网络模型进行训练;
训练时算法流程如下所示
Figure BDA0002619334180000031
步骤三,利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像 增强。
本发明通过Tensorflow(一种当今最流行的开源深度学习平台)完成的本 发明实验。本发明提出的网络可以迅速收敛,使用合成的数据集在NVIDIA GeForce GTX1080上训练了20000代。为了防止过度拟合,本发明使用翻转和 旋转以进行数据增强。本发明将批处理大小设置为32,输入图像值被缩放至 [0,1]。本发明使用在VGG-19网络第5个卷积模块的第4层作为感知损失提取 层。
在实验中,使用Adam优化器进行训练,本发明还使用学习率衰减策略,当 损失指标停止改善时本发明降低50%的学习率。同时为了稳定Gan训练,本发 明采用谱归一化和梯度惩罚来约束判别器。
进一步,步骤一中,所述改进的深度可分离卷积生成对抗网络模型包括:
所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积 模块与改进倒残差深度可分离卷积模块;
所述改进的深度可分离卷积模块第一层为深度卷积层,卷积核尺寸为3*3; 第二层为实例正则化层;第三层为逐点卷积层,卷积核尺寸为1*1;第四层为实 例正则化层,第五层为ReLU的激活层;
所述改进倒残差深度可分离卷积模块第一层为逐点卷积层,卷积核尺寸为 1*1;所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层;第二层为 深度卷积层,卷积核尺寸为3*3,所述深度卷积层后添加有实例归一化层以及 ReLU6的激活层;第三层为逐点卷积层,卷积核尺寸为1*1;所述逐点卷积层 后添加有实例归一化层以及线性激活层;第四层为相加层。
进一步,步骤二中,所述对构建的深度可分离卷积生成对抗网络模型进行 训练包括:
(i)增强网络的网络结构细节如表1所示,基于完全卷积网络(FCN),并 利用卷积神经网络的属性,例如翻译不变性和参数共享。网络由多个残差块和 卷积块2部分组成。最开始是1个卷积块。中间部分包含4个残差块,保持高 度/宽度恒定,每次卷积之后进行实例正则化和ReLU激活。最后是2个卷积块。 除残差块外,最后一个卷积层是tanh激活,此外每个卷积层之后只有ReLU激 活。
表1增强网络的网络结构细节
Figure BDA0002619334180000051
(ii)注意力分支网络的网络结构细节如表2所示,是一种类U-net的全 卷积网络结构,这种网络结构设计的特点就是将低层特征和高层特征相融合,能 够充分利用图像的所有层次的特征。网络由3部分组成:一个收缩路径来获取 多尺度上下文信息,一个对称的扩张路径来恢复多级特征图,以及最后2个卷积 层恢复和输入相同大小的注意力图。收缩路径有4个下采样卷积块,每个卷积 块包含步长为1的2层卷积层,步长为2的1层“池化层”。扩张路径有4个上 采样反卷积块,每个反卷积块包含步长为1的2层卷积层,1个反卷积层和1层 特征拼接。最后2个卷积层,1个是反卷积层,1个是普通卷积,但最后一个卷 积层的激活函数为tanh。所有卷积核大小为3x3,除最后一层外,卷积之后使用 lrelu函数激活。
表2注意力分支网络的网络结构细节
Figure BDA0002619334180000052
Figure BDA0002619334180000061
具体包括:
选取DwDG,DwG和DeeperDwG作为训练模型;
所述DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积 模块取代生成器和判别器中的相应卷积层;
所述DwG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模 块取代生成器的卷积层;
DeeperDwG模型在生成器中使用更深的倒残差深度可分离卷积模块。
本发明的另一目的在于提供一种基于改进深度可分离生成对抗网络的低照 度图像增强系统,所述基于改进深度可分离生成对抗网络的低照度图像增强系 统包括:
对抗网络模型构建模块,用于构建基于改进深度可分离卷积生成对抗网络 模型;
训练模块,用于对构建的深度可分离卷积生成对抗网络模型进行训练;
低照度图像增强模块,用于利用训练好的深度可分离卷积生成对抗网络模 型进行低照度图像增强。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器 和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行 时,使得所述处理器执行所述方法。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序, 所述计算机程序被处理器执行时,使得所述处理器执行所述方法。
本发明的另一目的在于提供一种执行所述方法的智能手机。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明能 够改善弱光环境下所拍照片清晰度,全面提升图像质量。
本发明提出了针对低照度图像增强计算量过多和模型过大问题所设计的改 进深度可分离卷积生成对抗网络。本发明引入深度可分离卷积并加以改进,减 少模型参数的同时也适应于低照度图像增强任务。本发明提出了改进的深度可 分离卷积模块(IN-DepthwiseConv)和改进的倒残差深度可分离卷积模块 (IN-Bottleneck),并基于此设计了3种模型,DwDG,DwG和DeeperDwG模 型,其中DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积 模块取代了生成器和判别器中的相应卷积层,DwG模型仅取代了生成器的卷积 层,而DeeperDwG模型在生成器中使用了更深的倒残差深度可分离卷积模块。 最后本发明方法在合成数据集验证算法性能,并和未轻量化的网络展开对比, 实验表明本发明提出的网络在保证低度图像增强效果的同时,可以较大减少模 型参数量,降低计算复杂度。
本发明在保证低度图像增强效果的同时,可以较大减少模型参数量,降低 计算复杂度,使得现今研究中存在的内存不足问题得以解决。
本发明引入深度可分离卷积并加以改进,达到减少模型参数的同时也适应 于低照度图像增强任务,使得计算效率得以增加。
本发明在与同等的计算复杂度与参数模型数量等级的低照度图像增强算法 对比中,效果具有明显的优越性。
本发明基于改进深度可分离卷积生成对抗网络引入低照度图像增强算法是 首次尝试。本发明基于改进深度可分离卷积生成对抗网络的低照度图像增强技 术在实际的低照度图像增强具备优异的表现。
对比的技术效果或者实验效果包括:
在实验阶段。本发明引入对比算法:基于亮度注意力机制生成对抗网络的 低照度图像增强算法。在下文中简称LightAtten-GAN。其算法使用多层残差模 块构建了一个增强网络结构,用于提高网络的低照度增强建模能力;然后,使 用类似u-net网络作为亮度注意力模块,用来预测低照度图像的亮度分布,使 网络更多地关注图片低照度区域,同时避免高亮度区域过曝光。可以说时本发 明今天所提出算法的原生算法。但是与本发明所提出的三种模型相对比,其并 未引入深度可分离卷积进行改造,本发明将其引入实验来对比体现本发明进行 改进后网络的实验效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所 需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于改进深度可分离生成对抗网络的低照度图 像增强方法流程图。
图2是本发明实施例提供的改进的倒残差深度可分离卷积模块结构对比图。
图2(a)表示传统卷积层;图2(b)表示MobileNetV1中深度可分离卷积 块;图2(c)表示本发明改进的的深度可分离卷积结构对比图。
图3是本发明实施例提供的改进的深度可分离卷积结构对比图。
图3(a)为现有技术残差深度可分离卷积模块;图3(b)本发明改进的倒 残差深度可分离卷积模块。
图4是本发明实施例提供的标准卷积和深度可分离卷积示意图。
图4(a)代表标准卷积;图4(b)代表深度卷积;图4(c)代表逐点卷积。
图5是本发明实施例提供的轻量化的残差模块结构图。
图6是本发明实施例提供的轻量化判别器的网络结构示意图。
图7是本发明实施例提供的DwDG,DwG和DeeperDwG在合成数据集上 的视觉对比图。
图8是本发明实施例提供的DwDG,DwG和DeeperDwG在合成数据集上 的亮度注意力对比图。
图9是本发明实施例提供的隐变量空间和真实数据空间过程变化图。图9(a) 判别网络D是一个部分精确的分类器,只能部分区分真实数据和生成数据;图 9(b)判别网络D得到了一些训练,对生成数据和真实数据有比较明显的分类能 力,这个时候判别网络D会促进生成网络G生成自己无法分类的数据;图9(c) 实线一步步向黑色虚线偏移,生成数据分布在向真实数据分布靠近;图9(d)最 后训练的过程收敛示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例, 对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以 解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于改进深度可分离生成对 抗网络的低照度图像增强方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于改进深度可分离生成对抗网络的低 照度图像增强方法包括以下步骤:
S101,构建基于改进深度可分离卷积生成对抗网络模型;
S102,对构建的深度可分离卷积生成对抗网络模型进行训练;
S103,利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增 强。
如图2-图3所示,步骤S101中,本发明实施例提供的改进的深度可分离卷 积生成对抗网络模型包括:
所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积 模块与改进倒残差深度可分离卷积模块;
所述改进的深度可分离卷积模块第一层为深度卷积层,卷积核尺寸为3*3; 第二层为实例正则化层;第三层为逐点卷积层,卷积核尺寸为1*1;第四层为实 例正则化层,第五层为ReLU的激活层;
所述改进倒残差深度可分离卷积模块第一层为逐点卷积层,卷积核尺寸为 1*1;所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层;第二层为 深度卷积层,卷积核尺寸为3*3,所述深度卷积层后添加有实例归一化层以及 ReLU6的激活层;第三层为逐点卷积层,卷积核尺寸为1*1;所述逐点卷积层 后添加有实例归一化层以及线性激活层;第四层为相加层。
步骤S102中,本发明实施例提供的对构建的深度可分离卷积生成对抗网络 模型进行训练包括:
选取DwDG,DwG和DeeperDwG作为训练模型。
所述DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积 模块取代生成器和判别器中的相应卷积层。
所述DwG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模 块取代生成器的卷积层。
DeeperDwG模型在生成器中使用更深的倒残差深度可分离卷积模块。
下面结合具体实施例对本发明的技术效果作进一步描述。
实施例:
(1)生成对抗网络
通过对抗过程估计生成模型的新框架同时训练两个模型:捕获数据分布的 生成模型G,和估计样本来自训练数据的概率的判别模型D。
生成对抗网络是由两部分组成:生成模型G(generative model)和判别模 型D(discriminative model)。生成模型是用来学习到真实数据的分布。判别 模型是一个二分类器,用来判别输入是真实数据还是生成数据。X是真实数据, 符合Pr(x)分布。Z是隐空间变量,符合Pz(z)分布,比如高斯分布或者均匀分布。 然后从假设隐空间z进行抽样,通过生成模型G之后生成数据x′=G(z)。然后 真实数据与生成数据一起送入判别模型D,输出判定类别。在原始的生成对抗网 络框架中,判别模型需要进行一个二分类的判别,所以此时最基本的想法就是 使用二元的交叉熵损失函数的方法。对于真实的图片,其给定的标签为1,对于 生成的图片其给定的标签为0。而生成模型G尝试合成图片使判别模型D判别为 真。这样可以得到其损失函数为:
Figure BDA0002619334180000111
其中Pr是真实数据分布,Pz是假设的隐空间的分布。
可以用图来介绍gan训练过程:
在图9中,z表示隐变量空间;x是数据空间,从z到x的箭头表示GAN学 到的生成网络映射x=G(z),黑色的虚线表示真实数据的分布,绿色的实线表示 通过生成网络G生成的数据分布,蓝色的虚线表示判别网络D的判别函数,对 于图9(a),判别网络D是一个部分精确的分类器,只能部分区分真实数据和生 成数据。当训练过程到图9(b)中所示,判别网络D得到了一些训练,对生成数 据和真实数据有比较明显的分类能力,这个时候判别网络D会促进生成网络G 生成自己无法分类的数据。再然后对于图9(c):实线一步步向黑色虚线偏移, 也就是说生成数据分布在向真实数据分布靠近。最后训练的过程收敛示意图9(d) 中所示,虚线为一条水平的线,这时判别网络没有了判别能力。生成网络生成 的数据分布和真实数据分布相同,即Pg(x)=Pr(x)。到这里,G网络和D网络就 处于纳什均衡状态,也是整个系统达到收敛的状态了。在训练过程中,先使用 真实的数据和生成的数据分布训练判别网络k次,然后再训练生成网络G—次。 在这样的迭代过程中,G达到收敛的状态。
(2)基于深度学习的低照度图像增强
现有技术1证明了基于合成数据训练的堆叠稀疏去噪自编码器能够对的低 光照有噪声图像进行增强和去噪。模型训练基于图像块(patch),采用sparsity regularizedreconstruction loss作为损失函数,主要贡献如下:(1)提出 了一种训练数据生成方法(即伽马校正和添加高斯噪声)来模拟低光环境。(2) 探索了两种类型的网络结构:(a)LLNet,同时学习对比度增强和去噪;(b) S-LLNet,使用两个模块分阶段执行对比度增强和去噪。(3)在真实拍摄到的低 光照图像上进行了实验,证明了用合成数据训练的模型的有效性。(4)可视化 了网络权值,提供了关于学习到的特征的insights。
现有技术2引入了CNN,传统的multi-scale Retinex(MSR)方法可以看 作是有着不同高斯卷积核的前馈卷积神经网络,并进行了详细论证。接着,仿 照MSR的流程,他们提出了MSR-net,直接学习暗图像到亮图像的端到端映射。 训练数据采用的是用PS调整过的高质量图像和对应的合成低光照图像(随机减 少亮度、对比度,伽马校正)。损失函数为带正则项的误差矩阵的F-范数平方, 即误差平方和。
现有技术3其实主要关注单图像对比度增强(SICE),针对的是欠曝光和 过曝光情形下的低对比度问题。其主要贡献如下:(1)构建了一个多曝光图像 数据集,包括了不同曝光度的低对比度图像以及对应的高质量参考图像。(2) 提出了一个两阶段的增强模型,第一阶段先用加权最小二乘(WLE)滤波方法将 原图像分解为低频成分和高频成分,然后对两种成分分别进行增强;第二阶段 对增强后的低频和高频成分融合,然后再次增强,输出结果。由于单阶段CNN 的增强结果并不令人满意,且存在色偏现象,这可能是因为单阶段CNN难以平 衡图像的平滑成分与纹理成分的增强效果,故设计成两阶段网络结构,其中模 型第一阶段的Decomposition步骤采用的是传统方法。
(3)改进深度可分离卷积生成对抗网络
(3.1)改进的深度可分离卷积模块
标准的卷积过程中图像区域中的所有通道均被同时考虑,深度可分离卷积 提出了一种新的思路:对于不同的输入通道采取不同的卷积核进行卷积,它将 普通的卷积操作分解为两个过程:深度卷积和逐点卷积。
图4(a)代表标准卷积。假设输入特征图尺寸为DF×DF×M,卷积核尺寸为 DK×DK×M,输出特征图尺寸为DF×DF×N,则标准卷积层的参数量 (DK×DK×M)×N。
图4(b)代表深度卷积,负责滤波,尺寸为(DK,DK,1),共M个,作用在输入 的每个通道上,其参数量为(DK×DK×1)×M。
图4(c)代表逐点卷积,尺寸为(1,1,M),共N个,作用在深度卷积的输出特 征映射上,其参数量为(1×1×M)×N。
深度卷积和逐点卷积合起来就是深度可分离卷积,可见深度可分离卷积参 数量是标准卷积的
Figure BDA0002619334180000131
可以看到,如果仅仅是提取一 个属性,深度可分离卷积的方法,不如正常卷积。随着要提取的属性越来越多, 深度可分离卷积就能够节省更多的参数。
图2表示传统卷积层(a),MobileNetV1中深度可分离卷积块(b),本发 明改进的的深度可分离卷积结构对比(c)。相比传统卷积,Depth-wise卷积和 1×1卷积后都增加了BN层和ReLU的激活层。但考虑到MobileNet中深度可分 离卷积旨在处理高级视觉问题,例如图像分类。因此,无法将深度可分离卷积 应用于低级视觉任务,例如图像降噪和图像增强。与高级视觉任务不同,由于 低照度图像增强任务的输入和输出域都是图像,网络激活分布的变化,即所谓 的内部协方差移位,不会在训练中严重发生。同时批量标准化失去了网络灵活 性和图像的尺度信息,同时增加在训练过程的GPU损耗。从这个意义上说,批 量归一化不再对于低照度增强问题非常有效。
因此,本发明提出了一种改进的深度可分离卷积模块(IN-DepthwiseConv), 如图2-(c),首先用实例归一化替换批量归一化,以保留图像尺度信息,删除 特定于实例对比信息,达到简化学习的目的;接着删除深度卷积层后的ReLU激 活层,只保留最后一个ReLU激活层,避免丢失信息。
同时,受MobileNetV2启发,为方便组件化深度可分离卷积模块,本发明 针对图像增强问题,提出了一种改进的倒残差深度可分离卷积模块 (IN-Bottleneck),图3(a)为现有技术残差深度可分离卷积模块;如图3(b) 本发明改进的倒残差深度可分离卷积模块。
通过引入实例归一化,使得原本用于解决高级视觉问题的残差可分离卷积 模块,也能适应于低级视觉问题,如低照度图像增强,同时由于实例归一化不 含可训练的参数,该方法也没有增加参数量。
(3.2)改进的深度可分离卷积生成对抗网络
本发明准备了三种训练模型,本发明将其称为DwDG,DwG和DeeperDwG模 型。DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模块取 代了生成器和判别器中的相应卷积层,DwG模型仅取代了生成器的卷积层,而 DeeperDwG模型在生成器中使用了更深的倒残差深度可分离卷积模块。
图5表示生成器中轻量化的残差单元,使用改进的倒残差深度可分离卷积 单元替换生成器中的残差单元,实现轻量化生成器的效果。
就参数量而言,生成器一个残差单元的参数量为:
ParaRes=(DK×DK×M)×N×2 (4-1)
其中Dk,M,N分别表示卷积核大小,输入特征图的通道数,输出特征图的通 道数。而本章轻量化残差单元的参数量为:
ParaDepthwise=[M×N+(DK×DK×M)+M×N]×2 (4-2)
由此可见,轻量化残差单元参数量占到原始单元的比例为:
Figure BDA0002619334180000141
图6表示轻量化判别器的网络结构,整体网络显得轻巧很多。由于判别器 的输入大小为(100,100,3),通道数较少,这里本发明使用了深度卷积核和原卷 积核大小一致的IN-Bottleneck,来替换原判别器的第一个卷积层,目的是为了 在深度卷积之前提升通道数,避免数据坍缩问题。随着通道数的增加,本发明 采用改进的深度可分离卷积层替换剩余的卷积层,这样在轻量化网络的同时可 以进一步每层减少(1×1×M)×N参数量。
下面结合实验结果与分析对本发明作进一步描述。
实验设置
对于本发明提出的低照度环境下的亮度注意力机制生成对抗网 (LightAtten-GAN),本发明基于此进行轻量化研究,提出了一种改进深度可 分离卷积的生成对抗网络。为了验证该方法性能,实验同样采用了数据集,以 PNSR,SSIM,模型大小,训练时间作为评价指标。
合成数据集实验
在含噪声的数据集上,本发明将LightAtten-GAN模型,与本发明提出的三 种训练模型,DwDG,DwG和DeeperDwG模型进行对比,定量的结果如表3所示, 定性的结果如图7,图8所示。
表3DwDG,DwG和DeeperDwG在合成数据集实验结果
LightAtten-GAN DwDG DwG DeeperDwG
PSNR 22.16 20.33 21.75 22.17
SSIM 0.999 0.979 0.993 0.999
模型大小(M) 1.53 0.34 0.34 0.91
训练时间(h) 4.12 0.75 2.10 2.71
从表3可知,通过DwDG方法同时轻量化生成器和判别器,模型大小和训练 时间大幅降低,分别减少了77.8%,84.4%,但也导致PNSR,SSIM较大下降,分别 减少了8.25%,2%,主要是判别器的轻量化削弱了其鉴别真假真实图片的能力, 进而反馈给生成器使得生成图片质量下降。
因此本发明考虑DwG方法只轻量化生成器,同未轻量化之前的 LightAtten-GAN在PNSR和SSIM指标上分别下降了1.88%和0.6%,但在模型大 小上减少了77.8%,训练时间上也缩短了53.4%,可见本发明提出的轻量化方法 的有效性,主要原因是保证了鉴别器其判别真假图片的能力,从而强化了生成 器的低照度增强能力。
为了减少轻量化导致的精度损失,进一步提升图片质量,本发明在生成器 中引入多个轻量化残差单元,结果表明DeeperDwG方法同未轻量化之前的LightAtten-GAN在PNSR和SSIM指标上基本保持一致,但在模型大小上减少了 40.5%,训练时间上也缩短了39.5%,说明叠加多个轻量化残差单元增加了模型复 杂度,也带来了额外计算和内存开销,但同时也强化了模型建模低照度增强的 能力,提高了生成图片质量。
在图7中,红色和蓝色框表示2个局部放大图,可以发现本章的3个方法 均能提高低照度图片亮度,并进行一定程度地去噪,但DeeperDwG效果最好, 增强后的图片具有亮度合适,色彩均衡,细节清晰。例如在第二行图片中,同 比真实图片,DwDG和DwG的图片整体存在较大色差,且蓝色框局部放大图较为 模糊,丢失了细节信息,而DeeperDwG局部细节清晰,整体视觉效果更好。在 第三行图片中,相较于真实图片,DwDG和DwG增强后的局部放大图仍有较多噪 声,而DeeperDwG的局部放大图更为逼真,红色框局部的瓣纹比较明显,蓝色框局部的黑色间隙更为清晰平滑,整体效果甚至超过LightAtten-GAN,接近于 真实图片;
对于图8的亮度注意力图,较白色区域对应原图的低照度部分,较黑色区 域即对应原图高亮度部分,可以发现,LightAtten-GAN和DeeperDwG预测的亮 度注意力图亮度的分布和低照度图基本一致,例如第一行的低照度原图中,氧 气面罩整体亮度较暗,并且眼框周围金属亮度明显,所以DeeperDwG预测的亮 度注意力图中氧气面罩部分整体较亮,同时在眼框区域呈现出黑色轮廓,反观 DwDG方法预测的氧气面罩部分整体较暗,DwG方法预测的氧气面罩眼框部分没 有明显的黑色轮廓。说明DeeperDwG相比DwDG,DwG在预测亮度注意力图方面 更为有效。
本发明提出了针对低照度图像增强计算量过多和模型过大问题所设计的改 进深度可分离卷积生成对抗网络。在许多现实世界的应用中,例如在计算受限 的平台上执行,基于CNN的低照度增强模型存在计算复杂性和内存问题,因此 该网络引入深度可分离卷积并加以改进,达到减少模型参数的同时也适应于低 照度图像增强任务。受MobileNet系列网络启发,本发明提出了改进的深度可 分离卷积模块(IN-DepthwiseConv)和改进的倒残差深度可分离卷积模块 (IN-Bottleneck),并基于此设计了3种模型,DwDG,DwG和DeeperDwG模型, 其中DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模块取 代了生成器和判别器中的相应卷积层,DwG模型仅取代了生成器的卷积层,而DeeperDwG模型在生成器中使用了更深的倒残差深度可分离卷积模块。最后本章 方法在合成数据集验证算法性能,并和未轻量化的网络展开对比,实验表明本 发明提出的网络在保证低度图像增强效果的同时,可以较大减少模型参数量, 降低计算复杂度。
在实验阶段。本发明引入对比算法:基于亮度注意力机制生成对抗网络的 低照度图像增强算法。在下文中简称LightAtten-GAN。其算法使用多层残差模 块构建了一个增强网络结构,用于提高网络的低照度增强建模能力;然后,使 用类似u-net网络作为亮度注意力模块,用来预测低照度图像的亮度分布,使 网络更多地关注图片低照度区域,同时避免高亮度区域过曝光。可以说时本发 明今天所提出算法的原生算法。但是与本发明所提出的三种模型相对比,其并 未引入深度可分离卷积进行改造,本发明将其引入实验来对比体现本发明进行 改进后网络的实验效果。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于 此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的 保护范围之内。

Claims (7)

1.一种基于改进深度可分离生成对抗网络的低照度图像增强方法,其特征在于,所述基于改进深度可分离生成对抗网络的低照度图像增强方法包括:
构建基于改进深度可分离卷积生成对抗网络模型:所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积模块与改进倒残差深度可分离卷积模块;
所述改进的深度可分离卷积模块第一层为深度卷积层,卷积核尺寸为3*3;第二层为实例正则化层;第三层为逐点卷积层,卷积核尺寸为1*1;第四层为实例正则化层,第五层为ReLU的激活层;
所述改进倒残差深度可分离卷积模块第一层为逐点卷积层,卷积核尺寸为1*1;所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层;第二层为深度卷积层,卷积核尺寸为3*3,所述深度卷积层后添加有实例归一化层以及ReLU6的激活层;第三层为逐点卷积层,卷积核尺寸为1*1;所述逐点卷积层后添加有实例归一化层以及线性激活层;第四层为相加层。
2.如权利要求1所述基于改进深度可分离生成对抗网络的低照度图像增强方法,其特征在于,构建基于改进深度可分离卷积生成对抗网络模型后,还需进行:
对构建的深度可分离卷积生成对抗网络模型进行训练;
利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。
3.如权利要求2所述基于改进深度可分离生成对抗网络的低照度图像增强方法,其特征在于,所述对构建的深度可分离卷积生成对抗网络模型进行训练包括:
选取DwDG,DwG和DeeperDwG作为训练模型;
所述DwDG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模块取代生成器和判别器中的相应卷积层;
所述DwG模型使用改进的深度可分离卷积和改进倒残差深度可分离卷积模块取代生成器的卷积层;
DeeperDwG模型在生成器中使用更深的倒残差深度可分离卷积模块。
4.一种基于改进深度可分离生成对抗网络的低照度图像增强系统,其特征在于,所述基于改进深度可分离生成对抗网络的低照度图像增强系统包括:
对抗网络模型构建模块,用于构建基于改进深度可分离卷积生成对抗网络模型;
训练模块,用于对构建的深度可分离卷积生成对抗网络模型进行训练;
低照度图像增强模块,用于利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。
5.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~3任意一项所述方法。
6.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1~3任意一项所述方法。
7.一种执行权利要求1~3任意一项所述方法的智能手机。
CN202010778436.9A 2020-08-05 2020-08-05 基于改进深度可分离生成对抗网络的低照度图像增强方法 Active CN111915525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778436.9A CN111915525B (zh) 2020-08-05 2020-08-05 基于改进深度可分离生成对抗网络的低照度图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778436.9A CN111915525B (zh) 2020-08-05 2020-08-05 基于改进深度可分离生成对抗网络的低照度图像增强方法

Publications (2)

Publication Number Publication Date
CN111915525A true CN111915525A (zh) 2020-11-10
CN111915525B CN111915525B (zh) 2024-03-01

Family

ID=73286608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778436.9A Active CN111915525B (zh) 2020-08-05 2020-08-05 基于改进深度可分离生成对抗网络的低照度图像增强方法

Country Status (1)

Country Link
CN (1) CN111915525B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112465736A (zh) * 2020-11-18 2021-03-09 武汉理工大学 一种用于港口船舶监控的红外视频图像增强方法
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112819707A (zh) * 2021-01-15 2021-05-18 电子科技大学 一种端到端抗块效应低照度图像增强方法
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN114266769A (zh) * 2022-03-01 2022-04-01 北京鹰瞳科技发展股份有限公司 一种基于神经网络模型进行眼部疾病识别的系统及其方法
CN114926348A (zh) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
WO2023201876A1 (zh) * 2022-04-19 2023-10-26 西北工业大学 低照度遥感图像的高动态重建方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
US20190325597A1 (en) * 2018-04-24 2019-10-24 Ford Global Technologies, Llc Simultaneous Localization And Mapping Constraints In Generative Adversarial Networks For Monocular Depth Estimation
WO2019235821A1 (ko) * 2018-06-05 2019-12-12 네이버 주식회사 모바일 환경에서 실시간 추론이 가능한 dnn 구성을 위한 최적화 기법
CN110648376A (zh) * 2019-08-20 2020-01-03 南京邮电大学 一种基于生成对抗网络的有限角ct重建去伪影的方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111178502A (zh) * 2019-12-12 2020-05-19 中国科学院深圳先进技术研究院 循环生成对抗网络模型的训练方法、系统以及电子设备
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
US20190325597A1 (en) * 2018-04-24 2019-10-24 Ford Global Technologies, Llc Simultaneous Localization And Mapping Constraints In Generative Adversarial Networks For Monocular Depth Estimation
WO2019235821A1 (ko) * 2018-06-05 2019-12-12 네이버 주식회사 모바일 환경에서 실시간 추론이 가능한 dnn 구성을 위한 최적화 기법
KR102134405B1 (ko) * 2019-06-27 2020-07-15 중앙대학교 산학협력단 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110648376A (zh) * 2019-08-20 2020-01-03 南京邮电大学 一种基于生成对抗网络的有限角ct重建去伪影的方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111178502A (zh) * 2019-12-12 2020-05-19 中国科学院深圳先进技术研究院 循环生成对抗网络模型的训练方法、系统以及电子设备
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHICHAO LI, ET AL.: "SINGLE IMAGE DE-RAINING VIA GENERATIVE ADVERSARIAL NETS", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, pages 1192 - 1197 *
鞠聪;李涛;: "基于深度可分离卷积结构的人脸表情识别研究", 电脑与电信, no. 06, pages 5 - 9 *
黄?;陶海军;王海峰;: "条件生成对抗网络的低照度图像增强方法", 中国图象图形学报, no. 12, pages 97 - 106 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112381897B (zh) * 2020-11-16 2023-04-07 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112465736A (zh) * 2020-11-18 2021-03-09 武汉理工大学 一种用于港口船舶监控的红外视频图像增强方法
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112819707A (zh) * 2021-01-15 2021-05-18 电子科技大学 一种端到端抗块效应低照度图像增强方法
CN112819707B (zh) * 2021-01-15 2022-05-03 电子科技大学 一种端到端抗块效应低照度图像增强方法
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113256528B (zh) * 2021-06-03 2022-05-27 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN114926348A (zh) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
CN114926348B (zh) * 2021-12-22 2024-03-01 天翼数字生活科技有限公司 一种去除低照度视频噪声的装置和方法
CN114266769A (zh) * 2022-03-01 2022-04-01 北京鹰瞳科技发展股份有限公司 一种基于神经网络模型进行眼部疾病识别的系统及其方法
WO2023201876A1 (zh) * 2022-04-19 2023-10-26 西北工业大学 低照度遥感图像的高动态重建方法及装置

Also Published As

Publication number Publication date
CN111915525B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111915525A (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
Fan et al. Integrating semantic segmentation and retinex model for low-light image enhancement
CN111915526A (zh) 一种基于亮度注意力机制低照度图像增强算法的摄影方法
US20230214976A1 (en) Image fusion method and apparatus and training method and apparatus for image fusion model
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN112001863B (zh) 一种基于深度学习的欠曝光图像恢复方法
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
Yan et al. Enhanced network optimized generative adversarial network for image enhancement
CN112348747A (zh) 图像增强方法、装置及存储介质
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
Chen et al. Single-image hdr reconstruction with task-specific network based on channel adaptive RDN
CN111815529B (zh) 一种基于模型融合和数据增强的低质图像分类增强方法
CN111160354B (zh) 一种基于联合图像信息的海天背景下船舶图像分割方法
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
Zeng et al. \mathrm 3D^ 2Unet 3 D 2 U net: 3D Deformable Unet for Low-Light Video Enhancement
Fu et al. Low-light image enhancement base on brightness attention mechanism generative adversarial networks
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
Lee et al. Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant