CN110197463B - 基于深度学习的高动态范围图像色调映射方法及其系统 - Google Patents

基于深度学习的高动态范围图像色调映射方法及其系统 Download PDF

Info

Publication number
CN110197463B
CN110197463B CN201910340157.1A CN201910340157A CN110197463B CN 110197463 B CN110197463 B CN 110197463B CN 201910340157 A CN201910340157 A CN 201910340157A CN 110197463 B CN110197463 B CN 110197463B
Authority
CN
China
Prior art keywords
image
tone mapping
dynamic range
loss function
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910340157.1A
Other languages
English (en)
Other versions
CN110197463A (zh
Inventor
廖广森
罗鸿铭
侯贤旭
邱国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910340157.1A priority Critical patent/CN110197463B/zh
Publication of CN110197463A publication Critical patent/CN110197463A/zh
Application granted granted Critical
Publication of CN110197463B publication Critical patent/CN110197463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的高动态范围图像色调映射方法及其系统，所述方法包括步骤：构建色调映射网络框架；输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；根据总的损失函数对色调映射网络框架进行训练网络；当训练结果收敛时，停止训练并得到色调映射网络的输出。由于本发明中的神经网络框架，既可以对基于直方图的两个代价函数进行优化，又能端对端地实现色调映射，解决小区域间的边界问题，直接获得高质量的低动态范围图像。

Description

基于深度学习的高动态范围图像色调映射方法及其系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及的是一种基于深度学习的高动态范围图像色调映射方法及其系统。
背景技术
从复杂光照条件下直接拍摄清晰的高动态范围图像仍然是一个尚未解决的极具挑战性的问题，现在的主流做法是通过拍摄多张不同曝光的照片，进而计算融合得到一张高动态范围图像。但是，传统的显示设备如电视电脑屏幕，手机屏幕等仅能显示低动态范围图像，即动态范围小于等于256。因此，需要通过色调映射方法将高动态范围图像映射为低动态范围图像，再予以显示。所以，色调映射方法是重点研究对象，可以大致分为两大类：基于全局的方法和基于局部的方法。
现有技术中，早期的方法是基于全局的方法，主要是利用单调的映射函数对高动态范围图像进行映射。这类方法计算简单而快速，但是，这类方法很容易丢失大量的细节以及图像局部的对比度。
所以，基于局部的方法逐渐成为色调映射方法研究的主流，更多的关注点在于图像局部细节的增强。由于基于直方图的色调映射是基于全局的方法，将图像划分为多个小区域，对各个小区域分别使用基于直方图的色调映射方法，然后再拼接组成大图；由于这种做法极容易产生边界痕迹，所以后续加上一个消除边界的步骤。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度学习的高动态范围图像色调映射方法及其系统，旨在解决现有技术中实现高动态范围图像到低动态范围图像的端对端色调映射，需要额外的消除边界痕迹的步骤的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于深度学习的高动态范围图像色调映射方法，其中，包括步骤：
构建色调映射网络框架；
输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；
根据总的损失函数对色调映射网络框架进行训练网络；
当训练结果收敛时，停止训练并得到色调映射网络的输出。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数步骤具体包括：
输入高动态范围图像，并计算高动态范围图像的亮度图像；
使用对数函数对亮度图像进行处理得到色调映射网络中的输入；
根据色调映射网络中的输入和色调映射网络中的输出，通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述亮度图像为：
L＝0.299R+0.587G+0.114B
其中，L表示亮度图像，R、G、B分别表示高动态范围图像的红色通道、绿色通道和蓝色通道。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述色调映射网络中的输入为：
Figure BDA0002040447390000031
其中，I表示色调映射网络的输入，Imin和Imax分别表示色调映射网络的输入I的最小值和最大值，Lmin和Lmax分别表示亮度图像L的最小值和最大值；τ表示可调节的参数。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述基于全局的感官特征损失函数为：
LVGG＝||TVGG(O)-TVGG(I)||2
其中，LVGG表示基于全局的感官特征损失函数，I和O分别表示色调映射网络的输入和输出，TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；
当没有真值时，所述基于局部的直方图特征损失函数为：
Figure BDA0002040447390000032
Figure BDA0002040447390000033
其中，
Figure BDA0002040447390000034
和
Figure BDA0002040447390000035
分别表示线性直方图损失函数和均衡直方图损失函数，Oi表示色调映射网络输出O的第i个小区域，TLHN(·)表示LHN映射函数，H(i)linear和H(i)equal分别表示亮度图像L的第i个小区域的线性直方图和均衡直方图，||·||1表示1范数，N表示色调映射网络的输出O和亮度图像L均分为小区域的个数；
当有真值时，所述基于局部的直方图特征损失函数为：
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
其中，LHistogram表示直方图特征损失函数，GT是真值，GTHR、GTHG和GTHB分别是真值的红色通道、绿色通道和蓝色通道的直方图；OR、OG和OB分别是图像增强网络输出的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数。
所述的基于深度学习的高动态范围图像色调映射方法，其中，当没有真值时，所述总的损失函数为：
Figure BDA0002040447390000044
其中，α、β、γ为可调节参数，α用于控制图像的整体观感质量，β和γ用于控制两种损失函数的比例，调节图像的局部细节增强；
当有真值时，所述总的损失函数为：
Ltotal＝LVGG+LHistogram。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述根据总的损失函数对色调映射网络框架进行训练网络步骤具体包括：
设置训练参数；
根据总的损失函数对色调映射网络框架进行训练网络。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述当训练结果收敛时，停止训练并输出色调映射网络图像步骤后还包括：
对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像。
所述的基于深度学习的高动态范围图像色调映射方法，其中，所述对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像步骤具体包括：
对色调映射网络图像进行颜色补偿得到低动态范围图像的红色通道、绿色通道和蓝色通道，低动态范围图像的红色通道、绿色通道和蓝色通道具体为：
Figure BDA0002040447390000041
Figure BDA0002040447390000042
Figure BDA0002040447390000043
其中，R、G和B分别是高动态范围图像的红色通道、绿色通道和蓝色通道，L是亮度图像；R'、G'和B'分别是低动态范围图像的红色通道、绿色通道和蓝色通道，O是色调映射网络的输出；δ是颜色补偿参数；
将低动态范围图像的红色通道、绿色通道和蓝色通道组合得到三通道图像；
将三通道图像的图像像素值的动态范围均分为相同长度的256个区间，从小到大排序，所有处于第1区间的像素点赋值为0，处于第2区间的像素点赋值为1，以此类推，处于第256区间的像素点赋值为255得到低动态范围图像。
一种基于深度学习的高动态范围图像色调映射系统，其中，包括：处理器，以及与所述处理器连接的存储器，
所述存储器存储有基于深度学习的高动态范围图像色调映射程序，所述基于深度学习的高动态范围图像色调映射程序被所述处理器执行时实现以下步骤：
构建色调映射网络框架；
输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；
根据总的损失函数对色调映射网络框架进行训练网络；
当训练结果收敛时，停止训练并得到色调映射网络的输出。
有益效果：由于本发明中的神经网络框架，既可以对基于直方图的两个代价函数进行优化，又能端对端地实现色调映射，解决小区域间的边界问题，直接获得高质量的低动态范围图像。
附图说明
图1是本发明中色调映射网络框架的示意图。
图2是本发明中基于深度学习的高动态范围图像色调映射方法的流程图。
图3是本发明中基于深度学习的高动态范围图像色调映射系统的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请同时参阅图1-图2，本发明提供了一种基于深度学习的高动态范围图像色调映射方法的一些实施例。
不论是将色调映射问题看作是量化问题，通过直方图调整来获得合适的映射函数，还是将图像划分为多个小区域，对各个小区域分别使用基于直方图的色调映射方法，然后再拼接组成大图，这两者的核心思想是一致的，将色调映射问题看作是量化问题。一般量化的方法是线性量化，即将动态范围划分为均等的B个区间，每个区间中的像素值将被量化为相同的值，于是获得动态范围为B的图像。但若某些区间中聚集了大量的像素点，则最后获得的图像将丢失大量细节信息。为了增强图像的局部细节，提出一种基于直方图均衡化的量化方法，即将动态范围划分为B个区间，每个区间包含相同数量的像素点。然而，这种量化方法同样拥有缺点，它很容易夸大图像的细节，影响图像的质量。所以，将两种量化方法结合起来，取其平衡，可以得到高质量的图像。
简而言之，色调映射后的图像，其直方图既要与线性量化所得的图像的直方图(下文称为“线性直方图”)相似，又要与基于直方图均衡化量化的图像的直方图(下文称为“均衡直方图”)相似。因此，可以构造两个代价函数进行优化。由于传统的计算直方图的方法是一种不可导的方法，所以无法搭建神经网络通过训练对其进行优化，只能够采取别的方法例如通过数数的方法。如今，借助一种可求导的计算直方图的方法(learnablehistogram)，构建一种神经网络框架，既可以对基于直方图的两个代价函数进行优化，又能端对端地实现色调映射，解决小区域间的边界问题，直接获得高质量的低动态范围图像。
如图2所示，本发明的一种基于深度学习的高动态范围图像色调映射方法，包括以下步骤：
步骤S100、构建色调映射网络框架。
如图1所示，本发明中网络框架包括两个部分：一是色调映射网络，二是用于计算图像特征的网络。
色调映射网络可以是任意的神经网络，既可以使用已有的网络如ResNet、UNet等，也可以是自己设计的网络，都可以应用在这个神经网络框架中。
本实施例给出一种色调映射网络的结构，具体如下：
①输入进入色调映射网络，首先进入一个输入通道为1，输出通道为16，卷积核大小为3×3的卷积网络层。
②将步骤①的输出作为输入进入一个模块A，该模块的组成如下：首先是一个输入通道为16，输出通道为16，卷积核大小为3×3的卷积网络层，然后是批量归一化处理，最后是ReLU激活函数。模块A的输入和输出都是四维的数据量，通道都是16，将它们沿着第二维度，即通道，拼接起来，得到通道为32的输出数据。
③将步骤②的输出作为输入进入一个模块B，该模块的组成如下：首先是一个输入通道为32，输出通道为16，卷积核大小为3×3的卷积网络层，然后是批量归一化处理，最后是ReLU激活函数。模块B的输入和输出都是四维的数据量，输入的通道是32，输出的通道是16，将它们沿着第二维度，即通道，拼接起来，得到通道为48的输出数据。
④将步骤③的输出作为输入进入一个模块C，该模块的组成如下：首先是一个输入通道为48，输出通道为16，卷积核大小为3×3的卷积网络层，然后是批量归一化处理，最后是ReLU激活函数。模块C的输入和输出都是四维的数据量，输入的通道是48，输出的通道是16，将它们沿着第二维度，即通道，拼接起来，得到通道为64的输出数据。
⑤将步骤③的输出作为输入进入一个模块D，该模块的组成如下：首先是一个输入通道为48，输出通道为16，卷积核大小为3×3的卷积网络层，然后是批量归一化处理，最后是ReLU激活函数。同时，将步骤①的输出作为输入进入一个输入通道为16，输出通道为16，卷积核大小为3×3的卷积网络层。二者的输出具有完全相同的尺寸，将它们按元素相加。
⑥将步骤⑤的输出作为输入进入一个输入通道为16，输出通道为1，卷积核大小为3×3的卷积网络层，然后经过一个Sigmoid激活函数。最终得到色调映射网络的输出。
用于计算图像特征的网络也包括两个部分：①VGGNet，这是用于计算图像深层感官特征的网络；②LHN(Learnable Histogram Network)，这是用于计算图像直方图特征的网络。
在这个框架中，输入是经过预处理的高动态范围图像；输出是浮点数，同时仅有亮度信息，需要颜色补偿和线性量化得到低动态范围图像。以上方法可以用以下公式进行表示：
O＝f(I)
O'＝q(r(O))
其中，I表示输入，为高动态范围图像的亮度图像，O表示输出，O'表示对O线性量化后得到的低动态范围图像，f表示色调映射网络函数，r表示颜色补偿函数，q表示线性量化函数。
步骤S200、输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数。
所述步骤S200具体包括：
步骤S210、输入高动态范围图像，并计算高动态范围图像的亮度图像。
具体地，所述亮度图像为：
L＝0.299R+0.587G+0.114B
其中，L表示亮度图像，R、G、B分别表示高动态范围图像的红色通道、绿色通道和蓝色通道。
步骤S220、使用对数函数对亮度图像进行处理得到色调映射网络中的输入。
具体地，所述色调映射网络中的输入为：
Figure BDA0002040447390000091
其中，I表示色调映射网络的输入，Imin和Imax分别表示色调映射网络的输入I的最小值和最大值，Lmin和Lmax分别表示亮度图像L的最小值和最大值；τ表示可调节的参数。
步骤S230、根据色调映射网络中的输入和色调映射网络中的输出，通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数。
本发明中卷积神经网络框架用于学习色调映射的方法是基于图像的全局视觉感官和局部细节增强设置损失函数用于提高图像质量。
基于全局的感官特征损失函数，是将I和O分别输入VGGNet计算图像的深层感官特征，进而计算二者的欧式距离。具体地，所述基于全局的感官特征损失函数为：
LVGG＝||TVGG(O)-TVGG(I)||2
其中，LVGG表示基于全局的感官特征损失函数，I和O分别表示色调映射网络的输入和输出，TVGG(·)表示VGGNet映射函数，||·||2表示2范数，并用于计算欧式距离；
基于局部的直方图特征损失函数将色调映射网络的输出O和高动态范围图像的亮度图像L均分为N个小区域，然后计算亮度图像L的每个小区域的线性直方图和均衡直方图，最后将O的每个小区域输入LHN计算其直方图，进而计算1范数。具体地，当没有真值时，也就是说处理过程也仅在y通道上进行处理，即灰度图像，它没有RGB三个颜色通道，它仅仅有一个代表灰度的y通道，所述基于局部的直方图特征损失函数为：
Figure BDA0002040447390000101
Figure BDA0002040447390000102
其中，
Figure BDA0002040447390000103
和
Figure BDA0002040447390000104
分别表示线性直方图损失函数和均衡直方图损失函数，Oi表示色调映射网络输出O的第i个小区域，TLHN(·)表示LHN映射函数，H(i)linear和H(i)equal分别表示亮度图像L的第i个小区域的线性直方图和均衡直方图，||·||1表示1范数，i＝1，2，3，...，N，N表示色调映射网络的输出O和亮度图像L均分为小区域的个数。
将上述两种损失函数结合起来，具体地，所述总的损失函数为：
Figure BDA0002040447390000105
其中，α、β、γ为可调节参数，α用于控制图像的整体观感质量，β和γ用于控制两种损失函数的比例，调节图像的局部细节增强。此外，还可以对各损失函数可以进行任意加权。当然也可以添加任意方法计算新的图像特征，进而计算添加新的损失函数。
当有真值时，即直方图像有RGB三个颜色通道时，所述基于局部的直方图特征损失函数为：
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
其中，LHistogram表示直方图特征损失函数，GT是真值，GTHR、GTHG和GTHB分别是真值的红色通道、绿色通道和蓝色通道的直方图；OR、OG和OB分别是图像增强网络输出(也即色调映射网络的输出)的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数。
所述总的损失函数为：
Ltotal＝LVGG+LHistogram。
步骤S300、根据总的损失函数对色调映射网络框架进行训练网络。
步骤S300具体包括以下步骤：
步骤S310、设置训练参数。
本发明中神经网络框架在Pytorch上编程实现和训练。训练的优化器是Adam，学习率初始化为10-4，为每张高动态范围图像单独训练一个模型。网络中的权重和偏置参数初值使用Pytorch默认的初始化方法进行设置。
步骤S320、根据总的损失函数对色调映射网络框架进行训练网络。
在整个神经网络框架中，VGGNet和LHN是两个用来计算图像特征的神经网络，其参数不需要更新，在训练过程中仅更新色调映射网络即可。根据Pytorch库提供的BP算法更新色调映射网络的参数。
步骤S400、当训练结果收敛时，停止训练并得到色调映射网络的输出。
当训练结果收敛时，停止训练并得到的色调映射网络的输出。
步骤S400之后还包括步骤S500：
步骤S500、对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像。
具体地，步骤S500具体包括：
步骤S510、对色调映射网络图像进行颜色补偿得到低动态范围图像的红色通道、绿色通道和蓝色通道，低动态范围图像的红色通道、绿色通道和蓝色通道具体为：
Figure BDA0002040447390000111
Figure BDA0002040447390000112
Figure BDA0002040447390000113
其中，R、G和B分别是高动态范围图像的红色通道、绿色通道和蓝色通道，L是亮度图像；R'、G'和B'分别是低动态范围图像的红色通道、绿色通道和蓝色通道，O是色调映射网络的输出；δ是颜色补偿参数，可以设置为0.4-0.6，优选地，设置为0.5。
步骤S520、将低动态范围图像的红色通道、绿色通道和蓝色通道组合得到三通道图像。
步骤S530、将三通道图像的图像像素值的动态范围均分为相同长度的256个区间，从小到大排序，所有处于第1区间的像素点赋值为0，处于第2区间的像素点赋值为1，以此类推，处于第256区间的像素点赋值为255得到低动态范围图像。
值得说明的是，现有技术中，处理图像的时候先将该图像分为多个区域，然后对每个区域单独进行处理，最后再将各个区域按顺序拼接起来，得到最后的处理结果。所以会有边界痕迹。
本发明中在对图像处理时实际并没有将图像切割再拼接。切割图像仅是为了计算各个小区域的直方图，然后进一步计算直方图的损失函数。这样做可以重构图像的局部细节信息，但是不会出现边界痕迹，所以也就不需要特意消除。
本发明提出基于深度学习的高动态范围图像色调映射的方法，也即一种新的基于直方图特征对高动态范围图像进行色调映射的方案，解决了图像小区域间会出现边界痕迹的问题。同时，本发明中采取两种不同的损失函数，分别基于全局和基于局部对图像质量进行调节控制，因此最后成像在视觉上和量化指标上都有很好的表现。
具体实施例一
具体实施例一为应用于高动态范围图像色调映射。
①设置色调映射网络。网络结构具体见图1框架中Input到Output的部分，其输入为1个channel的数据，输出也是1个channel的数据。
②设置计算图像特征的网络。VGGNet用于计算图像深层感官特征，LHN用于计算图像直方图特征。
(a)VGGNet的输入是3个channel的数据，而色调映射网络的输出仅是1个channel的数据，因此将在channel维度重复堆叠为3个channel，作为VGGNet的输入。
(b)LHN的输入时1个channel的数据。将色调映射网络的输出均分为15×15＝225个小区域，每个小区域的长和宽分别是色调映射网络输出的长和宽的1/15。如果色调映射网络的输出无法整除15，则根据具体情况计算出可以整除15的图像尺寸，使用对称padding对色调映射网络的输出进行padding之后再进行均分。每一块小区域单独输入每一个独立的LHN。
(c)损失函数的计算具体参考上述发明内容第(3)部分，最后的总公式为：
Figure BDA0002040447390000131
在本实施例中，从理论上来说，α、β、γ可以设置为任意值，较佳地，α设置为1，β设置为1，γ设置为3时色调映射效果较佳。
③对输入数据进行预处理。
(a)先计算高动态范围图像的亮度图像，使用的公式如下所示：
L＝0.299R+0.587G+0.114B
其中，L表示高动态范围图像的亮度图像，R、G、B分别表示高动态范围图像的红色通道、绿色通道和蓝色通道。
(b)使用对数函数对亮度图像进行处理，对数函数公式如下所示：
Figure BDA0002040447390000132
在本实施例中，从理论上来说，Imin、Imax、τ可以设置为任意值，较佳地，Imin设置为0，Imax设置为1，τ设置为0时色调映射效果较佳。
④设置训练参数。神经网络框架在Pytorch上编程实现和训练。训练的优化器是Adam，学习率初始化为10-4，为每张高动态范围图像单独训练一个模型。网络中的权重和偏置参数初值使用Pytorch默认的初始化方法进行设置。
⑤训练网络。在整个神经网络框架中，VGGNet和LHN是两个用来计算图像特征的神经网络，其参数不需要更新，在训练过程中仅更新色调映射网络即可。根据Pytorch库提供的BP算法更新色调映射网络的参数，直至训练结果收敛，停止训练。
⑥对色调映射网络的输出进行颜色补偿和线性量化。
对色调映射网络图像进行颜色补偿得到低动态范围图像的红色通道、绿色通道和蓝色通道，低动态范围图像的红色通道、绿色通道和蓝色通道具体为：
Figure BDA0002040447390000141
Figure BDA0002040447390000142
Figure BDA0002040447390000143
其中，R、G和B分别是高动态范围图像的红色通道、绿色通道和蓝色通道，L是亮度图像；R'、G'和B'分别是低动态范围图像的红色通道、绿色通道和蓝色通道，O是色调映射网络的输出；δ是颜色补偿参数；
将低动态范围图像的红色通道、绿色通道和蓝色通道组合得到三通道图像；
将三通道图像的图像像素值的动态范围均分为相同长度的256个区间，从小到大排序，所有处于第1区间的像素点赋值为0，处于第2区间的像素点赋值为1，以此类推，处于第256区间的像素点赋值为255得到低动态范围图像。
具体实施例二
具体实施例二应用于低光照普通图像的图像增强，且没有涉及真值(groundtruth)。
与具体实施例一不同的是，在②中不将色调映射网络的输出均分为多个小区域，直接将其作为LHN的输入。②中其余操作与具体实施例一相同。
与具体实施例一不同的是，在⑥中进行颜色补偿，将原低光照图像的cr和cb通道与色调映射网络的输出组合，得到新的完整的YCbCr三通道，再转化回RGB颜色空间，得到最后结果。
具体实施例三
具体实施例三应用于低光照普通图像的图像增强，且涉及真值(groundtruth)。
①设置图像增强网络。将具体实施例一中的色调映射网络修改为3个channel的输入以及3个channel的输出即可。
②设置计算图像特征的网络。VGGNet用于计算图像深层感官特征，LHN用于计算图像直方图特征。将图像增强网络的输出直接作为VGGNet的输入，将图像增强网络的输出的每1个channel单独作为不同的LHN的输入。
③设置损失函数的计算方式。
LVGG＝||TVGG(O)-TVGG(I)||2
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
Ltotal＝LVGG+LHistogram
其中，LHistogram表示直方图特征损失函数，GT是groundtruth，GTHR、GTHG和GTHB分别是groundtruth的红色通道、绿色通道和蓝色通道的直方图；O是图像增强网络的输出，OR、OG和OB分别是图像增强网络输出的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数。
④设置训练参数。神经网络框架在Pytorch上编程实现和训练。训练的优化器是Adam，学习率初始化为10-4。网络中的权重和偏置参数初值使用Pytorch默认的初始化方法进行设置。
⑤训练网络。在整个神经网络框架中，VGGNet和LHN是两个用来计算图像特征的神经网络，其参数不需要更新，在训练过程中仅更新图像增强网络即可。根据Pytorch库提供的BP算法更新色调映射网络的参数，直至训练结果收敛，停止训练。图像增强网络的输出就是低光照图像增强后的结果。
本发明还提供了一种基于深度学习的高动态范围图像色调映射系统的较佳实施例：
如图3所示，本发明实施例的一种基于深度学习的高动态范围图像色调映射系统，包括：处理器10，以及与所述处理器10连接的存储器20，
所述存储器20存储有基于深度学习的高动态范围图像色调映射程序，所述基于深度学习的高动态范围图像色调映射程序被所述处理器10执行时实现以下步骤：
构建色调映射网络框架；
输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；
根据总的损失函数对色调映射网络框架进行训练网络；
当训练结果收敛时，停止训练并得到色调映射网络的输出，具体如上所述。
所述基于深度学习的高动态范围图像色调映射程序被所述处理器10执行时，还实现以下步骤：
输入高动态范围图像，并计算高动态范围图像的亮度图像；
使用对数函数对亮度图像进行处理得到色调映射网络中的输入；
根据色调映射网络中的输入和色调映射网络中的输出，通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数，具体如上所述。
所述基于深度学习的高动态范围图像色调映射系统中，所述亮度图像为：
L＝0.299R+0.587G+0.114B
其中，L表示亮度图像，R、G、B分别表示高动态范围图像的红色通道、绿色通道和蓝色通道，具体如上所述。
所述基于深度学习的高动态范围图像色调映射系统中，所述色调映射网络中的输入为：
Figure BDA0002040447390000171
其中，I表示色调映射网络的输入，Imin和Imax分别表示色调映射网络的输入I的最小值和最大值，Lmin和Lmax分别表示亮度图像L的最小值和最大值；τ表示可调节的参数，具体如上所述。
所述基于深度学习的高动态范围图像色调映射系统中，当没有真值时，所述基于全局的感官特征损失函数为：
LVGG＝||TVGG(O)-TVGG(I)||2
其中，LVGG表示基于全局的感官特征损失函数，I和O分别表示色调映射网络的输入和输出，TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；
所述基于局部的直方图特征损失函数为：
Figure BDA0002040447390000172
Figure BDA0002040447390000173
其中，
Figure BDA0002040447390000174
和
Figure BDA0002040447390000175
分别表示线性直方图损失函数和均衡直方图损失函数，Oi表示色调映射网络输出O的第i个小区域，TLHN(·)表示LHN映射函数，H(i)linear和H(i)equal分别表示亮度图像L的第i个小区域的线性直方图和均衡直方图，||·||1表示1范数，N表示色调映射网络的输出O和亮度图像L均分为小区域的个数；
当有真值时，所述基于局部的直方图特征损失函数为：
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
其中，LHistogram表示直方图特征损失函数，GT是真值，GTHR、GTHG和GTHB分别是真值的红色通道、绿色通道和蓝色通道的直方图；OR、OG和OB分别是图像增强网络输出的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数，具体如上所述。
所述基于深度学习的高动态范围图像色调映射系统中，当没有真值时，所述总的损失函数为：
Figure BDA0002040447390000181
其中，α、β、γ为可调节参数，α用于控制图像的整体观感质量，β和γ用于控制两种损失函数的比例，调节图像的局部细节增强；
当有真值时，所述总的损失函数为：
Ltotal＝LVGG+LHistogram，具体如上所述。
所述基于深度学习的高动态范围图像色调映射程序被所述处理器10执行时，还实现以下步骤：
设置训练参数；
根据总的损失函数对色调映射网络框架进行训练网络，具体如上所述。
所述基于深度学习的高动态范围图像色调映射程序被所述处理器10执行时，还实现以下步骤：
对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像，具体如上所述。
所述基于深度学习的高动态范围图像色调映射程序被所述处理器10执行时，还实现以下步骤：
对色调映射网络图像进行颜色补偿得到低动态范围图像的红色通道、绿色通道和蓝色通道，低动态范围图像的红色通道、绿色通道和蓝色通道具体为：
Figure BDA0002040447390000191
Figure BDA0002040447390000192
Figure BDA0002040447390000193
其中，R、G和B分别是高动态范围图像的红色通道、绿色通道和蓝色通道，L是亮度图像；R'、G'和B'分别是低动态范围图像的红色通道、绿色通道和蓝色通道，O是色调映射网络的输出；δ是颜色补偿参数；
将低动态范围图像的红色通道、绿色通道和蓝色通道组合得到三通道图像；
将三通道图像的图像像素值的动态范围均分为相同长度的256个区间，从小到大排序，所有处于第1区间的像素点赋值为0，处于第2区间的像素点赋值为1，以此类推，处于第256区间的像素点赋值为255得到低动态范围图像，具体如上所述。
综上所述，本发明所提供的基于深度学习的高动态范围图像色调映射方法及其系统，所述方法包括步骤：构建色调映射网络框架；输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；根据总的损失函数对色调映射网络框架进行训练网络；当训练结果收敛时，停止训练并得到色调映射网络的输出。由于本发明中的神经网络框架，既可以对基于直方图的两个代价函数进行优化，又能端对端地实现色调映射，解决小区域间的边界问题，直接获得高质量的低动态范围图像。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于深度学习的高动态范围图像色调映射方法，其特征在于，包括步骤：
构建色调映射网络框架；
输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；
根据总的损失函数对色调映射网络框架进行训练网络；
当训练结果收敛时，停止训练并得到色调映射网络的输出；
所述基于全局的感官特征损失函数为：
LVGG＝||TVGG(O)-TVGG(I)||2
其中，LVGG表示基于全局的感官特征损失函数，I和O分别表示色调映射网络的输入和输出，TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；
当没有真值时，所述基于局部的直方图特征损失函数为：
Figure FDA0003958867630000011
Figure FDA0003958867630000012
其中，
Figure FDA0003958867630000013
和
Figure FDA0003958867630000014
分别表示线性直方图损失函数和均衡直方图损失函数，Oi表示色调映射网络输出O的第i个小区域，TLHN(·)表示LHN映射函数，H(i)linear和H(i)equal分别表示亮度图像L的第i个小区域的线性直方图和均衡直方图，||·||1表示1范数，i＝1，2，3，...，N，N表示色调映射网络的输出O和亮度图像L均分为小区域的个数；
当有真值时，所述基于局部的直方图特征损失函数为：
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
其中，LHistogram表示直方图特征损失函数，GT是真值，GTHR、GTHG和GTHB分别是真值的红色通道、绿色通道和蓝色通道的直方图；OR、OG和OB分别是图像增强网络输出的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数；
当没有真值时，所述总的损失函数为：
Figure FDA0003958867630000021
其中，α、β、γ为可调节参数，α用于控制图像的整体观感质量，β和γ用于控制两种损失函数的比例，调节图像的局部细节增强；
当有真值时，所述总的损失函数为：
Ltotal＝LVGG+LHistogram。
2.根据权利要求1所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数步骤具体包括：
输入高动态范围图像，并计算高动态范围图像的亮度图像；
使用对数函数对亮度图像进行处理得到色调映射网络中的输入；
根据色调映射网络中的输入和色调映射网络中的输出，通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数。
3.根据权利要求2所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述亮度图像为：
L＝0.299R+0.587G+0.114B
其中，L表示亮度图像，R、G、B分别表示高动态范围图像的红色通道、绿色通道和蓝色通道。
4.根据权利要求3所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述色调映射网络中的输入为：
Figure FDA0003958867630000031
其中，I表示色调映射网络的输入，Imin和Imax分别表示色调映射网络的输入I的最小值和最大值，Lmin和Lmax分别表示亮度图像L的最小值和最大值；τ表示可调节的参数。
5.根据权利要求1所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述根据总的损失函数对色调映射网络框架进行训练网络步骤具体包括：
设置训练参数；
根据总的损失函数对色调映射网络框架进行训练网络。
6.根据权利要求1所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述当训练结果收敛时，停止训练并输出色调映射网络图像步骤后还包括：
对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像。
7.根据权利要求1所述的基于深度学习的高动态范围图像色调映射方法，其特征在于，所述对色调映射网络图像进行颜色补偿和线性量化得到低动态范围图像步骤具体包括：
对色调映射网络图像进行颜色补偿得到低动态范围图像的红色通道、绿色通道和蓝色通道，低动态范围图像的红色通道、绿色通道和蓝色通道具体为：
Figure FDA0003958867630000032
Figure FDA0003958867630000033
Figure FDA0003958867630000034
其中，R、G和B分别是高动态范围图像的红色通道、绿色通道和蓝色通道，L是亮度图像；R'、G'和B'分别是低动态范围图像的红色通道、绿色通道和蓝色通道，O是色调映射网络的输出；δ是颜色补偿参数；
将低动态范围图像的红色通道、绿色通道和蓝色通道组合得到三通道图像；
将三通道图像的图像像素值的动态范围均分为相同长度的256个区间，从小到大排序，所有处于第1区间的像素点赋值为0，处于第2区间的像素点赋值为1，以此类推，处于第256区间的像素点赋值为255得到低动态范围图像。
8.一种基于深度学习的高动态范围图像色调映射系统，其特征在于，包括：处理器，以及与所述处理器连接的存储器，
所述存储器存储有基于深度学习的高动态范围图像色调映射程序，所述基于深度学习的高动态范围图像色调映射程序被所述处理器执行时实现以下步骤：
构建色调映射网络框架；
输入高动态范围图像后进行预处理，并通过基于全局的感官特征损失函数和基于局部的直方图特征损失函数计算总的损失函数；
根据总的损失函数对色调映射网络框架进行训练网络；
当训练结果收敛时，停止训练并得到色调映射网络的输出；
所述基于全局的感官特征损失函数为：
LVGG＝||TVGG(O)-TVGG(I)||2
其中，LVGG表示基于全局的感官特征损失函数，I和O分别表示色调映射网络的输入和输出，TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；
当没有真值时，所述基于局部的直方图特征损失函数为：
Figure FDA0003958867630000051
Figure FDA0003958867630000052
其中，
Figure FDA0003958867630000053
和
Figure FDA0003958867630000054
分别表示线性直方图损失函数和均衡直方图损失函数，Oi表示色调映射网络输出O的第i个小区域，TLHN(·)表示LHN映射函数，H(i)linear和H(i)equal分别表示亮度图像L的第i个小区域的线性直方图和均衡直方图，||·||1表示1范数，i＝1，2，3，...，N，N表示色调映射网络的输出O和亮度图像L均分为小区域的个数；
当有真值时，所述基于局部的直方图特征损失函数为：
LHistogram＝||TLHN(OR)-GTHR||1+||TLHN(OG)-GTHG||1+||TLHN(OB)-GTHB||1
其中，LHistogram表示直方图特征损失函数，GT是真值，GTHR、GTHG和GTHB分别是真值的红色通道、绿色通道和蓝色通道的直方图；OR、OG和OB分别是图像增强网络输出的红色通道、绿色通道和蓝色通道；TVGG(·)表示VGGNet映射函数，||·||2用于计算欧式距离；TLHN(·)表示LHN映射函数，||·||1表示1范数；
当没有真值时，所述总的损失函数为：
Figure FDA0003958867630000055
其中，α、β、γ为可调节参数，α用于控制图像的整体观感质量，β和γ用于控制两种损失函数的比例，调节图像的局部细节增强；
当有真值时，所述总的损失函数为：
Ltotal＝LVGG+LHistogram。
CN201910340157.1A 2019-04-25 2019-04-25 基于深度学习的高动态范围图像色调映射方法及其系统 Active CN110197463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910340157.1A CN110197463B (zh) 2019-04-25 2019-04-25 基于深度学习的高动态范围图像色调映射方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910340157.1A CN110197463B (zh) 2019-04-25 2019-04-25 基于深度学习的高动态范围图像色调映射方法及其系统

Publications (2)

Publication Number Publication Date
CN110197463A CN110197463A (zh) 2019-09-03
CN110197463B true CN110197463B (zh) 2023-01-03

Family

ID=67752161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910340157.1A Active CN110197463B (zh) 2019-04-25 2019-04-25 基于深度学习的高动态范围图像色调映射方法及其系统

Country Status (1)

Country Link
CN (1) CN110197463B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709900A (zh) * 2019-10-21 2020-09-25 上海大学 一种基于全局特征指导的高动态范围图像重建方法
CN112734864A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种用于灰度图像上色的三通路卷积神经网络结构
CN110796595B (zh) * 2019-10-31 2022-03-01 北京大学深圳研究生院 一种色调映射方法、装置及电子设备
CN111372006B (zh) * 2020-03-03 2021-05-07 山东大学 一种面向移动端的高动态范围成像方法及系统
CN113452969B (zh) * 2020-03-26 2023-03-24 华为技术有限公司 图像处理方法和装置
CN112085668B (zh) * 2020-08-14 2023-10-10 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN113537154B (zh) * 2021-08-20 2022-08-12 中国美术学院 无人机建筑航拍图神经网络自动校色方法
CN115880162A (zh) * 2021-09-28 2023-03-31 深圳市中兴微电子技术有限公司 图像增强模型训练的方法、图像增强的方法、可读介质
CN117456313B (zh) * 2023-12-22 2024-03-22 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及系统
CN117474816B (zh) * 2023-12-26 2024-03-12 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、系统及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505421A (zh) * 2007-12-21 2009-08-12 索尼株式会社 具有细节保留和噪声约束的高动态范围压缩方法
CN102354489A (zh) * 2008-05-08 2012-02-15 香港应用科技研究院有限公司 增强图像动态范围的方法和装置
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN103353982A (zh) * 2013-05-15 2013-10-16 中山大学 一种基于直方图均衡化的色调映射方法
CN106846383A (zh) * 2017-01-23 2017-06-13 宁波诺丁汉大学 基于3d数字显微成像系统的高动态范围图像成像方法
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238190A1 (en) * 2009-03-17 2010-09-23 Florian Ciurea Joint high dynamic range compression and noise reduction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505421A (zh) * 2007-12-21 2009-08-12 索尼株式会社 具有细节保留和噪声约束的高动态范围压缩方法
CN102354489A (zh) * 2008-05-08 2012-02-15 香港应用科技研究院有限公司 增强图像动态范围的方法和装置
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN103353982A (zh) * 2013-05-15 2013-10-16 中山大学 一种基于直方图均衡化的色调映射方法
CN106846383A (zh) * 2017-01-23 2017-06-13 宁波诺丁汉大学 基于3d数字显微成像系统的高动态范围图像成像方法
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统

Also Published As

Publication number Publication date
CN110197463A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197463B (zh) 基于深度学习的高动态范围图像色调映射方法及其系统
US10970600B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
WO2020192483A1 (zh) 图像显示方法和设备
CN109410126B (zh) 一种细节增强与亮度自适应的高动态范围图像的色调映射方法
CN110648375B (zh) 基于参考信息的图像彩色化
EP3542347B1 (en) Fast fourier color constancy
US11323676B2 (en) Image white balance processing system and method
US20220036523A1 (en) Image processor
US11288783B2 (en) Method and system for image enhancement
CN112116620B (zh) 一种室内图像语义分割与涂装展示的方法
CN113706412A (zh) 一种sdr到hdr转换方法
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN116645296A (zh) 一种零参考样本下的非均匀低光照图像增强方法及系统
CN113012188A (zh) 图像融合方法、装置、计算机设备和存储介质
Liu et al. Progressive complex illumination image appearance transfer based on CNN
CN109345487B (zh) 一种图像增强方法及计算设备
Xu et al. Deep video inverse tone mapping
CN114565539A (zh) 一种基于线上知识蒸馏的图像去雾方法
Li et al. A low-light image enhancement method with brightness balance and detail preservation
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置
CN114187515A (zh) 图像分割方法和图像分割装置
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN116843566A (zh) 色调映射方法、装置、显示设备和存储介质
WO2022027197A1 (en) Systems and methods for processing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant