CN110602472A - 一种基于直方图和引导滤波的局部色调映射方法及装置 - Google Patents

一种基于直方图和引导滤波的局部色调映射方法及装置 Download PDF

Info

Publication number
CN110602472A
CN110602472A CN201810609108.9A CN201810609108A CN110602472A CN 110602472 A CN110602472 A CN 110602472A CN 201810609108 A CN201810609108 A CN 201810609108A CN 110602472 A CN110602472 A CN 110602472A
Authority
CN
China
Prior art keywords
image
brightness
histogram
filtering
tone mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810609108.9A
Other languages
English (en)
Inventor
樊满
董鹏宇
党韩兵
胡开云
齐能
徐伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI FULHAN MICROELECTRONICS Co Ltd
Original Assignee
SHANGHAI FULHAN MICROELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI FULHAN MICROELECTRONICS Co Ltd filed Critical SHANGHAI FULHAN MICROELECTRONICS Co Ltd
Priority to CN201810609108.9A priority Critical patent/CN110602472A/zh
Publication of CN110602472A publication Critical patent/CN110602472A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开一种基于直方图和引导滤波的局部色调映射方法及装置,所述方法包括如下步骤:步骤一,获取输入图像;步骤二,对输入图像计算对数域亮度值LogL;步骤三,基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性;步骤四,基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度;步骤五,根据步骤三与步骤四的结果获得图像的输出亮度,获得低动态范围的图像输出,通过本发明,可使宽动态图像可以在普通的显示设备上显示,且对于非宽动态范围图像可以增强局部细节、调整图像亮度。

Description

一种基于直方图和引导滤波的局部色调映射方法及装置
技术领域
本发明涉及视频图像处理领域,特别是涉及一种对宽动态图像进行压缩以适应低动态显示设备同时保持局部细节的基于直方图和引导滤波的局部色调映射方法及装置。
背景技术
人眼的动态范围一般都很大,既能看清高亮区域的细节,也能看清低暗区域的细节。采用摄像机可以捕获到与人眼相近的宽动态图像,但宽动态范围的视频图像通常很难在显示设备上直接显示出来。目前,绝大多数的显示设备只支持低动态范围的显示,主要缘由在于现在高动态范围的显示设备价格昂贵,无法面对普通消费者。因此,实有必要提出一种技术手段,以使宽动态范围的视频图像可以在普通的显示设备上显示,且保证局部细节清晰可辨。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种基于直方图和引导滤波的局部色调映射方法及装置,以便宽动态图像可以在普通的显示设备上显示,且对于非宽动态范围图像可以增强局部细节、调整图像亮度。
为达上述及其它目的,本发明提出一种基于直方图和引导滤波的局部色调映射方法,包括如下步骤:
步骤一,获取输入图像;
步骤二,对输入图像计算对数域亮度值LogL
步骤三,基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性;
步骤四,基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度;
步骤五,根据步骤三与步骤四的结果获得图像的输出亮度,获得低动态范围的图像输出。
进一步地,于步骤一中,所获取的输入图像为RGB格式的图像。
进一步地,于步骤二中,将输入图像的RGB转为亮度,计算对数域亮度值LogL。
进一步地,于步骤二中,所述对数域亮度值LogL的计算公式如下:
Lin=0.299×R+0.587×G+0.114×B
LogL=Loga(Lin+1)
进一步地,步骤三进一步包括:
统计出对数域亮度的直方图分布特性,计算出各个bin下的频数;
根据直方图统计的信息,将对数域亮度进行直方图均衡化。
进一步地,步骤四进一步包括:
采用引导滤波将对数域亮度进行滤波,得到边缘保留、细节模糊的图像;
对引导滤波的结果取指数操作,得到输入图像的亮度。
进一步地,所述采用引导滤波将对数域亮度进行滤波的计算公式如下:
LogLf=GF(LogL,eps)
其中,GF表示对LogL进行引导滤波,eps是调整因子。
进一步地,所述取指操作通过如下公式:
Lfa(LogLf)
表示以a为指数,计算指数域结果。
进一步地,于步骤五中,根据如下公式获得低动态范围的图像:
其中,Lout为基于直方图的亮度调整计算输出结果,Lf是对输入图像亮度进行滤波所得。
为达到上述目的,本发明还提供一种基于直方图和引导滤波的局部色调映射装置,包括:
图像输入单元,用于获取输入图像,并将输入图像转为亮度,计算对数域亮度值LogL;
全局亮度线性拉伸计算单元,用于基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性;
局部亮度滤波计算单元,用于基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度;
输出单元,用于根据全局亮度线性拉伸计算单元与局部亮度滤波计算单元的结果获得图像的输出亮度,获得低动态范围的图像。
与现有技术相比,本发明一种基于直方图和引导滤波的局部色调映射方法及装置通过利用局部色调映射对宽动态范围的RGB图像进行处理,同时保留着高亮区域的细节以及较暗区域的细节,以便宽动态图像可以在普通的显示设备上显示,本发明不仅仅针对宽动态范围图像,且对于非宽动态范围图像,本发明仍然可以增强局部细节、调整图像亮度。
附图说明
图1为本发明一种基于直方图和引导滤波的局部色调映射方法的步骤流程图;
图2为本发明一种基于直方图和引导滤波的局部色调映射装置的系统架构图;
图3为本发明具体实施例中全局亮度线性拉伸计算单元的细部结构图;
图4为本发明具体实施例中局部亮度滤波计算单元的细部结构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
本发明针对宽动态范围图像在低动态显示设备上的显示效果不理想,仍然有很多局部细节无法看清楚,故在图像处理器(Image Signal Processor)上实现一种基于直方图和引导滤波的局部色调映射方法,局部色调映射的输入信号是宽动态范围的图像,其同时保留着高亮区域的细节以及较暗区域的细节。
局部色调映射是对宽动态范围的RGB图像进行处理。具体计算见公式(1)。
其中,Lout即是基于直方图的亮度调整计算输出结果,Lf是对输入图像亮度进行滤波(filter)所得。
图1为本发明一种基于直方图和引导滤波的局部色调映射方法的步骤流程图。如图1所示,本发明一种基于直方图和引导滤波的局部色调映射方法,包括如下步骤:
步骤101,获取输入图像。在本发明具体实施例中,获取的输入图像为RGB格式的图像,其为图像处理系统的前级模块(比如内插)的输出,可以是宽动态范围图像,也可以是非宽动态范围图像,本发明以宽动态范围图像为例。
步骤102,将输入RGB转为亮度,计算对数域亮度值LogL。具体地,计算公式如下:
Lin=0.299×R+0.587×G+0.114×B (2)
LogL=Loga(Lin+1) (3)
其中,公式(3)表示的是以a为底取对数,a的取值范围为大于1的任意值。
对数域亮度可以压缩图像亮度的动态范围,且其更符合人眼感知亮度的生物特性,故本发明主要是在对数域亮度进行处理。
步骤103,基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性。
具体地,步骤103进一步包括:
步骤S31,统计出对数域亮度的直方图分布特性,计算出各个bin下的频数.一般来说,宽动态图像的亮度(对数域亮度),其直方图分布特性均呈现两头大、中间小以及像素相对集中的特点。但不同输入源均具有不同的直方图分布,差别仍然不小,故需要统计以便进行精细调整,于步骤S31中,统计出亮度分布的规律。
步骤S32,根据直方图统计的信息,将对数域亮度进行直方图均衡化。通过利用直方图均衡化操作,使图像整体的灰度范围变大、对比度变大、清晰度变大,可以有效增强图像的显示效果。
步骤104,基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度。
具体地,步骤104进一步包括:
步骤S 41,采用引导滤波将对数域亮度进行滤波,得到边缘保留、细节模糊的图像。
LogLf=GF(LogL,eps) (4)
其中,GF表示对LogL进行引导滤波,eps是调整因子,引导滤波相比双边滤波,具有更好的边缘保持效果且运算量减少许多,故本发明采用引导滤波来进行滤波。
步骤S42,对引导滤波的结果取指数操作,该指数即对数操作的底,得到输入图像的亮度。具体地,
其中,公式(5)表示是以a为底数,计算指数域结果。
步骤105,根据步骤103与步骤104的结果获得图像的输出亮度,获得低动态范围的图像。具体地,于步骤105中,根据上述公式(1)获得低动态范围的图像,即
其中,Lout即是基于直方图的亮度调整计算输出结果,Lf是对输入图像亮度进行滤波(filter)所得。
图2为本发明一种基于直方图和引导滤波的局部色调映射装置的系统架构图。如图2所示,本发明一种基于直方图和引导滤波的局部色调映射装置,包括:
图像输入单元201,用于获取输入图像,并将输入图像转为亮度,计算对数域亮度值LogL。在本发明具体实施例中,获取的输入图像为RGB格式的图像,其为图像处理系统的前级模块(比如内插)的输出,可以是宽动态范围图像,也可以是非宽动态范围图像,本发明以宽动态范围图像为例,将输入RGB格式转为对数域亮度LogL,计算公式如下:
Lin=0.299×R+0.587×G+0.114×B
LogL=Loga(Lin+1)
其中,Loga(Lin+1)表示的是以a为底取对数。
对数域亮度可以压缩图像亮度的动态范围,且其更符合人眼感知亮度的生物特性。故本发明主要是在对数域亮度进行处理
全局亮度线性拉伸计算单元202,用于基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性。
具体地,如图3所示,全局亮度线性拉伸计算单元202进一步包括:
直方图统计模块2021,用于统计输入图像亮度的分布,一般来说,宽动态图像的亮度(对数域亮度),其直方图分布特性均呈现两头大、中间小以及像素相对集中的特点。但不同输入源均具有不同的直方图分布,差别仍然不小,故需要统计以便进行精细调整,此模块统计出亮度分布的规律;
直方图调整模块2022,用于通过直方图均衡化操作,使得图像整体的灰度范围变大、对比度变大、清晰度变大,可以有效增强图像的显示效果。
局部亮度滤波计算单元203,用于基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度。
具体地,如图4所示,局部亮度滤波计算单元203进一步包括:
引导滤波单元2031,用于采用引导滤波将对数域亮度进行滤波,得到边缘保留、细节模糊的图像。具体地,引导滤波通过如下计算公式:
LogLf=GF(LogL,eps)
其中,GF表示对LogL进行引导滤波,eps是调整因子,引导滤波相比双边滤波,具有更好的边缘保持效果且运算量减少许多,故本发明采用引导滤波来进行滤波。
指数转换单元2032,用于对引导滤波的结果取指数操作,该指数即对数操作的底,得到输入图像的亮度。具体地,取指数操作公式如下:
其中,该公式表示以a为指数,计算指数域结果。
输出单元204,用于根据全局亮度线性拉伸计算单元202与局部亮度滤波计算单元203的结果获得图像的输出亮度,获得低动态范围的图像。具体地,输出单元204根据如下公式获得低动态范围的图像,即
其中,Lout即是基于直方图的亮度调整计算输出结果,Lf是对输入图像亮度进行滤波(filter)所得。
综上所述,本发明一种基于直方图和引导滤波的局部色调映射方法及装置通过利用局部色调映射对宽动态范围的RGB图像进行处理,同时保留着高亮区域的细节以及较暗区域的细节,以便宽动态图像可以在普通的显示设备上显示,本发明不仅仅针对宽动态范围图像,且对于非宽动态范围图像,本发明仍然可以增强局部细节、调整图像亮度。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种基于直方图和引导滤波的局部色调映射方法,包括如下步骤:
步骤一,获取输入图像;
步骤二,对输入图像计算对数域亮度值LogL;
步骤三,基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性;
步骤四,基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度;
步骤五,根据步骤三与步骤四的结果获得图像的输出亮度,获得低动态范围的图像输出。
2.如权利要求1所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于:于步骤一中,所获取的输入图像为RGB格式的图像。
3.如权利要求1所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于:于步骤二中,将输入图像的RGB转为亮度,计算对数域亮度值LogL。
4.如权利要求3所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,于步骤二中,所述对数域亮度值LogL的计算公式如下:
Lin=0.299×R+0.587×G+0.114×B
LogL=Loga(Lin+1)
其中a为为大于1的任意值。
5.如权利要求1所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,步骤三进一步包括:
统计出对数域亮度的直方图分布特性,计算出各个bin下的频数;
根据直方图统计的信息,将对数域亮度进行直方图均衡化。
6.如权利要求1所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,步骤四进一步包括:
采用引导滤波将对数域亮度进行滤波,得到边缘保留、细节模糊的图像;
对引导滤波的结果取指数操作,得到输入图像的亮度。
7.如权利要求6所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,所述采用引导滤波将对数域亮度进行滤波的计算公式如下:
LogLf=GF(LogL,eps)
其中,GF表示对LogL进行引导滤波,eps是调整因子。
8.如权利要求7所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,所述取指操作通过如下公式:
Lfa(LogLf)
表示以a为指数,计算指数域结果。
9.如权利要求8所述的一种基于直方图和引导滤波的局部色调映射方法,其特征在于,于步骤五中,根据如下公式获得低动态范围的图像:
其中,Lout为基于直方图的亮度调整计算输出结果,Lf是对输入图像亮度进行滤波所得。
10.一种基于直方图和引导滤波的局部色调映射装置,包括:
图像输入单元,用于获取输入图像,并将输入图像转为亮度,计算对数域亮度值LogL;
全局亮度线性拉伸计算单元,用于基于直方图的统计结果,增强图像的局部对比度以及调整图像亮度,以模拟人眼的感知特性;
局部亮度滤波计算单元,用于基于引导滤波对数域亮度进行滤波,以增强图像的局部对比度;
输出单元,用于根据全局亮度线性拉伸计算单元与局部亮度滤波计算单元的结果获得图像的输出亮度,获得低动态范围的图像。
CN201810609108.9A 2018-06-13 2018-06-13 一种基于直方图和引导滤波的局部色调映射方法及装置 Pending CN110602472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810609108.9A CN110602472A (zh) 2018-06-13 2018-06-13 一种基于直方图和引导滤波的局部色调映射方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810609108.9A CN110602472A (zh) 2018-06-13 2018-06-13 一种基于直方图和引导滤波的局部色调映射方法及装置

Publications (1)

Publication Number Publication Date
CN110602472A true CN110602472A (zh) 2019-12-20

Family

ID=68849089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810609108.9A Pending CN110602472A (zh) 2018-06-13 2018-06-13 一种基于直方图和引导滤波的局部色调映射方法及装置

Country Status (1)

Country Link
CN (1) CN110602472A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738966A (zh) * 2020-05-29 2020-10-02 展讯通信(上海)有限公司 图像处理方法及装置、存储介质、终端
CN113781968A (zh) * 2021-09-08 2021-12-10 深圳创维-Rgb电子有限公司 背光调节方法、装置、设备及存储介质
WO2022226917A1 (zh) * 2021-04-29 2022-11-03 深圳市大疆创新科技有限公司 图像处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014470A1 (en) * 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
CN101901475A (zh) * 2010-06-12 2010-12-01 北京理工大学 基于视网膜自适应模型的高动态范围图像色调映射方法
CN103353982A (zh) * 2013-05-15 2013-10-16 中山大学 一种基于直方图均衡化的色调映射方法
WO2016043819A1 (en) * 2014-09-16 2016-03-24 Google Technology Holdings LLC Colour image enhancement guided by a greyscale image
CN105516674A (zh) * 2015-12-24 2016-04-20 潮州响石数码技术有限公司 一种具有hdr显示功能的监视设备
CN105654433A (zh) * 2015-12-28 2016-06-08 桂林电子科技大学 基于改进多尺度Retinex的彩色图像增强方法
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014470A1 (en) * 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
CN101901475A (zh) * 2010-06-12 2010-12-01 北京理工大学 基于视网膜自适应模型的高动态范围图像色调映射方法
CN103353982A (zh) * 2013-05-15 2013-10-16 中山大学 一种基于直方图均衡化的色调映射方法
WO2016043819A1 (en) * 2014-09-16 2016-03-24 Google Technology Holdings LLC Colour image enhancement guided by a greyscale image
CN105516674A (zh) * 2015-12-24 2016-04-20 潮州响石数码技术有限公司 一种具有hdr显示功能的监视设备
CN105654433A (zh) * 2015-12-28 2016-06-08 桂林电子科技大学 基于改进多尺度Retinex的彩色图像增强方法
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邵华,郁梅: "一种人眼感知驱动的成分分解色调映射算法", 《光学技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738966A (zh) * 2020-05-29 2020-10-02 展讯通信(上海)有限公司 图像处理方法及装置、存储介质、终端
WO2022226917A1 (zh) * 2021-04-29 2022-11-03 深圳市大疆创新科技有限公司 图像处理方法及电子设备
CN113781968A (zh) * 2021-09-08 2021-12-10 深圳创维-Rgb电子有限公司 背光调节方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9706111B2 (en) No-reference image and video quality evaluation
CN106504278B (zh) 高动态范围色调映射
US9826149B2 (en) Machine learning of real-time image capture parameters
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
CN107403421B (zh) 一种图像去雾方法、存储介质及终端设备
US10074164B2 (en) Method and apparatus for adjusting image brightness
CN108537758B (zh) 一种基于显示器与人眼视觉特性的图像对比度增强方法
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
CN111199518B (zh) Vr设备的图像呈现方法、装置、设备和计算机存储介质
CN110602472A (zh) 一种基于直方图和引导滤波的局部色调映射方法及装置
CN109978777B (zh) 图像亮度调节方法及装置
US20110157213A1 (en) Apparatus and method for processing image, and apparatus for displaying image
CN110111347B (zh) 图像标志提取方法、装置及存储介质
DE102020200310A1 (de) Verfahren und System zur Dunstreduzierung für die Bildverarbeitung
CN112991197B (zh) 一种基于暗通道的细节保留的低照度视频增强方法及装置
Guthier et al. Flicker reduction in tone mapped high dynamic range video
EP3685346A1 (en) System and method for image dynamic range adjusting
KR102462265B1 (ko) 지향성 스케일링 시스템들 및 방법들
US20140092116A1 (en) Wide dynamic range display
WO2015010559A1 (en) Devices, terminals and methods for image processing
US9870598B2 (en) Low complexity adaptive filtering for mobile captures
CN111754412B (zh) 构建数据对的方法、装置及终端设备
Sun et al. Readability enhancement of low light videos based on discrete wavelet transform
CN109308690B (zh) 一种图像亮度均衡方法及终端
CN110020999B (zh) 一种基于同态滤波的非制冷红外热像自适应映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220