CN105701785B - 基于天空区域划分加权tv透射率优化的图像雾霾去除方法 - Google Patents

基于天空区域划分加权tv透射率优化的图像雾霾去除方法 Download PDF

Info

Publication number
CN105701785B
CN105701785B CN201610090213.7A CN201610090213A CN105701785B CN 105701785 B CN105701785 B CN 105701785B CN 201610090213 A CN201610090213 A CN 201610090213A CN 105701785 B CN105701785 B CN 105701785B
Authority
CN
China
Prior art keywords
image
haze
area
transmittance
transmissivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610090213.7A
Other languages
English (en)
Other versions
CN105701785A (zh
Inventor
杨爱萍
杨苏辉
刘华平
何宇清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610090213.7A priority Critical patent/CN105701785B/zh
Publication of CN105701785A publication Critical patent/CN105701785A/zh
Application granted granted Critical
Publication of CN105701785B publication Critical patent/CN105701785B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于天空区域划分加权TV透射率优化的图像雾霾去除方法,对于输入的雾霾图像,首先对大气光进行估计,选取雾霾图像中前L行作为图像雾浓度最高的区域,在该区域内采用加权法求取大气光;利用边界约束得到透射率粗估计,然后基于加权TV对粗估透射率进行优化;最后对天空区域进行检测与分割,并对天空区域透射率进一步优化,得到最终的雾霾图像的透射率;进而采用大气散射模型的相关变形公式获得清晰的无雾霾图像。利用本发明图像雾霾去除方法获得的图像,不仅可取得更好的视觉效果,且天空区域色彩等更加自然。

Description

基于天空区域划分加权TV透射率优化的图像雾霾去除方法
技术领域
本发明涉及一种计算机图像处理方法,尤其涉及一种图像去雾方法。
背景技术
雾霾的存在不仅对人体健康造成危害,而且严重影响视觉系统的成像质量,造成图像对比度降低、动态范围压缩、细节模糊等,直接限制和影响了目标识别与跟踪、视觉监督、军事侦查、遥感成像等系统发挥效用。
现有的雾霾去除算法主要有基于图像增强的方法和基于物理模型的方法。其中基于图像增强的方法不考虑雾霾图像的形成机理,以增强图像对比度,凸显图像细节特征为目标。该类方法去雾后的图像容易出现信息丢失和色彩失真等现象,且由于未考虑雾霾图像形成的物理过程,无法从根本上实现去雾。基于物理模型的方法根据大气散射理论,建立雾霾图像退化数学模型,利用反演过程获得接近真实的清晰图像。雾天图像成像模型可表示为:
I(x)=J(x)t(x)+(1-t(x))A (1)
式(1)中,I(x)为有雾图像,J(x)为清晰图像,t(x)为透射率,A为背景光强度。
图像去雾的目的是从已知图像I(x)中恢复J(x)。通过求取透射率t和大气光值A,结合I(x),根据(1)式便可求取无雾图像J。
现有的透射率估计方法主要有根据硬件设备获取的方法、基于不同偏振角度的多幅图像的方法、基于暗通道先验的方法等。这些方法都假设t(x)=e-βd(x),且假设大气均匀,β恒定,取得了良好的去雾效果。但是,当图像中包含大面积天空区域时,由于以上方法对天空区域透射率估计出现较大偏差,复原图像的天空区域出现严重的色彩失真。
发明内容
由于场景的不同,大气的介质分布也会有差别,因此针对大气介质不均匀的情况,本发明提出一种基于天空区域划分的图像去雾新方法。首先利用边界约束对透射率进行粗估计,然后提出基于加权TV的透射率优化算法,最后对图像天空区域进行检测和分割,改善天空区域透射率估计。同时利用加权法估计大气光,最后得到清晰无雾图像。利用本发明图像雾霾去除方法获得的图像,不仅可取得更好的视觉效果,且天空区域色彩等更加自然。
为了解决上述技术问题,本发明提出的一种基于天空区域划分加权TV透射率优化的图像雾霾去除方法,其特征在于,该方法是:对于输入的雾霾图像I(x),首先对大气光A进行估计,选取雾霾图像I(x)中前L行作为图像雾浓度最高的区域,在该区域内采用加权法求取大气光A;利用边界约束得到透射率t(x)粗估计,然后基于加权TV对粗估透射率t(x)进行优化;最后对天空区域进行检测与分割,并对天空区域透射率进一步优化,得到最终的雾霾图像I(x)的透射率考虑到使恢复出的图像视觉效果更加自然,最后采用加入参数后的大气散射模型获得清晰的无雾霾图像J(x)。
本发明图像雾霾去除方法的具体步骤如下:
步骤一、输入雾霾图像I(x),大小为M×N,选取雾霾图像I(x)中前L行,其中作为一幅图像m_A;
步骤二、求取图像m_A的暗原色图像m_Adark和均值M(n),同时,由图像m_A中像素值大于M(n)的像素组成亮区域,像素值低于M(n)的像素组成暗区域;计算亮区域的像素点数Nbright、暗区域的像素点数Ndark、亮区域中暗原色最大值m1和暗区域中暗原色最大值m2,然后求得大气光值A:
步骤三、设无雾霾图像J(x)的场景辐照度的上边界值为C1,下边界值为C2,求出雾霾图像I(x)的透射率的界限tb和透射率的粗估计
其中,Ic(x),Ac,分别表示I(x),A,C1和C2的某一颜色通道值,Ω(x)是以像素点x为中心的图像块,Ω(y)是以图像块y为中心的图像域;
步骤四、利用加权TV模型优化透射率得到雾霾图像I(x)的精确透射率t;
其中,ο表示逐元素相乘操作,表示卷积操作,Dj表示一阶微分算子,Wj表示权重矩阵;第一项为利用边界约束得到透射率粗估计的数据保真项,第二项为透射率估计的约束项,λ表示第一项和第二项的平衡化参数;
步骤五、为了确定雾霾图像I(x)是否包含天空区域,求取雾霾图像I(x)对应的灰度图像Igray(x),以及灰度图像Igray(x)的梯度图D(x);假设亮度差阈值为R0和梯度阈值为D0;若|A-255|≤R0且Dx<D0,则认为雾霾图像I(x)包含天空区域,进行下一步,否则认为该雾霾图像I(x)为近距离场景图,不包含天空区域,大气光均匀分布,则最终的雾霾图像I(x)的透射率直接跳到步骤七;
步骤六、对天空区域透射率进行如下优化,得到天空区域精确透射率t'(x):
步骤七:将步骤四中求得的精确透射率t(x)中的天空区域替换为t'(x),得到最终的雾霾图像I(x)的透射率从而获得清晰的无雾霾图像J(x),
其中,ε表示一个常量,通常取0.1,δ表示另外一个常量,用于对复原效果进行微调整,δ取0.98。
与现有技术相比,本发明的有益效果是:
本发明提出的针对天空区域透射率优化的去雾算法不仅利用本发明图像雾霾去除方法获得的图像,不仅可取得更好的视觉效果,且天空区域色彩等更加自然。
附图说明
图1本发明图像雾霾去除方法的流程图;
图2(a)-图2(d)为基于边界约束的透射率估计;其中,图2(a)原始雾霾图像;图2(b)原始雾霾图像对应的边界约束图;图2(c)原始雾霾图像对应的基于边界约束的透射率估计图;图2(d)原始雾霾图像对应的基于边界约束的去雾效果图;
图3(a)为一原始雾霾图像;
图3(b)是利用本发明方法对图3(a)所示原始雾霾图像的处理效果图;
图4(a)为另一原始雾霾图像;
图4(b)是利用He方法对图4(a)所示原始雾霾图像的处理效果图;
图4(c)是利用Tarel方法对图4(a)所示原始雾霾图像的处理效果图;
图4(d)是利用本发明方法对图4(a)所示原始雾霾图像的处理效果图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅对本发明进行解释说明,并不用以限制本发明。
现有的雾霾去除算法主要有传统的图像增强的方法和基于物理模型的图像复原的方法。其中基于物理模型的图像复原的方法是根据大气散射理论,建立雾霾图像退化数学模型,利用反演过程获得接近真实的清晰图像。雾天图像成像模型可表示为:
I(x)=J(x)t(x)+(1-t(x))A (1)
式(1)中,I(x)为有雾图像,J(x)为清晰图像,t(x)为透射率,A为背景光强度。
图像去雾的目的是从已知图像I(x)中恢复J(x)。通过求取透射率t和大气光A,结合I(x),根据(1)式便可求取无雾图像J。根据上述经典雾天图像成像模型式(1),若透射率t及大气光A已知,则得到去雾后的图像J可以用式(2)表达。
本发明图像雾霾去除方法的设计思路是:基于天空区域划分加权TV透射率优化的图像雾霾去除方法,该方法是:对于输入的雾霾图像I(x),如图2(a)所示,首先对大气光A进行估计,选取雾霾图像I(x)中前L行作为图像雾浓度最高的区域,在该区域内采用加权法求取大气光A;利用边界约束得到透射率t(x)粗估计,如图2(b)所示,然后基于加权TV对粗估透射率t(x)进行优化;最后对天空区域进行检测与分割,并对天空区域透射率进一步优化,得到最终的雾霾图像I(x)的透射率如图2(c)所示;考虑到使恢复出的图像视觉效果更加自然,进而采用如式(3)所示的大气散射模型的相关变形公式(即在式(2)所示的大气散射模型加入参数后的大气散射模型)获得清晰的无雾霾图像J(x),如图2(d)。
式(3)中,ε表示一个常量,通常取0.1,δ表示另外一个常量,用于对复原效果进行微调整,δ取0.98。
如图1所示,本发明基于天空区域划分加权TV透射率优化的图像雾霾去除方法的具体步骤如下:
步骤一、输入雾霾图像I(x),大小为M×N,选取雾霾图像I(x)中前L行,其中作为一幅图像m_A;
步骤二、求取图像m_A的暗原色图像m_Adark和均值M(n),同时将图像m_A中像素值大于M(n)的像素划分为亮区域,像素值低于M(n)的像素划分为暗区域,计算亮区域的像素点数Nbright、暗区域的像素点数Ndark、亮区域中暗原色最大值m1和暗区域中暗原色最大值m2,然后根据式(4)求得大气光A:
步骤三、设无雾图像J(x)的场景辐照度的上边界值为C1,下边界值为C2,利用公式(5)求出雾霾图像I(x)的透射率的界限tb,然后得到透射率的粗估计
其中,Ic(x),Ac,分别表示I(x),A,C1和C2的某一颜色通道值,Ω(x)是以像素点x为中心的图像块,Ω(y)是以图像块y为中心的图像域;
步骤四、利用加权TV模型优化透射率得到雾霾图像I(x)的精确透射率t;
其中,ο表示逐元素相乘操作,表示卷积操作,Dj表示一阶微分算子,Wj表示权重矩阵;第一项为利用边界约束得到透射率粗估计的数据保真项,第二项为透射率估计的约束项,λ表示第一项和第二项的平衡化参数;
步骤五、为了确定雾霾图像I(x)是否包含天空区域,求取雾霾图像I(x)对应的灰度图像Igray(x),以及灰度图像Igray(x)的梯度图D(x);假设亮度差阈值为R0和梯度阈值为D0;若|A-255|≤R0且Dx<D0,则认为雾霾图像I(x)包含天空区域,进行下一步,否则认为该雾霾图像I(x)为近距离场景图,不包含天空区域,大气光均匀分布,则最终的雾霾图像I(x)的透射率直接跳到步骤七;
步骤六、对天空区域透射率进行如下优化,得到天空区域精确透射率t'(x):
步骤七:将步骤四中求得的精确透射率t(x)中的天空区域替换为t'(x),得到最终的雾霾图像I(x)的透射率利用式(3)求得清晰的无雾霾图像J(x)。
上面结合图1对发明基于天空区域划分加权TV透射率优化的图像雾霾去除方法实现的流程进行了叙述,下面对其中的主要算法进行解释。
(1)大气光A:本发明中对大气光的估计是提取输入雾霾图像的前1/10行,认为是雾霾图像中雾浓度最高的区域,并通过四分迭代法更加精确的找出图像中雾霾浓度最高的区域,其运算结果会更加精确;
(2)在求解加权TV模型(式7)时,本发明中采用了变量分裂法。首先引入辅助变量uj,式(7)变形为式(9):
其中,β表示一个权重值,当β→∞时,式(9)的解收敛于式(7);ο表示逐元素相乘操作,表示卷积操作,Dj表示一阶微分算子,Wj表示权重矩阵。第一项为利用边界约束得到透射率粗估计的数据保真项,第二项为透射率估计的约束项,λ表示两项的平衡化参数。然后采用交替优化方法求解式(9)。首先固定t,最小化式(10)得到uj的最优解uj *
其中,sign(·)表示符号函数。
固定uj,通过最小化下式得到t的最优解:
上式是关于t的二次函数,t的最优值满足:
表示Dj的镜像矩阵。对上式进行二维FFT变换,得到t的最优解t*
其中,F(·)表示傅里叶变换,F-1(·)表示反傅里叶变换,表示共轭复数,表示逐元素相乘。
(3)在判断出雾霾图像中包含天空区域时,通过下述过程找出天空区域:
假设θ=0.5×mean(D(x)),利用下式得到二值函数B1(x):
用边长r=3的正方形模板对B1(x)进行腐蚀得到二值函数B2(x),标注其连通区域,寻找平均灰度值大于阈值T的连通区域(其中T=mean(I(x)),然后选择面积最大的区域作为天空区域。
(4)算法效果的评价:
基于天空区域分割划分加权TV透射率优化的图像雾霾去除方法不仅对包含天空区域的图像具有良好的复原效果,如图3(a)和图3(b),对于不包含天空区域的雾霾图像,如图4(a),也同样能够获得满意的视觉效果,图4(b)和图4(c)示出的现阶段的两种方法去雾霾效果图,He等人方法(HE Kai-ming,SUN Jian,TANG Xiao-ou.Single image hazeremoval using dark channel prior[A].Proceedings of IEEE Conference onComputer Vision and Pattern Recongnition[C].Miami,2009,1956-1963.)和Tarel等人方法(Jcan-Philippe Tarel.Fast visibility restoration from a single color orgray level image[A].Proceedings of IEEE Conference on InternationalConference on Computer Vision[C].Kyoto,Japan,2009,10:20-28.)得到的去雾霾图像中,叶子周围的含有少量雾霾,而本发明方法有效去除了叶子周围的雾霾,并且色彩复原效果更佳,如图4(d)。
尽管上面结合附图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以做出很多变形,这些均属于本发明的保护之内。

Claims (1)

1.一种基于天空区域划分加权TV透射率优化的图像雾霾去除方法,其特征在于,该方法是:对于输入的雾霾图像I(x),首先对大气光A进行估计,选取雾霾图像I(x)中前L行作为图像雾浓度最高的区域,在该区域内采用加权法求取大气光A;利用边界约束得到透射率t(x)粗估计,然后基于加权TV对粗估透射率t(x)进行优化;最后对天空区域进行检测与分割,并对天空区域透射率进一步优化,得到最终的雾霾图像I(x)的透射率考虑到使恢复出的图像视觉效果更加自然,最后采用加入参数后的大气散射模型获得清晰的无雾霾图像J(x);具体步骤如下:
步骤一、输入雾霾图像I(x),大小为M×N,选取雾霾图像I(x)中前L行,其中作为一幅图像m_A;
步骤二、求取图像m_A的暗原色图像m_Adark和均值M(n),同时,由图像m_A中像素值大于M(n)的像素组成亮区域,像素值低于M(n)的像素组成暗区域;计算亮区域的像素点数Nbright、暗区域的像素点数Ndark、亮区域中暗原色最大值m1和暗区域中暗原色最大值m2,然后求得大气光A:
步骤三、设无雾霾图像J(x)的场景辐照度的上边界值为C1,下边界值为C2,求出雾霾图像I(x)的透射率的界限tb(x)和透射率的粗估计
其中,Ic(x),Ac,分别表示I(x),A,C1和C2的某一颜色通道值,Ω(x)是以像素点x为中心的图像块,Ω(y)是以图像块y为中心的图像域;
步骤四、利用加权TV模型优化透射率得到雾霾图像I(x)的精确透射率t;
其中,表示逐元素相乘操作,表示卷积操作,Dj表示一阶微分算子,Wj表示权重矩阵;第一项为利用边界约束得到透射率粗估计的数据保真项,第二项为透射率估计的约束项,λ表示第一项和第二项的平衡化参数;
步骤五、求取雾霾图像I(x)对应的灰度图像Igray(x),以及灰度图像Igray(x)的梯度图D(x);根据亮度差阈值为R0和梯度阈值为D0确定雾霾图像I(x)是否包含天空区域;
步骤六、对天空区域透射率进行如下优化,得到天空区域精确透射率t'(x):
步骤七:将步骤四中求得的精确透射率t(x)中的天空区域替换为t'(x),得到最终的雾霾图像I(x)的透射率从而获得清晰的无雾霾图像J(x),
其中,ε表示一个常量,ε取0.1,δ表示另外一个常量,用于对复原效果进行微调整,δ取0.98。
CN201610090213.7A 2016-02-17 2016-02-17 基于天空区域划分加权tv透射率优化的图像雾霾去除方法 Expired - Fee Related CN105701785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610090213.7A CN105701785B (zh) 2016-02-17 2016-02-17 基于天空区域划分加权tv透射率优化的图像雾霾去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610090213.7A CN105701785B (zh) 2016-02-17 2016-02-17 基于天空区域划分加权tv透射率优化的图像雾霾去除方法

Publications (2)

Publication Number Publication Date
CN105701785A CN105701785A (zh) 2016-06-22
CN105701785B true CN105701785B (zh) 2018-08-21

Family

ID=56223091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610090213.7A Expired - Fee Related CN105701785B (zh) 2016-02-17 2016-02-17 基于天空区域划分加权tv透射率优化的图像雾霾去除方法

Country Status (1)

Country Link
CN (1) CN105701785B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103591B (zh) * 2017-03-27 2020-01-07 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN107784636A (zh) * 2017-09-29 2018-03-09 中国科学院长春光学精密机械与物理研究所 一种远距离海上可见光图像去雾处理方法
CN107909552A (zh) * 2017-10-31 2018-04-13 天津大学 基于水下先验约束的图像复原方法
CN108447025B (zh) * 2018-01-31 2021-07-27 天津大学 一种基于单幅图像采集的偏振图像去雾方法
CN108765355B (zh) * 2018-06-07 2022-04-22 南京信息职业技术学院 一种基于变分Retinex模型的雾天图像增强方法
CN109712126B (zh) * 2018-12-21 2020-11-06 深圳市华星光电半导体显示技术有限公司 图片识别方法及装置
CN110310241B (zh) * 2019-06-26 2021-06-01 长安大学 一种融合深度区域分割的多大气光值交通图像去雾方法
CN111161167B (zh) * 2019-12-16 2024-05-07 天津大学 基于中通道补偿和自适应大气光估计的单幅图像去雾方法
CN114066961A (zh) * 2021-11-05 2022-02-18 中国人民解放军国防科技大学 基于上下文正则化和大气光强约束估计的图像去雾算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578083A (zh) * 2013-09-07 2014-02-12 西安电子科技大学 基于联合均值漂移的单幅图像去雾方法
CN104166964A (zh) * 2014-08-08 2014-11-26 济南大学 一种基于Sigmoid函数的抑制光晕效应的方法
CN104794697A (zh) * 2015-05-05 2015-07-22 哈尔滨工程大学 一种基于暗原色先验的图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578083A (zh) * 2013-09-07 2014-02-12 西安电子科技大学 基于联合均值漂移的单幅图像去雾方法
CN104166964A (zh) * 2014-08-08 2014-11-26 济南大学 一种基于Sigmoid函数的抑制光晕效应的方法
CN104794697A (zh) * 2015-05-05 2015-07-22 哈尔滨工程大学 一种基于暗原色先验的图像去雾方法

Also Published As

Publication number Publication date
CN105701785A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105701785B (zh) 基于天空区域划分加权tv透射率优化的图像雾霾去除方法
Wang et al. Fast image dehazing method based on linear transformation
Hu et al. Single image defogging based on illumination decomposition for visual maritime surveillance
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
CN109272455B (zh) 基于弱监督生成对抗网络的图像去雾方法
Zhang et al. A new haze removal approach for sky/river alike scenes based on external and internal clues
CN111292258B (zh) 一种基于暗通道和亮通道先验的图像去雾方法
Shiau et al. Weighted haze removal method with halo prevention
CN102651135B (zh) 一种基于优化方向采样的自然图像抠图方法
CN109118446B (zh) 一种水下图像复原及去噪方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN110827218B (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN112862721B (zh) 基于暗通道与Retinex的地下管道图像去雾方法
Ganguly et al. Single image haze removal with haze map optimization for various haze concentrations
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN105447825A (zh) 图像去雾方法及其系统
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
Fu et al. Scene-awareness based single image dehazing technique via automatic estimation of sky area
Pazhani et al. A novel haze removal computing architecture for remote sensing images using multi-scale Retinex technique
CN112907461B (zh) 一种红外雾天降质图像去雾增强方法
CN112750089B (zh) 基于局部块最大和最小像素先验的光学遥感影像去雾方法
Li et al. Laplace dark channel attenuation-based single image defogging in ocean scenes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180821

Termination date: 20200217

CF01 Termination of patent right due to non-payment of annual fee