CN108710205B - 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法 - Google Patents

一种基于边缘灰度差异函数的光学扫描全息自聚焦方法 Download PDF

Info

Publication number
CN108710205B
CN108710205B CN201810469022.0A CN201810469022A CN108710205B CN 108710205 B CN108710205 B CN 108710205B CN 201810469022 A CN201810469022 A CN 201810469022A CN 108710205 B CN108710205 B CN 108710205B
Authority
CN
China
Prior art keywords
gray difference
edge
edge gray
image
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810469022.0A
Other languages
English (en)
Other versions
CN108710205A (zh
Inventor
欧海燕
刘柯
邵维
王秉中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810469022.0A priority Critical patent/CN108710205B/zh
Publication of CN108710205A publication Critical patent/CN108710205A/zh
Application granted granted Critical
Publication of CN108710205B publication Critical patent/CN108710205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Holo Graphy (AREA)

Abstract

本发明公开了一种基于边缘灰度差异函数的光学扫描全息自聚焦方法,属于光学扫描全息与自聚焦技术领域。本发明主要包括以下步骤:获取数字全息图像、等步长重建、计算边缘亮度矩阵和计算边缘灰度差异函数值。本发明通过计算重建全息图的实数部分的边缘灰度差异函数值,来实现自聚焦;本发明可以有效的解决全息图像的自聚焦问题,同时边缘灰度差异函数还可以作为其他类型图像的聚焦评价指标。

Description

一种基于边缘灰度差异函数的光学扫描全息自聚焦方法
技术领域
本发明属于光学扫描全息与自聚焦技术领域,具体来说,涉及一种基于边缘灰度差异函数的光学扫描全息自聚焦方法。
背景技术
光学扫描全息技术,是数字全息技术中的一个重要分支,该技术利用了光学外差技术和扫描全息技术,极大的提高了扫描全息图像的分辨率,1979年,Poon和Korpel首次提出这个概念。到目前为止,该技术已经有了广泛的应用,像全息图像加密,扫描全息显微镜,图像识别等领域。
在全息技术的领域中,全息图的重建一直是一个研究热点,而对于全息重建技术而言,获取物体的轴向重建距离又至关重要。因此近年来,人们在这一环节做了很多相关的工作。
文献“Blind sectional image reconstruction for optical scanningholography”提出对盲重建图像进行边缘检测,然后通过边缘数来实现全息图像的自聚焦。边缘数检测,易受阈值设定的影响,且检测到的聚焦位置精度不高。
文献“Autofocusing of optical scanning holography based on entropyminimization”提出基于最小熵来实现全息图像的自聚焦,但当全息图中目标轴向距离相隔很近时,最小熵不再适用,且不能解决重叠物体的自聚焦问题。
文献“Enhanced Autofocusing in Optical Scanning Holography Based onHologram Decomposition”提出基于全息图分解和最小熵来解决轴向距离相隔很近的问题。但是操作过程过于繁琐,计算复杂,且不能解决重叠物体的自聚焦问题。
发明内容
本发明的目的是克服上述现有技术的不足,提供一种基于边缘灰度差异函数的光学扫描全息自聚焦方法。本发明提出一种聚焦图像的评价函数,聚焦图像和离焦图像在边缘上是存在差异的,本发明将这种差异进一步放大形成一种聚焦图像的评价函数,很好的解决了全息图像的自聚焦问题,相较于现有技术,灰度差异(Edge gray difference,EGD)函数计算简单,精确度高,可以实现多种类型全息图像的自聚焦问题,适用性强。
本发明所提出的技术问题是这样解决的:
一种基于边缘灰度差异函数的光学扫描全息自聚焦方法,包括以下步骤:
步骤1.He-Ne激光源发出一束频率为ω0的激光束,通过第一偏振分束器BS1后得到两束光,一束光通过第一光瞳函数P1(x,y)得到球面波,另一束光通过声光调制器后频率提升为ω0+Ω,经平面镜M3反射后通过第二光瞳函数P2(x,y)得到平面波,第二偏振分束器BS2将两束光波进行汇聚后在X-Y Scanner(扫描振镜)处发生干涉形成菲涅尔波带板,菲涅尔波带板再经过扫描振镜反射,对物体进行扫描,Photo-detector(光电检测器)将接收到的光信号转化成电流信号,经过调制解调后,得到三维物体的数字全息图像;
其中,光瞳函数P1(x,y)=1,光瞳函数P2(x,y)=δ(x,y),x,y为空间坐标;
步骤2.对步骤1获取的数字全息图进行等步长重建;
确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;对步骤1获取的全息图和包含轴向位置信息的点扩散函数的空间域表达式分别进行傅里叶变换后,将前者与后者的共轭相乘,最后对乘积结果进行逆傅里叶变换,得到对应位置信息的数字重建图像;
步骤3.得到的数字重建图像为复数值,取它的实数部分,用边缘灰度差异算子对重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵;
步骤4.分别计算每一个边缘亮度矩阵的边缘灰度差异函数值;在物体的轴向范围内,每一个位置信息对应一个边缘灰度差异函数值,函数值最大的位置,即为物体的聚焦位置。
步骤2中等步长重建的具体过程如下:
步骤2-1.确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;
步骤2-2.将步骤1得到的数字全息图像g(x,y)进行傅里叶变换后,分别与对应重建距离的点扩散函数的空间域表达式h(x,y;zi)的傅里叶变换的共轭相乘,最后经过逆傅里叶变换,即可得到相应的重建图像:
I(x,y;zi)=F-1{F{g(x,y)}×F*{h(x,y;zi)}}
其中,zi为物体的轴向位置信息,x,y表示空间坐标,上标*表示共轭,F和F-1分别表示傅里叶变换和傅里叶逆变换,g(x,y)为步骤1所获得的全息图像,λ表示激光波长。
步骤3中计算边缘亮度矩阵的具体过程如下:
步骤3-1.定义边缘灰度差异算子:
t_x=I(x,y+1;zi)-I(x,y-1;zi)
t_y=I(x+1,y;zi)-I(x-1,y;zi)
步骤3-2.用边缘灰度差异算子对每一个重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵S。
步骤4中计算边缘灰度差异函数值的具体过程如下:
步骤4-1.定义边缘灰度差异函数:
EGD=(max(S)-min(S))N
其中,S为图像的边缘亮度矩阵,N为差异放大程度,为正整数,且N≥2;
步骤4-2.计算所有的对应轴向位置信息的边缘灰度差异函数,函数值最大的位置对应物体的聚焦位置。
本发明的有益效果是:
(1)本发明创造性的提出边缘灰度差异图像质量评价函数,这种图像评价函数对图像的边缘判断非常精确,适合用来做自聚焦的判断标准,边缘灰度差异越大,EGD函数值越大。
(2)本发明提出的基于边缘灰度差异函数的光学扫描全息自聚焦方法,相比于同类型自聚焦方法而言,有更强的适用性,除了解决简单全息图像的自聚焦问题以外,还可以实现复杂全息图像的自聚焦。
(3)本发明创造性地从图像边缘灰度差异出发,寻找灰度差异最大的图像即为聚集图像,计算过程简单,算法复杂度低。
(4)本发明可以高效的解决图像的自聚焦问题,无论物体是否重叠;本发明实用性强,适合推广。
附图说明
图1为本发明所述方法的流程图;
图2为本发明实施例中采用的基本结构图;
图3为本发明实施例1中待测的三维切片物体;
图4为本发明实施例1的自聚焦结果;
图5中(a)为本发明实施例1中第一层切片重建后的图像,(b)为本发明实施例1中第二层切片重建后的图像;
图6为本发明实施例2中待测的三维切片物体;
图7为本发明实施例2的自聚焦结果;
图8中(a)为本发明实施例2中第一层切片重建后的图像,(b)为本发明实施例2中第二层切片重建后的图像。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本实施例提供一种基于边缘灰度差异函数的光学扫描全息自聚焦方法,其流程图如图1所示,包括以下步骤:
一种基于边缘灰度差异函数的光学扫描全息自聚焦方法,包括以下步骤:
步骤1.He-Ne激光源发出一束频率为ω0的激光束,通过第一偏振分束器BS1后得到两束光,一束光通过第一光瞳函数P1(x,y)得到球面波,另一束光通过声光调制器后频率提升为ω0+Ω,经平面镜M3反射后通过第二光瞳函数P2(x,y)得到平面波,第二偏振分束器BS2将两束光波进行汇聚后在X-Y Scanner(扫描振镜)处发生干涉形成菲涅尔波带板,菲涅尔波带板再经过扫描振镜反射,对物体进行扫描,Photo-detector(光电检测器)将接收到的光信号转化成电流信号,经过调制解调后,得到三维物体的数字全息图像;
其中,光瞳函数P1(x,y)=1,光瞳函数P2(x,y)=δ(x,y),x,y为空间坐标;
步骤2.对步骤1获取的数字全息图进行等步长重建;
确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;对步骤1获取的全息图和包含轴向位置信息的点扩散函数的空间域表达式分别进行傅里叶变换后,将前者与后者的共轭相乘,最后对乘积结果进行逆傅里叶变换,得到对应位置信息的数字重建图像;
步骤2中等步长重建的具体过程如下:
步骤2-1.确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;
步骤2-2.将步骤1得到的数字全息图像g(x,y)进行傅里叶变换后,分别与对应重建距离的点扩散函数的空间域表达式h(x,y;zi)的傅里叶变换的共轭相乘,最后经过逆傅里叶变换,即可得到相应的重建图像:
I(x,y;zi)=F-1{F{g(x,y)}×F*{h(x,y;zi)}}
其中,zi为物体的轴向位置信息,x,y表示空间坐标,上标*表示共轭,F和F-1分别表示傅里叶变换和傅里叶逆变换,g(x,y)为步骤1所获得的全息图像,λ表示激光波长。
步骤3.得到的数字重建图像为复数值,取它的实数部分,用边缘灰度差异算子对重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵;
步骤3中计算边缘亮度矩阵的具体过程如下:
步骤3-1.定义边缘灰度差异算子:
t_x=I(x,y+1;zi)-I(x,y-1;zi)
t_y=I(x+1,y;zi)-I(x-1,y;zi)
步骤3-2.用边缘灰度差异算子对每一个重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵S。
步骤4.分别计算每一个边缘亮度矩阵的边缘灰度差异函数值;在物体的轴向范围内,每一个位置信息对应一个边缘灰度差异函数值,函数值最大的位置,即为物体的聚焦位置。
步骤4中计算边缘灰度差异函数值的具体过程如下:
步骤4-1.定义边缘灰度差异函数:
EGD=(max(S)-min(S))N
其中,S为图像的边缘亮度矩阵,N为差异放大程度,为正整数,且N≥2;
步骤4-2.计算所有的对应轴向位置信息的边缘灰度差异函数,函数值最大的位置对应物体的聚焦位置。
实施例1
本实施例采用的实验基本结构如图2所示,其中He-Ne激光器Laser的波长λ=632.8nm,凸透镜L1的焦距为200mm,L2的焦距为75mm,实施例的待测物体如图3所示,切片物体的横截面矩阵尺寸为300×300。实施例的重建范围为[9.5mm,11.5mm],Δτ=0.05。EGD函数中的差异放大程度值N=10。
图3为本发明实施例1中待测的三维切片物体;图4为本发明实施例1的自聚焦结果;图5中(a)为本发明实施例1中第一层切片重建后的图像,(b)为本发明实施例1中第二层切片重建后的图像。
实施例2
本实施例采用的实验基本结构如图2所示,其中He-Ne激光器Laser的波长λ=632.8nm,凸透镜L1的焦距为200mm,L2的焦距为75mm,实施例的待测物体如图6所示,切片物体的横截面矩阵尺寸为300×300。实施例的重建范围为[9.5mm,11.5mm],Δτ=0.05。EGD函数中的差异放大程度值N=10。
图6为本发明实施例2中待测的三维切片物体;图7中为本发明实施例2的自聚焦结果;图8中(a)为本发明实施例2中第一层切片重建后的图像,(b)为本发明实施例2中第二层切片重建后的图像。
由图4和图7可以看出,本发明所述方法可以准确找出切片物体的自聚焦的位置信息。

Claims (4)

1.一种基于边缘灰度差异函数的光学扫描全息自聚焦方法,其特征在于,包括以下步骤:
步骤1.He-Ne激光源发出一束频率为ω0的激光束,通过第一偏振分束器后得到两束光,一束光通过第一光瞳函数得到球面波,另一束光通过声光调制器后频率提升为ω0+Ω,经平面镜反射后通过第二光瞳函数得到平面波,第二偏振分束器将两束光波进行汇聚后在扫描振镜处发生干涉形成菲涅尔波带板,菲涅尔波带板再经过扫描振镜反射,对物体进行扫描,光电检测器将接收到的光信号转化成电流信号,经过调制解调后,得到三维物体的数字全息图像;
步骤2.对步骤1获取的数字全息图进行等步长重建;
确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;对步骤1获取的全息图和包含轴向位置信息的点扩散函数的空间域表达式分别进行傅里叶变换后,将前者与后者的共轭相乘,最后对乘积结果进行逆傅里叶变换,得到对应位置信息的数字重建图像;
步骤2中等步长重建的具体过程如下:
步骤2-1.确定三维物体的轴向范围[zmin,zmax]后,取重建步长为Δτ;
步骤2-2.将步骤1得到的数字全息图像g(x,y)进行傅里叶变换后,分别与对应重建距离的点扩散函数的空间域表达式h(x,y;zi)的傅里叶变换的共轭相乘,最后经过逆傅里叶变换,即可得到相应的重建图像:
I(x,y;zi)=F-1{F{g(x,y)}×F*{h(x,y;zi)}}
其中,zi为物体的轴向位置信息,x,y表示空间坐标,上标*表示共轭,F和F-1分别表示傅里叶变换和傅里叶逆变换,g(x,y)为步骤1所获得的全息图像,λ表示激光波长;
步骤3.取数字重建图像的实数部分,用边缘灰度差异算子对重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵;
步骤4.分别计算每一个边缘亮度矩阵的边缘灰度差异函数值;在物体的轴向范围内,每一个位置信息对应一个边缘灰度差异函数值,函数值最大的位置,即为物体的聚焦位置。
2.根据权利要求1所述的基于边缘灰度差异函数的光学扫描全息自聚焦方法,其特征在于,步骤3中计算边缘亮度矩阵的具体过程如下:
步骤3-1.定义边缘灰度差异算子:
t_x=I(x,y+1;zi)-I(x,y-1;zi)
t_y=I(x+1,y;zi)-I(x-1,y;zi)
步骤3-2.用边缘灰度差异算子对每一个重建图像的实部进行计算,得到对应轴向位置信息的边缘亮度矩阵S。
3.根据权利要求2所述的基于边缘灰度差异函数的光学扫描全息自聚焦方法,其特征在于,步骤4中计算边缘灰度差异函数值的具体过程如下:
步骤4-1.定义边缘灰度差异函数:
EGD=(max(S)-min(S))N
其中,S为图像的边缘亮度矩阵,N为差异放大程度,为正整数,且N≥2;
步骤4-2.计算所有的对应轴向位置信息的边缘灰度差异函数,函数值最大的位置对应物体的聚焦位置。
4.根据权利要求1所述的基于边缘灰度差异函数的光学扫描全息自聚焦方法,其特征在于,第一光瞳函数P1(x,y)=1,第二光瞳函数P2(x,y)=δ(x,y)。
CN201810469022.0A 2018-05-16 2018-05-16 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法 Expired - Fee Related CN108710205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810469022.0A CN108710205B (zh) 2018-05-16 2018-05-16 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810469022.0A CN108710205B (zh) 2018-05-16 2018-05-16 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法

Publications (2)

Publication Number Publication Date
CN108710205A CN108710205A (zh) 2018-10-26
CN108710205B true CN108710205B (zh) 2019-06-21

Family

ID=63868193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810469022.0A Expired - Fee Related CN108710205B (zh) 2018-05-16 2018-05-16 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法

Country Status (1)

Country Link
CN (1) CN108710205B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200881B (zh) * 2020-08-24 2022-08-09 贵州大学 一种电机电流转化成灰度图像的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51144650A (en) * 1975-06-06 1976-12-11 Canon Inc Photo-divider
RU2392635C2 (ru) * 2008-06-04 2010-06-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ обнаружения и определения координат искомого объекта
CN105204311A (zh) * 2015-07-06 2015-12-30 电子科技大学 一种基于高斯切趾的光学扫描全息边缘检测方法
CN107966111A (zh) * 2017-11-21 2018-04-27 北京理工大学 一种用于数字全息重构过程的自动对焦方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513366B (zh) * 2009-03-18 2011-03-23 天津大学 基于ps-oct的三维可视化成像方法
JP2011056519A (ja) * 2009-09-07 2011-03-24 Osaka Univ 接合方法および接合体の製造方法
DE102013205684B3 (de) * 2013-03-28 2014-09-04 BLZ Bayerisches Laserzentrum Gemeinnützige Forschungsgesellschaft mbH Vorrichtung zur lichtbogenbasierten, laserunterstützten Bearbeitung eines Werkstücks, insbesondere zu dessen Lichtbogenschweißen oder -schneiden
US9683938B2 (en) * 2013-07-31 2017-06-20 The Regents Of The University Of California Fluorescent imaging using a flatbed scanner
CN107655405B (zh) * 2017-08-29 2020-01-24 南京理工大学 利用自聚焦迭代算法消除物体与ccd间轴向距离误差的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51144650A (en) * 1975-06-06 1976-12-11 Canon Inc Photo-divider
RU2392635C2 (ru) * 2008-06-04 2010-06-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ обнаружения и определения координат искомого объекта
CN105204311A (zh) * 2015-07-06 2015-12-30 电子科技大学 一种基于高斯切趾的光学扫描全息边缘检测方法
CN107966111A (zh) * 2017-11-21 2018-04-27 北京理工大学 一种用于数字全息重构过程的自动对焦方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
光学全息扫描系统中的自聚焦技术研究;潘慧宇;《中国优秀硕士学位论文全文数据库.信息科技辑》;20170228(第02期);第14页最后1段-第18页最后1段、第47页第1段以及第65页第1段-第73页最后1段,图2-4 *
基于综合灰度梯度法的数字全息焦平面定位研究;李光勇等;《激光与光电子学进展》;20110827;全文 *

Also Published As

Publication number Publication date
CN108710205A (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
CN106097269B (zh) 基于计算鬼成像的高分辨率微视觉系统及获取图像的方法
US10694123B2 (en) Synthetic apertures for long-range, sub-diffraction limited visible imaging using fourier ptychography
CN105116705B (zh) 多波长自适应数字全息成像系统及方法
Hu et al. Microscopic 3D measurement of shiny surfaces based on a multi-frequency phase-shifting scheme
CN111366557A (zh) 一种基于薄散射介质的相位成像方法
Jiao et al. Enhanced autofocusing in optical scanning holography based on hologram decomposition
Hai et al. Coded aperture correlation holographic microscope for single-shot quantitative phase and amplitude imaging with extended field of view
Thurman et al. Multiplexed synthetic-aperture digital holography
Ma et al. Quantitative phase imaging in digital holographic microscopy based on image inpainting using a two-stage generative adversarial network
CN105184295B (zh) 一种基于小波变换与连通域的全息扫描空间距离提取方法
Wittkopp et al. Comparative phase imaging of live cells by digital holographic microscopy and transport of intensity equation methods
Abdelsalam et al. Coherent noise suppression in digital holography based on flat fielding with apodized apertures
Tang et al. Autofocusing and image fusion for multi-focus plankton imaging by digital holographic microscopy
CN108710205B (zh) 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法
Altamar-Mercado et al. Robust 3D surface recovery by applying a focus criterion in white light scanning interference microscopy
CN113393472B (zh) 基于数字全息显微成像的划区复合相位解包裹方法
Kim et al. Phase Differences Averaging (PDA) Method for Reducing the Phase Error in Digital Holographic Microscopy (DHM)
Chen et al. Enhancing speckle statistics for imaging inside scattering media
CN117053716A (zh) 一种圆形孔径干涉图轮廓参数自动检测方法
CN108153132B (zh) 一种基于均值梯度函数的光学扫描全息自聚焦方法
CN107835074B (zh) 一种消除随机加密光学扫描全息离焦噪声的方法
Zhang et al. Deep-learning-enhanced digital holographic autofocus imaging
CN115131201A (zh) 基于叠层重建的远场漫反射合成孔径超分辨成像方法
CN114324359A (zh) 物体双端面离面变形梯度分布同步测量系统
Neuner III et al. Digital adaptive optics with interferometric homodyne encoding for mitigating atmospheric turbulence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190621

CF01 Termination of patent right due to non-payment of annual fee