CN110658570A - 一种基于液体变焦透镜的显微镜系统及其显微成像方法 - Google Patents

一种基于液体变焦透镜的显微镜系统及其显微成像方法 Download PDF

Info

Publication number
CN110658570A
CN110658570A CN201910987197.5A CN201910987197A CN110658570A CN 110658570 A CN110658570 A CN 110658570A CN 201910987197 A CN201910987197 A CN 201910987197A CN 110658570 A CN110658570 A CN 110658570A
Authority
CN
China
Prior art keywords
lens
zoom lens
liquid zoom
sample
focal plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910987197.5A
Other languages
English (en)
Inventor
张红霞
李东阳
宋晓敏
靳庆文
贾大功
刘铁根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910987197.5A priority Critical patent/CN110658570A/zh
Publication of CN110658570A publication Critical patent/CN110658570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Abstract

本发明公开了一种基于液体变焦透镜的显微镜系统及其显微成像方法,该系统包括照明光路、图像获取光路、液体变焦透镜43和样品平台30;其中,所述照明光路由激光器10,显微物镜11、针孔滤波器12和准直透镜13以及图像获取光路组成;所述图像获取光路由第一至第四透镜40、41、42、44、液体变焦透镜43和CCD相机45组成。该显微成像方法包括:步骤1、对显微镜系统进行标定;步骤2、将样品置于样品平台;步骤3、开启激光器;步骤4:以固定步长改变液体变焦透镜的驱动电流;步骤5、进行图像融合与处理。与现有技术相比,本发明在不需要对样品或整个图像获取光路进行机械移动的情况下,实现了对样品不同平面上的成像。

Description

一种基于液体变焦透镜的显微镜系统及其显微成像方法
技术领域
本发明涉及显微成像技术领域,具体涉及一种基于液体变焦透镜的显微成像方法和显微镜。
背景技术
由于显微镜的景深有限,在只能在很小的轴向范围内对样品成清晰像,因此传统的显微镜无法通过单次成像获得样品的整体结构。通常,显微镜是通过沿轴向机械移动样品或显微镜来获得多幅二维图像,再以图像融合的方式将多幅二维图像融合构成样品的整体结构。但是机械移动样品可能会损坏样品或由于样品振动导致图像失真;同时机械移动速度有限,会限制成像速度。目前的可变焦显微镜,大多通过对显微镜镜体进行整体移动来实现,然而机械移动显微镜,由于显微镜重量较大,可能存在变焦速度慢、精度低等问题。
传统的变焦透镜通常由多片透镜组成,通过电机驱动透镜机械移动,改变透镜的相对位置,改变透镜组的整体焦距。这种变焦透镜体积大、结构复杂、变焦范围小,同时由于采用机械驱动,变焦响应速度慢、存在机械磨损。
近年来,一种模仿人眼变焦原理的液体变焦透镜被开发出来。液体变焦透镜可以由电、热、PH等方式驱动,避免了机械运动带来的缺陷,具有变焦范围大、响应速度快、避免机械磨损等优势。将液体变焦透镜用于显微镜,可以满足显微镜对器件体积小、变焦范围大和响应速度快的需求,同时也可以避免对样品或显微镜整体的机械移动,可以较好的满足对如生物活细胞等样品的观察需求。
发明内容
本发明旨在提出一种基于液体变焦透镜的显微镜系统及其显微成像方法,引入液体变焦透镜作为改变系统光学特性的元件,但是并不改变系统焦距和放大倍率等特性,通过改变透镜驱动电流,改变液体变焦透镜焦距,改变物平面位置和能够清晰成像的景深范围。
本发明的一种液体变焦透镜,所述液体变焦透镜的结构从上至下为玻璃1、液体2、透明弹性薄膜3和玻璃1;周围设置有环形电磁驱动器,通过改变电磁驱动器的电流对透明弹性薄膜3施压,改变薄膜形态来改变透镜焦距。
本发明的一种基于液体变焦透镜的显微镜系统,该系统包括照明光路、图像获取光路、液体变焦透镜43和样品平台30;其中,所述照明光路由激光器10,显微物镜11、针孔滤波器12和准直透镜13以及图像获取光路组成;所述图像获取光路由第一至第四透镜40、41、42、44、液体变焦透镜43和CCD相机45组成;
所述照明光路入射至第一二平面反射镜20,经反射的光线到达所述图像获取光路;所述样品平台30置于第一透镜40的前焦平面附近,第一透镜40的后焦平面与第二透镜41的前焦平面重合,第二透镜41的后焦平面与第三透镜42的前焦平面重合,第三透镜42的后焦平面与第四透镜44的前焦平面重合,变焦透镜43置于第二透镜42的后焦平面与第四透镜44的前焦平面重合处,CCD相机45置于第四透镜44的后焦平面处;
当液体变焦透镜43的驱动电流为0时,第一透镜40的前焦平面与CCD相机45共轭;当液体变焦透镜43的驱动电流逐渐增大时,与CCD相机45的共轭平面逐渐偏离第一透镜40的焦平面,放大倍率保持不变;所述液体变焦透镜43的放大倍率表达式如下:
Figure BDA0002237065230000021
其中,f1'表示第一透镜40的焦距,f2'表示第二透镜41的焦距,f3'表示第三透镜42的焦距,f4'表示第四透镜44的焦距。
本发明的一种基于液体变焦透镜的显微镜系统的显微成像方法,该显微成像方法包括以下步骤:
步骤1、对显微镜系统进行标定,即:使用已知图像的掩膜板作为样品,在驱动电流下沿轴向运动并成像,使用空间域Tenegrad函数来对图像的清晰度进行判断,并确定图像的离焦/聚焦情况;空间域Tenegrad函数公式为:
Figure BDA0002237065230000031
其中,Gx和Gy分别表示原图像A与Sobel算子的卷积结果,计算公式如下:
Figure BDA0002237065230000032
步骤2、将样品置于样品平台;
步骤3、开启激光器;
步骤4:以固定步长改变液体变焦透镜的驱动电流;通过连续改变液体变焦透镜的驱动电流,对样品的轴向不同位置进行多次成像,在CCD相机上获得不同有效景深处的图像;
步骤5、进行图像融合与处理,即:对不同景深范围内所成像进行图像融合,融合后图像得到包含样品的整体结构信息,实现了对样品轴向不同区域的成像。
与现有技术相比,本发明的技术方案所带来的有益效果是:
在不需要对样品或整个图像获取光路进行机械移动的情况下,实现了对样品不同平面上的成像;同时,液体变焦透镜的高响应速度可以快速获得样品的多幅图像;使所得不同位置的图像可以直接融合而不必根据位置调整大小;避免了样品移动损坏或震动导致伪影的问题,同时避免了机械移动的过程对成像速度的限制,加快了成像速度。
附图说明
图1是本发明的一种基于液体变焦透镜的显微镜系统光路图;
图2是样品成像流程图;
图3是液体变焦透镜结构示意图;
图4是图像获取光路的景深示意图;
图5是液体变焦透镜的焦距改变后共轭平面位置变化的示意图。
附图标记:
1、玻璃,2、液体,3、透明弹性薄膜,10、激光器,11、显微物镜,12、针孔滤波器,13、准直透镜,20、21、第一、第二平面反射镜,30、样品平台,40、41、42、44、第一至第四透镜,43、液体变焦透镜,45、CCD相机,50、变焦透镜控制装置。
具体实施方式
下面结合附图和实施例对本发明技术方案进行详细描述。
本发明引入液体变焦透镜作为改变系统光学特性的元件,但是并不改变系统焦距和放大倍率等特性,通过改变透镜驱动电流,改变液体变焦透镜焦距,改变物平面位置和能够清晰成像的景深范围。
如图1所示,为本发明的一种基于液体变焦透镜的显微镜光路图,包括照明光路、图像获取光路、液体变焦透镜43和样品平台。其中,照明光路由激光器10,显微物镜11、针孔滤波器12和准直透镜13以及图像获取光路组成。所述图像获取光路是一个无焦成像系统,改变其中液体变焦透镜的焦距时,系统仍是无焦系统,且放大倍率不变,只是与像平面共轭的物平面发生变化,由第一至第四透镜40、41、42、44、液体变焦透镜43和CCD相机45组成。
照明光路入射至第一二平面反射镜20,经反射的光线到达图像获取光路。样品平台30置于第一透镜40的前焦平面附近,第一透镜40的后焦平面与第二透镜41的前焦平面重合,第二透镜41的后焦平面与第三透镜42的前焦平面重合,第三透镜42的后焦平面与第四透镜44的前焦平面重合,变焦透镜43置于第二透镜42的后焦平面与第四透镜44的前焦平面重合处,CCD相机45置于第四透镜44的后焦平面处。
当液体变焦透镜43的驱动电流为0时,第一透镜40的前焦平面与CCD相机45共轭;当液体变焦透镜43的驱动电流逐渐增大时,与CCD相机45的共轭平面逐渐偏离第一透镜40的前焦平面,但是放大倍率保持不变。共轭平面的偏离导致景深范围随之变化,可以通过实验标定建立液体变焦透镜驱动电流和景深范围之间的关系。
液体变焦透镜43放大倍率由下式确定:
Figure BDA0002237065230000051
其中,f1'表示第一透镜40的焦距,f2'表示第二透镜41的焦距,f3'表示第三透镜42的焦距,f4'表示第四透镜44的焦距。公式也表明放大倍率与液体变焦透镜43焦距无关。
如图2所示,为样品成像流程图,具体包括以下步骤:
步骤1、对显微镜系统进行标定:
物平面及景深范围的变化通过对已知形状掩膜板成像来进行标定,标定方法为对连续移动的掩膜板进行成像,图像会呈现模糊到清晰再到模糊的变化,对所得图像梯度运算,对掩膜板是否在景深范围内做出判断,以此确定不同驱动电流下的系统景深范围,即液体透镜驱动电流与物平面及景深范围呈一一对应关系。具体标定处理包括:使用已知图像的掩膜板作为样品,在某驱动电流下沿轴向运动并成像,使用空间域Tenegrad函数来对图像的清晰度进行判断,并确定图像的离焦/聚焦情况。空间域Tenegrad函数公式为:
其中,Gx和Gy分别表示原图像(设为A)与Sobel算子的卷积结果,计算公式如下:
Figure BDA0002237065230000062
步骤2、将样品置于样品平台;
步骤3、开启激光器;
步骤4:以固定步长改变液体变焦透镜的驱动电流;
物平面及景深范围变化的过程中,只改变液体变焦透镜的驱动电流,不对样品或显微镜镜体进行机械移动,通过连续改变液体变焦透镜的驱动电流,对样品的轴向不同位置进行多次成像,在CCD相机上获得不同有效景深处的图像;
步骤5、进行图像融合与处理,即:对不同景深范围内所成像进行图像融合,融合后图像可以得到包含样品的整体结构信息,实现了非机械移动的前提下对样品轴向不同区域的成像。
如图3所示,为液体变焦透镜结构示意图。从上往下为玻璃1、液体2、透明弹性薄膜3和玻璃1。周围设置有环形电磁驱动器,通过改变电磁驱动器的电流对透明弹性薄膜3施压,改变薄膜形态来改变透镜焦距。选用这一变焦透镜的原因是基于薄膜形变的液体变焦透镜响应速度快,可以达到10ms左右。
如图4所示,为图像获取光路的原有景深范围,景深由远景景深D1和近景景深D2组成,因此总景深范围D=D1+D2。其计算公式为
Figure BDA0002237065230000063
其中,p表示沿轴方向上物平面到入射光瞳的距离,ε表示极限分辨角,a表示有效通光孔半径,由于设计中以液体变焦透镜为孔径光阑,因此a为液体变焦透镜的有效通光孔半径。
如图5所示,为液体变焦透镜的焦距改变后共轭位置变化的示意图。共轭位置变化距离Δ的计算公式如下:
Figure BDA0002237065230000071
其中,fT'表示液体变焦透镜的焦距。
根据液体变焦透镜焦距与驱动电流的关系,可以在驱动电流和物平面位置之间建立某种函数关系,作为景深范围标定结果的参考。
以下列数据为具体实施例进行说明,假设f1'=30mm,f2'=80mm,f3'=50mm,f4'=130mm,fT'随着电压升高,焦距变化范围为-1000mm到无穷大再到正180mm,有效孔径2a=10mm,沿轴方向上物平面到入射光瞳的距离p=420mm。
由上述公式计算所得系统放大倍率M=6.93,共轭位置的变化距离Δ=2.28mm,景深D=0.67mm。由梯度计算得到,不用电流驱动变焦透镜时系统景深范围为0.7mm,使用电流驱动变焦透镜后系统景深可调范围为3.3mm,在不移动样品的情况下,能够清晰成像的范围扩大2.6mm。

Claims (3)

1.一种液体变焦透镜,其特征在于,所述液体变焦透镜的结构从上至下为玻璃(1)、液体(2)、透明弹性薄膜(3)和玻璃(1);周围设置有环形电磁驱动器,通过改变电磁驱动器的电流对透明弹性薄膜(3)施压,改变薄膜形态来改变透镜焦距。
2.一种基于液体变焦透镜的显微镜系统,其特征在于,该系统包括照明光路、图像获取光路、液体变焦透镜(43)和样品平台(30);其中,所述照明光路由激光器(10),显微物镜(11)、针孔滤波器(12)和准直透镜(13)以及图像获取光路组成;所述图像获取光路由第一至第四透镜(40)(41)(42)(44)、液体变焦透镜(43)和CCD相机(45)组成;
所述照明光路入射至第一二平面反射镜(20),经反射的光线到达所述图像获取光路;所述样品平台(30)置于第一透镜(40)的前焦平面附近,第一透镜(40)的后焦平面与第二透镜(41)的前焦平面重合,第二透镜(41)的后焦平面与第三透镜(42)的前焦平面重合,第三透镜(42)的后焦平面与第四透镜(44)的前焦平面重合,变焦透镜(43)置于第二透镜(42)的后焦平面与第四透镜(44)的前焦平面重合处,CCD相机(45)置于第四透镜(44)的后焦平面处;
当液体变焦透镜(43)的驱动电流为0时,第一透镜(40)的前焦平面与CCD相机(45)共轭;当液体变焦透镜(43)的驱动电流逐渐增大时,与CCD相机(45)的共轭平面逐渐偏离第一透镜(40)的焦平面,放大倍率保持不变;所述液体变焦透镜(43)的放大倍率表达式如下:
Figure FDA0002237065220000011
其中,f1'表示第一透镜(40)的焦距,f2'表示第二透镜(41)的焦距,f3'表示第三透镜(42)的焦距,f4'表示第四透镜(44)的焦距。
3.一种基于液体变焦透镜的显微镜系统的显微成像方法,其特征在于,该显微成像方法包括以下步骤:
步骤1、对显微镜系统进行标定,即:使用已知图像的掩膜板作为样品,在驱动电流下沿轴向运动并成像,使用空间域Tenegrad函数来对图像的清晰度进行判断,并确定图像的离焦/聚焦情况;空间域Tenegrad函数公式为:
Figure FDA0002237065220000021
其中,Gx和Gy分别表示原图像A与Sobel算子的卷积结果,计算公式如下:
Figure FDA0002237065220000022
步骤2、将样品置于样品平台;
步骤3、开启激光器;
步骤4:以固定步长改变液体变焦透镜的驱动电流;通过连续改变液体变焦透镜的驱动电流,对样品的轴向不同位置进行多次成像,在CCD相机上获得不同有效景深处的图像;
步骤5、进行图像融合与处理,即:对不同景深范围内所成像进行图像融合,融合后图像得到包含样品的整体结构信息,实现了对样品轴向不同区域的成像。
CN201910987197.5A 2019-10-17 2019-10-17 一种基于液体变焦透镜的显微镜系统及其显微成像方法 Pending CN110658570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910987197.5A CN110658570A (zh) 2019-10-17 2019-10-17 一种基于液体变焦透镜的显微镜系统及其显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910987197.5A CN110658570A (zh) 2019-10-17 2019-10-17 一种基于液体变焦透镜的显微镜系统及其显微成像方法

Publications (1)

Publication Number Publication Date
CN110658570A true CN110658570A (zh) 2020-01-07

Family

ID=69041031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987197.5A Pending CN110658570A (zh) 2019-10-17 2019-10-17 一种基于液体变焦透镜的显微镜系统及其显微成像方法

Country Status (1)

Country Link
CN (1) CN110658570A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112666696A (zh) * 2021-01-18 2021-04-16 郑州轻工业大学 焦点扫描方法、焦点扫描装置和共焦显微镜
CN113391295A (zh) * 2021-06-29 2021-09-14 昂纳信息技术(深圳)有限公司 一种激光雷达扫描系统和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103487927A (zh) * 2013-10-16 2014-01-01 北京航空航天大学 一种显微镜自动调焦方法
CN103529543A (zh) * 2013-10-16 2014-01-22 北京航空航天大学 一种显微镜自动调焦方法
CN203643473U (zh) * 2013-10-28 2014-06-11 天津大学 具有二维扫描功能的原子力显微镜测头
CN206114931U (zh) * 2016-09-28 2017-04-19 张岩 一种可变焦的透镜
CN107121065A (zh) * 2017-05-04 2017-09-01 北京理工大学深圳研究院 一种便携式相位定量检测装置
CN108918465A (zh) * 2018-06-11 2018-11-30 中国科学院苏州纳米技术与纳米仿生研究所 光学三维成像系统及光学三维成像方法
CN109387952A (zh) * 2018-11-07 2019-02-26 北京五环伟业科技有限公司 一种透镜系统
CN109477981A (zh) * 2016-07-08 2019-03-15 拉克拉里公司 具有动态聚焦控制的眼科透镜
CN209014753U (zh) * 2018-06-29 2019-06-21 潍坊歌尔电子有限公司 可变焦透镜及vr设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103487927A (zh) * 2013-10-16 2014-01-01 北京航空航天大学 一种显微镜自动调焦方法
CN103529543A (zh) * 2013-10-16 2014-01-22 北京航空航天大学 一种显微镜自动调焦方法
CN203643473U (zh) * 2013-10-28 2014-06-11 天津大学 具有二维扫描功能的原子力显微镜测头
CN109477981A (zh) * 2016-07-08 2019-03-15 拉克拉里公司 具有动态聚焦控制的眼科透镜
CN206114931U (zh) * 2016-09-28 2017-04-19 张岩 一种可变焦的透镜
CN107121065A (zh) * 2017-05-04 2017-09-01 北京理工大学深圳研究院 一种便携式相位定量检测装置
CN108918465A (zh) * 2018-06-11 2018-11-30 中国科学院苏州纳米技术与纳米仿生研究所 光学三维成像系统及光学三维成像方法
CN209014753U (zh) * 2018-06-29 2019-06-21 潍坊歌尔电子有限公司 可变焦透镜及vr设备
CN109387952A (zh) * 2018-11-07 2019-02-26 北京五环伟业科技有限公司 一种透镜系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡涛等: "显微视觉系统中自动调焦评价函数的选取", 《半导体光电》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112666696A (zh) * 2021-01-18 2021-04-16 郑州轻工业大学 焦点扫描方法、焦点扫描装置和共焦显微镜
CN113391295A (zh) * 2021-06-29 2021-09-14 昂纳信息技术(深圳)有限公司 一种激光雷达扫描系统和装置
CN113391295B (zh) * 2021-06-29 2024-02-27 昂纳科技(深圳)集团股份有限公司 一种激光雷达扫描系统和装置

Similar Documents

Publication Publication Date Title
US10330906B2 (en) Imaging assemblies with rapid sample auto-focusing
JP4564850B2 (ja) 可変流体メニスカス構造の形成装置
JP6498188B2 (ja) 調整可能なレンズ装置
US7463342B2 (en) Optical tracking device using micromirror array lenses
US7944609B2 (en) 3-D optical microscope
US7723662B2 (en) Microscopy arrangements and approaches
CN108885328B (zh) 观察光学系统、观察摄像装置、观察摄像系统、成像透镜系统及观察光学系统的调整方法
JP2019514038A (ja) 光学デバイス、具体的には特に自動焦点調節、画像安定化、および超解像を含むカメラ
JP2007518130A (ja) ズーム光学装置
JP2007256956A (ja) 可変焦点距離定倍率レンズアセンブリを備えた撮像装置、およびこの撮像装置を用いた撮像方法
EP2041612A2 (en) Method and system for correcting optical aberrations, including widefield imaging applications
WO2007024709A2 (en) Cellular phone camera with three-dimensional imaging function
EP2333602B1 (en) Spherical aberration correction for non-descanned applications
US7869139B2 (en) Modular afocal variator optical system providing focus with constant magnification
Liu et al. Continuous optical zoom microscope with extended depth of field and 3D reconstruction
CN108254853B (zh) 一种显微成像系统及其实时对焦方法
US20170363864A1 (en) Dynamic Microscope with Combined Optical Focus and Aberrational Correction
CN110658570A (zh) 一种基于液体变焦透镜的显微镜系统及其显微成像方法
Oku et al. High-speed liquid lens for computer vision
WO2007085658A1 (en) Lens arrangement for a variable focus optical device
US20100060991A1 (en) Electrically-Controlled, Variable Focal Length Liquid-Based Optical Imaging Apparatus and Method
JPH0588004A (ja) 焦点可変レンズ及びその焦点制御装置
CN114967093B (zh) 一种基于显微高光谱成像平台的自动对焦方法及系统
CN113176662A (zh) 一种显微成像装置
KR101608404B1 (ko) 입체 이미지를 촬영하기 위한 단안식 현미경

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107

RJ01 Rejection of invention patent application after publication