CN110095856A - 同步正交激光图像重建超分辨率显微镜 - Google Patents

同步正交激光图像重建超分辨率显微镜 Download PDF

Info

Publication number
CN110095856A
CN110095856A CN201810090201.3A CN201810090201A CN110095856A CN 110095856 A CN110095856 A CN 110095856A CN 201810090201 A CN201810090201 A CN 201810090201A CN 110095856 A CN110095856 A CN 110095856A
Authority
CN
China
Prior art keywords
image
polarization
laser
light
optically
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810090201.3A
Other languages
English (en)
Other versions
CN110095856B (zh
Inventor
顾士平
顾海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810090201.3A priority Critical patent/CN110095856B/zh
Priority to PCT/CN2018/075008 priority patent/WO2019148439A1/zh
Publication of CN110095856A publication Critical patent/CN110095856A/zh
Priority to US16/730,990 priority patent/US20200142169A1/en
Application granted granted Critical
Publication of CN110095856B publication Critical patent/CN110095856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0068Optical details of the image generation arrangements using polarisation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0092Polarisation microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及同步正交激光图像重建超分辨率显微镜。同步正交激光图像重建超分辨率显微镜;同步多幅偏振光图像重构;球差校正;动态旋转偏振光图像的获得;正交偏振图像成像处理;任意角度偏振光图像组的图像重构;旋转偏振光的产生。克服光波的衍射斑点对光学显微镜分辨率的影响,突破阿贝极限,颠覆现有的光的衍射极限无法突破的观点;为相关的研究提供另外一条路径,大大提高光学显微镜的分辨率;本显微镜的分辨率极限为光子直径,现在还不知道光子的直径,但肯定小于10-15米,由于光子无静止质量,测不准原理对光子成像精度影响更小,会有更高的精度。

Description

同步正交激光图像重建超分辨率显微镜
技术领域
本发明涉及同步正交激光图像重建超分辨率显微镜,特别涉及一种利用旋转偏振光装置的旋转偏振激光图像重建显微镜。
背景技术
现有的光学显微镜:由于光学显微镜由于光的衍射极限,最小显示分辨尺寸为0.2微米,分辨率太低,对纳米尺寸的样品无法使用;对原子尺度的更是无法成像;荧光显微镜虽然分辨率有所提高,但分辨率提高不多,且需要荧光样品才能成像,使用范围有限。
透射电子显微镜:带球差校正的分辨尺寸为0.74埃,再提高需要提高加速电压容易损坏样片,另外受测不准原理的影响,几乎是透射电子显微镜的显示极限,且透射式电子显微镜需要高电压,设备复杂,造价高,电子能量大,对样品的测量参数有影响,高能量的电子对样品有损坏,而且很多样品不能进行原位测量,如生物活的样品。另外还有扫描电子显微镜,原子隧道显微镜,原子力显微镜等提高分辨率的潜力有限。
发明内容
要解决的问题:解决现有光学显微镜的衍射造成的图像分辨率低的问题。
技术方案:同步正交激光图像重构:交替利用同步水平偏振激光和垂直偏振激光透过样品;当同步水平偏振激光透过多级透镜组放大形成放大实像,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像1;接着同步垂直的偏振激光透过样品,经过多级透镜组放大,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像2;放大实像1与放大实像2图像相关性处理,相关性越强图像点灰度越大,相关性越弱图像的灰度越小,再经过图像滤波重构为新的超分辨率显微图像;水平的偏振激光与垂直的偏振激光交替循环透过样品,经过图像重构即可得到样品的动态超分辨率图像;
同步多幅偏振光图像重构:同步偏振激光,每转动一个角度(转动角度可设置,转动一圈可形成360/转动角度幅图像),形成一幅透射的图像,将偏振光旋转一圈图像,形成一组(360/转动角度)幅偏振光图像,将一组偏振光图像通过计算机进行图像相关性处理,根据相关性强弱形成灰度图像,图像滤波,图像重建形成超分辨率显微图像;循环旋转偏振光并处理即得到动态样品的超分辨率图像;
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的透镜放大图像进行球差校正,从而形成更高超分辨率显微图像;
动态旋转偏振光图像的获得:同步正交激光图像重建超分辨率显微镜光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过旋光部件,对通过的偏振激光进行偏转,使之分时形成旋转偏振激光,分时透过样品形成的图像经计算机重构形成新的超分辨率图像;或同步正交激光图像重建超分辨率显微镜光源由激光器产生激光,由偏振光滤波器进行偏振光滤波,从而分时得到正交偏振激光,分时通过样品形成的图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机处理、存储、显示;或图像通过晶体感光板感应发光,再经过光学透镜放大,再形成分辨率更高的图像;
任意角度偏振光图像组的图像重构:偏振光板2(105)可采用旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致;
系统组成:激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振激光和垂直偏振激光;
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光。
激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
激光光源(101)采用半导体激光器,或气体激光器,或固体激光器;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振光和垂直偏振光;
偏振光板1或旋光部件(102)采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
多级光学透镜组(103)采用透镜组对物像进行放大;
球差校正部件(104)对透镜组对物像进行放大的像进行球差校正;(因为光源为激光,波长、相位是相同的,无需进行色差校正);
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的放大图像进行球差校正,从而形成更高超分辨率显微图像;
偏振光板2(105)对多级光学透镜组(103),球差校正部件(104)透射的像进行滤波,滤除掉其它反射的光,使图像更清晰;偏振光板2(105)可采用采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;或偏振光板2(105)也可以不使用;
光屏或CCD或CMOS或晶体感光板(106),可采用光屏直接成像;或CCD图像耦合器件得到的图像信息经计算机处理、存储、显示;或CMOS图像传感器得到的图像信息经计算机处理、存储、显示;或晶体感光板感应发光再透过光学部件放大成像;
CCD图像耦合器件,或CMOS图像传感器得到的图像传送给计算机(107)进行处理、成像、存储、打印。
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光;
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用偏振光片,为一个偏振光圆片,利用电动机旋转轴固定偏振光圆片的圆心,电动机带动偏振光圆片旋转,激光光源(202)固定于偏振片圆心外的偏振光圆片,激光光线垂直入射到偏振光圆片上,电动机(201),电动机转轴(204),偏振光圆片(203),激光源(202),激光光线(205),激光光线(206),标志点(207),发光管(208),光电探测器(209);电动机转轴(204)带动偏振光圆片(203)旋转;由发光管(208)光线、标志点(207),光电探测器(209)探测偏振光圆片(203)的旋转位置状态(现有技术);激光源(202)发出的激光光线(205),透过偏振光圆片(203),偏振光圆片(203)滤波形成偏振激光光线(206);
当水平和垂直两个时刻的激光光线(205)透过样片,透过多级光学透镜组(103),球差校正部件(104),在光屏或CCD或CMOS或晶体感光板(106)形成的放大实像,计算机处理水平偏振的放大实像1和垂直偏振的放大实像2两个时刻的图像,或放大实像1与放大实像2图像相关性处理、图像重构、图像滤波形成新的超分辨率显微图像。
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控液晶偏振光模块(302),利用控制端电平控制电控液晶偏振光模块透过的激光偏振方向;
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控晶体偏振光模块(402),利用控制端电平控制电控晶体偏振光模块透过的激光偏振方向;
偏振光板1或旋光部件(102)中电控旋光部件,电控旋光部件将激光光源(501)按照控制旋光模块(502),利用控制端电平控制电控旋光偏振光模块透过的激光偏振方向;
偏振光板2(105)可采用与偏振光板1同轴的电动机旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致。
光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过电控旋光模块(502),使之分时形成正交激光;分时透过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
或光源由激光器产生激光,由偏振光圆片(203)旋转,从而分时得到正交偏振激光,分时通过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机,由计算机处理、存储、显示;或图像通过晶体感光板发光,再经过光学透镜放大,再分辨率更高的图像;
激光是横波,激光本身是相干光,相位和波长相同,当正交的两束偏振激光的透过样品时某一点时,透过多级光学透镜组(103),球差校正部件(104)后形成放大的实像,在光屏或CCD或CMOS或晶体感光板(106)成像,正交的光波同相位点是增强的,其它点是相消的本发明实际上是利用激光光波的光子波动的位点进行成像,而不是利用波动性来成像,从而形成清晰的图像,克服阿贝光学极限的限制,实现超分辨率图像成像。
同步偏振图像成像处理:同步偏振激光,每转动一个角度(可任意设置),形成一幅透射的图像,将偏振光旋转一圈的图像,通过计算机进行图像重建可形成超分辨率显微图像;
激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);
或激光光源(101)发出的激光通过偏振光板1或旋光部件(102),形成偏振光,透射到样品上,其透射的激光经过多级光学透镜组(103)形成放大的像,经过球差校正部件(104)校正,偏振光板2(105)的偏振面与偏振光板1或旋光部件(102)相同,再经过偏振光板2(105)滤波去掉其它光线,同步的光在光屏或CCD或CMOS或晶体感光板(106),形成一个偏振光图像,形成的偏振光图像光屏或CCD或CMOS或晶体感光板(106)中的CCD或CMOS图像传感器获取的偏振光图像1送计算机(107)进行处理、存储、显示;
旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,在光屏或CCD或CMOS或晶体感光板(106)形成偏振光图像2传送给计算机(107);
再旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或晶体感光板(106)形成偏振光图像3传送给计算机(107);
旋转偏振光板1或旋光部件(102)n个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或CID或晶体感光板(106)形成偏振光图像n传送给计算机(107);
旋转偏振光板1或旋光部件(102)旋转360度,形成n幅偏振光图像,利用计算机(107)进行图像重建为一幅超高分辨率的显微图像;
偏振光板1或旋光部件(102)和偏振光板2(105)偏振光线处于同步状态;或也可以不使用偏振光板2(105),即省去偏振光板2(105)。
有益效果:克服光波的衍射斑点对光学显微镜分辨率的影响,特破阿贝极限,颠覆现有的光的衍射极限无法特破的观点;为相关的研究提供另外一条路径,大大提高光学显微镜的分辨率;本显微镜的分辨率极限为光子直径,现在还不知道光子的直径,但肯定小于10-15米,由于光子无静止质量,测不准原理对光子成像精度影响更小,其显微镜将会有更高的分辨率。
附图说明
图1 同步正交激光图像重建超分辨率显微镜组成框图。
图2 偏振激光形成原理框图。
图3 电控液晶偏振光控制框图。
图4 电控晶体偏振光控制框图。
图5 电控旋光偏振光控制框图。
具体实施方式
[具体实施方式
下面结合附图对本发明的实施方式进行详细描述。
优选实例1:
同步正交激光图像重构:交替利用同步水平偏振激光和垂直偏振激光透过样品;当同步水平偏振激光透过多级透镜组放大形成放大实像,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像1;接着同步垂直的偏振激光透过样品,经过多级透镜组放大,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像2;放大实像1与放大实像2图像相关性处理,相关性越强图像点灰度越大,相关性越弱图像的灰度越小,再经过图像滤波重构为新的超分辨率显微图像;水平的偏振激光与垂直的偏振激光交替循环透过样品,经过图像重构即可得到样品的动态超分辨率图像;
同步多幅偏振光图像重构:同步偏振激光,每转动一个角度(转动角度可设置,转动一圈可形成360/转动角度幅图像),形成一幅透射的图像,将偏振光旋转一圈图像,形成一组(360/转动角度)幅偏振光图像,将一组偏振光图像通过计算机进行图像相关性处理,根据相关性强弱形成灰度图像,图像滤波,图像重建形成超分辨率显微图像;循环旋转偏振光并处理即得到动态样品的超分辨率图像;
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的透镜放大图像进行球差校正,从而形成更高超分辨率显微图像;
动态旋转偏振光图像的获得:同步正交激光图像重建超分辨率显微镜光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过旋光部件,对通过的偏振激光进行偏转,使之分时形成旋转偏振激光,分时透过样品形成的图像经计算机重构形成新的超分辨率图像;或同步正交激光图像重建超分辨率显微镜光源由激光器产生激光,由偏振光滤波器进行偏振光滤波,从而分时得到正交偏振激光,分时通过样品形成的图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机处理、存储、显示;或图像通过晶体感光板感应发光,再经过光学透镜放大,再形成分辨率更高的图像;
任意角度偏振光图像组的图像重构:偏振光板2(105)可采用旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致;
系统组成:如图1所示,激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振激光和垂直偏振激光;
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光。
优选实例2:
如图1所示,激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
激光光源(101)采用半导体激光器,或气体激光器,或固体激光器;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振光和垂直偏振光;
偏振光板1或旋光部件(102)采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
多级光学透镜组(103)采用透镜组对物像进行放大;
球差校正部件(104)对透镜组对物像进行放大的像进行球差校正;(因为光源为激光,波长、相位是相同的,无需进行色差校正);
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的放大图像进行球差校正,从而形成更高超分辨率显微图像;
偏振光板2(105)对多级光学透镜组(103),球差校正部件(104)透射的像进行滤波,滤除掉其它反射的光,使图像更清晰;偏振光板2(105)可采用采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;或偏振光板2(105)也可以不使用;
光屏或CCD或CMOS或晶体感光板(106),可采用光屏直接成像;或CCD图像耦合器件得到的图像信息经计算机处理、存储、显示;或CMOS图像传感器得到的图像信息经计算机处理、存储、显示;或晶体感光板感应发光再透过光学部件放大成像;
CCD图像耦合器件,或CMOS图像传感器得到的图像传送给计算机(107)进行处理、成像、存储、打印。
优选实例3:
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光;
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用偏振光片,为一个偏振光圆片,利用电动机旋转轴固定偏振光圆片的圆心,电动机带动偏振光圆片旋转,如图2所示,激光光源(202)固定于偏振片圆心外的偏振光圆片,激光光线垂直入射到偏振光圆片上,电动机(201),电动机转轴(204),偏振光圆片(203),激光源(202),激光光线(205),激光光线(206),标志点(207),发光管(208),光电探测器(209);电动机转轴(204)带动偏振光圆片(203)旋转;由发光管(208)光线、标志点(207),光电探测器(209)探测偏振光圆片(203)的旋转位置状态(现有技术);激光源(202)发出的激光光线(205),透过偏振光圆片(203),偏振光圆片(203)滤波形成偏振激光光线(206);
当水平和垂直两个时刻的激光光线(205)透过样片,透过多级光学透镜组(103),球差校正部件(104),在光屏或CCD或CMOS或晶体感光板(106)形成的放大实像,计算机处理水平偏振的放大实像1和垂直偏振的放大实像2两个时刻的图像,或放大实像1与放大实像2图像相关性处理、图像重构、图像滤波形成新的超分辨率显微图像。
优选实例4:
如图3所示,偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控液晶偏振光模块(302),利用控制端电平控制电控液晶偏振光模块透过的激光偏振方向;
或如图4所示,偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控晶体偏振光模块(402),利用控制端电平控制电控晶体偏振光模块透过的激光偏振方向;
或如图5,偏振光板1或旋光部件(102)中电控旋光部件,电控旋光部件将激光光源(501)按照控制旋光模块(502),利用控制端电平控制电控旋光偏振光模块透过的激光偏振方向;
偏振光板2(105)可采用与偏振光板1同轴的电动机旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致。
优选实例5:
光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过电控旋光模块(502),使之分时形成正交激光;分时透过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
或光源由激光器产生激光,由偏振光圆片(203)旋转,从而分时得到正交偏振激光,分时通过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机,由计算机处理、存储、显示;或图像通过晶体感光板发光,再经过光学透镜放大,再分辨率更高的图像;
激光是横波,激光本身是相干光,相位和波长相同,当正交的两束偏振激光的透过样品时某一点时,透过多级光学透镜组(103),球差校正部件(104)后形成放大的实像,在光屏或CCD或CMOS或晶体感光板(106)成像,正交的光波同相位点是增强的,其它点是相消的本发明实际上是利用激光光波的光子波动的位点进行成像,而不是利用波动性来成像,从而形成清晰的图像,克服阿贝光学极限的限制,实现超分辨率图像成像。
优选实例6:
同步偏振图像成像处理:同步偏振激光,每转动一个角度(可任意设置),形成一幅透射的图像,将偏振光旋转一圈的图像,通过计算机进行图像重建可形成超分辨率显微图像;
激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);
或激光光源(101)发出的激光通过偏振光板1或旋光部件(102),形成偏振光,透射到样品上,其透射的激光经过多级光学透镜组(103)形成放大的像,经过球差校正部件(104)校正,偏振光板2(105)的偏振面与偏振光板1或旋光部件(102)相同,再经过偏振光板2(105)滤波去掉其它光线,同步的光在光屏或CCD或CMOS或晶体感光板(106),形成一个偏振光图像,形成的偏振光图像光屏或CCD或CMOS或晶体感光板(106)中的CCD或CMOS图像传感器获取的偏振光图像1送计算机(107)进行处理、存储、显示;
旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,在光屏或CCD或CMOS或晶体感光板(106)形成偏振光图像2传送给计算机(107);
再旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或晶体感光板(106)形成偏振光图像3传送给计算机(107);
旋转偏振光板1或旋光部件(102)n个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或CID或晶体感光板(106)形成偏振光图像n传送给计算机(107);
旋转偏振光板1或旋光部件(102)旋转360度,形成n幅偏振光图像,利用计算机(107)进行图像重建为一幅超高分辨率的显微图像;
偏振光板1或旋光部件(102)和偏振光板2(105)偏振光线处于同步状态;或也可以不使用偏振光板2(105),即省去偏振光板2(105)。
虽然结合附图对本发明的实施方式进行说明,但本领域普通技术人员可以在所附权利要求的范围内作出各种变形或修改,也可以本设计中的一部分。

Claims (6)

1.同步正交激光图像重建超分辨率显微镜,其特征是:
同步正交激光图像重构:交替利用同步水平偏振激光和垂直偏振激光透过样品;当同步水平偏振激光透过多级透镜组放大形成放大实像,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像1;接着同步垂直的偏振激光透过样品,经过多级透镜组放大,经过球差校正部件对形成的图像进行球差校正,在光屏、CCD、CMOS或晶体感应板上形成放大实像2;放大实像1与放大实像2图像相关性处理,相关性越强图像点灰度越大,相关性越弱图像的灰度越小,再经过图像滤波重构为新的超分辨率显微图像;水平的偏振激光与垂直的偏振激光交替循环透过样品,经过图像重构即可得到样品的动态超分辨率图像;
同步多幅偏振光图像重构:同步偏振激光,每转动一个角度(转动角度可设置,转动一圈可形成360/转动角度幅图像),形成一幅透射的图像,将偏振光旋转一圈图像,形成一组(360/转动角度)幅偏振光图像,将一组偏振光图像通过计算机进行图像相关性处理,根据相关性强弱形成灰度图像,图像滤波,图像重建形成超分辨率显微图像;循环旋转偏振光并处理即得到动态样品的超分辨率图像;
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的透镜放大图像进行球差校正,从而形成更高超分辨率显微图像;
动态旋转偏振光图像的获得:同步正交激光图像重建超分辨率显微镜光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过旋光部件,对通过的偏振激光进行偏转,使之分时形成旋转偏振激光,分时透过样品形成的图像经计算机重构形成新的超分辨率图像;或同步正交激光图像重建超分辨率显微镜光源由激光器产生激光,由偏振光滤波器进行偏振光滤波,从而分时得到正交偏振激光,分时通过样品形成的图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机处理、存储、显示;或图像通过晶体感光板感应发光,再经过光学透镜放大,再形成分辨率更高的图像;
任意角度偏振光图像组的图像重构:偏振光板2(105)可采用旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致;
系统组成:激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振激光和垂直偏振激光;
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光。
2.根据权利要求1所述的同步正交激光图像重建超分辨率显微镜,其特征是:
系统组成:
激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);激光光源(101)产生同步激光源;
激光光源(101)采用半导体激光器,或气体激光器,或固体激光器;
或激光光源(101)设计两个相互垂直的发光面和共振腔,一组发光面产生水平的偏振激光,另外一组发光面产生垂直的偏振激光,分时控制两个发光面,从而实现分时发出水平偏振光和垂直偏振光;
偏振光板1或旋光部件(102)采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;
多级光学透镜组(103)采用透镜组对物像进行放大;
球差校正部件(104)对透镜组对物像进行放大的像进行球差校正;(因为光源为激光,波长、相位是相同的,无需进行色差校正);
球差校正:多级透镜后加上球差校正部件,对成像的球差进行校正,形成更清晰的图像;或在放大透镜组中间加上球差校正部件对每一级的放大图像进行球差校正,从而形成更高超分辨率显微图像;
偏振光板2(105)对多级光学透镜组(103),球差校正部件(104)透射的像进行滤波,滤除掉其它反射的光,使图像更清晰;偏振光板2(105)可采用采用旋转偏振光圆片,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;或偏振光板2(105)也可以不使用;
光屏或CCD或CMOS或晶体感光板(106),可采用光屏直接成像;或CCD图像耦合器件得到的图像信息经计算机处理、存储、显示;或CMOS图像传感器得到的图像信息经计算机处理、存储、显示;或晶体感光板感应发光再透过光学部件放大成像;
CCD图像耦合器件,或CMOS图像传感器得到的图像传送给计算机(107)进行处理、成像、存储、打印。
3.根据权利要求1所述的同步正交激光图像重建超分辨率显微镜,其特征是:
旋转偏振光的产生:利用旋转偏振光圆片产生同步旋转偏振光、或电控液晶偏振光模块产生同步旋转偏振光、或电控晶体偏振光模块产生同步旋转偏振光、或电控旋光模块产生同步旋转偏振光;
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用偏振光片,为一个偏振光圆片,利用电动机旋转轴固定偏振光圆片的圆心,电动机带动偏振光圆片旋转,激光光源(202)固定于偏振片圆心外的偏振光圆片,激光光线垂直入射到偏振光圆片上,电动机(201),电动机转轴(204),偏振光圆片(203),激光源(202),激光光线(205),激光光线(206),标志点(207),发光管(208),光电探测器(209);电动机转轴(204)带动偏振光圆片(203)旋转;由发光管(208)光线、标志点(207),光电探测器(209)探测偏振光圆片(203)的旋转位置状态(现有技术);激光源(202)发出的激光光线(205),透过偏振光圆片(203),偏振光圆片(203)滤波形成偏振激光光线(206);
当水平和垂直两个时刻的激光光线(205)透过样片,透过多级光学透镜组(103),球差校正部件(104),在光屏或CCD或CMOS或晶体感光板(106)形成的放大实像,计算机处理水平偏振的放大实像1和垂直偏振的放大实像2两个时刻的图像,或放大实像1与放大实像2图像相关性处理、图像重构、图像滤波形成新的超分辨率显微图像。
4.根据权利要求1所述的同步正交激光图像重建超分辨率显微镜,其特征是:
偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控液晶偏振光模块(302),利用控制端电平控制电控液晶偏振光模块透过的激光偏振方向;
或偏振光板1或旋光部件(102)中的偏振光板1,偏振光板1采用电控晶体偏振光模块(402),利用控制端电平控制电控晶体偏振光模块透过的激光偏振方向;
或偏振光板1或旋光部件(102)中电控旋光部件,电控旋光部件将激光光源(501)按照控制旋光模块(502),利用控制端电平控制电控旋光偏振光模块透过的激光偏振方向;
偏振光板2(105)可采用与偏振光板1同轴的电动机旋转偏光板,或电控液晶偏振光模块,或电控晶体偏振光模块,或电控旋光模块;控制偏振光板2(105)与偏振光板1或旋光模块(102)中的偏振光板1偏振方向一致。
5.根据权利要求1所述的同步正交激光图像重建超分辨率显微镜,其特征是:
光源由同一个激光器产生光源,通过偏振光滤波器滤波,使之成为偏振光;或通过偏振光滤波器对激光光源滤波,形成偏振光再透过电控旋光模块(502),使之分时形成正交激光;分时透过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
或光源由激光器产生激光,由偏振光圆片(203)旋转,从而分时得到正交偏振激光,分时通过样品形成的两幅图像经计算机重构形成新的超分辨率图像;
正交偏振图像成像处理:成像通过胶片曝光成像;或成像通过光屏显示;或成像通过CCD图像耦合器件获取图像信息,传送给计算机处理、存储、显示;或成像CMOS图像传感器获取图像信息,传送给计算机,由计算机处理、存储、显示;或图像通过晶体感光板发光,再经过光学透镜放大,再分辨率更高的图像;
激光是横波,激光本身是相干光,相位和波长相同,当正交的两束偏振激光的透过样品时某一点时,透过多级光学透镜组(103),球差校正部件(104)后形成放大的实像,在光屏或CCD或CMOS或晶体感光板(106)成像,正交的光波同相位点是增强的,其它点是相消的本发明实际上是利用激光光波的光子波动的位点进行成像,而不是利用波动性来成像,从而形成清晰的图像,克服阿贝光学极限的限制,实现超分辨率图像成像。
6.根据权利要求1或权利要求3所述的同步正交激光图像重建超分辨率显微镜,其特征是:
同步偏振图像成像处理:同步偏振激光,每转动一个角度(可任意设置),形成一幅透射的图像,将偏振光旋转一圈的图像,通过计算机进行图像重建可形成超分辨率显微图像;
激光光源(101),偏振光板1或旋光部件(102),多级光学透镜组(103),球差校正部件(104),偏振光板2(105),光屏或CCD或CMOS或晶体感光板(106),计算机(107);
或激光光源(101)发出的激光通过偏振光板1或旋光部件(102),形成偏振光,透射到样品上,其透射的激光经过多级光学透镜组(103)形成放大的像,经过球差校正部件(104)校正,偏振光板2(105)的偏振面与偏振光板1或旋光部件(102)相同,再经过偏振光板2(105)滤波去掉其它光线,同步的光在光屏或CCD或CMOS或晶体感光板(106),形成一个偏振光图像,形成的偏振光图像光屏或CCD或CMOS或晶体感光板(106)中的CCD或CMOS图像传感器获取的偏振光图像1送计算机(107)进行处理、存储、显示;
旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,在光屏或CCD或CMOS或晶体感光板(106)形成偏振光图像2传送给计算机(107);
再旋转偏振光板1或旋光部件(102)一个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或晶体感光板(106)形成偏振光图像3传送给计算机(107);
旋转偏振光板1或旋光部件(102)n个可设定的角度,使光线的偏振光旋转一个角度,再在光屏或CCD或CID或晶体感光板(106)形成偏振光图像n传送给计算机(107);
旋转偏振光板1或旋光部件(102)旋转360度,形成n幅偏振光图像,利用计算机(107)进行图像重建为一幅超高分辨率的显微图像;
偏振光板1或旋光部件(102)和偏振光板2(105)偏振光线处于同步状态;或也可以不使用偏振光板2(105),即省去偏振光板2(105)。
CN201810090201.3A 2018-01-30 2018-01-30 同步正交激光图像重建超分辨率显微镜 Active CN110095856B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810090201.3A CN110095856B (zh) 2018-01-30 2018-01-30 同步正交激光图像重建超分辨率显微镜
PCT/CN2018/075008 WO2019148439A1 (zh) 2018-01-30 2018-02-02 同步正交激光图像重建超分辨率显微镜
US16/730,990 US20200142169A1 (en) 2018-01-30 2019-12-30 Synchronous orthogonal laser image reconstruction super-resolution microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810090201.3A CN110095856B (zh) 2018-01-30 2018-01-30 同步正交激光图像重建超分辨率显微镜

Publications (2)

Publication Number Publication Date
CN110095856A true CN110095856A (zh) 2019-08-06
CN110095856B CN110095856B (zh) 2022-03-01

Family

ID=67441964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810090201.3A Active CN110095856B (zh) 2018-01-30 2018-01-30 同步正交激光图像重建超分辨率显微镜

Country Status (3)

Country Link
US (1) US20200142169A1 (zh)
CN (1) CN110095856B (zh)
WO (1) WO2019148439A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948830A (zh) * 2020-08-11 2020-11-17 合肥维信诺科技有限公司 屏下成像装置、屏体模组、显示装置和滤波片的制作方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115052091B (zh) * 2022-06-14 2023-05-09 北京理工大学 一种基于晶体线偏器的透射式双通道压缩成像方法及系统
CN117368173B (zh) * 2023-12-07 2024-02-27 深圳赛陆医疗科技有限公司 成像系统及成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111089A1 (en) * 1994-07-15 2005-05-26 Baer Stephen C. Superresolving microscopy apparatus
CN103926225A (zh) * 2014-03-28 2014-07-16 浙江大学 一种基于倏逝波照明的荧光发射微分显微方法及装置
CN105911682A (zh) * 2016-06-29 2016-08-31 南京航空航天大学 一种控制显微物镜聚焦光场三维偏振方向的装置和方法
CN105954862A (zh) * 2016-07-08 2016-09-21 中国计量大学 一种基于4Pi显微镜架构的显微镜头与样品锁定系统
CN106885796A (zh) * 2017-04-01 2017-06-23 北京工业大学 一种超分辨率荧光数字全息断层显微成像系统与方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4544904B2 (ja) * 2004-04-28 2010-09-15 オリンパス株式会社 光学系
CN102680741B (zh) * 2012-05-21 2014-03-19 中国科学院电工研究所 一种计量型扫描电子显微镜成像控制系统及扫描成像方法
WO2014007763A1 (en) * 2012-07-05 2014-01-09 National University Of Singapore Light microscope and method of controlling the same
EP2887132B1 (en) * 2012-08-16 2019-10-02 Citizen Watch Co., Ltd. Aberration-correcting optical unit and laser microscope
CN107167929B (zh) * 2017-06-12 2019-06-25 华南师范大学 基于dmd的双模式光学超分辨显微成像装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111089A1 (en) * 1994-07-15 2005-05-26 Baer Stephen C. Superresolving microscopy apparatus
CN103926225A (zh) * 2014-03-28 2014-07-16 浙江大学 一种基于倏逝波照明的荧光发射微分显微方法及装置
CN105911682A (zh) * 2016-06-29 2016-08-31 南京航空航天大学 一种控制显微物镜聚焦光场三维偏振方向的装置和方法
CN105954862A (zh) * 2016-07-08 2016-09-21 中国计量大学 一种基于4Pi显微镜架构的显微镜头与样品锁定系统
CN106885796A (zh) * 2017-04-01 2017-06-23 北京工业大学 一种超分辨率荧光数字全息断层显微成像系统与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111948830A (zh) * 2020-08-11 2020-11-17 合肥维信诺科技有限公司 屏下成像装置、屏体模组、显示装置和滤波片的制作方法
CN111948830B (zh) * 2020-08-11 2022-06-17 合肥维信诺科技有限公司 屏下成像装置、屏体模组、显示装置和滤波片的制作方法

Also Published As

Publication number Publication date
US20200142169A1 (en) 2020-05-07
WO2019148439A1 (zh) 2019-08-08
CN110095856B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN101852594B (zh) 超分辨激光偏振差动共焦成像方法与装置
US9134521B2 (en) Multidirectional selective plane illumination microscopy
CN102540446B (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
US11530990B2 (en) Light-sheet microscope with parallelized 3D image acquisition
CN110095856A (zh) 同步正交激光图像重建超分辨率显微镜
US20120228475A1 (en) Talbot Imaging Devices and Systems
CN111971606B (zh) 具有高空间分辨率的时间分辨成像方法
CN106526823B (zh) 一种dna纳米球非荧光非直观显微成像装置及方法
CN206906687U (zh) 基于径向偏振调制的干涉式结构光照明显微镜系统
CN110220875B (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
CN107329245A (zh) 基于径向偏振调制的干涉式结构光照明显微镜系统与方法
CN108061964A (zh) 一种可用于大样品的高速三维显微成像装置和方法
CN107145052B (zh) 基于数字插值和相位迭代的全息显微成像方法
Munhoz et al. Polarization-resolved four-wave mixing microscopy<? A3B2 show [pmg: line-break justify=" yes"/]?> for structural imaging in thick tissues
JP6253395B2 (ja) 画像生成システム
Shao et al. High-speed spectrally resolved multifocal multiphoton microscopy
Ding et al. Single-shot polarization-resolved ultrafast mapping photography
TWI714378B (zh) 一種用於高速深組織成像的大角度光域掃描系統
CN107515047A (zh) 检测亚波长尺度多焦点光斑偏振取向的装置及方法
WO2021202316A1 (en) Systems and methods for multiview super-resolution microscopy
KR101075155B1 (ko) 선주사 방식을 이용한 공초점 레이저 주사 현미경 시스템에 적용하기 위한 영상처리 장치 및 방법
TW200928427A (en) Microscopy system with revolvable stage
CN220626208U (zh) 一种寻址扫描超分辨显微成像系统
Xu et al. Design of video-rate image acquisition system for confocal laser endoscopy
JP6249406B2 (ja) 顕微鏡観察方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant