CN107907512B - 一种深空探测微区自适应拉曼荧光成像联用方法 - Google Patents
一种深空探测微区自适应拉曼荧光成像联用方法 Download PDFInfo
- Publication number
- CN107907512B CN107907512B CN201710950236.5A CN201710950236A CN107907512B CN 107907512 B CN107907512 B CN 107907512B CN 201710950236 A CN201710950236 A CN 201710950236A CN 107907512 B CN107907512 B CN 107907512B
- Authority
- CN
- China
- Prior art keywords
- focal spot
- real
- main controller
- raman
- microscope objective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6423—Spectral mapping, video display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6471—Special filters, filter wheel
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6495—Miscellaneous methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
- G01N2021/653—Coherent methods [CARS]
- G01N2021/655—Stimulated Raman
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种深空探测微区自适应拉曼荧光成像联用方法,该方法是在自适应拉曼荧光成像联用系统上实现的,该方法包括预期焦斑自适应聚焦标定、探测对象单点紧聚焦、拉曼荧光及成像信息获取、扫描微区分析等四个步骤。本发明的有益效果是,可在微区分析时自适应地调整聚焦光斑的直径;将电子目镜的区域平均灰度作为扫描成像点强度,同时满足自聚焦和宽谱扫描成像的要求;可同时实现三维空间主动激光拉曼、高光谱荧光、可见宽谱扫描成像,提供多种信息以进行微区分析。
Description
技术领域
本发明涉及一种物质检测方法,尤其涉及一种采用扫描激光拉曼成像、扫描激光诱导荧光成像及面阵宽谱扫描成像的物质检测方法,适用于深空探测行星开放环境下的物质探测,属于行星原位探测领域。
背景技术
对于未来的深空探测,对物质成分探测技术及方法提出了更高的要求,原位精细探测能力是各航天大国瞄准的技术至高点。精细探测即要求激光聚焦点更小,分析的物质量很小,元素及分子种类更丰富,定量化更准确同时又在极高空间分辨成像的监控下进行。
激光拉曼(Raman)及紫外激光诱导荧光为物质成分分析的重要手段,其中激光Raman可实现物质分子组成的分析,而紫外激光诱导荧光除了可用于成像以外,还可用于一些元素尤其是稀土元素的分析。深空探测中的拉曼类物质分析比常规的拉曼应用要求更高,主要面临的挑战及技术难点在于由于测试对象岩石、土壤中含有的矿物质组成复杂,同种矿物颗粒粒径极小。因此,在微区分析时要求激光聚焦光斑在1微米的量级,才能对矿物进行精确的微区分析,对显微光路要求极高,常规的拉曼探头受光纤传输模式的影响,其聚焦光斑受激光模式退化及衍射极限的影响,因此其聚焦光斑常大于5微米,无法满足要求;采用自由光路加短波长激光再加高倍率高数值孔径的显微物镜的综合,理论上可获取极小的聚焦光斑,但由于聚焦景深极小,因此,必须找到微区分析三维结构分析的合适的自聚焦方案,以及保证每点的聚焦光斑大小一致且与设计值相符,同时,如果自聚焦时间长,将使得扫描成像速度受到影响。因此,需要简捷快速的拉曼自聚焦及宽谱扫描成像方式。
针对以上深空微区拉曼探测及成像需求,本发明提出一种采用扫描激光拉曼成像、扫描激光诱导荧光成像及面阵宽谱扫描成像的物质检测方法,适用于深空探测行星开放环境下的微区物质探测,可得到微区的三维形貌以及对应的分子分布和稀土类荧光物质分布。
发明内容
本发明的目的在于提供一种深空探测微区自适应拉曼荧光成像联用方法,可精确得到所需要的恒定聚焦光斑尺寸,并在拉曼荧光光谱分布探测的同时,获得探测对象的微区三维形貌,满足微区原位物质分析的需求。
本发明提出的自适应拉曼荧光成像联用方法是在一种自适应拉曼荧光成像联用系统上实现的,该系统由主控制器、光谱仪、光纤、三维电机驱动器、三维精密电动平台与光学头部组成;
其中光学头部由紫外拉曼激光器、紫外干涉滤光片、次级电机驱动器、次级直线电动平台、低倍紫外显微物镜、双色镜、长工作距离高倍紫外显微物镜、主电机驱动器、主直线电动平台、紫外瑞利滤光片、比例分光片、显微物镜、管透镜和电子目镜组成;电子目镜内有成像镜头和图像传感器;
紫外拉曼激光器沿主光轴发出的柱形近准直激光束穿过紫外干涉滤光片,可滤除紫外拉曼激光器发出的紫外激光的分频谐波干扰,使得其激发的拉曼信号信噪比更高;柱形近准直激光束穿过紫外干涉滤光片后,穿过低倍紫外显微物镜,形成锥形激光束;锥形激光束穿过双色镜后,到达长工作距离高倍紫外显微物镜的入瞳,在入瞳的位置处,锥形激光束的直径将大于入瞳的直径,由于锥形激光束的锥角为定值,因此低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离越远,锥形激光束的直径比入瞳的直径大得越多,穿过长工作距离高倍紫外显微物镜的激光能量越弱,但聚焦光斑越小;因此可通过调节低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离,在穿过长工作距离高倍紫外显微物镜的激光能量与聚焦光斑大小中做出取舍,即大能量大光斑,小能量小光斑;回波信号反向沿主光轴穿过长工作距离高倍紫外显微物镜,双色镜反射后沿接收光轴行进,到达比例分光片后分成正交的两路:一路经反射沿成像光轴行进,经管透镜聚焦至电子目镜内的成像镜头的一倍至二倍焦距之间,经成像镜头成放大的实像至图像传感器;另一路透过比例分光片后,经紫外瑞利滤光片将紫外拉曼激光器波长的瑞利散射滤除后,再经显微物镜聚焦至光纤的入射端面,然后进入光谱仪进行分析;低倍紫外显微物镜安装在次级直线电动平台上,可在次级电机驱动器的带动下沿主光轴作一维精密平动;长工作距离高倍紫外显微物镜安装在主直线电动平台上,可在主电机驱动器的带动下沿主光轴作一维精密平动;次级直线电动平台的平动主要用来改变低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离;主直线电动平台的平动主要用来使长工作距离高倍紫外显微物镜精确聚焦;主光轴、成像光轴、接收光轴三者共面;主光轴与成像光轴平行,且与接收光轴垂直;
光学头部安装在三维精密电动平台上,三维精密电动平台可在三维电机驱动器的驱动下作亚微米级的三维精密运动;
主控制器可对三维电机驱动器、主电机驱动器、次级电机驱动器、紫外拉曼激光器、图像传感器、光谱仪发控制指令;且可接收图像传感器的输出数字图像以及光谱仪的输出光谱信息;
本发明提出的自适应拉曼荧光成像联用方法包括以下步骤:
(1)预期焦斑自适应聚焦标定
深空物质原位探测中,对不同的探测对象需要不同尺度的拉曼聚焦点,即预期焦斑,例如对分布较均匀的矿物质,可以采用略大尺寸的预期焦斑;而对于变化较多的矿物质,可采用极小尺寸的预期焦斑,以实现极精细微区分析;
首先,对于根据测试区域的探测对象基本性质,设定预期焦斑的直径;将测量分划板放置在长工作距离高倍紫外显微物镜下方的测试区域;测量分划板上有均匀刻线;
主控制器控制开启紫外拉曼激光器,其发出的紫外激光束依次经过紫外干涉滤光片、低倍紫外显微物镜、双色镜,然后经长工作距离高倍紫外显微物镜照亮并聚焦至测量分划板,形成实时焦斑;测量分划板的反射光沿反向沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,再经比例分光片反射,经管透镜聚焦,再经成像镜头实时显微成像至图像传感器;
主控制器接收图像传感器输出的显微数字图像,并作实时图像处理;采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值G;
主控制器发出指令给主电机驱动器,带动主直线电动平台向下运动一个步长;主控制器接收图像传感器输出的显微数字图像,确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值G,并比较G值是增大还是减小了:如果G值增大,说明向下运动是接近焦点的方向;如果G值减小,说明向上运动是接近焦点的方向;
主控制器发出指令给主电机驱动器,带动主直线电动平台向接近焦点的方向运动,同时实时计算实时焦斑的成像区域内所有像素的平均灰度值G,直至G值达到最大值,此时为紧聚焦状态,主控制器发出指令给主电机驱动器,停止运动;
在紧聚焦状态下,主控制器对图像传感器输出的显微数字图像采用边缘提取算法获取测量分划板的刻线的直线位置,以及实时焦斑外圆轮廓,然后计算相邻刻线间隔的像素个数以及实时焦斑外圆轮廓直径的像素个数,从而根据刻线的间距计算得到实时焦斑的直径;
如果实时焦斑的直径大于预期焦斑的直径,则主控制器发出指令给次级电机驱动器,带动次级直线电动平台向上运动,增加低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离,此时穿过长工作距离高倍紫外显微物镜的激光能量减弱,但实时焦斑减小,直至实时焦斑的直径与预期焦斑的直径相等,主控制器发出指令给次级电机驱动器,停止次级直线电动平台的运动;
类似地,如果实时焦斑的直径小于预期焦斑的直径,则主控制器发出指令给次级电机驱动器,带动次级直线电动平台向下运动,减小低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离,此时穿过长工作距离高倍紫外显微物镜的激光能量增大,实时焦斑增大,直至实时焦斑的直径与预期焦斑的直径相等,主控制器发出指令给次级电机驱动器,停止次级直线电动平台的运动;
(2)探测对象单点紧聚焦
移去测量分划板,将自适应拉曼荧光成像联用系统移入实际测试区域,此时探测对象位于光学头部的下方,距长工作距离高倍紫外显微物镜的距离远大于其焦距;
主控制器控制开启紫外拉曼激光器,其发出的紫外激光束依次经过紫外干涉滤光片、低倍紫外显微物镜、双色镜,然后经长工作距离高倍紫外显微物镜散焦至探测对象的表面,反射光沿反向沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,再经比例分光片反射,经管透镜聚焦,再经成像镜头实时显微成像至图像传感器;主控制器接收图像传感器输出的显微数字图像,并作快速傅立叶变换,提取其高频分量H;
主控制器发出指令给三维电机驱动器,带动三维精密电动平台上的光学头部沿Z轴向下运动,此时,探测对象与长工作距离高倍紫外显微物镜的距离减小,运动过程中,主控制器不断实时对图像传感器输出的显微数字图像进行快速傅立叶变换,并不断提取其高频分量H,直至H达到最大值,此时激光将紧聚焦至探测对象表面上的一点,实时焦斑大小等于预期焦斑大小,此时处于紧聚焦状态;
(3)拉曼荧光及成像信息获取
在此紧聚焦状态下,主控制器记录三维精密电动平台的三维位移量,将其设定为初始三维坐标(x1,y1,z1);主控制器接收图像传感器输出的显微数字图像,采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值g1;探测对象表面实时焦斑位置的拉曼及荧光后向散射沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,透过比例分光片后,经紫外瑞利滤光片将紫外拉曼激光器波长的瑞利散射滤除后,再经显微物镜聚焦至光纤的入射端面,然后进入光谱仪,光谱仪将光谱信号输出至主控制器进行分析;主控制器首先提取该光谱信号的n条离散拉曼谱线λ1,λ2,λ3,...,λn,记录其谱线强度Ι11,Ι12,Ι13,...,Ι1n;然后将连续荧光谱线分成等光谱间隔的m段;并记录每段的荧光谱平均强度J11,J12,J13,...,J1m;
(4)扫描微区分析
主控制器确定微区分析XY方向的扫描点数A、B,以及扫描步长C、D;主控制器发出指令给三维电机驱动器,带动三维精密电动平台上的光学头部作XY平面的S形扫描,对XY平面上的每个点,再沿Z轴上下运动,执行步骤(2)的单点紧聚焦;
对每个扫描点i(i大于等于2,直至i等于A×B),在该点的紧聚焦状态下,主控制器记录三维精密电动平台的三维位移量,确定其三维坐标(xi,yi,zi);主控制器接收图像传感器输出的显微数字图像,采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值gi;主控制器记录n条离散拉曼谱线λ1,λ2,λ3,...,λn的谱线强度Ιi1,Ιi2,Ιi3,...,Ιin;并记录m段荧光谱每段的荧光谱平均强度Ji1,Ji2,Ji3,...,Jim;
主控制器首先综合A×B个扫描点的三维坐标,绘制扫描区域探测对象表面的三维几何形貌;然后,综合各个扫描点的g1,g2,...,gi,...,可得到探测测对象表面的三维几何形貌的灰度图像;接着,综合各个扫描点的I11,I21,...,Ii1,...,得到探测对象表面的波长为λ1的拉曼图像,类似地,综合各个扫描点的I12,I22,...,Ii2,...,得到探测对象表面的波长为λ2的拉曼图像,...,直至得到探测对象表面的波长为λn的拉曼图像;最后,综合各个扫描点的J11,J21,...,Ji1,...,得到探测对象表面的第一个谱段的荧光图像,类似地,综合各个扫描点的J12,J22,...,Ji2,...,得到探测对象表面的第二个谱段的荧光图像,...,直至得到探测对象表面的第m个谱段的荧光图像;
至此,完成了微区分析,共获取了微区的三维形貌分布,及三维形貌分布上A×B个扫描点的宽谱图像、n个波长的紫外激光拉曼图像以及m个谱段的紫外激光诱导荧光高光谱图像。
本发明的有益效果是,提供了一种自适应拉曼荧光成像联用系统,可在微区分析时自适应地调整聚焦光斑的直径;将电子目镜的区域平均灰度作为扫描成像点强度,同时满足自聚焦和宽谱扫描成像的要求;可同时实现三维空间主动激光拉曼、高光谱荧光、可见宽谱扫描成像,提供多种信息以进行微区分析。
附图说明
图1为本发明系统结构示意图,图中:1——三维电机驱动器;2——光学头部;3——紫外拉曼激光器;4——主光轴;5——紫外干涉滤光片;6——次级电机驱动器;7——主控制器;8——低倍紫外显微物镜;9——次级直线电动平台;10——成像光轴;11——电子目镜;12——光谱仪;13——光纤;14——显微物镜;15——接收光轴;16——紫外瑞利滤光片;17——比例分光片;18——实时焦斑;19——预期焦斑;20——刻线;21——主电机驱动器;22——主直线电动平台;23——探测对象;24——测量分划板;25——长工作距离高倍紫外显微物镜;26——入瞳;27——双色镜;28——锥形激光束;29——三维精密电动平台;30——柱形近准直激光束;31——图像传感器;32——成像镜头;33——管透镜。
具体实施方式
本发明具体实施方式如图1所示。
本发明提出的自适应拉曼荧光成像联用方法是在一种自适应拉曼荧光成像联用系统上实现的,该系统由主控制器7、光谱仪12、光纤13、三维电机驱动器1、三维精密电动平台29与光学头部2组成;
其中光学头部2由紫外拉曼激光器3、紫外干涉滤光片5、次级电机驱动器6、次级直线电动平台9、低倍紫外显微物镜8、双色镜27、长工作距离高倍紫外显微物镜25、主电机驱动器21、主直线电动平台22、紫外瑞利滤光片16、比例分光片17、显微物镜14、管透镜33和电子目镜11组成;电子目镜11内有成像镜头32和图像传感器31;
紫外拉曼激光器3(本实施例为360nm、50mW的连续激光器)沿主光轴4发出的柱形近准直激光束30穿过紫外干涉滤光片5(紫外干涉滤光片5为紫外窄带滤光片,本实施例为360nm,带宽为1nm的带通滤光片),可滤除紫外拉曼激光器3发出的紫外激光的分频谐波干扰,使得其激发的拉曼信号信噪比更高;柱形近准直激光束30穿过紫外干涉滤光片5后,穿过低倍紫外显微物镜8,形成锥形激光束28;锥形激光束28穿过双色镜27(本实施例为360nm高透、364nm-900nm高反)后,到达长工作距离高倍紫外显微物镜25(本实施例采用无穷远复合平场消像差紫外100X显微物镜,超长工作距离为11mm)的入瞳26,在入瞳26的位置处,锥形激光束28的直径将大于入瞳26的直径,由于锥形激光束28的锥角为定值,因此低倍紫外显微物镜8与长工作距离高倍紫外显微物镜25的距离越远,锥形激光束28的直径比入瞳26的直径大得越多,穿过长工作距离高倍紫外显微物镜25的激光能量越弱,但聚焦光斑越小;因此可通过调节低倍紫外显微物镜8与长工作距离高倍紫外显微物镜25的距离,在穿过长工作距离高倍紫外显微物镜25的激光能量与聚焦光斑大小中做出取舍,即大能量大光斑,小能量小光斑;回波信号反向沿主光轴4穿过长工作距离高倍紫外显微物镜25,双色镜27反射后沿接收光轴15行进,到达比例分光片17(本实施例为9比1比例分光片,即透9反1)后分成正交的两路:一路经反射沿成像光轴10行进,经管透镜33聚焦至电子目镜11内的成像镜头32的一倍至二倍焦距之间,经成像镜头32成放大的实像至图像传感器31(本实施例采用黑白面阵传感器,其响应波段为350至800纳米);另一路透过比例分光片17后,经紫外瑞利滤光片16(本实施例为波长360nm的瑞利滤光片)将紫外拉曼激光器3波长的瑞利散射滤除后,再经显微物镜14聚焦至光纤13的入射端面,然后进入光谱仪12(本实施例光谱仪的探测光谱范围为360-750nm,光学分辨率0.1nm,有效像元数2000点)进行分析;低倍紫外显微物镜8安装在次级直线电动平台9上,可在次级电机驱动器6的带动下沿主光轴4作一维精密平动;长工作距离高倍紫外显微物镜25安装在主直线电动平台22上,可在主电机驱动器21的带动下沿主光轴4作一维精密平动;次级直线电动平台9的平动主要用来改变低倍紫外显微物镜8与长工作距离高倍紫外显微物镜25的距离;主直线电动平台22的平动主要用来使长工作距离高倍紫外显微物镜25精确聚焦;主光轴4、成像光轴10、接收光轴15三者共面;主光轴4与成像光轴10平行,且与接收光轴15垂直;
光学头部2安装在三维精密电动平台29上,三维精密电动平台29可在三维电机驱动器1的驱动下作亚微米级的三维精密运动;
主控制器7可对三维电机驱动器1、主电机驱动器21、次级电机驱动器6、紫外拉曼激光器3、图像传感器31、光谱仪12发控制指令;且可接收图像传感器31的输出数字图像以及光谱仪12的输出光谱信息;
本发明提出的自适应拉曼荧光成像联用方法包括以下步骤:
(1)预期焦斑自适应聚焦标定
深空物质原位探测中,对不同的探测对象23需要不同尺度的拉曼聚焦点,即预期焦斑19,例如对分布较均匀的矿物质,可以采用略大尺寸的预期焦斑19;而对于变化较多的矿物质,可采用极小尺寸的预期焦斑19,以实现极精细微区分析;
首先,对于根据测试区域的探测对象23基本性质,设定预期焦斑19的直径(本实施例,针对橄榄石矿物,设定预期焦斑19的直径为1.7微米);将测量分划板24放置在长工作距离高倍紫外显微物镜25下方的测试区域;测量分划板24上有均匀刻线20(本实施例使用的测量分划板的刻线间距为10微米);
主控制器7控制开启紫外拉曼激光器3,其发出的紫外激光束依次经过紫外干涉滤光片5、低倍紫外显微物镜8、双色镜27,然后经长工作距离高倍紫外显微物镜25照亮并聚焦至测量分划板24,形成实时焦斑18;测量分划板24的反射光沿反向沿主光轴4穿过长工作距离高倍紫外显微物镜25,经双色镜27反射,再经比例分光片17反射,经管透镜33聚焦,再经成像镜头32实时显微成像至图像传感器31;
主控制器7接收图像传感器31输出的显微数字图像,并作实时图像处理;采用边缘提取算法获取实时焦斑18外圆轮廓,从而确定实时焦斑18的成像区域,计算成像区域内所有像素的平均灰度值G;
主控制器7发出指令给主电机驱动器21,带动主直线电动平台22向下运动一个步长;主控制器7接收图像传感器31输出的显微数字图像,确定实时焦斑18的成像区域,计算成像区域内所有像素的平均灰度值G,并比较G值是增大还是减小了:如果G值增大,说明向下运动是接近焦点的方向;如果G值减小,说明向上运动是接近焦点的方向;
主控制器7发出指令给主电机驱动器21,带动主直线电动平台22向接近焦点的方向运动,同时实时计算实时焦斑18的成像区域内所有像素的平均灰度值G,直至G值达到最大值,此时为紧聚焦状态,主控制器7发出指令给主电机驱动器21,停止运动;
在紧聚焦状态下,主控制器7对图像传感器31输出的显微数字图像采用边缘提取算法获取测量分划板24的刻线20的直线位置,以及实时焦斑18外圆轮廓,然后计算相邻刻线20间隔的像素个数以及实时焦斑18外圆轮廓直径的像素个数,从而根据刻线20的间距计算得到实时焦斑18的直径;
如果实时焦斑18的直径大于预期焦斑19的直径,则主控制器7发出指令给次级电机驱动器6,带动次级直线电动平台9向上运动,增加低倍紫外显微物镜8与长工作距离高倍紫外显微物镜25的距离,此时穿过长工作距离高倍紫外显微物镜25的激光能量减弱,但实时焦斑18减小,直至实时焦斑18的直径与预期焦斑19的直径相等,主控制器7发出指令给次级电机驱动器6,停止次级直线电动平台9的运动;
类似地,如果实时焦斑18的直径小于预期焦斑19的直径,则主控制器7发出指令给次级电机驱动器6,带动次级直线电动平台9向下运动,减小低倍紫外显微物镜8与长工作距离高倍紫外显微物镜25的距离,此时穿过长工作距离高倍紫外显微物镜25的激光能量增大,实时焦斑18增大,直至实时焦斑18的直径与预期焦斑19的直径相等,主控制器7发出指令给次级电机驱动器6,停止次级直线电动平台9的运动;
(2)探测对象单点紧聚焦
移去测量分划板24,将自适应拉曼荧光成像联用系统移入实际测试区域,此时探测对象23位于光学头部2的下方,距长工作距离高倍紫外显微物镜25的距离远大于其焦距;
主控制器7控制开启紫外拉曼激光器3,其发出的紫外激光束依次经过紫外干涉滤光片5、低倍紫外显微物镜8、双色镜27,然后经长工作距离高倍紫外显微物镜25散焦至探测对象23的表面,反射光沿反向沿主光轴4穿过长工作距离高倍紫外显微物镜25,经双色镜27反射,再经比例分光片17反射,经管透镜33聚焦,再经成像镜头32实时显微成像至图像传感器31;主控制器7接收图像传感器31输出的显微数字图像,并作快速傅立叶变换,提取其高频分量H;
主控制器7发出指令给三维电机驱动器1,带动三维精密电动平台29上的光学头部2沿Z轴向下运动,此时,探测对象23与长工作距离高倍紫外显微物镜25的距离减小,运动过程中,主控制器7不断实时对图像传感器31输出的显微数字图像进行快速傅立叶变换,并不断提取其高频分量H,直至H达到最大值,此时激光将紧聚焦至探测对象23表面上的一点,实时焦斑18大小等于预期焦斑19大小,此时处于紧聚焦状态;
(3)拉曼荧光及成像信息获取
在此紧聚焦状态下,主控制器7记录三维精密电动平台29的三维位移量,将其设定为初始三维坐标(x1,y1,z1);主控制器7接收图像传感器31输出的显微数字图像,采用边缘提取算法获取实时焦斑18外圆轮廓,从而确定实时焦斑18的成像区域,计算成像区域内所有像素的平均灰度值g1;探测对象23表面实时焦斑18位置的拉曼及荧光后向散射沿主光轴4穿过长工作距离高倍紫外显微物镜25,经双色镜27反射,透过比例分光片17后,经紫外瑞利滤光片16将紫外拉曼激光器3波长的瑞利散射滤除后,再经显微物镜14聚焦至光纤13的入射端面,然后进入光谱仪12,光谱仪12将光谱信号输出至主控制器7进行分析;主控制器7首先提取该光谱信号的n条(本实施例n=3)离散拉曼谱线λ1,λ2,λ3,...,λn,记录其谱线强度Ι11,Ι12,Ι13,...,Ι1n;然后将连续荧光谱线分成等光谱间隔的m段(本实施例m=300);并记录每段的荧光谱平均强度J11,J12,J13,...,J1m;
(4)扫描微区分析
主控制器7确定微区分析XY方向的扫描点数A、B,以及扫描步长C、D;主控制器7发出指令给三维电机驱动器1,带动三维精密电动平台29上的光学头部2作XY平面的S形扫描(即沿X轴按扫描步长C扫至A个点后,Y轴正移一个步长D,再沿X轴反向扫A个点,然后Y轴正移一个步长D,再沿X轴正向扫A个点,再Y轴正移一个步长D,再沿X轴反向扫A个点,...,直至完成预定的扫描区域大小,共扫描点数为A乘以B,即A×B),对XY平面上的每个点,再沿Z轴上下运动,执行步骤(2)的单点紧聚焦;
对每个扫描点i(i大于等于2,直至i等于A×B),在该点的紧聚焦状态下,主控制器7记录三维精密电动平台29的三维位移量,确定其三维坐标(xi,yi,zi);主控制器7接收图像传感器31输出的显微数字图像,采用边缘提取算法获取实时焦斑18外圆轮廓,从而确定实时焦斑18的成像区域,计算成像区域内所有像素的平均灰度值gi;主控制器7记录n条离散拉曼谱线λ1,λ2,λ3,...,λn的谱线强度Ιi1,Ιi2,Ιi3,...,Ιin;并记录m段荧光谱每段的荧光谱平均强度Ji1,Ji2,Ji3,...,Jim;
主控制器7首先综合A×B个扫描点的三维坐标,绘制扫描区域探测对象23表面的三维几何形貌;然后,综合各个扫描点的g1,g2,...,gi,...,可得到探测测对象23表面的三维几何形貌的灰度图像(本实施例为响应波段为350至800纳米的宽谱图像);接着,综合各个扫描点的I11,I21,...,Ii1,...,得到探测对象23表面的波长为λ1的拉曼图像,类似地,综合各个扫描点的I12,I22,...,Ii2,...,得到探测对象23表面的波长为λ2的拉曼图像,...,直至得到探测对象23表面的波长为λn的拉曼图像;最后,综合各个扫描点的J11,J21,...,Ji1,...,得到探测对象23表面的第一个谱段的荧光图像,类似地,综合各个扫描点的J12,J22,...,Ji2,...,得到探测对象23表面的第二个谱段的荧光图像,...,直至得到探测对象23表面的第m个谱段的荧光图像;
至此,完成了微区分析,共获取了微区的三维形貌分布,及三维形貌分布上A×B个扫描点的宽谱图像、n个波长的紫外激光拉曼图像以及m个谱段的紫外激光诱导荧光高光谱图像。
Claims (1)
1.一种深空探测微区自适应拉曼荧光成像联用方法,该方法是在自适应拉曼荧光成像联用系统上实现的,所述联用系统由主控制器(7)、光谱仪(12)、光纤(13)、三维电机驱动器(1)、三维精密电动平台(29)与光学头部(2)组成;其特征在于所述的拉曼荧光成像联用方法包括以下步骤:
1)预期焦斑自适应聚焦标定
深空物质原位探测中,对不同的探测对象需要不同尺度的拉曼聚焦点,即预期焦斑,对分布较均匀的矿物质,采用略大尺寸的预期焦斑;而对于变化较多的矿物质,采用极小尺寸的预期焦斑,以实现极精细微区分析;
首先,对于根据测试区域的探测对象基本性质,设定预期焦斑的直径;将测量分划板放置在长工作距离高倍紫外显微物镜下方的测试区域;测量分划板上有均匀刻线;
主控制器控制开启紫外拉曼激光器,其发出的紫外激光束依次经过紫外干涉滤光片、低倍紫外显微物镜、双色镜,然后经长工作距离高倍紫外显微物镜照亮并聚焦至测量分划板,形成实时焦斑;测量分划板的反射光沿反向沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,再经比例分光片反射,经管透镜聚焦,再经成像镜头实时显微成像至图像传感器;
主控制器接收图像传感器输出的显微数字图像,并作实时图像处理;采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值G;
主控制器发出指令给主电机驱动器,带动主直线电动平台向下运动一个步长;主控制器接收图像传感器输出的显微数字图像,确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值G,并比较G值是增大还是减小了:如果G值增大,说明向下运动是接近焦点的方向;如果G值减小,说明向上运动是接近焦点的方向;
主控制器发出指令给主电机驱动器,带动主直线电动平台向接近焦点的方向运动,同时实时计算实时焦斑的成像区域内所有像素的平均灰度值G,直至G值达到最大值,此时为紧聚焦状态,主控制器发出指令给主电机驱动器,停止运动;
在紧聚焦状态下,主控制器对图像传感器输出的显微数字图像采用边缘提取算法获取测量分划板的刻线的直线位置,以及实时焦斑外圆轮廓,然后计算相邻刻线间隔的像素个数以及实时焦斑外圆轮廓直径的像素个数,从而根据刻线的间距计算得到实时焦斑的直径;
如果实时焦斑的直径大于预期焦斑的直径,则主控制器发出指令给次级电机驱动器,带动次级直线电动平台向上运动,增加低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离,此时穿过长工作距离高倍紫外显微物镜的激光能量减弱,但实时焦斑减小,直至实时焦斑的直径与预期焦斑的直径相等,主控制器发出指令给次级电机驱动器,停止次级直线电动平台的运动;
如果实时焦斑的直径小于预期焦斑的直径,则主控制器发出指令给次级电机驱动器,带动次级直线电动平台向下运动,减小低倍紫外显微物镜与长工作距离高倍紫外显微物镜的距离,此时穿过长工作距离高倍紫外显微物镜的激光能量增大,实时焦斑增大,直至实时焦斑的直径与预期焦斑的直径相等,主控制器发出指令给次级电机驱动器,停止次级直线电动平台的运动;
2)探测对象单点紧聚焦
移去测量分划板,将自适应拉曼荧光成像联用系统移入实际测试区域,此时探测对象位于光学头部的下方,距长工作距离高倍紫外显微物镜的距离远大于其焦距;
主控制器控制开启紫外拉曼激光器,其发出的紫外激光束依次经过紫外干涉滤光片、低倍紫外显微物镜、双色镜,然后经长工作距离高倍紫外显微物镜散焦至探测对象的表面,反射光沿反向沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,再经比例分光片反射,经管透镜聚焦,再经成像镜头实时显微成像至图像传感器;主控制器接收图像传感器输出的显微数字图像,并作快速傅立叶变换,提取其高频分量H;
主控制器发出指令给三维电机驱动器,带动三维精密电动平台上的光学头部沿Z轴向下运动,此时,探测对象与长工作距离高倍紫外显微物镜的距离减小,运动过程中,主控制器不断实时对图像传感器输出的显微数字图像进行快速傅立叶变换,并不断提取其高频分量H,直至H达到最大值,此时激光将紧聚焦至探测对象表面上的一点,实时焦斑大小等于预期焦斑大小,此时处于紧聚焦状态;
3)拉曼荧光及成像信息获取
在此紧聚焦状态下,主控制器记录三维精密电动平台的三维位移量,将其设定为初始三维坐标(x1,y1,z1);主控制器接收图像传感器输出的显微数字图像,采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值g1;探测对象表面实时焦斑位置的拉曼及荧光后向散射沿主光轴穿过长工作距离高倍紫外显微物镜,经双色镜反射,透过比例分光片后,经紫外瑞利滤光片将紫外拉曼激光器波长的瑞利散射滤除后,再经显微物镜聚焦至光纤的入射端面,然后进入光谱仪,光谱仪将光谱信号输出至主控制器进行分析;主控制器首先提取该光谱信号的n条离散拉曼谱线λ1,λ2,λ3,...,λn,记录其谱线强度Ι11,Ι12,Ι13,...,Ι1n;然后将连续荧光谱线分成等光谱间隔的m段;并记录每段的荧光谱平均强度J11,J12,J13,...,J1m;
4)扫描微区分析
主控制器确定微区分析XY方向的扫描点数A、B,以及扫描步长C、D;主控制器发出指令给三维电机驱动器,带动三维精密电动平台上的光学头部作XY平面的S形扫描,对XY平面上的每个点,再沿Z轴上下运动,执行步骤2)的单点紧聚焦;
对每个扫描点i(i大于等于2,直至i等于A×B),在该点的紧聚焦状态下,主控制器记录三维精密电动平台的三维位移量,确定其三维坐标(xi,yi,zi);主控制器接收图像传感器输出的显微数字图像,采用边缘提取算法获取实时焦斑外圆轮廓,从而确定实时焦斑的成像区域,计算成像区域内所有像素的平均灰度值gi;主控制器记录n条离散拉曼谱线λ1,λ2,λ3,...,λn的谱线强度Ιi1,Ιi2,Ιi3,...,Ιin;并记录m段荧光谱每段的荧光谱平均强度Ji1,Ji2,Ji3,...,Jim;
主控制器首先综合A×B个扫描点的三维坐标,绘制扫描区域探测对象表面的三维几何形貌;然后,综合各个扫描点的g1,g2,...,gi,...,可得到探测测对象表面的三维几何形貌的灰度图像;接着,综合各个扫描点的I11,I21,...,Ii1,...,得到探测对象表面的波长为λ1的拉曼图像,综合各个扫描点的I12,I22,...,Ii2,...,得到探测对象表面的波长为λ2的拉曼图像,...,直至得到探测对象表面的波长为λn的拉曼图像;最后,综合各个扫描点的J11,J21,...,Ji1,...,得到探测对象表面的第一个谱段的荧光图像,综合各个扫描点的J12,J22,...,Ji2,...,得到探测对象表面的第二个谱段的荧光图像,...,直至得到探测对象表面的第m个谱段的荧光图像;
至此,完成了微区分析,共获取了微区的三维形貌分布,及三维形貌分布上A×B个扫描点的宽谱图像、n个波长的紫外激光拉曼图像以及m个谱段的紫外激光诱导荧光高光谱图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710950236.5A CN107907512B (zh) | 2017-10-13 | 2017-10-13 | 一种深空探测微区自适应拉曼荧光成像联用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710950236.5A CN107907512B (zh) | 2017-10-13 | 2017-10-13 | 一种深空探测微区自适应拉曼荧光成像联用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107907512A CN107907512A (zh) | 2018-04-13 |
CN107907512B true CN107907512B (zh) | 2020-04-07 |
Family
ID=61841324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710950236.5A Active CN107907512B (zh) | 2017-10-13 | 2017-10-13 | 一种深空探测微区自适应拉曼荧光成像联用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107907512B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107907526B (zh) * | 2017-10-13 | 2023-09-12 | 中国科学院上海技术物理研究所 | 一种深空探测微区自适应拉曼荧光成像联用系统 |
CN112505016A (zh) * | 2020-11-17 | 2021-03-16 | 钢研纳克检测技术股份有限公司 | 一种紧凑型便携式多波长原位拉曼检测仪及其检测方法 |
KR102347488B1 (ko) * | 2021-04-26 | 2022-01-07 | 나노스코프시스템즈 주식회사 | 포커스 스캐닝 라만 분광기 및 상기 라만 분광기를 이용한 측정방법 |
CN115507755B (zh) * | 2022-10-27 | 2023-07-25 | 楚赟精工科技(上海)有限公司 | 一种用于高温设备的光学位移测量系统及测量翘曲的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103439254A (zh) * | 2013-09-06 | 2013-12-11 | 北京理工大学 | 一种分光瞳激光共焦拉曼光谱测试方法与装置 |
CN103743718A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院西安光学精密机械研究所 | 共聚焦显微拉曼和激光诱导击穿光谱联用激光光谱分析仪 |
CN105149020A (zh) * | 2015-07-01 | 2015-12-16 | 北京航空航天大学 | 一种嵌入微纳结构端面光纤的拉曼检测微流控芯片 |
CN106461925A (zh) * | 2014-02-27 | 2017-02-22 | 堀场乔宾伊冯公司 | 用于具有自适应光学系统的拉曼散射光学显微镜的系统和方法 |
-
2017
- 2017-10-13 CN CN201710950236.5A patent/CN107907512B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103439254A (zh) * | 2013-09-06 | 2013-12-11 | 北京理工大学 | 一种分光瞳激光共焦拉曼光谱测试方法与装置 |
CN103743718A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院西安光学精密机械研究所 | 共聚焦显微拉曼和激光诱导击穿光谱联用激光光谱分析仪 |
CN106461925A (zh) * | 2014-02-27 | 2017-02-22 | 堀场乔宾伊冯公司 | 用于具有自适应光学系统的拉曼散射光学显微镜的系统和方法 |
CN105149020A (zh) * | 2015-07-01 | 2015-12-16 | 北京航空航天大学 | 一种嵌入微纳结构端面光纤的拉曼检测微流控芯片 |
Non-Patent Citations (1)
Title |
---|
曲面成像的自动聚焦方法研究;杨少波等;《计量技术》;20040918(第09期);16-19页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107907512A (zh) | 2018-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107907526B (zh) | 一种深空探测微区自适应拉曼荧光成像联用系统 | |
CN107884339B (zh) | 一种适合深空微区分析的自适应激光光谱及成像方法 | |
CN107907512B (zh) | 一种深空探测微区自适应拉曼荧光成像联用方法 | |
CN106770128B (zh) | 快速三维探测光学元件亚表面缺陷的检测装置及检测方法 | |
US20210055230A1 (en) | Device and method for simultaneously inspecting defects of surface and subsurface of optical element | |
CN103743718B (zh) | 共聚焦显微拉曼和激光诱导击穿光谱联用激光光谱分析仪 | |
US9410880B2 (en) | Laser differential confocal mapping-spectrum microscopic imaging method and device | |
CN103439254B (zh) | 一种分光瞳激光共焦拉曼光谱测试方法与装置 | |
CN106442467B (zh) | 空间自调焦激光共焦成像拉曼光谱探测方法与装置 | |
CN104698068B (zh) | 高空间分辨激光双轴差动共焦光谱‑质谱显微成像方法与装置 | |
CN111551250B (zh) | 一种测量光场分布的方法及装置 | |
CN104482880B (zh) | 激光受激发射损耗三维超分辨分光瞳差动共焦成像方法与装置 | |
CN111912835B (zh) | 一种具备烧蚀量测量功能的libs装置及方法 | |
CN103954598A (zh) | 一种基于倏逝波照明的轴向高精度定位方法及装置 | |
WO2017012393A1 (zh) | 一种光纤预制棒掺杂元素分布的原位检测方法和装置 | |
CN104697967B (zh) | 高空间分辨激光双轴共焦光谱‑质谱显微成像方法与装置 | |
CN105115944A (zh) | 一种用于libs物质成分检测的自动聚焦方法及系统 | |
US9924115B2 (en) | Apparatus and method for three-dimensional infrared imaging of surfaces | |
CN110779927A (zh) | 一种基于超声调制的亚表面缺陷检测装置及方法 | |
CN106404189A (zh) | 测量太赫兹光束参数的方法 | |
US20180356620A9 (en) | Optical microscope device, microscopic observation method and computer program for microscopic observation using single light-emitting particle detection technique | |
US9891422B2 (en) | Digital confocal optical profile microscopy | |
CN109187492A (zh) | 分光瞳差动共焦Raman-LIBS光谱探测的飞秒激光加工监测方法 | |
CN207528634U (zh) | 深空微区自适应激光光谱及成像探测系统 | |
CN107490566A (zh) | 基于二元光学元件的艾里光束光片照明显微成像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |